La technologie de l'infrarouge est devenue une alternative intéressante pour les systèmes visuels de sécurité. En effet, les progrès dans le domaine du "numérique" ont conduit à l'intégration de nouvelles fonctionnalités offrant plus d'applicabilités à cette technologie. Ces travaux de recherche visent alors l'évaluation de l'infrarouge pour une automatisation des scénarios de vidéosurveillance d'un stationnement. Le système est conçu pour faire preuve d'efficacité et de robustesse dans des environnements complexes et sous diverses conditions climatiques et d'éclairage. Afin d'opérer dans des scénarios réalistes, le système est doté d'un module de détection de mouvement basé sur une nouvelle technique de soustraction "dynamique" d'arrière-plan. Cette dernière procure une robuste adaptation aux changements incontrôlés des conditions d'acquisition grâce à un seuillage automatique combiné avec la détection de contours. Par ailleurs, ce module alimente une chaîne complète de traitements effectuant le suivi et la classification des diverses entités mobiles observées par une caméra infrarouge stationnaire. Les techniques adoptées pour le suivi et la classification d'objets, en piétons et en véhicules, procurent au système une capacité supplémentaire à identifier quelques événements d'intérêt dont ils sont les auteurs. Le temps de l'exécution est optimisé grâce à la faible complexité algorithmique et au choix judicieux des paramètres. Finalement, la validation des techniques employées est réalisée à l'aide de longues séquences contenant des milliers d'images infrarouges acquises sous différentes conditions climatiques et d'éclairage.

Un besoin ayant toujours existé dans le domaine de la vision numérique est celui d'avoir accès à des ensembles d'images annotées. Les avancements scientifiques et technologiques ont exacerbé les besoins en données étiquetées; un modèle d'apprentissage profond peut nécessiter des milliers, voire des centaines de milliers (dépendamment de la complexité du problème), d'images étiquetées. Cela peut causer un problème puisque générer de grands ensembles de données étiquetées est une tâche longue et ardue. Est-il possible de travailler en vision numérique sans avoir à collecter et étiqueter des ensembles de données de plus en plus grands ? Dans le cadre de cette thèse, nous tentons de répondre à cette question sur deux fronts différents. Premièrement, nous avons développé une approche de détection et segmentation d'objets nécessitant peu de données d'entraînement. Cette approche, inspirée des modèles par les bag-of-words, modélise l'apparence et la forme des objets de façon éparse; la modélisation de la forme se fait par l'entremise d'un nouveau descripteur de forme. Deuxièmement, nous nous sommes penchés sur le fait que certains ensembles de données sont difficilement capturables et étiquetables. Nous nous sommes concentrés sur un exemple particulier, c'est-à-dire générer un ensemble d'images de scènes extérieures avec de la pluie dont les annotations consistent au taux de précipitation (mm/h). Notre solution consiste à augmenter des images réelles avec de la pluie synthétique. Si ces images augmentées sont suffisamment réalistes, il est possible d'expérimenter sur celles-ci comme si elles étaient des images de pluie réelle. Dans nos expérimentations, nous avons évalué l'effet de la pluie sur différents algorithmes de vision numérique et nous avons augmenté la robustesse de ceux-ci sur des images contenant de la vraie pluie.

La mise en registre et l'intégration des vues est une phase essentielle et inévitable dans un processus de modélisation 3D. L'étape la plus difficile de ce problème est d'estimer les poses relatives entre les vues sans utiliser l'information initiale sur la position du capteur ni d'intervention de l'utilisateur avant l'étape d'acquisition. Nous proposons une méthode de mise en registre globale automatique pour les données en format de nuages de points. Le principal problème abordé dans cette thèse est de résoudre le problème d'intégration et de mise en registre de vues dans la modélisation 3D pour les données en format de nuages de points. L'approche globale proposée est basée sur le framework de champ vectoriel et effectue automatiquement une mise en registre de grossière à plus précise sans formuler d'hypothèse sur la position initiale entre les vues ou de pré-traitement manuel de positionnement initial. En particulier, nous exploitons une représentation de champ vectoriel augmentée afin d'implémenter la segmentation et l'extraction de caractéristiques sur la surface d'un objet afin de détecter des correspondances. En outre, le processus de rafinement de pose dans le champ vectoriel réduit la complexité de la recherche de correspondances du point le plus proche puisque l'information est implicitement codée dans la représentation de champ vectoriel. De plus, en exploitant la représentation de champ vectoriel, nous offrons une nouvelle méthode de mise en registre qui supporte toutes les étapes de la modélisation 3D sans nécessiter de transformation de la représentation des données. Une solution alternative à l'aide d'une variation de RANSAC-DARCES basée sur le champ vectoriel permet au procédé proposé de traiter des objets de différents types de géométrie. Enfin, l'approche proposée est validée sur plusieurs ensembles de données tels que les modèles standards, ainsi que de vrais modèles numérisés par des scanners portatifs tenus en main. La performance de la méthode proposée est évaluée par inspection visuelle et quantitativement par la mesure de l'erreur de correspondance. / View integration and registration is an essential and unavoidable phase in a 3D modeling process. The most challenging step of this problem is to estimate relative poses between views without using any initial information of the scanning position or using intervention prior to the acquisition step. We propose an automatic global registration method for point cloud data. The main problem addressed in this thesis is to solve the view integration and registration problem in 3D modeling for point cloud data. The proposed global approach is based on the Vector Field framework and automatically performs coarse to fine registration without requiring any assumption on the initial position between views or manual pre-processing for initial positioning. In particular, we exploit an augmented Vector Field representation to implement segmentation and extraction of features on the surface of an object in order to detect correspondences. In addition, the pose refinement process in the Vector Field reduces the complexity of the search for closest point correspondence since the information is implicitly encoded in the Vector Field representation. Also by exploiting the Vector Field representation, we provide a new method of registration that supports all steps of 3D modeling without requiring transformation of the data representation. An alternative solution using a variation of RANSAC-DARCES based in the Vector Field enables the proposed method to deal with objects of various types of geometry. Finally, the proposed approach is validated on multiple data sets such as standard models as well as real models scanned by hand-held scanners. The performance of the proposed method is evaluated by visual inspection as well as quantitatively by measuring the correspondence error.

Analyse de la forme 3D est un sujet de recherche extrêmement actif dans les deux l'infographie et vision par ordinateur. Dans la vision par ordinateur, l'acquisition de formes et de modélisation 3D sont généralement le résultat du traitement des données complexes et des méthodes d'analyse de données. Il existe de nombreuses situations concrètes où une forme visuelle est modélisé par un nuage de points observés avec une variété de capteurs 2D et 3D. Contrairement aux données graphiques, les données sensorielles ne sont pas, dans le cas général, uniformément répartie sur toute la surface des objets observés et ils sont souvent corrompus par le bruit du capteur, les valeurs aberrantes, les propriétés de surface (diffusion, spécularités, couleur, etc), l'auto occlusions, les conditions d'éclairage variables. Par ailleurs, le même objet que l'on observe par différents capteurs, à partir de points de vue légèrement différents, ou à des moments différents cas peuvent donner la répartition des points tout à fait différentes, des niveaux de bruit et, plus particulièrement, les différences topologiques, par exemple, la fusion des mains. Dans cette thèse, nous présentons une représentation de multi-échelle des formes articulés et concevoir de nouvelles méthodes d'analyse de forme, en gardant à l'esprit les défis posés par les données de forme visuelle. En particulier, nous analysons en détail le cadre de diffusion de chaleur pour représentation multi-échelle de formes 3D et proposer des solutions pour la segmentation et d'enregistrement en utilisant les méthodes spectrales graphique et divers algorithmes d'apprentissage automatique, à savoir, le modèle de mélange gaussien (GMM) et le Espérance-Maximisation (EM). Nous présentons d'abord l'arrière-plan mathématique sur la géométrie différentielle et l'isomorphisme graphique suivie par l'introduction de la représentation spectrale de formes 3D articulés. Ensuite, nous présentons une nouvelle méthode non supervisée pour la segmentation de la forme 3D par l'analyse des vecteurs propres Laplacien de graphe. Nous décrivons ensuite une solution semi-supervisé pour la segmentation de forme basée sur un nouveau paradigme d'apprendre, d'aligner et de transférer. Ensuite, nous étendre la représentation de forme 3D à une configuration multi-échelle en décrivant le noyau de la chaleur cadre. Enfin, nous présentons une méthode d'appariement dense grâce à la représentation multi-échelle de la chaleur du noyau qui peut gérer les changements topologiques dans des formes visuelles et de conclure par une discussion détaillée et l'orientation future des travaux.

Dans une première partie, j'illustrerai quelques uns de mes travaux en visio n par ordinateur et traitement d'images. Ceux-ci portent notamment sur la géométrie multi-vues, l'utilisation du raisonnement géométrique pour intégrer des contraintes sur la scène, l'appariement et la segmentation d'images. Sans forcément rentrer dans les détails, j'exposerai les idées fondamentales qui sous-tendent ces travaux qui ont maintenant quelques années et proposerai quelques perspectives sur des extensions possibles. Une deuxième partie abordera certains problèmes liés à l'électro- et la magnéto-encéphalographie M/EEG, sujet auquel je me suis intéressé plus récemment. Je décrirai en particulier un algorithme de détection d'événements d'intérêts en essai par essai ainsi que certaines techniques que nous avons développé pour la modélisation du problème direct M/EEG. Comme pour la première partie, je tenterai de proposer quelques unes des évolutions possibles autour de cette thématique.

Les dernières décennies ont vu le développement important de la chirurgie mini-invasive. L'acte mini-invasif apporte de nombreux avantages pour les patients: séjour plus court à l'hôpital, réduction des coûts, un traumatisme réduit et la diminution des complications postopératoires. Dans ce contexte, l'assistance robotique est capable de rendre l'acte chirurgical plus intuitif et plus sûr pour les chirurgiens. Dans le domaine de la chirurgie cardiaque mini-invasive, les mouvements respiratoires et cardiaques sont deux sources de perturbations importantes pour les chirurgiens. Malgré l'existence de versions miniaturisées de stabilisateurs cardiaques mécaniques, le mouvement résiduel est encore considérable et doit être manuellement compensé par le chirurgien. Dans ces travaux de thèse, des techniques de suivi visuel pour l'estimation du mouvement 3D du coeur ont été développées. Pour la compensation active des mouvements physiologiques, seules les structures naturelles sur la surface du coeur sont utilisées. Deux contributions dans le domaine de la compensation des mouvements physiologiques pour la chirurgie cardiaque robotisée ont été proposées. La première est une méthode de suivi visuel 3D basée sur un modèle déformable de type ''plaque mince'' et une paramétrisation efficace pour le suivi 3D en images stéréo-endoscopiques. La seconde contribution est une méthode de suivi robuste qui prédit le mouvement futur du coeur pour contourner des problèmes comme les occlusions par les instruments chirurgicaux et les éventuelles réflexions spéculaires. La méthode de prédiction est basée sur une série de Fourier estimée à travers un filtre de Kalman étendu.

Les systèmes multi-caméras permettent de nos jours d'obtenir à la fois des flux d'images couleur mais aussi des flux de modèles 3D. Ils permettent ainsi l'étude de scènes complexes à la fois de par les éléments qui la composent mais aussi de par les mouvements et les déformations que subissent ces éléments au fil du temps. Une des principales limitations de ces données est le manque de cohérence temporelle entre les observations obtenues à deux instants de temps successifs. Les travaux présentés dans cette thèse proposent des pistes pour retrouver cette cohérence temporelle. Dans un premier temps nous nous sommes penchés sur le problème de l'estimation de champs de déplacement denses à la surface des objets de la scène. L'approche que nous proposons permet de combiner efficacement des informations photométriques provenant des caméras avec des informations géométriques. Cette méthode a été étendue, par la suite, au cas de systèmes multi-caméras hybrides composés de capteurs couleurs et de profondeur (tel que le capteur kinect). Dans un second temps nous proposons une méthode nouvelle permettant l'apprentissage de la vraie topologie d'une scène dynamique au fil d'une séquence de données 4D (3D + temps). Ces travaux permettent de construire au fur et à mesure des observations un modèle de référence de plus en plus complet de la scène observée.

Nous présentons une approche de rendu à base d'images qui permet, à partir de photos, de naviguer librement et générer des points de vue quelconques dans des scènes urbaines. Les approches précédentes se basent sur un modèle géométrique complet et précis de la scène. La qualité des résultats produits par ces méthodes se dégrade lorsque la géométrie est approximative. Dans cette thèse, nous proposons une approximation basée sur l'image pour compenser le manque de précision de la géométrie. Dans une première approche, nous utilisons une déformation discontinue des photos guidée par des cartes de profondeur quasi-denses, ce qui produit de meilleurs résultats que le plaquage de texture utilisé par les méthodes précédentes, en particulier lorsque la géométrie est imprécise. Cette approche nécessite quelques indications utilisateur pour identifier les bordures d'occlusion dans les photos. Nous proposons ensuite une méthode entièrement automatique basée sur la même idée de déformation d'image. Cette méthode permet de traiter des scènes plus complexes avec un plus grand nombre de photos. Nous évitons l'intervention utilisateur en sur-segmentant les images d'entrées pour former des superpixels. Nous déformons chaque superpixel indépendamment en utilisant l'information de profondeur clairsemée. Nous proposons également un algorithme de synthèse de profondeur approximative pour traiter les zones de l'image où la géométrie n'est pas disponible. Nous comparons nos résultats à de nombreuses approches récentes et montrons que notre méthode permet une navigation virtuelle libre. Nous avons aussi étudié les défauts du rendu à base d'images d'un point de vue perceptif. Dans une première études controlées, nous avons évalué la perception des distorsions de perspective produites lorsqu'une seule image est projetée sur une géométrie planaire. Les données obtenues lors de cette étude nous ont permis de développer un modèle quantitatif permettant de prédire les distorsions perçues en fonction des paramètres de capture et de visualisation. Dans une autre étude nous comparons les défauts visuels produits par des transitions d'images douces ou abruptes. Nous avons déduit de cette étude des conseils pour choisir le meilleur compromis entre les deux types de transition. Ces deux études ont motivé des choix de conception de nos algorithmes de rendu à base d'images. Enfin, nous démontrons l'utilisation de notre approche pour la thérapie cognitive, ce qui représente la première application de réalité virtuelle à base d'images. Notre méthode permet de réduire considérablement le coût de modélisation 3D d'une scène de réalité virtuelle tout en produisant des visites virtuelles très réalistes.

Cette thèse présente un système prototype de vision par ordinateur pour la reconnaissance des gestes dans l'’interaction entre le pianiste et l'’instrument. La vision par ordinateur est la seule technologie permettant la reconnaissance des gestes, sans interférence entre le pianiste et son instrument, et à un faible coût. Le système propose deux approches pour la reconnaissance : a) l'’approche statique, ou reconnaissance des doigtés, et b) l’'approche dynamique, extension de l’'approche statique. La reconnaissance statique s’'applique à chaque image de la vidéo. Elle repose sur l’'analyse et l'’interprétation des caractéristiques de l'’image, en les comparant avec le modèle déterministe du geste. La reconnaissance dynamique s'’applique à un ensemble de séquences d'’images vidéo. Elle se base sur l'’analyse et la modélisation stochastique du geste, à l'’aide de Modèles de Markov Cachés. Cette méthode peut être étendue à d’'autres champs d’'application tels que le suivi de personnes en perte d'’autonomie à domicile, la valorisation du patrimoine culturel, l'’étude du comportement humain ou encore l'’interaction homme-machine.

La complexité croissante de l'environnement routier et le souci d'amélioration de la sécurité routière expliquent l'intérêt que porte les constructeurs automobiles aux travaux sur l'aide à la conduite. De nombreux systèmes équipent déjà les véhicules de la rue. Alors que la perception de l'état du véhicule (vitesse, position, etc.) est maîtrisée, celle de l'environnement reste une tache difficile. <br />Parmi tous les capteurs susceptibles de percevoir la complexité d'un environnement urbain, la stéréo-vision offre à la fois des performances intéressantes, une spectre d'applications très larges (détection de piéton, suivi de véhicules, détection de ligne blanches, etc.) et un prix compétitif. Pour ces raisons, Renault s'attache à identifier et résoudre les problèmes liés à l'implantation d'un tel système dans un véhicule de série, notamment pour une application de suivi de véhicules. <br />La première problématique à maîtriser concerne le calibrage du système <br />stéréoscopique. En effet, pour que le système puisse fournir une mesure, ses paramètres doivent être correctement estimés, y compris sous des conditions extrêmes (forte températures, chocs, vibrations, ...). Nous présentons donc une méthodologie d'évaluation permettant de répondre aux interrogations sur les dégradations de performances du système en fonction du calibrage.<br />Le deuxième problème concerne la détection des obstacles. La méthode mis au point utilise d'une originale les propriétés des rectifications. Le résultat est une segmentation de la route et des obstacles. <br />La dernière problématique concerne la calcul de vitesse des obstacles. Une grande majorité des approches de la littérature approxime la vitesse d'un obstacle à partir de ses positions successives. Lors de ce calcul, l'accumulation des incertitudes rendent cette estimation extrêmement bruitée. Notre approche combine efficacement les atouts de la stéréo-vision et du flux optique afin d'obtenir directement une mesure de vitesse 3-D robuste et précise.