Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

La première partie analyse les méthodes utilisées dans le domaine, justifie l'existence de différents niveaux de représentation et de traitement de l'information visuelle, puis explicite les cinq niveaux (IMAGE, INDICES D'IMAGE, INDICES DE SCHENE, OBJET et SCHENE) que nous distinguons. La seconde partie décrit, du niveau IMAGE au niveau INDICES DE SCHENE, une expérimentation de l'inférence de formes à partir des contours dans le domaine restreint d'objets solides du monde des blocs. S'appuyant sur les résultats obtenus, la troisième partie expose comment la stéréovision et la couleur s'intègrent au sein des niveaux préconisés, et comment ils permettent d'atteindre le niveau OBJET pour des objets flexibles filiformes. Ces apports sont illustrés par une application au domaine industriel: l'identification et la localisation de fils électriques dans un contexte d'automatisation de la production des ensembles câbles-connecteurs

Les systèmes d'aide à la conduite peuvent améliorer la sécurité routière en aidant les utilisateurs via des avertissements de situations dangereuses ou en déclenchant des actions appropriées en cas de collision imminente (airbags, freinage d'urgence, etc). Dans ce cas, la connaissance de la position et de la vitesse des objets mobiles alentours constitue une information clé. C'est pourquoi, dans ce travail, nous nous focalisons sur la détection et le suivi d'objets dans une scène dynamique. En remarquant que les systèmes multi-caméras sont de plus en plus présents dans les véhicules et en sachant que le lidar est performant pour la détection d'obstacles, nous nous intéressons à l'apport de la vision stéréoscopique dans la perception géométrique multimodale de l'environnement. Afin de fusionner les informations géométriques entre le lidar et le système de vision, nous avons développé un procédé de calibrage qui détermine les paramètres extrinsèques et évalue les incertitudes sur ces estimations. Nous proposons ensuite une méthode d'odométrie visuelle temps-réel permettant d'estimer le mouvement propre du véhicule afin de simplifier l'analyse du mouvement des objets dynamiques. Dans un second temps, nous montrons comment l'intégrité de la détection et du suivi des objets par lidar peut être améliorée en utilisant une méthode de confirmation visuelle qui procède par reconstruction dense de l'environnement 3D. Pour finir, le système de perception multimodal a été intégré sur une plateforme automobile, ce qui a permis de tester expérimentalement les différentes approches proposées dans des situations routières en environnement non contrôlé.

Les dispositifs d'immersion stéréoscopique sont très répandus et tendent à l'être de plus en plus (travail en immersion, film projeté en vision stéréoscopique, écrans auto-stéréoscopiques...). Dans certains cas, les immersions peuvent être longues et la fatigue visuelle s'installe. Nous donnons une méthode pour diminuer la fatigue visuelle liée à la vision stéréoscopique. Certaines applications demandent également une perception des formes très performante. Nous déterminons donc les paramètres améliorant cette perception et nous les quantifions. Ce mémoire de thèse est composé de deux parties : l'une consacrée à la perception des formes en immersion, l'autre traite de la diminution de la fatigue visuelle en vision stéréoscopique. Dans la première partie, nous commençons par expliquer comment nous percevons les formes en visions naturelle et artificielle. Ensuite nous exposons un protocole de test pour connaître quels paramètres peuvent influencer cette perception en immersion. Nous nous interrogeons notamment sur l'amélioration que peut apporter le fait de traquer le point de vue de l'utilisateur en vision monoscopique, ortho-stéréoscopique ou non-ortho-stéréoscopique. Nous évaluons également l'influence de la vision ortho-stéréoscopique et non-ortho-stéréoscopique sur la perception des formes Nous quantifions les différences entre tous ces modes de projections et déterminons quels paramètres sont les plus importants à respecter pour une bonne perception des formes. Dans la seconde partie, nous exposons les causes possibles de fatigue visuelle en vision stéréoscopique. Nous nous concentrons ensuite sur une de ces causes : les hautes fréquences spatiales liées à de grandes disparités. Nous avons développé plusieurs algorithmes traitant en temps réel les images stéréo pour supprimer les hautes fréquences gênantes (transformée en ondelette, box filter et programmation sur carte graphique d'une moyenne glissante) avant d'expliquer le choix de l'algorithme. Nous exposons ensuite notre protocole de test pour montrer que notre traitement diminue de façon objective et subjective la fatigue visuelle en vision ortho-stéréoscopique. Nous quantifions ensuite les améliorations apportées par notre algorithme sur cette fatigue.

La complexité croissante de l'environnement routier et le souci d'amélioration de la sécurité routière expliquent l'intérêt que porte les constructeurs automobiles aux travaux sur l'aide à la conduite. De nombreux systèmes équipent déjà les véhicules de la rue. Alors que la perception de l'état du véhicule (vitesse, position, etc.) est maîtrisée, celle de l'environnement reste une tache difficile. <br />Parmi tous les capteurs susceptibles de percevoir la complexité d'un environnement urbain, la stéréo-vision offre à la fois des performances intéressantes, une spectre d'applications très larges (détection de piéton, suivi de véhicules, détection de ligne blanches, etc.) et un prix compétitif. Pour ces raisons, Renault s'attache à identifier et résoudre les problèmes liés à l'implantation d'un tel système dans un véhicule de série, notamment pour une application de suivi de véhicules. <br />La première problématique à maîtriser concerne le calibrage du système <br />stéréoscopique. En effet, pour que le système puisse fournir une mesure, ses paramètres doivent être correctement estimés, y compris sous des conditions extrêmes (forte températures, chocs, vibrations, ...). Nous présentons donc une méthodologie d'évaluation permettant de répondre aux interrogations sur les dégradations de performances du système en fonction du calibrage.<br />Le deuxième problème concerne la détection des obstacles. La méthode mis au point utilise d'une originale les propriétés des rectifications. Le résultat est une segmentation de la route et des obstacles. <br />La dernière problématique concerne la calcul de vitesse des obstacles. Une grande majorité des approches de la littérature approxime la vitesse d'un obstacle à partir de ses positions successives. Lors de ce calcul, l'accumulation des incertitudes rendent cette estimation extrêmement bruitée. Notre approche combine efficacement les atouts de la stéréo-vision et du flux optique afin d'obtenir directement une mesure de vitesse 3-D robuste et précise.

La fabrication de pièces manufacturées génère un nombre très important de données de différents types définissant les géométries de fabrication ainsi que la qualité de production. Ce travail de thèse s’inscrit dans le cadre de la réalisation d’un système de vision cognitif dédié à l’évaluation d’objets 3D manufacturés incluant éventuellement des surfaces gauches, en tenant compte des tolérances géométriques et des incertitudes. Ce système permet un contrôle exhaustif de pièces manufacturées et offre la possibilité d’une inspection tridimensionnelle automatique de la pièce. La mise en place d’un système de mesures multi-capteurs (passifs et actifs) a permis d’améliorer significativement la qualité d’évaluation par le biais d’une reconstruction tridimensionnelle enrichie de l’objet à évaluer. En particulier, nous avons employé simultanément un système stéréoscopique de vision et un système à projection de lumière structurée afin de reconstruire les contours et les surfaces de différents objets 3D. / Producing industrially manufactured parts generates a very large number of data of various types defining the manufacturing geometries as well as the quality of production. This PhD work has been carried out within the framework of the realization of a cognitive vision system dedicated to the 3D evaluation of manufactured objects including possibly free form surfaces, taking into account the geometric tolerances and uncertainties. This system allows the comprehensive control of manufactured parts, and provides the means for their automated 3D dimensional inspection. The implementation of a multi-sensor (passive and active) measuring system enabled to improve significantly the assessment quality through an enriched three-dimensional reconstruction of the object to be evaluated. Specifically, we made use simultaneously of a stereoscopic vision system and of a structured light based system in order to reconstruct the edges and surfaces of various 3D objects.

Les travaux présentés dans cette thèse concernent le thème des fonctionnalités visuelles qu'il convient d'embarquer sur un robot mobile, afin qu'il puisse se déplacer dans son environnement. Plus précisément, ils ont trait aux méthodes de perception par vision stéréoscopique dense, de modélisation de l'environnement par grille d'occupation, et de suivi visuel d'objets, pour la navigation autonome d'un robot mobile dans un environnement d'intérieur. Il nous semble important que les méthodes de perception visuelle soient à la fois robustes et rapide. Alors que dans les travaux réalisés, on trouve les méthodes globales de mise en correspondance qui sont connues pour leur robustesse mais moins pour être employées dans les applications temps réel et les méthodes locales qui sont les plus adaptées au temps réel tout en manquant de précision. Pour cela, ce travail essaye de trouver un compromis entre robustesse et temps réel en présentant une méthode semi-locale, qui repose sur la définition des distributions de possibilités basées sur une formalisation floue des contraintes stéréoscopiques.Il nous semble aussi important qu'un robot puisse modéliser au mieux son environnement. Une modélisation fidèle à la réalité doit prendre en compte l'imprécision et l'incertitude. Ce travail présente une modélisation de l'environnement par grille d'occupation qui repose sur l'imprécision du capteur stéréoscopique. La mise à jour du modèle est basée aussi sur la définition de valeurs de crédibilité pour les mesures prises.Enfin, la perception et la modélisation de l'environnement ne sont pas des buts en soi mais des outils pour le robot pour assurer des tâches de haut niveau. Ce travail traite du suivi visuel d'un objet mobile comme tâche de haut niveau. / This work concerns visual functionalities to be embedded in a mobile robot for navigation purposes. More specifically, it relates to methods of dense stereoscopic vision based perception, grid occupancy based environment modeling and object tracking for autonomous navigation of mobile robots in indoor environments.We consider that is important for visual perception methods to be robust and fast. While in previous works, there are global stereo matching methods which are known for their robustness, but less likely to be employed in real-time applications. There are also local methods which are more suitable for real time but imprecise. To this aim, this work tries to find a compromise between robustness and real-time by proposing a semi-local method based on the definition of possibility distributions built around a fuzzy formalization of stereoscopic constraints.We consider also important for a mobile robot to better model its environment. To better fit a model to the reality we have to take uncertainty and inaccuracy into account. This work presents an occupancy grid environment modeling based on stereoscopic sensor inaccuracy.. Model updating relies on the definition of credibility values for the measures taken.Finally, perception and environment modeling are not goals but tools to provide robot high-level tasks. This work deals with visual tracking of a moving object such as high-level task.

Afin d’améliorer la précision des systèmes de navigation ainsi que de garantir la sécurité et la continuité du service, il est essentiel de connaitre la position et l’orientation du véhicule en tout temps. La localisation absolue utilisant des systèmes satellitaires tels que le GPS est souvent utilisée `a cette fin. Cependant, en environnement urbain, la localisation `a l’aide d’un récepteur GPS peut s’avérer peu précise voire même indisponible `a cause des phénomènes de réflexion des signaux, de multi-trajet ou de la faible visibilité satellitaire. Afin d’assurer une estimation précise et robuste du positionnement, d’autres capteurs et méthodes doivent compléter la mesure. Dans cette thèse, des méthodes de localisation de véhicules sont proposées afin d’améliorer l’estimation de la pose en prenant en compte la redondance et la complémentarité des informations du système multi-capteurs utilisé. Tout d’abord, les mesures GPS sont fusionnées avec des estimations de la localisation relative du véhicule obtenues `a l’aide d’un capteur proprioceptif (gyromètre), d’un système stéréoscopique(Odométrie visuelle) et d’un télémètre laser (recalage de scans télémétriques). Une étape de sélection des capteurs est intégrée pour valider la cohérence des observations provenant des différents capteurs. Seules les informations validées sont combinées dans un formalisme de couplage lâche avec un filtre informationnel. Si l’information GPS est indisponible pendant une longue période, la trajectoire estimée par uniquement les approches relatives tend `a diverger, en raison de l’accumulation de l’erreur. Pour ces raisons, les informations d’une carte numérique (route + bâtiment) ont été intégrées et couplées aux mesures télémétriques de deux télémètres laser montés sur le toit du véhicule (l’un horizontalement, l’autre verticalement). Les façades des immeubles détectées par les télémètres laser sont associées avec les informations_ bâtiment _ de la carte afin de corriger la position du véhicule.Les approches proposées sont testées et évaluées sur des données réelles. Les résultats expérimentaux obtenus montrent que la fusion du système stéréoscopique et du télémètre laser avec le GPS permet d’assurer le service de localisation lors des courtes absences de mesures GPS et de corriger les erreurs GPS de type saut. Par ailleurs, la prise en compte des informations de la carte numérique routière permet d’obtenir une approximation de la position du véhicule en projetant la position du véhicule sur le tronc¸on de route correspondant et enfin l’intégration de la carte numérique des bâtiments couplée aux données télémétriques permet d’affiner cette estimation, en particulier la position latérale. / In some dense urban environments (e.g., a street with tall buildings around), vehicle localization result provided by Global Positioning System (GPS) receiver might not be accurate or even unavailable due to signal reflection (multi-path) or poor satellite visibility. In order to improve the accuracy and robustness of assisted navigation systems so as to guarantee driving security and service continuity on road, a vehicle localization approach is presented in this thesis by taking use of the redundancy and complementarities of multiple sensors. At first, GPS localization method is complemented by onboard dead-reckoning (DR) method (inertial measurement unit, odometer, gyroscope), stereovision based visual odometry method, horizontal laser range finder (LRF) based scan alignment method, and a 2D GIS road network map based map-matching method to provide a coarse vehicle pose estimation. A sensor selection step is applied to validate the coherence of the observations from multiple sensors, only information provided by the validated sensors are combined under a loosely coupled probabilistic framework with an information filter. Then, if GPS receivers encounter long term outages, the accumulated localization error of DR-only method is proposed to be bounded by adding a GIS building map layer. Two onboard LRF systems (a horizontal LRF and a vertical LRF) are mounted on the roof of the vehicle and used to detect building facades in urban environment. The detected building facades are projected onto the 2D ground plane and associated with the GIS building map layer to correct the vehicle pose error, especially for the lateral error. The extracted facade landmarks from the vertical LRF scan are stored in a new GIS map layer. The proposed approach is tested and evaluated with real data sequences. Experimental results with real data show that fusion of the stereoscopic system and LRF can continue to localize the vehicle during GPS outages in short period and to correct the GPS positioning error such as GPS jumps; the road map can help to obtain an approximate estimation of the vehicle position by projecting the vehicle position on the corresponding road segment; and the integration of the building information can help to refine the initial pose estimation when GPS signals are lost for long time.

Cette thèse a pour objet l'étude de l'incertitude attachée à l'estimation de la géometrie d'une scène à partir d'un couple stéréoscopique d'images. La mise en correspondance des points homologues d'un couple suppose la similarité locale des deux images et nécessite une information radiométrique discriminante. Dans de nombreuses situations cependant (déformations géométriques, bruit d'acquisition, manque de contraste, ....), ces hypothèses sont mises en défaut et les erreurs d'appariemment qui en résultent dépendent fortement de l'information contenue dans le couple et non du sytème stéréoscopique lui-meme. <br />Afin d'aborder ce problème, nous proposons un cadre bayésien et l'application de méthodes de Monte Carlo par chaînes de Markov. Celles-ci consistent à simuler la distribution conditionnelle du champ de disparité connaissant le couple stéréoscopique et permettent de déterminer les zones où des erreurs importantes peuvent apparaitre avec une probabilité éventuellement faible. Différents modèles stochastiques sont comparés et testés a partir de scènes stéréoscopiques SPOT, et nous donnons quelques pistes pour étendre ces modèles à d'autres types d'images. Nous nous intéressons également au probleme de l'estimation des paramètres de ces modèles et proposons un certain nombre d'algorithmes permettant une estimation automatique. Enfin, une part importante du travail est consacrée à l'étude d'algorithmes de simulation reposant sur la théorie des chaînes de Markov. L'apport essentiel réside dans l'extension de l'algorithme de Metropolis-Hastings dans une perspective multi-dimensionnelle. Une application performante reposant sur l'utilisation de la loi gaussienne est donnée. De plus, nous montrons comment le recours à des techniques d'échantillonnage d'importance permet de diminuer efficacement le temps de calcul.

L'interprétation automatique de gestes basée sur la vision par ordinateur offre de nouvelles possibilités d'interaction avec l'ordinateur, plus naturelles et intuitives qu'avec les périphériques classiques. Cependant, le canal gestuel est un moyen de communication particulièrement riche et la main un objet articulé complexe. Ainsi, l'interaction homme-machine gestuelle constitue un axe de recherche particulièrement actif avec un potentiel applicatif important.<br /> Dans ce contexte, notre travail a consisté à remplacer le fonctionnement d'un écran tactile par un système de vision stéréoscopique avec deux caméras. Ainsi, le problème fondamental a consisté à suivre, en temps réel, le mouvement de la main et des doigts à partir de leurs projections dans les images, avant d'en reconnaître la posture. Les contraintes industrielles qui ont guidé nos travaux nous ont orienté vers une approche par apparence, avec des hypothèses réduites afin que le système soit peu contraignant pour l'utilisateur. Les différentes étapes abordées concernent la détection de la main basée sur la couleur de peau, l'extraction de caractéristiques invariantes, la comparaison de descripteurs de forme pour la reconnaissance de postures 2D, et le suivi 3D du mouvement des doigts et de la main avec un modèle squelettique. Les algorithmes ont été évalués à l'aide d'une base originale de vidéos stéréoscopiques, montrant l'amélioration notable des solutions proposées. La robustesse du système a également été confrontée aux conditions réelles d'une démonstration publique.