Estimer le mouvement d'un robot et construire en même temps une représentation de l'environnement (problème SLAM: Simultaneous Localisation And Mapping) est souvent considéré comme un problème essentiel pour développer des robots pleinement autonomes qui ne nécessitent pas de connaissances à priori de l'environnement pour réaliser leurs tâches. L'évolution du SLAM est très liée aux capteurs utilisés. Les sonars couplés avec l'odométrie sont souvent présentés comme les premiers capteurs ayant fourni des résultats convaincants. Depuis, les lasers 2D ont souvent remplacés ces capteurs pour des raisons de précision et de rapport signal/bruit. Néanmoins les lasers 2D permettent uniquement d'estimer des mouvements planaires et ne donnent pas des informations perceptuelles suffisantes pour identifier de manière fiable des régions précédemment explorées. Ces observations nous ont amenés à explorer à travers cette thèse comment combiner un capteur omnidirectionnel avec un télémètre laser pour effectuer la localisation et cartographie simultanée dans des environnements complexes et de grandes tailles. Les contributions de cette thèse concernent l'étalonnage des capteurs centraux catadioptriques (avec le développement d'un logiciel open source disponible sur le site internet de l'auteur) et la recherche de la position relative entre un capteur omnidirectionnel et un télémètre laser. Des approches efficaces pour estimer le mouvement 3D du capteur en utilisant des droites et des plans sont détaillées. Enfin deux méthodes sont proposées combinant laser et vision pour effectuer du SLAM planaire mais aussi pour estimer la position 3D du robot ainsi que la structure de l'environnement.

Ce travail s'inscrit dans le cadre d'un programme de recherche sur la vision omnidirectionnelle, monoculaire et stéréoscopique. L'estimation de position et d'orientation de robot par ce type de vision artificielle repose sur le même formalisme de base que l'asservissement visuel. Cette technique consiste à commander le mouvement d'un robot en utilisant l'information visuelle apportée par une ou plusieurs caméras. Ce mouvement est virtuel dans le cas d'une estimation de pose. Utiliser le large champ de vue apporté par la vision omnidirectionnelle a généralement une bonne influence sur le comportement du robot mais les informations visuelles, et en particulier leur représentation, ont un impact important sur ce comportement. Un choix inadéquat de représentation d'information peut engendrer l'échec de l'asservissement ou du calcul de pose. Cette thèse vise à étudier et comparer différentes primitives visuelles et leurs représentations en vision omnidirectionnelle. Même si un modèle de projection stéréographique impliquant une sphère a été défini pour les caméras omnidirectionnelles centrales, un point, une droite ou un plan est presque toujours représenté dans le plan image. Quelques travaux ont certes formulé l'estimation de pose ou l'asservissement visuel à partir de primitives définies sur la sphère mais sans montrer, en pratique, quel est le meilleur lieu de définition : le plan image ou la sphère. C'est une des motivations de cette étude. Ce travail propose aussi d'utiliser les intensités des pixels d'une image omnidirectionnelle comme primitive visuelle pour l'asservissement de robot, permettant ainsi de s'affranchir du traitement d'image nécessaire à la détection de points, de droites, etc. La validation expérimentale montre une très grande précision de positionnement. Cette constatation a servi de base à l'utilisation de voisinage photométrique inclus dans une région pour le suivi de plan ou avoisinant un segment pour le suivi de droites verticales. Ce dernier point est une des contributions les plus importantes de cette thèse car cela permet de reconstruire une droite verticale par ajustement photométrique des voisinages de ses projections dans les images de stéréovision omnidirectionnelle. Ceci peut, de plus, être étendu à l'estimation de mouvement et à toute primitive géométrique.

Dans le cadre de la robotique mobile, des progrès significatifs ont été obtenus au cours des trois dernières décennies pour la cartographie et la localisation. La plupart des projets de recherche traitent du problème de SLAM métrique. Les techniques alors développées sont sensibles aux erreurs liées à la dérive ce qui restreint leur utilisation à des environnements de petite échelle. Dans des environnements de grande taille, l’utilisation de cartes topologiques, qui sont indépendantes de l’information métrique, se présentent comme une alternative aux approches métriques.Cette thèse porte principalement sur le problème de la construction de cartes topologiques pour la navigation de robots mobiles dans des environnements urbains de grande taille, en utilisant des caméras omnidirectionnelles. La principale contribution de cette thèse est la résolution efficace et avec précision du problème de fermeture de boucles, problème qui est au coeur de tout algorithme de cartographie topologique. Le cadre de cartographie topologique éparse / hiérarchique proposé allie une approche de partionnement de séquence d’images (ISP) par regroupement des images visuellement similaires dans un noeud avec une approche de détection de fermeture de boucles permettant de connecter ces noeux. Le graphe topologique alors obtenu représente l’environnement du robot. L’algorithme de fermeture de boucle hiérarchique développé permet d’extraire dans un premier temps les noeuds semblables puis, dans un second temps, l’image la plus similaire. Cette détection de fermeture de boucles hiérarchique est rendue efficace par le stockage du contenu des cartes éparses sous la forme d’une structure de données d’indexation appelée fichier inversé hiérarchique (HIF). Nous proposons de combiner le score de pondération TFIDF avec des contraintes spatiales et la fréquence des amers détectés pour obtenir une meilleur robustesse de la fermeture de boucles. Les résultats en terme de densité et précision des cartes obtenues et d’efficacité sont évaluées et comparées aux résultats obtenus avec des approches de l’état de l’art sur des séquences d’images omnidirectionnelles acquises en milieu extérieur. Au niveau de la précision des détections de boucles, des résultats similaires ont été observés vis-à-vis des autres approches mais sans étape de vérification utilisant la géométrie épipolaire. Bien qu’efficace, l’approche basée sur HIF présente des inconvénients comme la faible densité des cartes et le faible taux de détection des boucles. Une seconde technique de fermeture de boucle a alors été développée pour combler ces lacunes. Le problème de la faible densité des cartes est causé par un sur-partionnement de la séquence d’images. Celui-ci est résolu en utilisant des vecteurs de descripteurs agrégés localement (VLAD) lors de l’étape de ISP. Une mesure de similarité basée sur une contrainte spatiale spécifique à la structure des images omnidirectionnelles a également été développée. Des résultats plus précis sont obtenus, même en présence de peu d’appariements. Les taux de réussite sont meilleurs qu’avec FABMAP 2.0, la méthode la plus utilisée actuellement, sans étape supplémentaire de vérification géométrique.L’environnement est souvent supposé invariant au cours du temps : la carte de l’environnement est construite lors d’une phase d’apprentissage puis n’est pas modifiée ensuite. Une gestion de la mémoire à long terme est nécessaire pour prendre en compte les modifications dans l’environnement au cours du temps. La deuxième contribution de cette thèse est la formulation d’une approche de gestion de la mémoire visuelle à long terme qui peut être utilisée dans le cadre de cartes visuelles topologiques et métriques. Les premiers résultats obtenus sont encourageants. (...) / Over the last three decades, research in mobile robotic mapping and localization has seen significant progress. However, most of the research projects these problems into the SLAM framework while trying to map and localize metrically. As metrical mapping techniques are vulnerable to errors caused by drift, their ability to produce consistent maps is limited to small scale environments. Consequently, topological mapping approaches which are independent of metrical information stand as an alternative to metrical approaches in large scale environments. This thesis mainly deals with the loop closure problem which is the crux of any topological mapping algorithm. Our main aim is to solve the loop closure problem efficiently and accurately using an omnidirectional imaging sensor. Sparse topological maps can be built by representing groups of visually similar images of a sequence as nodes of a topological graph. We propose a sparse / hierarchical topological mapping framework which uses Image Sequence Partitioning (ISP) to group visually similar images of a sequence as nodes which are then connected on occurrence of loop closures to form a topological graph. A hierarchical loop closure algorithm that can first retrieve the similar nodes and then perform an image similarity analysis on the retrieved nodes is used. An indexing data structure called Hierarchical Inverted File (HIF) is proposed to store the sparse maps to facilitate an efficient hierarchical loop closure. TFIDF weighting is combined with spatial and frequency constraints on the detected features for improved loop closure robustness. Sparsity, efficiency and accuracy of the resulting maps are evaluated and compared to that of the other two existing techniques on publicly available outdoor omni-directional image sequences. Modest loop closure recall rates have been observed without using the epi-polar geometry verification step common in other approaches. Although efficient, the HIF based approach has certain disadvantages like low sparsity of maps and low recall rate of loop closure. To address these shortcomings, another loop closure technique using spatial constraint based similarity measure on omnidirectional images has been proposed. The low sparsity of maps caused by over-partitioning of the input sequence has been overcome by using Vector of Locally Aggregated Descriptors (VLAD) for ISP. Poor resolution of the omnidirectional images causes fewer feature matches in image pairs resulting in reduced recall rates. A spatial constraint exploiting the omnidirectional image structure is used for feature matching which gives accurate results even with fewer feature matches. Recall rates better than the contemporary FABMAP 2.0 approach have been observed without the additional geometric verification. The second contribution of this thesis is the formulation of a visual memory management approach suitable for long term operability of mobile robots. The formulated approach is suitable for both topological and metrical visual maps. Initial results which demonstrate the capabilities of this approach have been provided. Finally, a detailed description of the acquisition and construction of our multi-sensor dataset is provided. The aim of this dataset is to serve the researchers working in the mobile robotics and vision communities for evaluating applications like visual SLAM, mapping and visual odometry. This is the first dataset with omnidirectional images acquired on a car-like vehicle driven along a trajectory with multiple loops. The dataset consists of 6 sequences with data from 11 sensors including 7 cameras, stretching 18 kilometers in a semi-urban environmental setting with complete and precise ground-truth.

Dans le cadre de la robotique mobile, des progrès significatifs ont été obtenus au cours des trois dernières décennies pour la cartographie et la localisation. La plupart des projets de recherche traitent du problème de SLAM métrique. Les techniques alors développées sont sensibles aux erreurs liées à la dérive ce qui restreint leur utilisation à des environnements de petite échelle. Dans des environnements de grande taille, l'utilisation de cartes topologiques, qui sont indépendantes de l'information métrique, se présentent comme une alternative aux approches métriques.Cette thèse porte principalement sur le problème de la construction de cartes topologiques pour la navigation de robots mobiles dans des environnements urbains de grande taille, en utilisant des caméras omnidirectionnelles. La principale contribution de cette thèse est la résolution efficace et avec précision du problème de fermeture de boucles, problème qui est au coeur de tout algorithme de cartographie topologique. Le cadre de cartographie topologique éparse / hiérarchique proposé allie une approche de partionnement de séquence d'images (ISP) par regroupement des images visuellement similaires dans un noeud avec une approche de détection de fermeture de boucles permettant de connecter ces noeux. Le graphe topologique alors obtenu représente l'environnement du robot. L'algorithme de fermeture de boucle hiérarchique développé permet d'extraire dans un premier temps les noeuds semblables puis, dans un second temps, l'image la plus similaire. Cette détection de fermeture de boucles hiérarchique est rendue efficace par le stockage du contenu des cartes éparses sous la forme d'une structure de données d'indexation appelée fichier inversé hiérarchique (HIF). Nous proposons de combiner le score de pondération TFIDF avec des contraintes spatiales et la fréquence des amers détectés pour obtenir une meilleur robustesse de la fermeture de boucles. Les résultats en terme de densité et précision des cartes obtenues et d'efficacité sont évaluées et comparées aux résultats obtenus avec des approches de l'état de l'art sur des séquences d'images omnidirectionnelles acquises en milieu extérieur. Au niveau de la précision des détections de boucles, des résultats similaires ont été observés vis-à-vis des autres approches mais sans étape de vérification utilisant la géométrie épipolaire. Bien qu'efficace, l'approche basée sur HIF présente des inconvénients comme la faible densité des cartes et le faible taux de détection des boucles. Une seconde technique de fermeture de boucle a alors été développée pour combler ces lacunes. Le problème de la faible densité des cartes est causé par un sur-partionnement de la séquence d'images. Celui-ci est résolu en utilisant des vecteurs de descripteurs agrégés localement (VLAD) lors de l'étape de ISP. Une mesure de similarité basée sur une contrainte spatiale spécifique à la structure des images omnidirectionnelles a également été développée. Des résultats plus précis sont obtenus, même en présence de peu d'appariements. Les taux de réussite sont meilleurs qu'avec FABMAP 2.0, la méthode la plus utilisée actuellement, sans étape supplémentaire de vérification géométrique.L'environnement est souvent supposé invariant au cours du temps : la carte de l'environnement est construite lors d'une phase d'apprentissage puis n'est pas modifiée ensuite. Une gestion de la mémoire à long terme est nécessaire pour prendre en compte les modifications dans l'environnement au cours du temps. La deuxième contribution de cette thèse est la formulation d'une approche de gestion de la mémoire visuelle à long terme qui peut être utilisée dans le cadre de cartes visuelles topologiques et métriques. Les premiers résultats obtenus sont encourageants. (...)

Qui n’a jamais souhaité avoir des yeux derrière la tête ? Cette thèse propose d’étudier l’extension du champ visuel humain, que ce soit dans le monde réel ou dans un environnement virtuel. Nous avons d’abord conçu FlyVIZ, un dispositif qui permet d’augmenter le champ visuel. Il est composé d’une caméra catadioptrique, d’un visiocasque et d’un algorithme de traitement d’image. Lorsqu’un utilisateur porte ce dispositif, il dispose d’une vue à 360 degrés de son environnement. Le prototype a été testé avec succès dans différents scenarios, comme attraper un objet tendu dans le dos sans tourner la tête, ou passer des portes en marchant à reculons. Ensuite nous avons proposé une nouvelle méthode pour le rendu d’environnements virtuels, avec un champ visuel étendu, et en temps réel. Pour résoudre les problèmes dus à l’utilisation de projections non planes, nous avons ajouté une nouvelle étape dans le pipeline graphique. Notre méthode a ensuite été adaptée au rendu stéréoscopique avec un champ visuel de 360°. Nous avons mené une évaluation préliminaire sur l’utilisation d’un champ visuel étendu appliqué à une tache de navigation dans des environnements virtuels. Nos résultats semblent confirmer que l’utilisation d’un champ visuel étendu permet une navigation plus efficace, en diminuant le temps moyen pour effectuer une tache. Parmi les différentes projections non planes testées, une préférence pour les projections équirectangulaire et de Hammer a été exprimée. Nous avons également traité le problème de conflit d’indice de profondeurs rencontré dans les images stéréoscopiques lorsqu’un objet affiché en parallaxe négative est partiellement occulté par un bord du support d’affichage. Nous avons proposé SCVC (Stereoscopy Compatible Volume Clipping, le découpage de la scène selon le volume compatible avec la stéréoscopie) pour résoudre ce problème en n’affichant que la partie de l’espace qui n’est pas sujette au conflit d’indice de profondeur. La méthode a été évaluée et les résultats ont montrés que SCVC améliore significativement la perception de la profondeur et que les utilisateurs expriment une préférence pour cette méthode. L’extension du champ visuel humain ouvre de nouvelles perspectives pour l’exploration ou la surveillance de l’environnement d’un utilisateur. Cette extension pourrait bénéficier à diverses applications, que ce soit dans le contexte d’un environnement réel ou virtuel. Pour la sécurité des personnes ou la défense, des pompiers, des policiers ou des soldats pourraient tirer avantage d’un champ visuel étendu. Ce type de visualisation peut également profiter à l’exploration rapide d’environnements virtuels ou à la recherche d’objet dans ces derniers. / Who have never wanted to have eyes in the back of his head? This doctoral thesis proposes to study the extension of the human field-of-view (FoV) in both real and virtual environments. First we have designed FlyVIZ, a new device to increase the human FoV. It is composed of a helmet, combining a catadioptric camera, a HMD and an image processing algorithm. Wearing this device allows a user to experience 360° vision of its surroundings. The prototype is demonstrated through scenarii such as grasping an object held out behind their back without turning their head or walking backward through doorways. Then we have proposed a novel method to render virtual environments with wide FoV in real-time. To solve the rendering issue induced by usage of non-planar projections, we introduce a special stage in real-time rendering pipeline. Our method was then adapted for real-time stereoscopic rendering with 360° FoV. We have conducted a preliminary evaluation of real-time wide FoV rendering for a navigation task in virtual reality. Our results confirm that using a wide FoV rendering method could lead to more efficient navigation in terms of average task completion time. Among the different tested non-planar projection methods, the subjective preference is given to equirectangular and Hammer projections. We also address the problem of frame cancellation, generated by the conflict between two depth cues: stereo disparity and occlusion with the screen border. We have proposed the Stereoscopy Compatible Volume Clipping (SCVC), solving the problem by rendering only the part of the viewing volume free of disparity - frame occlusion conflict. The method was evaluated and results have shown that SCVC notably improved users’ depth perception and that the users expressed preference for SCVC. Wide FoV opens novel perspectives for environments exploration or monitoring. Therefore, it could benefit to several applications, both in real world context or virtual environments. In safety and security applications, firemen, policemen or soldiers could take advantage of wide FoV. Performance of searching task and fast exploration in virtual environments could also be improved with wide FoV.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Les travaux de thèse présentés dans ce mémoire ont pour objectif la conception et l'évaluation d'un système de vision 3D constitué de deux capteurs catadioptriques positionnés verticalement. Afin d'obtenir un modèle 3D, l'étalonnage des capteurs, c'est-à-dire l'estimation des relations entre l'espace 3D et le plan image, est un préalable indispensable. Une méthode, qualifiée de paramétrique a tout d'abord été implémentée. Elle utilise un modèle ad hoc et une mire 3D de forme cylindrique dont les points d'intérêt sont des diodes électroluminescentes. Cette méthode formule l'hypothèse d'un centre de projection unique qui peut s'avérer difficile à mettre oeuvre en pra- tique. Nous proposons donc une méthode non-paramétrique qui permet de s'affranchire des contraintes liées aux modèles. Les relations entre l'espace 3D et le plan image sont alors définies pour un nombre fini de points et des algorithmes d'interpolation numérique permettent d'approximer les fonctions de projection et rétro-projection pour tous les couples points 3D-points 2D. Nous proposons ensuite l'implémentation et l'évaluation d'une méthode de reconstruction 3D volumétrique qui modélise la scène sous forme d'un tableau 3D dont chaque cellule est un voxel. Une mesure de similarité colorimétrique des projections du voxel dans chaqu'une des images permet de statuer quant à l'appartenance du voxel à un objet de la scène. Cette méthode est évaluée pour une reconstruction statique de la scène 3D, c'est-à-dire pour une acquisition d'images simultanée. Puis cette méthode est étudiée pour des déplacements du capteur. Il s'agit d'une reconstruction dynamique définie comme l'intersection des reconstructions statiques réalisées à des instants successifs.

Les travaux présentés dans cette thèse concernent la reconstruction tridimensionnelle de l'environnement d'un robot mobile, à partir d'informations de vision omnidirectionnelle, pour la préparation d'interventions. Nous nous intéressons dans un premier temps à la conception d'une architecture matérielle adaptée aux problématiques de la reconstruction 3D et de la navigation autonome. Le calibrage d'un système de vision est une étape indispensable dès lors que celui-ci est destiné à effectuer des mesures sur son environnement. Cette phase consiste à modéliser le système pour établir la relation mathématique liant les points 3D et leurs projections dans les images. Après une discussion sur le choix du modèle, nous présentons une méthodologie pour estimer les paramètres du modèle retenu. La structure stéréoscopique du capteur que nous avons développé rend possible la reconstruction tridimensionnelle de l'environnement sans déplacement. Nous proposons donc des algorithmes permettant la reconstruction dense de l'environnement, ainsi que des algorithmes de détection de primitives dans les images omnidirectionnelles. Lorsque le capteur est en mouvement, nous exploitons ses déplacements pour enrichir le modèle 3D. Notre principale contribution porte sur le développement d'un algorithme d'ajustement de faisceaux pour les capteurs stéréoscopiques omnidirectionnels qui permet d'obtenir une estimation des déplacements en ne nécessitant que des données visuelles.

Estimer le mouvement d'un robot mobile tout en construisant une représentation de son environnement est un problème essentiel pour le développement des robots autonomes : il est connu sous l'acronyme de SLAM (Simultaneous Localization and Mapping). Nous nous intéressons dans cette thèse au SLAM visuel avec caméra omnidirectionnelle. L'environnement est représenté par des amers ponctuels dont la profondeur n'est pas mesurée directement. Nous nous sommes d'abord intéressés aux méthodes de résolution du SLAM. Deux approches ont retenu notre attention de part leur consistance : le SAM (Smoothing and Mapping : une méthode de lissage probabiliste prenant en compte toute la trajectoire) et l'analyse par intervalles. Une étude en simulation a été menée et conclut que la méthode d'analyse par intervalles est inadaptée au SLAM visuel en raison de la faible redondance d'informations. Le SAM a ensuite été validé sur des données réelles, dans les cas de deux trajectoires planes et d'une à 6 degrés de liberté. Un problème du SLAM est sa complexité calculatoire quadratique avec le nombre d'amers. Il est souvent résolu en segmentant l'environnement en cartes locales. Nous avons repris ce concept en l'améliorant sur deux points. Premièrement, chaque nouvelle carte intègre les informations de la précédente de façon consistante. Ensuite, le critère déterminant quand changer de carte impose désormais que chaque carte locale soit fortement corrélée, ce qui permet de limiter l'augmentation des incertitudes. Nous avons finalement utilisé cet aspect pour appliquer des algorithmes déterministes pour augmenter la représentation ponctuelle par des plans texturés et une visualisation pertinente de l'espace libre.

Dans le domaine de la robotique, la vision omnidirectionnelle est privilégiée car elle augmente le champ de vision des capteurs ce qui permet une meilleur navigation et localisation des robots. Les capteurs catadioptriques (combinaison de miroir(s) + caméra(s)) représentent une solution simple et rapide pour atteindre une vue large satisfaisante. Cependant, à cause de la géométrie des miroirs de révolution utilisés, ces capteurs fournissent des images possédant une résolution non uniforme et entrainent des distorsions géométriques. Deux approches sont présentées dans la littérature pour remédier à ces désagréments. La première consiste à traiter les images omnidirectionnelles comme étant des images perspectives, tandis que la seconde utilise des méthodes adaptées à la géométrie des capteurs en travaillant sur des espaces équivalents (Sphère, cylindre). Le principal atout de la première approche est le gain en temps de traitement par contre la qualité des résultats est souvent dépassée par celle des méthodes adaptées. Dans le cadre des travaux de cette thèse, nous avons choisi la voie de la première catégorie. L'objectif est de proposer des méthodes (mise en correspondance, détection de contour et détection de coin) permettant d'améliorer les résultats des traitements des images omnidirectionnelles. Les méthodes proposées sont basées sur des mesures statistiques. Elles présentent l'avantage de parcourir les images omnidirectionnelles par des voisinages (fenêtres) de taille fixe, sans passer par leurs adaptations aux caractéristiques intrinsèques du capteur et à la géométrie du miroir utilisé. Elle présente également l'avantage de ne pas faire appel à la dérivation qui accentue l'effet du bruit aux hautes fréquences de l'image. Les méthodes proposées ont été d'abord validées sur des images perspectives avant d'être appliquées sur les images omnidirectionnelles. Les résultats comparatifs obtenus sont satisfaisants.