La détection de fermeture de boucle est cruciale pour améliorer la robustesse des algorithmes de SLAM. Par exemple, après un long parcours dans des zones inconnues de l'environnement, détecter que le robot est revenu sur une position passée offre la possibilité d'accroître la précision et la cohérence de l'estimation. Reconnaître des lieux déjà cartographiés peut également être pertinent pour apporter une solution au problème de la localisation globale, ou encore pour rétablir une estimation correcte suite à un

Dans le cadre de la robotique mobile, des progrès significatifs ont été obtenus au cours des trois dernières décennies pour la cartographie et la localisation. La plupart des projets de recherche traitent du problème de SLAM métrique. Les techniques alors développées sont sensibles aux erreurs liées à la dérive ce qui restreint leur utilisation à des environnements de petite échelle. Dans des environnements de grande taille, l’utilisation de cartes topologiques, qui sont indépendantes de l’information métrique, se présentent comme une alternative aux approches métriques.Cette thèse porte principalement sur le problème de la construction de cartes topologiques pour la navigation de robots mobiles dans des environnements urbains de grande taille, en utilisant des caméras omnidirectionnelles. La principale contribution de cette thèse est la résolution efficace et avec précision du problème de fermeture de boucles, problème qui est au coeur de tout algorithme de cartographie topologique. Le cadre de cartographie topologique éparse / hiérarchique proposé allie une approche de partionnement de séquence d’images (ISP) par regroupement des images visuellement similaires dans un noeud avec une approche de détection de fermeture de boucles permettant de connecter ces noeux. Le graphe topologique alors obtenu représente l’environnement du robot. L’algorithme de fermeture de boucle hiérarchique développé permet d’extraire dans un premier temps les noeuds semblables puis, dans un second temps, l’image la plus similaire. Cette détection de fermeture de boucles hiérarchique est rendue efficace par le stockage du contenu des cartes éparses sous la forme d’une structure de données d’indexation appelée fichier inversé hiérarchique (HIF). Nous proposons de combiner le score de pondération TFIDF avec des contraintes spatiales et la fréquence des amers détectés pour obtenir une meilleur robustesse de la fermeture de boucles. Les résultats en terme de densité et précision des cartes obtenues et d’efficacité sont évaluées et comparées aux résultats obtenus avec des approches de l’état de l’art sur des séquences d’images omnidirectionnelles acquises en milieu extérieur. Au niveau de la précision des détections de boucles, des résultats similaires ont été observés vis-à-vis des autres approches mais sans étape de vérification utilisant la géométrie épipolaire. Bien qu’efficace, l’approche basée sur HIF présente des inconvénients comme la faible densité des cartes et le faible taux de détection des boucles. Une seconde technique de fermeture de boucle a alors été développée pour combler ces lacunes. Le problème de la faible densité des cartes est causé par un sur-partionnement de la séquence d’images. Celui-ci est résolu en utilisant des vecteurs de descripteurs agrégés localement (VLAD) lors de l’étape de ISP. Une mesure de similarité basée sur une contrainte spatiale spécifique à la structure des images omnidirectionnelles a également été développée. Des résultats plus précis sont obtenus, même en présence de peu d’appariements. Les taux de réussite sont meilleurs qu’avec FABMAP 2.0, la méthode la plus utilisée actuellement, sans étape supplémentaire de vérification géométrique.L’environnement est souvent supposé invariant au cours du temps : la carte de l’environnement est construite lors d’une phase d’apprentissage puis n’est pas modifiée ensuite. Une gestion de la mémoire à long terme est nécessaire pour prendre en compte les modifications dans l’environnement au cours du temps. La deuxième contribution de cette thèse est la formulation d’une approche de gestion de la mémoire visuelle à long terme qui peut être utilisée dans le cadre de cartes visuelles topologiques et métriques. Les premiers résultats obtenus sont encourageants. (...) / Over the last three decades, research in mobile robotic mapping and localization has seen significant progress. However, most of the research projects these problems into the SLAM framework while trying to map and localize metrically. As metrical mapping techniques are vulnerable to errors caused by drift, their ability to produce consistent maps is limited to small scale environments. Consequently, topological mapping approaches which are independent of metrical information stand as an alternative to metrical approaches in large scale environments. This thesis mainly deals with the loop closure problem which is the crux of any topological mapping algorithm. Our main aim is to solve the loop closure problem efficiently and accurately using an omnidirectional imaging sensor. Sparse topological maps can be built by representing groups of visually similar images of a sequence as nodes of a topological graph. We propose a sparse / hierarchical topological mapping framework which uses Image Sequence Partitioning (ISP) to group visually similar images of a sequence as nodes which are then connected on occurrence of loop closures to form a topological graph. A hierarchical loop closure algorithm that can first retrieve the similar nodes and then perform an image similarity analysis on the retrieved nodes is used. An indexing data structure called Hierarchical Inverted File (HIF) is proposed to store the sparse maps to facilitate an efficient hierarchical loop closure. TFIDF weighting is combined with spatial and frequency constraints on the detected features for improved loop closure robustness. Sparsity, efficiency and accuracy of the resulting maps are evaluated and compared to that of the other two existing techniques on publicly available outdoor omni-directional image sequences. Modest loop closure recall rates have been observed without using the epi-polar geometry verification step common in other approaches. Although efficient, the HIF based approach has certain disadvantages like low sparsity of maps and low recall rate of loop closure. To address these shortcomings, another loop closure technique using spatial constraint based similarity measure on omnidirectional images has been proposed. The low sparsity of maps caused by over-partitioning of the input sequence has been overcome by using Vector of Locally Aggregated Descriptors (VLAD) for ISP. Poor resolution of the omnidirectional images causes fewer feature matches in image pairs resulting in reduced recall rates. A spatial constraint exploiting the omnidirectional image structure is used for feature matching which gives accurate results even with fewer feature matches. Recall rates better than the contemporary FABMAP 2.0 approach have been observed without the additional geometric verification. The second contribution of this thesis is the formulation of a visual memory management approach suitable for long term operability of mobile robots. The formulated approach is suitable for both topological and metrical visual maps. Initial results which demonstrate the capabilities of this approach have been provided. Finally, a detailed description of the acquisition and construction of our multi-sensor dataset is provided. The aim of this dataset is to serve the researchers working in the mobile robotics and vision communities for evaluating applications like visual SLAM, mapping and visual odometry. This is the first dataset with omnidirectional images acquired on a car-like vehicle driven along a trajectory with multiple loops. The dataset consists of 6 sequences with data from 11 sensors including 7 cameras, stretching 18 kilometers in a semi-urban environmental setting with complete and precise ground-truth.

Dans le cadre de la robotique mobile, des progrès significatifs ont été obtenus au cours des trois dernières décennies pour la cartographie et la localisation. La plupart des projets de recherche traitent du problème de SLAM métrique. Les techniques alors développées sont sensibles aux erreurs liées à la dérive ce qui restreint leur utilisation à des environnements de petite échelle. Dans des environnements de grande taille, l'utilisation de cartes topologiques, qui sont indépendantes de l'information métrique, se présentent comme une alternative aux approches métriques.Cette thèse porte principalement sur le problème de la construction de cartes topologiques pour la navigation de robots mobiles dans des environnements urbains de grande taille, en utilisant des caméras omnidirectionnelles. La principale contribution de cette thèse est la résolution efficace et avec précision du problème de fermeture de boucles, problème qui est au coeur de tout algorithme de cartographie topologique. Le cadre de cartographie topologique éparse / hiérarchique proposé allie une approche de partionnement de séquence d'images (ISP) par regroupement des images visuellement similaires dans un noeud avec une approche de détection de fermeture de boucles permettant de connecter ces noeux. Le graphe topologique alors obtenu représente l'environnement du robot. L'algorithme de fermeture de boucle hiérarchique développé permet d'extraire dans un premier temps les noeuds semblables puis, dans un second temps, l'image la plus similaire. Cette détection de fermeture de boucles hiérarchique est rendue efficace par le stockage du contenu des cartes éparses sous la forme d'une structure de données d'indexation appelée fichier inversé hiérarchique (HIF). Nous proposons de combiner le score de pondération TFIDF avec des contraintes spatiales et la fréquence des amers détectés pour obtenir une meilleur robustesse de la fermeture de boucles. Les résultats en terme de densité et précision des cartes obtenues et d'efficacité sont évaluées et comparées aux résultats obtenus avec des approches de l'état de l'art sur des séquences d'images omnidirectionnelles acquises en milieu extérieur. Au niveau de la précision des détections de boucles, des résultats similaires ont été observés vis-à-vis des autres approches mais sans étape de vérification utilisant la géométrie épipolaire. Bien qu'efficace, l'approche basée sur HIF présente des inconvénients comme la faible densité des cartes et le faible taux de détection des boucles. Une seconde technique de fermeture de boucle a alors été développée pour combler ces lacunes. Le problème de la faible densité des cartes est causé par un sur-partionnement de la séquence d'images. Celui-ci est résolu en utilisant des vecteurs de descripteurs agrégés localement (VLAD) lors de l'étape de ISP. Une mesure de similarité basée sur une contrainte spatiale spécifique à la structure des images omnidirectionnelles a également été développée. Des résultats plus précis sont obtenus, même en présence de peu d'appariements. Les taux de réussite sont meilleurs qu'avec FABMAP 2.0, la méthode la plus utilisée actuellement, sans étape supplémentaire de vérification géométrique.L'environnement est souvent supposé invariant au cours du temps : la carte de l'environnement est construite lors d'une phase d'apprentissage puis n'est pas modifiée ensuite. Une gestion de la mémoire à long terme est nécessaire pour prendre en compte les modifications dans l'environnement au cours du temps. La deuxième contribution de cette thèse est la formulation d'une approche de gestion de la mémoire visuelle à long terme qui peut être utilisée dans le cadre de cartes visuelles topologiques et métriques. Les premiers résultats obtenus sont encourageants. (...)

Dans cette thèse, nous présentons une nouvelle méthode de cartographie visuelle hybride qui exploite des informations métriques, topologiques et sémantiques. Notre but est de réduire le coût calculatoire par rapport à des techniques de cartographie purement métriques. Comparé à de la cartographie topologique, nous voulons plus de précision ainsi que la possibilité d’utiliser la carte pour le guidage de robots. Cette méthode hybride de construction de carte comprend deux étapes. La première étape peut être vue comme une carte topo-métrique avec des nœuds correspondants à certaines régions de l’environnement. Ces cartes sont ensuite complétées avec des données métriques aux nœuds correspondant à des sous-séquences d’images acquises quand le robot revenait dans des zones préalablement visitées. La deuxième étape augmente ce modèle en ajoutant des informations sémantiques. Une classification est effectuée sur la base des informations métriques en utilisant des champs de Markov conditionnels (CRF) pour donner un label sémantique à la trajectoire locale du robot (la route dans notre cas) qui peut être "doit", "virage" ou "intersection". L’information métrique des secteurs de route en virage ou en intersection est conservée alors que la métrique des lignes droites est effacée de la carte finale. La fermeture de boucle n’est réalisée que dans les intersections ce qui accroît l’efficacité du calcul et la précision de la carte. En intégrant tous ces nouveaux algorithmes, cette méthode hybride est robuste et peut être étendue à des environnements de grande taille. Elle peut être utilisée pour la navigation d’un robot mobile ou d’un véhicule autonome en environnement urbain. Nous présentons des résultats expérimentaux obtenus sur des jeux de données publics acquis en milieu urbain pour démontrer l’efficacité de l’approche proposée. / In this thesis, a novel vision based hybrid mapping framework which exploits metric, topological and semantic information is presented. We aim to obtain better computational efficiency than pure metrical mapping techniques, better accuracy as well as usability for robot guidance compared to the topological mapping. A crucial step of any mapping system is the loop closure detection which is the ability of knowing if the robot is revisiting a previously mapped area. Therefore, we first propose a hierarchical loop closure detection framework which also constructs the global topological structure of our hybrid map. Using this loop closure detection module, a hybrid mapping framework is proposed in two step. The first step can be understood as a topo-metric map with nodes corresponding to certain regions in the environment. Each node in turn is made up of a set of images acquired in that region. These maps are further augmented with metric information at those nodes which correspond to image sub-sequences acquired while the robot is revisiting the previously mapped area. The second step augments this model by using road semantics. A Conditional Random Field based classification on the metric reconstruction is used to semantically label the local robot path (road in our case) as straight, curved or junctions. Metric information of regions with curved roads and junctions is retained while that of other regions is discarded in the final map. Loop closure is performed only on junctions thereby increasing the efficiency and also accuracy of the map. By incorporating all of these new algorithms, the hybrid framework presented can perform as a robust, scalable SLAM approach, or act as a main part of a navigation tool which could be used on a mobile robot or an autonomous car in outdoor urban environments. Experimental results obtained on public datasets acquired in challenging urban environments are provided to demonstrate our approach.

Dans plusieurs tâches de la robotique, la vision est considérée comme l’élément essentiel avec lequel la perception de l’environnement ou l’interaction avec d’autres utilisateurs peut se réaliser. Néanmoins, les artefacts potentiellement présents dans les images capturées rendent la tâche de reconnaissance et d’interprétation de l’information visuelle extrêmement compliquée. Il est de ce fait, très important d’utiliser des primitives robustes, stables et ayant un taux de répétabilité élevé afin d’obtenir de bonnes performances. Cette thèse porte sur les problèmes de localisation et de détection de fermeture de boucle d’un robot mobile en utilisant la saillance visuelle. Les résultats en termes de précision et d’efficacité des applications de localisation et de détection de fermeture sont évalués et comparés aux résultats obtenus avec des approches de l’état de l’art sur différentes séquences d’images acquises en milieu extérieur. Le principal inconvénient avec les modèles proposés pour l’extraction de zones de saillance est leur complexité de calcul, ce qui conduit à des temps de traitement important. Afin d’obtenir un traitement en temps réel, nous présentons dans ce mémoire l’implémentation du détecteur de régions saillantes sur la plate forme reconfigurable DreamCam. / In several tasks of robotics, vision is considered to be the essential element by which the perception of the environment or the interaction with other users can be realized. However, the potential artifacts in the captured images make the task of recognition and interpretation of the visual information extremely complicated. It is therefore very important to use robust, stable and high repeatability rate primitives to achieve good performance. This thesis deals with the problems of localization and loop closure detection for a mobile robot using visual saliency. The results in terms of accuracy and efficiency of localization and closure detection applications are evaluated and compared to the results obtained with the approaches provided in literature, both applied on different sequences of images acquired in outdoor environnement. The main drawback with the models proposed for the extraction of salient regions is their computational complexity, which leads to significant processing time. To obtain a real-time processing, we present in this thesis also the implementation of the salient region detector on the reconfigurable platform DreamCam.

Thèse de doctorat à mi-chemin entre la recherche fondamentale et appliquée. Les champs disciplinaires sont principalement la biomécanique, l'ergonomie physique ou encore l'anatomie. Réalisé en cotutelle avec le professeur Paul Allard et Mickael Begon. / An occupation that requires handling loads combined with large elevation of the arms is associated with the occurrence of shoulders musculoskeletal disorder. The analysis of these joint movements is essential because it helps to quantify the stress applied to the musculoskeletal structures. This thesis provides an innovative model which allows the estimation of the shoulder complex kinematics and used it to analyze the joints kinematics during lifting tasks. It is organized into three sub-objectives. The first aim is the development and validation of a kinematic model the most representative as possible of the shoulder complex anatomy while correcting soft tissue artifacts through the use of global optimization. This model included a scapulothoracic closed loop, which constrains a scapular dot contact to be coincident with thoracic gliding plane modeled by a subject-specific ellipsoid. In the validation process, the reference model used the gold standard for direct measurements of bone movements. In dynamic movements, the closed loop model developed generates barely more kinematic errors that errors obtained for the study of standard movements by existing models. The second aim is to detect and quantify the shoulder articular movements influenced by the combined effects of two risk factors: task height and load weight. The results indicate that many peaks of joint angles are influenced by the interaction of height and weight. According to the different initial and deposits heights when the weight increases, the kinematics changes are substantial, in number and magnitude. The kinematic strategies of participants are more consistent when the weight of load increase for initial height lift at hips level compared to shoulders level, and for a deposit at eye level compared to shoulders. The third aim is to investigate the magnitude and temporality of the maximum peak vertical acceleration of the box. The significant joints movements are characterized with a principal component analysis of joint angle values collected at this instant. In particular, this study highlights that elbow flexion and thoraco-humeral elevation are two correlated invariant joint movements to all lifting tasks whatever the initial and deposit height, and weight of the load. The realism of the developed shoulder model and kinematics analyzes open perspectives in occupational biomechanics and contribute to risk prevention efforts in health and safety. / Une activité professionnelle qui exige de manipuler des charges combinée à de grandes élévations des bras augmente les chances de développer un trouble musculo-squelettique aux épaules. L’analyse de ces mouvements articulaires est essentielle car elle contribue à quantifier les contraintes appliquées aux structures musculo-squelettiques. Cette thèse propose un modèle innovant qui permet l’estimation de la cinématique du complexe de l’épaule, et l’utilise ensuite afin d’analyser la cinématique de levers de charge. Elle s’organise en trois sous-objectifs. Le premier concerne le développement et la validation d’un modèle cinématique le plus représentatif possible de l’anatomie du complexe de l’épaule tout en corrigeant les artéfacts des tissus mous par une optimisation multi-segmentaire. Ce modèle avec une fermeture de boucle scapulo-thoracique, impose à un point de contact scapulaire d’être coïncident au plan de glissement thoracique modélisé par un ellipsoïde mis à l’échelle pour chaque sujet. Le modèle qui a été utilisé comme référence lors des comparaisons du processus de validation bénéficie du « gold standard » de mesures directes des mouvements osseux. Le modèle développé en boucle fermée génère à peine plus d’erreurs cinématiques lors de mouvements dynamiques que les erreurs obtenues par les modèles existants pour l’étude de mouvements standards. Le second identifie et quantifie les mouvements articulaires de l’épaule influencés par la combinaison des effets de deux facteurs de risques : les hauteurs importantes d’agencement de la tâche (hauteurs de saisie et de dépôt) et les masses de charges (6 kg, 12 kg et 18 kg). Les résultats indiquent qu’il existe de nombreux pics d’angles articulaires qui sont influencés par l’interaction des deux effets. Lorsque la masse augmente, les modifications cinématiques sont plus importantes, en nombre et en amplitude, selon les différentes hauteurs de saisies et de dépôts de la charge. Les participants varient peu leur mode opératoire pour une saisie à hauteur des hanches en comparaison des épaules, et pour un dépôt à hauteur des yeux en comparaison aux épaules avec une charge plus lourde. Un troisième s’intéresse au pic maximal d’accélération verticale de la charge dans son intensité et sa temporalité. Basée sur une analyse en composante principale des valeurs d’angles articulaires à cet instant, elle permet de caractériser les mouvements articulaires significatifs. Cette étude met notamment en évidence que la flexion du coude et l’élévation thoraco-humérale sont deux mouvements articulaires corrélés invariants à toutes les tâches de lever en hauteur quelles que soient la hauteur de dépôt et la masse de la charge. Le souci de réalisme du modèle développé et les analyses cinématiques menées ouvrent des perspectives en biomécanique occupationnelle et participent à l’effort de prévention des risques en santé et sécurité.

Dans le contexte de la localisation globale et, plus largement, dans celui de la Localisation et Cartographie Simultanées, il est nécessaire de pouvoir déterminer si un robot revient dans un endroit déjà visité. Il s'agit du problème de la détection de fermeture de boucle. Dans un cadre de reconnaissance visuelle des lieux, les algorithmes existants permettent une détection en temps-réel, une robustesse face à l'aliasing perceptuel ou encore face à la présence d'objets dynamiques. Ces algorithmes sont souvent sensibles à l'orientation du robot rendant impossible la fermeture de boucle à partir d'un point de vue différent. Pour palier ce problème, des caméras panoramiques ou omnidirectionnelles sont employées. Nous présentons ici une méthode plus générale de représentation de l'environnement sous forme d'une vue sphérique ego-centrée. En utilisant les propriétés de cette représentation, nous proposons une méthode de détection de fermeture de boucle satisfaisant, en plus des autres propriétés, une indépendance à l'orientation du robot. Le modèle de l'environnement est souvent un ensemble d'images prises à des instants différents, chaque image représentant un lieu. Afin de grouper ces images en lieux significatifs de l'environnement, des lieux topologiques, les méthodes existantes emploient une notion de covisibilité de l'information entre les lieux. Notre approche repose sur l'exploitation de la structure de l'environnement. Nous définissons ainsi un lieu topologique comme ayant une structure qui ne varie pas, la variation engendrant le changement de lieu. Les variations de structure sont détectées à l'aide d'un algorithme efficace de détection de rupture de modèle.