Cette thèse porte sur le traitement automatique d'images couleur, et son application à la robotique dans des environnements semi-structurés d'extérieur. Nous proposons une méthode de navigation visuelle pour des robots mobiles en utilisant une caméra couleur. Les domaines d'application de ce travail se situent dans l'automatisation de machines agricoles, en vue de la navigation automatique dans un réseau de chemins (pour aller d'une ferme à un champ par exemple). Nous présentons tout d'abord une analyse des principaux travaux de recherche dans la littérature sur la navigation visuelle. Une chaîne de pré-traitement pour le rendu couleur d'images numériques mono-capteur dotées d'un filtre Bayer est présentée ; elle se base sur une étude des techniques de démosaïquage, le calibrage chromatique d'images (balance de blancs) et la correction gamma. Une méthode d'interprétation monoculaire de la scène courante permet d'extraire les régions navigables et un modèle 2D de la scène. Nous traitons de la segmentation d'une image couleur en régions, puis de la caractérisation de ces régions par des attributs de texture et de couleur, et enfin, de l'identification des diverses entités de la scène courante (chemin, herbe, arbre, ciel, champ labouré,&). Pour cela, nous exploitons deux méthodes de classification supervisée : la méthode de Support Vector Machine) (SVM) et celle des k plus proches voisins (k-PPV). Une réduction d'information redondante par une analyse en composantes indépendantes (ACI) a permis d'améliorer le taux global de reconnaissance. Dans un réseau de chemins, le robot doit reconnaître les intersections de chemins lui permettant (a) dans une phase d'apprentissage, de construire un modèle topologique du réseau dans lequel il va devoir se déplacer et (b) dans une phase de navigation, de planifier et exécuter une trajectoire topologique définie dans ce réseau. Nous proposons donc une méthode de détection et classification du chemin: ligne droite, virage gauch e, virage droite, carrefour en X, en T ou en Y. Une approche pour la représentation de la forme et de la catégorisation des contours (Shape Context) est utilisée à cet effet. Une validation a été effectuée sur une base d'images de routes ou chemins de campagne. En exploitant cette méthode pour détecter et classifier les noeuds du réseau de chemins, un modèle topologique sous forme d'un graphe est construit; la méthode est validée sur une séquence d'images de synthèse. Enfin, dans la dernière partie de la thèse, nous décrivons des résultats expérimentaux obtenus sur le démonstrateur DALA du groupe Robotique et IA du LAAS-CNRS. Le déplacement du robot est contrôlé et guidé par l'information fournie par le système de vision à travers des primitives de déplacement élémentaires (Suivi-Chemin, Suivi-Objet, Suivi-Bordure,...). Le robot se place au milieu du chemin en construisant une trajectoire à partir du contour de cette région navigable. Étant donné que le modèle sémantique de la scène est produit à basse fréquence (de 0,5 à 1Hz) par le module de vision couleur, nous avons intégré avec celui-ci, un module de suivi temporel des bords du chemin (par Snakes), pour augmenter la fréquence d'envoi des consignes (de 5 à 10 Hz) au module de locomotion. Modules de vision couleur et de suivi temporel doivent être synchronisés de sorte que le suivi puisse être réinitialisé en cas de dérive. Après chaque détection du chemin, une trajectoire sur le sol est planifiée et exécutée; les anciennes consignes qui ne sont pas encore exécutées sont fusionnées et filtrées avec les nouvelles, donnant de la stabilité au système.

La possibilité pour un robot de naviguer en utilisant uniquement la vision est attrayante en raison de sa simplicité. Les approches de navigation traditionnelles basées sur la vision nécessitent une étape préalable de construction de carte qui est ardue et sujette à l'échec, ou ne peuvent que suivre exactement des trajectoires précédemment exécutées. Les nouvelles techniques de navigation visuelle basées sur l'apprentissage réduisent la dépendance à l'égard d'une carte et apprennent plutôt directement des politiques de navigation à partir des images. Il existe actuellement deux paradigmes dominants : les approches de bout en bout qui renoncent entièrement à la représentation explicite de la carte, et les approches topologiques qui préservent toujours une certaine connectivité de l'espace. Cependant, alors que les méthodes de bout en bout ont tendance à éprouver des difficultés dans les tâches de navigation sur de longues distances, les solutions basées sur les cartes topologiques sont sujettes à des défaillances dues à des arêtes erronées dans le graphe. Dans ce document, nous proposons une méthode de navigation visuelle topologique basée sur l'apprentissage, avec des stratégies de mise à jour du graphe, qui améliore les performances de navigation sur toute la durée de vie du robot. Nous nous inspirons des algorithmes de planification basés sur l'échantillonnage pour construire des graphes topologiques basés sur l'image, ce qui permet d'obtenir des graphes plus épars et d'améliorer les performances de navigation par rapport aux méthodes de base. En outre, contrairement aux contrôleurs qui apprennent à partir d'environnements d'entraînement fixes, nous montrons que notre modèle peut être affiné à l'aide d'un ensemble de données relativement petit provenant de l'environnement réel où le robot est déployé. Enfin, nous démontrons la forte performance du système dans des expériences de navigation de robots dans le monde réel. / The ability for a robot to navigate using vision only is appealing due to its simplicity. Traditional vision-based navigation approaches require a prior map-building step that was arduous and prone to failure, or could only exactly follow previously executed trajectories. Newer learning-based visual navigation techniques reduce the reliance on a map and instead directly learn policies from image inputs for navigation. There are currently two prevalent paradigms: end-to-end approaches forego the explicit map representation entirely, and topological approaches which still preserve some loose connectivity of the space. However, while end-to-end methods tend to struggle in long-distance navigation tasks, topological map-based solutions are prone to failure due to spurious edges in the graph. In this work, we propose a learning-based topological visual navigation method with graph update strategies that improves lifelong navigation performance over time. We take inspiration from sampling-based planning algorithms to build image-based topological graphs, resulting in sparser graphs with higher navigation performance compared to baseline methods. Also, unlike controllers that learn from fixed training environments, we show that our model can be finetuned using a relatively small dataset from the real-world environment where the robot is deployed. Finally, we demonstrate strong system performance in real world robot navigation experiments.

Une tâche fondamentale en robotique consiste à naviguer entre deux endroits. En particulier, la navigation dans le monde réel nécessite une planification à long terme à l'aide d'images RVB (RGB) en haute dimension, ce qui constitue un défi considérable pour les approches d'apprentissage de bout-en-bout. Les méthodes semi-paramétriques actuelles parviennent plutôt à atteindre des objectifs éloignés en combinant des modèles paramétriques avec une mémoire topologique de l'environnement, souvent représentée sous forme d'un graphe ayant pour nœuds des images précédemment vues. Cependant, l'utilisation de ces graphes implique généralement l'ajustement d'heuristiques d'élagage afin d'éviter les arêtes superflues, limiter la mémoire requise et permettre des recherches raisonnablement rapides dans le graphe. Dans cet ouvrage, nous montrons comment les approches de bout-en-bout basées sur l'apprentissage auto-supervisé peuvent exceller dans des tâches de navigation à long terme. Nous présentons initialement Duckie-Former (DF), une approche de bout-en-bout pour la navigation visuelle dans des environnements routiers. En utilisant un Vision Transformer (ViT) pré-entraîné avec une méthode auto-supervisée, nous nous inspirons des champs de potentiels afin de dériver une stratégie de navigation utilisant en entrée un masque de segmentation d'image de faible résolution. DF est évalué dans des tâches de navigation de suivi de voie et d'évitement d'obstacles. Nous présentons ensuite notre deuxième approche intitulée One-4-All (O4A). O4A utilise l'apprentissage auto-supervisé et l'apprentissage de variétés afin de créer un pipeline de navigation de bout-en-bout sans graphe permettant de spécifier l'objectif à l'aide d'une image. La navigation est réalisée en minimisant de manière vorace une fonction de potentiel définie de manière continue dans l'espace latent O4A. Les deux systèmes sont entraînés sans interagir avec le simulateur ou le robot sur des séquences d'exploration de données RVB et de contrôles non experts. Ils ne nécessitent aucune mesure de profondeur ou de pose. L'évaluation est effectuée dans des environnements simulés et réels en utilisant un robot à entraînement différentiel. / A fundamental task in robotics is to navigate between two locations. Particularly, real-world navigation can require long-horizon planning using high-dimensional RGB images, which poses a substantial challenge for end-to-end learning-based approaches. Current semi-parametric methods instead achieve long-horizon navigation by combining learned modules with a topological memory of the environment, often represented as a graph over previously collected images. However, using these graphs in practice typically involves tuning various pruning heuristics to prevent spurious edges, limit runtime memory usage, and allow reasonably fast graph queries. In this work, we show how end-to-end approaches trained through Self-Supervised Learning (SSL) can excel in long-horizon navigation tasks. We initially present Duckie-Former (DF), an end-to-end approach for visual servoing in road-like environments. Using a Vision Transformer (ViT) pretrained with a self-supervised method, we derive a potential-fields-like navigation strategy based on a coarse image segmentation model. DF is assessed in the navigation tasks of lane-following and obstacle avoidance. Subsequently, we introduce our second approach called One-4-All (O4A). O4A leverages SSL and manifold learning to create a graph-free, end-to-end navigation pipeline whose goal is specified as an image. Navigation is achieved by greedily minimizing a potential function defined continuously over the O4A latent space. O4A is evaluated in complex indoor environments. Both systems are trained offline on non-expert exploration sequences of RGB data and controls, and do not require any depth or pose measurements. Assessment is performed in simulated and real-world environments using a differential-drive robot.