Le présent travail porte sur la localisation incrémentale et absolue d'un robot mobile dans un environnement d'intérieur partiellement modélisé en utilisant la vision monoculaire. L'environnement de navigation du robot est à base de primitives géométriques (segments). Il intègre la notion d'occultation grâce à un découpage de l'espace 2-D navigable en Régions d'Invariance Visuelle. Le modèle de caméra à perspective pleine est obtenu grâce au calibrage par la méthode de Zhang. L'approche adoptée est composée de quatre étapes : acquisition d'une image à partir de la position courante du robot, extraction des primitives observées, mise en correspondance des primitives de l'image avec celles du modèle et calcul de la position et de l'orientation de la caméra. Deux méthodes numériques de calcul de la position et de l'orientation de la caméra grâce à des correspondances de droites sont présentées est adaptées au cas spécifique de la robotique mobile. Enfin, un algorithme de mise en correspondance des segments de l'image avec ceux du modèle est défini. Il est basé sur la recherche dans un arbre d'interprétation. Les Régions d'Invariance Visuelle et la configuration du système sont utilisées pour réduire l'espace des correspondances. Des contraintes géométriques d'ordre un et deux sont définies pour assurer l'élagage rapide de l'arbre. Une nouvelle fonction de vérification de la cohérence globale permet de sélectionner l'hypothèse de correspondance la plus cohérente.

Le SLAM, " Simultaneous Localisation And Mapping ", représente à l'heure actuelle l'une des principales thématiques investiguées dans le domaine des robots mobiles autonomes. Il permet, à l'aide de capteurs extéroceptifs (laser, caméra, radar, etc.) et proprioceptifs (odomètre, gyromètre, etc.), de trouver l'orientation et la localisation d'un robot dans un environnement extérieur vaste, inconnu ou modifié, avec la possibilité de créer une carte au fur et à mesure des déplacements du véhicule. Les travaux de thèse décrits dans ce manuscrit s'intègrent dans ce courant de recherche. Ils visent à développer un SLAM innovant qui utilise un radar à modulation de fréquence continue " FMCW " comme capteur extéroceptif. Ce capteur est insensible aux conditions climatiques et possède une portée de détection importante. Néanmoins, c'est un capteur tournant qui, dans une utilisation mobile, va fournir des données corrompues par le déplacement du véhicule. Pour mener à bien ces travaux, nous avons proposés différentes contributions : une correction de la distorsion par l'utilisation de capteurs proprioceptifs ; le développement d'une technique de localisation et cartographie simultanées nommée RS-SLAM-FMT qui effectue un scan matching sur les observations et utilise un algorithme estimatif de type EKF-SLAM ; l'utilisation, pour la première fois en SLAM, de la mise en correspondance par Transformée de Fourier-Mellin pour réaliser l'opération de scan matching ; la création d'un outil expérimental pour déterminer la matrice de covariance associée aux observations ; des tests de robustesse de l'algorithme dans des conditions d'utilisation réelles : dans des zones avec un faible nombre de points d'intérêts, sur des parcours effectués à vitesse élevée, dans des environnements péri-urbains avec une forte densité d'objets mobiles ; la réalisation d'une application temps réel pour le test du procédé sur un véhicule d'exploration qui se déplace dans un environnement extérieur vaste.

Dans le cadre de la robotique mobile en environnement extérieur, les concepts de localisation et de perception sont au coeur de toute réalisation. Aussi, les travaux menés au sein de cette thèse visent à rendre plus robustes des processus de localisation existants sans pour autant augmenter de manière notable leur complexité. La problématique proposée place un robot au sein d'un environnement potentiellement dangereux avec pour objectif de suivre une trajectoire établie comme sécurisée avec une carte aussi simple que possible. De plus, des contraintes fortes sont imposées tant dans la réalisation (système peu onéreux, indétectable) que dans le résultat (une exécution temps-réel et une localisation en permanence dans une tolérance de 10 cm autour de la trajectoire de référence). Le capteur extéroceptif choisi pour mener à bien ce projet est une caméra tandis que l'estimation de la pose du véhicule à chaque instant est réalisée par un filtre de Kalman dans sa version étendue. Les principaux problèmes d'estimation résident dans la non-linéarité des modèles d'observation et les contributions apportées apportent quelques solutions : - une méthode de calcul exacte de la propagation des incertitudes de l'espace monde vers l'espace capteur (caméra) ; - une méthode de détection des principaux cas de divergence du filtre de Kalman dans le calcul de la phase de mise à jour ; - une méthode de correction du gain de Kalman. Ce projet avait deux objectifs : réaliser une fonction de localisation répondant aux contraintes fortes préalablement évoquées, et permettre à un véhicule de quitter temporairement la trajectoire de référence, suite à la prise en main de l'opérateur pour ensuite reprendre le cours normal de sa mission au plus près de la trajectoire de référence. Ce deuxième volet fait intervenir un cadre plus large dans lequel il faut, en plus de la localisation, cartographier son environnement. Cette problématique, identifiée par l'acronyme SLAM (Simultaneous Localization And Mapping), fait le lien avec les deux dernières contributions de ces travaux de thèse : - une méthode d'initialisation des points qui constitueront la carte SLAM ; - une méthode pour maintenir la cohérence entre la carte de référence et la carte SLAM. Des résultats sur des données réelles, étayant chacune des contributions, sont présentés et illustrent la réalisation des deux principaux objectifs. / In the context of outdoor mobile robotics, concepts of localization and perception are central to any achievement. Also, the work in this thesis improves an existing localization process more robust without signicantly increasing their complexity. The proposed problematic addresses a robot in a potentially dangerous field with the aim to follow a path established as safe with a map as simple as possible. In addition, strong constraints are imposed as in the realization (inexpensive system, undetectable) as in the result (a real-time process execution and a localization continuously within a tolerance of 10 cm closed to the reference trajectory). The exteroceptive sensor chosen to carry this project is a camera while the pose estimation of the vehicle at each moment is achieved with an Extended Kalman filter. The main estimation problems are due to the non-linearity of the models and contributions provide some solutions : - an exact calculation method of the propagation of uncertainties in space world into space sensor (camera) ; - a method to detect the main event of a divergence of the update step of the Kalman filter ; - a method to correct the Kalman gain. This project had two objectives : to achieve a localization function with respect to strong constraints previously mentioned, and allow a vehicle to leave temporarily the reference trajectory, while the operator modify the robot trajectory and then resume the normal course of its mission to the reference path. This second part involves a broader context in which it is necessary, in addition to the localization, to map the environment. This problem, identifed by the acronym SLAM (Simultaneous Localization And Mapping), made the connection with the last two contributions of this thesis work : - an initialization method of the points which will constitute the SLAM map ; - a method to maintain consistency between the reference map and the SLAM map. Results on real data, supporting each contribution, are presented and illustrate the realization of the two main objectives.

Les agents robotiques mobiles ou aériens sont confrontés au besoin de planifier des actions avec information incomplètesur l'état du monde. Dans ce contexte, cette thèse propose un cadre de modélisation et de résolution de problèmes deplanification de perception et de mission pour un drone hélicoptère qui évolue dans un environnement incertain etpartiellement observé afin de détecter et de reconnaître des cibles. Nous avons fondé notre travail sur les ProcessusDécisionnels Markoviens Partiellement Observables (POMDP), car ils proposent un schéma d'optimisation général pour lestâches de perception et de décision à long terme. Une attention particulière est donnée à la modélisation des sortiesincertaines de l'algorithme de traitement d'image en tant que fonction d'observation. Une analyse critique de la mise enoeuvre en pratique du modèle POMDP et du critère d'optimisation associé est proposée. Afin de respecter les contraintes desécurité et de sûreté de nos robots aériens, nous proposons ensuite une approche pour tenir compte des propriétés defaisabilité d'actions dans des domaines partiellement observables : le modèle AC-POMDP, qui sépare l'informationconcernant la vérification des propriétés du modèle, de celle qui renseigne sur la nature des cibles. Enfin, nous proposonsun cadre d'optimisation et d'exécution en parallèle de politiques POMDP en temps contraint. Ce cadre est basé sur uneoptimisation anticipée et probabilisée des états d'exécution futurs du système. Nous avons embarqué ce cadrealgorithmique sur les hélicoptères autonomes de l'Onera, et l'avons testé en vol et en environnement réel sur une missionde détection et reconnaissance de cibles. / Mobile and aerial robots are faced to the need of planning actions with incomplete information about the state of theworld. In this context, this thesis proposes a modeling and resolution framework for perception and mission planningproblems where an autonomous helicopter must detect and recognize targets in an uncertain and partially observableenvironment. We founded our work on Partially Observable Markov Decision Processes (POMDPs), because it proposes ageneral optimization framework for perception and decision tasks under long-term horizon. A special attention is given tothe outputs of the image processing algorithm in order to model its uncertain behavior as a probabilistic observationfunction. A critical study on the POMDP model and its optimization criterion is also conducted. In order to respect safetyconstraints of aerial robots, we then propose an approach to properly handle action feasibility constraints in partiallyobservable domains: the AC-POMDP model, which distinguishes between the verification of environmental properties andthe information about targets' nature. Furthermore, we propose a framework to optimize and execute POMDP policies inparallel under time constraints. This framework is based on anticipated and probabilistic optimization of future executionstates of the system. Finally, we embedded this algorithmic framework on-board Onera's autonomous helicopters, andperformed real flight experiments for multi-target detection and recognition missions.

Nous nous sommes intéressés dans cette thèse au problème d'ordonnancement temps réel dur multiprocesseur tolérant aux fautes pour des tâches non préemptives périodiques strictes pouvant être combinées avec des tâches préemptives. Nous avons proposé des solutions à ce problème et les avons implantées dans le logiciel SynDEx puis nous les avons testées sur une application de suivi de véhicules électriques CyCabs. Nous avons d'abord présenté un état de l'art sur les systèmes temps réel embarqués et plus précisément sur l'ordonnancement classique monoprocesseur et multiprocesseur de tâches préemptives périodiques. Comme nous nous intéressons aux applications de contrôle/commande temps réel critiques, les traitements de capteurs/actionneurs et les traitements de commande de procédés ne doivent pas avoir de gigue. Pour ces raisons nous avons aussi présenté un état de l'art sur l'ordonnancement des tâches non-préemptives périodiques strictes. Par ailleurs nous avons présenté un état de l'art sur la tolérance aux fautes. Comme nous nous sommes intéressés aux fautes matérielles, nous avons présenté les deux types de redondances : logicielle et matérielle. Les analyses d'ordonnançabilité existantes de tâches non préemptives périodiques strictes dans le cas monoprocesseur ayant de faibles taux de succès d'ordonnancement, nous avons proposé une nouvelle analyse d'ordonnançabilité. Nous avons présenté une stratégie d'ordonnancement qui consiste à ordonnancer une tâche candidate avec un ensemble de tâches déjà ordonnancée. Nous avons utilisé cette stratégie pour ordonnancer des tâches harmoniques et non harmoniques, et nous avons proposé des nouvelles conditions d'ordonnançabilité. Afin d'améliorer le taux de succès d'ordonnancement de tâches non préemptives périodiques strictes, nous avons proposé de garder certaines tâches non préemptives périodiques strictes et d'y ajouter des tâches préemptives périodiques non strictes ne traitant ni les entrées/sorties ni le contrôle/commande. Nous avons ensuite étudié le problème d'ordonnancement multiprocesseur selon une approche partitionnée. Ce problème est résolu en utilisant trois algorithmes. Le premier algorithme effectue une analyse d'ordonnançabilité monoprocesseur et assigne chaque tâche sur éventuellement plusieurs processeurs. Le deuxième algorithme transforme le graphe de tâches dépendantes en un graphe déroulé où chaque tâche est répétée un nombre de fois égal au rapport entre le PPCM des autres périodes et sa période. Le troisième algorithme exploite les résultats des deux algorithmes précédents pour choisir sur quel processeur ordonnancer une tâche et calculer sa date de début d'exécution. Nous avons ensuite proposé d'étendre l'étude d'ordonnançabilité temps réel multiprocesseur précédente pour qu'elle soit tolérante aux fautes de processeurs et de bus de communication. Nous avons proposé un algorithme qui permet de transformer le graphe de tâches dépendantes en y ajoutant des tâches et des dépendances de données répliques et des tâches de sélection permettant de choisir la réplique de tâches allouée à un processeur non fautif. Nous avons étudié séparément les problèmes de tolérance aux fautes pour des processeurs, des bus de communication, et enfin des processeur et des bus de communication. Finalement nous avons étendu les trois algorithmes vus précédemment d'analyse d'ordonnançabilité, de déroulement et d'ordonnancement afin qu'ils soient tolérants aux fautes. Nous avons ensuite présenté les améliorations apportées au logiciel SynDEx tant sur le plan de l'analyse d'ordonnançabilité et l'algorithme d'ordonnancement, que sur le plan de la tolérance aux fautes. Finalement nous avons présenté les travaux expérimentaux concernant l'application de suivi de CyCabs. Nous avons modifié l'architecture des CyCabs en y intégrant des microcontrôleurs dsPICs et nous avons testé la tolérance aux fautes de dsPICs et du bus CAN sur une application de suivi de CyCab. / In this thesis, we studied the fault-tolerant multiprocessor hard real-time scheduling of non-preemptive strict periodic tasks which could be combined with preemptive tasks. We proposed solutions that we implemented into the SynDEx software, then we tested these solutions on an electric vehicle following. First, we present a state of the art on real-time embedded systems and more specificaly on the classical uniprocesseur and multiprocessor scheduling of preemptive periodic tasks. Since we were interested in critical real-time control applications, sensor/actuators computations and processes control must not have jitter. For these reasons, we also presented a state of the art of the scheduling of non-preemptive strict periodic tasks. Also, we presented a state of the art on fault-tolerance. As we were interested in hardware faults, we presented two types of redundancies: software and hardware. Presently, existing schedulability analyses of non-preemptive strict periodic tasks have low schedulability success ratios, thus we proposed a new schedulability analysis. We first presented a scheduling strategy which consists in scheduling a candidate task whereas a task set is already scheduled. We used this strategy to solve the problem of scheduling harmonic and non-harmonic tasks, and we proposed new schedulability conditions. In order to improve the scheduling success ratio of non-preemptive strict periodic tasks, we proposed to keep some non preemptive strict periodic tasks and to add preemptive periodic tasks which are neither dedicated to input/output nor to control. Then, we studied the multiprocessor scheduling problem using the partitioned approach. In order to solve this problem we proposed three algorithms. The first algorithm performs a uniprocessor schedulability analysis and assigns each task according to a schedulability condition to possibly several processors. The second algorithm transforms the dependent task graph into an unrolled graph where each task is repeated a number of times equal to the ratio between the LCM of all tasks periods and its period. The third algorithm exploits the two precedent algorithms to choose, with a cost function, on which processor it will schedule a task previously assigned to several processors, and it computes the first start times of each task. Then, we extended the multiprocessor schedulability analysis to be tolerant to processor and bus media faults. We proposed an algorithm which transforms the dependent task graph by adding redundant tasks, redundant dependencies, and selecting tasks. The latter allow to choose the redundant task allocated to non faulty processors. We studied separately the processor fault-tolerance problem, the bus fault-tolerant problem, and finally both processor and bus fault-tolerant problem. Finally, we extended the schedulability analysis algorithms, the unrolling algorithm and the scheduling algorithm to be fault-tolerant. Then, we presented the improvements provided to the SynDEx software for the schedulability analysis algorithm, the scheduling algorithm and the fault-tolerance algorithm. Finally, we conducted some experiments on the electric vehicle following called CyCab. We modified the hardware architecture of the CyCab to integrate dsPICs microcontrolers, and we tested dsPICs and CAN buses fault-tolerant on the CyCabs following.

L'objectif de cette thèse est de réaliser des missions diverses de navigation autonome en environnement intérieur et encombré avec des robots terrestres. La perception de l'environnement est assurée par un banc stéréo embarqué sur le robot et permet entre autres de calculer la localisation de l'engin grâce à un algorithme d'odométrie visuelle. Mais quand la qualité de la scène perçue par les caméras est faible, la localisation visuelle ne peut pas être calculée de façon précise. Deux solutions sont proposées pour remédier à ce problème. La première solution est l'utilisation d'une méthode de fusion de données multi-capteurs pour obtenir un calcul robuste de la localisation. La deuxième solution est la prédiction de la qualité de scène future afin d'adapter la trajectoire du robot pour s'assurer que la localisation reste précise. Dans les deux cas, la boucle de commande est basée sur l'utilisation de la commande prédictive afin de prendre en compte les différents objectifs de la mission : ralliement de points, exploration, évitement d'obstacles. Une deuxième problématique étudiée est la navigation par points de passage avec évitement d'obstacles mobiles à partir des informations visuelles uniquement. Les obstacles mobiles sont détectés dans les images puis leur position et vitesse sont estimées afin de prédire leur trajectoire future et ainsi de pouvoir anticiper leur déplacement dans la stratégie de commande. De nombreuses expériences ont été réalisées en situation réelle et ont permis de montrer l'efficacité des solutions proposées. / The aim of this thesis is to perform various autonomous navigation missions in indoor and cluttered environments with mobile robots. The environment perception is ensured by an embedded stereo-rig and a visual odometry algorithm which computes the localization of the robot. However, when the quality of the scene perceived by the cameras is poor, the visual localization cannot be computed with a high precision. Two solutions are proposed to tackle this problem. The first one is the data fusion from multiple sensors to perform a robust computation of the localization. The second solution is the prediction of the future scene quality in order to adapt the robot's trajectory to ensure that the localization remains accurate. In the two cases, the control loop is based on model predictive control, which offers the possibility to consider simultaneously the different objectives of the mission : waypoint navigation, exploration, obstacle avoidance. A second issue studied is waypoint navigation with avoidance of mobile obstacles using only the visual information. The mobile obstacles are detected in the images and their position and velocity are estimated in order to predict their future trajectory and consider it in the control strategy. Numerous experiments were carried out and demonstrated the effectiveness of the proposed solutions.

Dans le cadre de la robotique mobile extérieure, les notions de perception et de localisation sont essentielles au fonctionnement autonome d'un véhicule. Les objectifs de ce travail de thèse sont multiples et mènent vers un but de localisation et de cartographie simultanée d'un environnement extérieur dynamique avec détection et suivi d'objet mobiles (SLAMMOT) à l'aide d'un unique capteur extéroceptif tournant de type radar dans des conditions de circulation dites "réalistes", c'est-à-dire à haute vitesse soit environ 30 km/h. Il est à noter qu'à de telles vitesses, les données acquises par un capteur tournant son corrompues par le déplacement propre du véhicule. Cette distorsion, habituellement considérée comme une perturbation, est analysée ici comme une source d'information. Cette étude vise également à évaluer les potentialités d'un capteur radar de type FMCW (onde continue modulée en fréquence) pour le fonctionnement d'un véhicule robotique autonome. Nous avons ainsi proposé différentes contributions : - une correction de la distorsion à la volée par capteurs proprioceptifs qui a conduit à une application de localisation et de cartographie simultanées (SLAM), - une méthode d'évaluation de résultats de SLAM basées segment, - une considération de la distorsion des données dans un but proprioceptif menant à une application SLAM, - un principe d'odométrie fondée sur les données Doppler propres au capteur radar, - une méthode de détection et de pistage d'objets mobiles : DATMO avec un unique radar.

Le SLAM, « Simultaneous Localisation And Mapping », représente à l'heure actuelle l'une des principales thématiques investiguées dans le domaine des robots mobiles autonomes. Il permet, à l'aide de capteurs extéroceptifs (laser, caméra, radar, etc.) et proprioceptifs (odomètre, gyromètre, etc.), de trouver l'orientation et la localisation d'un robot dans un environnement extérieur vaste, inconnu ou modifié, avec la possibilité de créer une carte au fur et à mesure des déplacements du véhicule. Les travaux de thèse décrits dans ce manuscrit s'intègrent dans ce courant de recherche. Ils visent à développer un SLAM innovant qui utilise un radar à modulation de fréquence continue « FMCW » comme capteur extéroceptif. Ce capteur est insensible aux conditions climatiques et possède une portée de détection importante. Néanmoins, c'est un capteur tournant qui, dans une utilisation mobile, va fournir des données corrompues par le déplacement du véhicule. Pour mener à bien ces travaux, nous avons proposés différentes contributions : une correction de la distorsion par l'utilisation de capteurs proprioceptifs ; le développement d'une technique de localisation et cartographie simultanées nommée RS-SLAM-FMT qui effectue un scan matching sur les observations et utilise un algorithme estimatif de type EKF-SLAM ; l'utilisation, pour la première fois en SLAM, de la mise en correspondance par Transformée de Fourier-Mellin pour réaliser l'opération de scan matching ; la création d'un outil expérimental pour déterminer la matrice de covariance associée aux observations ; des tests de robustesse de l'algorithme dans des conditions d'utilisation réelles : dans des zones avec un faible nombre de points d'intérêts, sur des parcours effectués à vitesse élevée, dans des environnements péri-urbains avec une forte densité d'objets mobiles ; la réalisation d'une application temps réel pour le test du procédé sur un véhicule d'exploration qui se déplace dans un environnement extérieur vaste. / Simultaneous Localization And Mapping (SLAM) is one of the main topics investigated in the field of autonomous mobile robots. It permits the Localization and mapping of a robot in a large outdoor environment, using exteroceptive (laser, camera, radar, etc.) and proprioceptive (odometer, gyroscope, etc.) sensors. The objective of this PhD thesis is to develop innovative SLAM that uses a radar frequency modulated continuous wave (FMCW) as an exteroceptive sensor. Microwave radar provides an alternative solution for environmental imaging and overcomes the shortcomings of laser, video and sonar sensors such as their high sensitivity to atmospheric conditions. However, data obtained with this rotating range sensor is adversely affected by the vehicle’s own movement. In order to efficiently manage the work, we propose : a correction, on-the-fly, of the rotating distortion with an algorithm that uses the proprioceptive sensors’ measurements ; development of a new technique for simultaneous localization and mapping named RS-SLAM-FMT ; for the first time in SLAM, the use of the Fourier-Mellin Transform provides an accurate and efficient way of computing the rigid transformation between consecutive scans ; creation of an experimental tool to determine the covariance matrix associated with the observations. It is based on an uncertainty analysis of a Fourier-Mellin image registration ; tests of the robustness of the SLAM algorithm in real-life conditions : in an environment containing a small number of points of interest, in real full speed driving conditions, in peri-urban environments with a high density of moving objects etc. ; creation and experiment of a real-time RS-SLAM-FMT implemented on a mobile exploration vehicle in an extensive outdoor environment.

Dans le cadre de la robotique mobile extérieure, les notions de perception et de localisation sont essentielles au fonctionnement autonome d’un véhicule. Les objectifs de ce travail de thèse sont multiples et mènent vers un but de localisation et de cartographie simultanée d’un environnement extérieur dynamique avec détection et suivi d’objet mobiles (SLAMMOT) à l’aide d’un unique capteur extéroceptif tournant de type radar dans des conditions de circulation dites "réalistes", c’est-à-dire à haute vitesse soit environ 30 km/h. Il est à noter qu’à de telles vitesses, les données acquises par un capteur tournant son corrompues par le déplacement propre du véhicule. Cette distorsion, habituellement considérée comme une perturbation, est analysée ici comme une source d’information. Cette étude vise également à évaluer les potentialités d’un capteur radar de type FMCW (onde continue modulée en fréquence) pour le fonctionnement d’un véhicule robotique autonome. Nous avons ainsi proposé différentes contributions : – une correction de la distorsion à la volée par capteurs proprioceptifs qui a conduit à une application de localisation et de cartographie simultanées (SLAM), – une méthode d’évaluation de résultats de SLAM basées segment, – une considération de la distorsion des données dans un but proprioceptif menant à une application SLAM, – un principe d’odométrie fondée sur les données Doppler propres au capteur radar, – une méthode de détection et de pistage d’objets mobiles : DATMO avec un unique radar. / In outdoor robotic context, notion of perception and localization is essential for an autonomous navigation of a mobile robot. The objectives of this PhD are multiple and tend to develop a simultaneous localization and mapping approach in a dynamic outdoor environment with detection and tracking of moving objects (SLAMMOT) with a unique exteroceptive radar sensor in real driving conditions, around 30 km/h. At such high speed, data obtained with a rotating range sensor are corrupted by the own vehicle displacement. This distortion, usually considered as a disturbance, is analyzed here as a source of information. This study explores radar frequency modulated continuous wave (FMCW) technology potential for mobile robotics in extended outdoor environment. In this work, we propose : – a distortion correction on-the-fly with proprioceptive sensors in order to realize a localization and mapping application (SLAM), – a line based SLAM evaluation method, – a consideration of distortion in a proprioceptive purpose for localization and mapping, – an odometry principle based on Doppler velocimetry provided by radar sensor, – a detection and tracking of mobile objects : DATMO, with a unique radar sensor.