Combining inertial measurements with LiDAR measurements for odometry and mapping is ubiquitous, but low-cost inertial measurement units are often noisy sensors, and it is suspected that naive integration of the measurements will result in deteriorated performance. The project explores under which circumstances integration of inertial measurements is beneficial for the robustness and accuracy of LiDAR odometry and mapping. It is already known that inertial measurements have the potential to improve performance, but when and how are rarely the main topics of study in existing literature. This project analyzes one way inertial measurements are used to compensate for motion while registering points from a spinning LiDAR, and compares this to a similar method that does not use inertial measurements. It is found that integration of inertial measurements is beneficial in cases of fast rotations of the sensor and that in other cases, it does not make a significant difference. The results can be explained with existing theory, and hence provide confidence in the theory for predicting behavior in similar systems. / Att kombinera tröghetsmätningar med LiDAR-mätningar för odometri och kartläggning är vanligt förekommande, men lågkostnadströghetsmätare är ofta brusiga sensorer och därmed misstänks att en naiv integrering av mätningarna skulle resultera i försämrad prestanda. Projektet utforskar i vilka fall det är gynnsamt att integrera tröghetsmätningar för LiDAR-odometri och kartläggning. Det är redan känt att tröghetsmätningar har potential att förbättra prestandan, men när och hur är sällan ett huvudområde i den befintliga litteraturen. Detta projekt undersöker ett sätt som tröghetsmätningar används på för att kompensera för rörelse i samband med registrering av punkter från en roterande LiDAR, och jämför detta med en liknande metod som inte använder tröghetsmätningar. Resultaten pekar på att integrering av tröghetsmätningar är gynnsamt i fall med hastiga rotationer av sensorn, i övriga fall observeras ingen avsevärd skillnad. Resultaten kan förklaras med befintlig teori, vilket styrker teorin och gör det möjligt att med högre tillit använda den för att förutse beteendet hos liknande system.

In the field of robotics and self-navigation, Simultaneous Localization and Mapping (SLAM) is a technique crucial for estimating poses while concurrently creating a map of the environment. Robotics applications often rely on various sensors for pose estimation, including cameras, inertial measurement units (IMUs), and more. Traditional discrete SLAM, utilizing stereo camera pairs and inertial measurement units, faces challenges such as time offsets between sensors. A solution to this issue is the utilization of continuous-time models for pose estimation. This thesis delves into the exploration and implementation of a continuous-time SLAM system, investigating the advantages of multi-modal sensor fusion over discrete stereo vision models. The findings indicate that incorporating an IMU into the system enhances pose estimation, providing greater robustness and accuracy compared to relying solely on visual SLAM. Furthermore, leveraging the continuous model's derivative and smoothness allows for decent pose estimation with fewer measurements, reducing the required quantity of measurements and computational resources.

Cette thèse se situe dans le domaine de l'auto-localisation et de la cartographie 3D des caméras RGB-D pour des robots mobiles et des systèmes autonomes avec des caméras RGB-D. Nous présentons des techniques d'alignement et de cartographie pour effectuer la localisation d'une caméra (suivi), notamment pour des caméras avec mouvements rapides ou avec faible cadence. Les domaines d'application possibles sont la réalité virtuelle et augmentée, la localisation de véhicules autonomes ou la reconstruction 3D des environnements.Nous proposons un cadre consistant et complet au problème de localisation et cartographie 3D à partir de séquences d'images RGB-D acquises par une plateforme mobile. Ce travail explore et étend le domaine d'applicabilité des approches de suivi direct dites "appearance-based". Vis-à-vis des méthodes fondées sur l'extraction de primitives, les approches directes permettent une représentation dense et plus précise de la scène mais souffrent d'un domaine de convergence plus faible nécessitant une hypothèse de petits déplacements entre images.Dans la première partie de la thèse, deux contributions sont proposées pour augmenter ce domaine de convergence. Tout d'abord une méthode d'estimation des grands déplacements est développée s'appuyant sur les propriétés géométriques des cartes de profondeurs contenues dans l'image RGB-D. Cette estimation grossière (rough estimation) peut être utilisée pour initialiser la fonction de coût minimisée dans l'approche directe. Une seconde contribution porte sur l'étude des domaines de convergence de la partie photométrique et de la partie géométrique de cette fonction de coût. Il en résulte une nouvelle fonction de coût exploitant de manière adaptative l'erreur photométrique et géométrique en se fondant sur leurs propriétés de convergence respectives.Dans la deuxième partie de la thèse, nous proposons des techniques de régularisation et de fusion pour créer des représentations précises et compactes de grands environnements. La régularisation s'appuie sur une segmentation de l'image sphérique RGB-D en patchs utilisant simultanément les informations géométriques et photométriques afin d'améliorer la précision et la stabilité de la représentation 3D de la scène. Cette segmentation est également adaptée pour la résolution non uniforme des images panoramiques. Enfin les images régularisées sont fusionnées pour créer une représentation compacte de la scène, composée de panoramas RGB-D sphériques distribués de façon optimale dans l'environnement. Ces représentations sont particulièrement adaptées aux applications de mobilité, tâches de navigation autonome et de guidage, car elles permettent un accès en temps constant avec une faible occupation de mémoire qui ne dépendent pas de la taille de l'environnement. / This thesis is in the context of self-localization and 3D mapping from RGB-D cameras for mobile robots and autonomous systems. We present image alignment and mapping techniques to perform the camera localization (tracking) notably for large camera motions or low frame rate. Possible domains of application are localization of autonomous vehicles, 3D reconstruction of environments, security or in virtual and augmented reality. We propose a consistent localization and 3D dense mapping framework considering as input a sequence of RGB-D images acquired from a mobile platform. The core of this framework explores and extends the domain of applicability of direct/dense appearance-based image registration methods. With regard to feature-based techniques, direct/dense image registration (or image alignment) techniques are more accurate and allow us a more consistent dense representation of the scene. However, these techniques have a smaller domain of convergence and rely on the assumption that the camera motion is small.In the first part of the thesis, we propose two formulations to relax this assumption. Firstly, we describe a fast pose estimation strategy to compute a rough estimate of large motions, based on the normal vectors of the scene surfaces and on the geometric properties between the RGB-D images. This rough estimation can be used as initialization to direct registration methods for refinement. Secondly, we propose a direct RGB-D camera tracking method that exploits adaptively the photometric and geometric error properties to improve the convergence of the image alignment.In the second part of the thesis, we propose techniques of regularization and fusion to create compact and accurate representations of large scale environments. The regularization is performed from a segmentation of spherical frames in piecewise patches using simultaneously the photometric and geometric information to improve the accuracy and the consistency of the scene 3D reconstruction. This segmentation is also adapted to tackle the non-uniform resolution of panoramic images. Finally, the regularized frames are combined to build a compact keyframe-based map composed of spherical RGB-D panoramas optimally distributed in the environment. These representations are helpful for autonomous navigation and guiding tasks as they allow us an access in constant time with a limited storage which does not depend on the size of the environment.

Este trabalho apresenta uma arquitetura de hardware, baseada em FPGA (Field-Programmable Gate Array) e com multi-câmeras, para o problema de localização e mapeamento simultâneos - SLAM (Simultaneous Localization And Mapping) aplicada a sistemas robóticos embarcados. A arquitetura é composta por módulos de hardware altamente especializados para a localização do robô e para geração do mapa do ambiente de navegação em tempo real com features extraídas de imagens obtidas diretamente de câmeras CMOS a uma velocidade de 30 frames por segundo. O sistema é totalmente embarcado em FPGA e apresenta desempenho superior em, pelo menos, uma ordem de magnitude em relaçãoo às implementações em software processadas por computadores pessoais de última geração. Esse desempenho deve-se à exploração do paralelismo em hardware junto com o processamento em pipeline e às otimizações realizadas nos algoritmos. As principais contribuições deste trabalho são as arquiteturas para o filtro de Kalman estendido - EKF (Extended Kalman Filter) e para a detecção de features baseada no algoritmo SIFT (Scale Invariant Feature Transform). A complexidade para a implementaçãoo deste trabalho pode ser considerada alta, uma vez que envolve uma grande quantidade de operações aritméticas e trigonométricas em ponto utuante e ponto fixo, um intenso processamento de imagens para extração de features e verificação de sua estabilidade e o desenvolvimento de um sistema de aquisição de imagens para quatro câmeras CMOS em tempo real. Adicionalmente, foram criadas interfaces de comunicação para o software e o hardware embarcados no FPGA e para o controle e leitura dos sensores do robô móvel. Além dos detalhes e resultados da implementação, neste trabalho são apresentados os conceitos básicos de mapeamento e o estado da arte dos algoritmos SLAM com visão monocular e estéreo / This work presents a hardware architecture for the Simultaneous Localization And Mapping (SLAM) problem applied to embedded robots. This architecture, which is based on FPGA and multi-cameras, is composed by highly specialized blocks for robot localization and feature-based map building in real time from images read directly from CMOS cameras at 30 frames per second. The system is completely embedded on an FPGA and its performance is at least one order of magnitude better than a high end PC-based implementation. This result is achieved by investigating the impact of several hardwareorientated optimizations on performance and by exploiting hardware parallelism along with pipeline processing. The main contributions of this work are the architectures for the Extended Kalman Filter (EKF) and for the feature detection system based on the SIFT (Scale Invariant Feature Transform). The complexity to implement this work can be considered high, as it involves a significant number of arithmetic and trigonometric operations in oating and fixed-point format, an intensive image processing for feature detection and stability checking, and the development of an image acquisition system from four CMOS cameras in real time. In addition, communication interfaces were created to integrate software and hardware embedded on FPGA and to control the mobile robot base and to read its sensors. Finally, besides the implementation details and the results, this work also presents basic concepts about mapping and state-of-the-art algorithms for SLAM with monocular and stereo vision.

The localization of autonomous ground vehicles in dense urban environments poses a challenge. Applications in classical outdoor robotics rely on the availability of GPS systems in order to estimate the position. However, the presence of complex building structures in dense urban environments hampers a reliable localization based on GPS. Alternative approaches have to be applied In order to tackle this problem. This thesis proposes an approach which combines observations of a single perspective camera and odometry in a probabilistic framework. In particular, the localization in the space of appearance is addressed. First, a topological map of reference places in the environment is built. Each reference place is associated with a set of visual features. A feature selection is carried out in order to obtain distinctive reference places. The topological map is extended to a hybrid representation by the use of metric information from Geographic Information Systems (GIS) and satellite images. The localization is solved in terms of the recognition of reference places. A particle lter implementation incorporating this and the vehicle's odometry is presented. The proposed system is evaluated based on multiple experiments in exemplary urban environments characterized by high building structures and a multitude of dynamic objects.

Aujourd’hui, la localisation de robots sous-marins demeure une tâche complexe. L’utilisation de capteurs habituels est impossible sous la surface, tels que ceux reposant sur les systèmes de géolocalisation par satellites. Les approches inertielles sont quant à elles limitées par leur forte dérive dans le temps. De plus, les fonds marins sont généralement homogènes et non structurés, rendant difficile l’utilisation de méthodes SLAM connues, qui couplent la localisation et la cartographie de manière simultanée. Il devient donc nécessaire d’explorer de nouvelles alternatives. Notre approche consiste à traiter un problème de SLAM de manière purement temporelle. L’originalité de ce travail est de représenter le temps comme une variable classique qu’il faut estimer. Cette stratégie soulève de nouvelles opportunités dans le domaine de l’estimation d’état, permettant de traiter de nombreux problèmes sous un autre angle. Toutefois, une telle résolution temporelle demande un ensemble d’outils théoriques qu’il convient de développer. Cette thèse n’est donc pas seulement une contribution dans le monde de la robotique mobile, elle propose également une nouvelle démarche dans les domaines de la propagation de contraintes et des méthodes ensemblistes. Cette étude apporte de nouveaux outils de programmation par contracteurs qui permettent le développement de solveurs pour des systèmes dynamiques. Les composants étudiés sont mis en application tout au long de ce document autours de problèmes robotiques concrets. / The localization of underwater robots remains a challenging issue. Usual sensors, such as Global NavigationSatellite System (GNSS) receivers, cannot be used under the surface and other inertial systems suffer from a strong integration drift. On top of that, the seabed is generally uniform and unstructured, making it difficult to apply usual Simultaneous Localization and Mapping (SLAM) methods to perform a localization.Hence, innovative approaches have to be explored. The presented method can be characterized as a raw-data SLAM approach, but we propose a temporal resolution – which differs from usual methods – by considering time as a standard variable to be estimated. This concept raises new opportunities for state estimation, under-exploited so far. However, such temporal resolution is not straightforward and requires a set of theoretical tools in order to achieve the main purpose of localization.This thesis is thus not only a contribution in the field of mobile robotics, it also offers new perspectives in the areas of constraint programming and set-membership approaches. We provide a reliable contractor programming framework in order to build solvers for dynamical systems. This set of tools is illustrated throughout this document with realistic robotic applications.

As autonomous driving is rapidly becoming the next major challenge in the auto- motive industry, the problem of Simultaneous Localization And Mapping (SLAM) has never been more relevant than it is today. This thesis presents the idea of examining SLAM algorithms by implementing such an algorithm on a radio con- trolled car which has been fitted with sensors and microcontrollers. The software architecture of this small-scale vehicle is based on the Robot Operating System (ROS), an open-source framework designed to be used in robotic applications. This thesis covers Extended Kalman Filter (EKF)-based SLAM, FastSLAM, and GraphSLAM, examining these algorithms in both theoretical investigations, simulations, and real-world experiments. The method used in this thesis is model- based development, meaning that a model of the vehicle is first implemented in order to be able to perform simulations using each algorithm. A decision of which algorithm to be implemented on the physical vehicle is then made backed up by these simulation results, as well as a theoretical investigation of each algorithm. This thesis has resulted in a dynamic model of a small-scale vehicle which can be used for simulation of any ROS-compliant SLAM-algorithm, and this model has been simulated extensively in order to provide empirical evidence to define which SLAM algorithm is most suitable for this application. Out of the algo- rithms examined, FastSLAM was proven to the best candidate, and was in the final stage, through usage of the ROS package gMapping, successfully imple- mented on the small-scale vehicle.

[pt] O desdobramento do encontro e diálogo entre representantes de duas periferias que tem o hip hop (rap) como referência discursiva: Aubervilliers, uma banlieue de Paris, e a zona sul - periferia de São Paulo. A poesia falada nos bares, em desafios do poetry slam, ou nos saraus paulistas, onde as vozes subalternas oriundas das periferias das cidades/ metrópoles se expressam sem a mediação de intelectuais ou agenciadores culturais. Intervenção no espaço urbano e utilização de dispositivos informacionais digitais - que funcionam como amplificadores de seus territórios, criando fraturas em paradigmas canônicos da produção cultural. Uma produção literária que questiona padrões e cria novos olhares sobre a cidade. Com base na teoria de Michel de Certeau sobre as estratégicas e táticas utilizadas nos jogos de poder, a dissertação reconhece nos discursos periféricos e nas performances poéticas, táticas utilizadas pela subalternidade para dar visibilidade e afirmar sua identidade. Sob a inspiração de Jacques Rancière, discute-se como o regime estético da arte acontece na periferia, originando um novo movimento de partilha do sensível: da periferia para a própria periferia, em que os saraus e os slams funcionam como espaços agenciadores ou catalizadores desta partilha. Os produtores culturais emergentes da periferia se transformam em produtores de suas próprias narrativas, muitas vezes autobiográficas, literárias ou midiáticas, propondo uma subversão das estruturas de controle das classes dominantes sobre o imaginário da cidade. / [fr] Le principe de la rencontre et du dialogue entre les representants de deux périphéries ayant comme référence, le hip hop (rap ) : Aubervilliers (Banlieue de Paris) et une périphérie de São Paulo (située dans la zone sud de la ville), est fort intéressant. La poésie dans les bistrots, récitée sous forme de défis du Poetry slam ou des saraus paulistas, et les voix sous-terraines venant des periphéries urbaines, s expriment sans médiation intellectuelle et sans agents culturels. L intervention dans l espace urbain et l utilisation de dispositifs digitaux fonctionnent comme des amplificateurs de territoires, transformant les fractures en création de paradigmes canoniques de production culturelle. Une production littéraire qui met en question les normes admises et qui créée de nouveaux regards sur la ville. Appuyée sur la théorie de Michel de Certeau relative aux stratégies et tactiques utilisées dans les jeux du pouvoir, cette dissertation reconnaît dans les discours de la périphérie et dans leurs performances poétiques, des procédés utilisées par cette population, jusqu alors sous-terraine, pour se rendre visible et affirmer son identité. Sous l inspiration de Jacques Rancière, est posée aussi la question du comment le régime esthétique de l art est mis à jour dans la periphérie, donnant origine à un nouveau mouvement de partage du sensible. Ceci s effectue de périphérie à périphérie, où les saraus et les slams fonctionnent en tant qu espaces d agencement et cataliseurs d échanges, et dans lesquels les producteurs culturels qui en émergent, se transforment en producteurs de leur propre narration, souvent autobiographiques, littéraires et médiatiques. C est le résultat d une forme de subversion et de défiance des structures existantes et du contrôle des classes dominantes sur l imaginaire de la ville.

Les travaux présentés ici concernent le domaine de la localisation de véhicule par vision artificielle. Dans ce contexte, la trajectoire d’une caméra et la structure3D de la scène filmée sont estimées par une méthode d’odométrie visuelle monoculaire basée sur l’ajustement de faisceaux local. Les contributions de cette thèse sont plusieurs améliorations de cette méthode. L’incertitude associée à la position estimée n’est pas fournie par la méthode d’ajustement de faisceaux local. C’est pourtant une information indispensable pour pouvoir utiliser cette position, notamment dans un système de fusion multi-sensoriel. Une étude de la propagation d’incertitude pour cette méthode d’odométrie visuelle a donc été effectuée pour obtenir un calcul d’incertitude temps réel et représentant l’erreur de manière absolue (dans le repère du début de la trajectoire). Sur de longues séquences (plusieurs kilomètres), les méthodes monoculaires de localisation sont connues pour présenter des dérives importantes dues principalement à la dérive du facteur d’échelle (non observable). Pour réduire cette dérive et améliorer la qualité de la position fournie, deux méthodes de fusion ont été développées. Ces deux améliorations permettent de rendre cette méthode monoculaire exploitable dans le cadre automobile sur de grandes distances tout en conservant les critères de temps réel nécessaire dans ce type d’application. De plus, notre approche montre l’intérêt de disposer des incertitudes et ainsi de tirer parti de l’information fournie par d’autres capteurs. / The present work is about localisation of vehicle using computer vision methods. In this context, the camera trajectory and the 3D structure of the scene is estimated by a monocular visual odometry method based on local bundle adjustment. This thesis contributions are some improvements of this method. The uncertainty of the estimated position was not provided by the local bundle adjustment method. Indeed, this uncertainty is crucial in a multi-sensorial fusion system to use optimally the estimated position. A study of the uncertainty propagation in this visual odometry method has been done and an uncertainty calculus method has been designed to comply with real time performance. By the way, monocular visual localisation methods are known to have serious drift issues on long trajectories (some kilometers). This error mainly comes from bad propagation of the scale factor. To limit this drift and improve the quality of the given position, we proposed two data fusion methods between an odometer and the visual method. Finally, the two improvements presented here allow us to use visual localisation method in real urban environment on long trajectories under real time constraints.

La perception est un point clé pour le fonctionnement d'un véhicule autonome ou même pour un véhicule fournissant des fonctions d'assistance. Un véhicule observe le monde externe à l'aide de capteurs et construit un modèle interne de l'environnement extérieur. Il met à jour en continu ce modèle de l'environnement en utilisant les dernières données des capteurs. Dans ce cadre, la perception peut être divisée en deux étapes : la première partie, appelée SLAM (Simultaneous Localization And Mapping) s'intéresse à la construction d'une carte de l'environnement extérieur et à la localisation du véhicule hôte dans cette carte, et deuxième partie traite de la détection et du suivi des objets mobiles dans l'environnement (DATMO pour Detection And Tracking of Moving Objects). En utilisant des capteurs laser de grande précision, des résultats importants ont été obtenus par les chercheurs. Cependant, avec des capteurs laser de faible résolution et des données bruitées, le problème est toujours ouvert, en particulier le problème du DATMO. Dans cette thèse nous proposons d'utiliser la vision (mono ou stéréo) couplée à un capteur laser pour résoudre ce problème. La première contribution de cette thèse porte sur l'identification et le développement de trois niveaux de fusion. En fonction du niveau de traitement de l'information capteur avant le processus de fusion, nous les appelons "fusion bas niveau", "fusion au niveau de la détection" et "fusion au niveau du suivi". Pour la fusion bas niveau, nous avons utilisé les grilles d'occupations. Pour la fusion au niveau de la détection, les objets détectés par chaque capteur sont fusionnés pour avoir une liste d'objets fusionnés. La fusion au niveau du suivi requiert le suivi des objets pour chaque capteur et ensuite on réalise la fusion entre les listes d'objets suivis. La deuxième contribution de cette thèse est le développement d'une technique rapide pour trouver les bords de route à partir des données du laser et en utilisant cette information nous supprimons de nombreuses fausses alarmes. Nous avons en effet observé que beaucoup de fausses alarmes apparaissent sur le bord de la route. La troisième contribution de cette thèse est le développement d'une solution complète pour la perception avec un capteur laser et des caméras stéréo-vision et son intégration sur un démonstrateur du projet européen Intersafe-2. Ce projet s'intéresse à la sécurité aux intersections et vise à y réduire les blessures et les accidents mortels. Dans ce projet, nous avons travaillé en collaboration avec Volkswagen, l'Université Technique de Cluj-Napoca, en Roumanie et l'INRIA Paris pour fournir une solution complète de perception et d'évaluation des risques pour le démonstrateur de Volkswagen. / Perception is one of important steps for the functioning of an autonomous vehicle or even for a vehicle providing only driver assistance functions. Vehicle observes the external world using its sensors and builds an internal model of the outer environment configuration. It keeps on updating this internal model using latest sensor data. In this setting perception can be divided into two sub parts: first part, called SLAM(Simultaneous Localization And Mapping), is concerned with building an online map of the external environment and localizing the host vehicle in this map, and second part deals with finding moving objects in the environment and tracking them over time and is called DATMO(Detection And Tracking of Moving Objects). Using high resolution and accurate laser scanners successful efforts have been made by many researchers to solve these problems. However, with low resolution or noisy laser scanners solving these problems, especially DATMO, is still a challenge and there are either many false alarms, miss detections or both. In this thesis we propose that by using vision sensor (mono or stereo) along with laser sensor and by developing an effective fusion scheme on an appropriate level, these problems can be greatly reduced. The main contribution of this research is concerned with the identification of three fusion levels and development of fusion techniques for each level for SLAM and DATMO based perception architecture of autonomous vehicles. Depending on the amount of preprocessing required before fusion for each level, we call them low level, object detection level and track level fusion. For low level we propose to use grid based fusion technique and by giving appropriate weights (depending on the sensor properties) to each grid for each sensor a fused grid can be obtained giving better view of the external environment in some sense. For object detection level fusion, lists of objects detected for each sensor are fused to get a list of fused objects where fused objects have more information then their previous versions. We use a Bayesian fusion technique for this level. Track level fusion requires to track moving objects for each sensor separately and then do a fusion between tracks to get fused tracks. Fusion at this level helps remove false tracks. Second contribution of this research is the development of a fast technique of finding road borders from noisy laser data and then using these border information to remove false moving objects. Usually we have observed that many false moving objects appear near the road borders due to sensor noise. If they are not filtered out then they result into many false tracks close to vehicle making vehicle to apply breaks or to issue warning messages to the driver falsely. Third contribution is the development of a complete perception solution for lidar and stereo vision sensors and its intigration on a real vehicle demonstrator used for a European Union project (INTERSAFE-21). This project is concerned with the safety at intersections and aims at the reduction of injury and fatal accidents there. In this project we worked in collaboration with Volkswagen, Technical university of Cluj-Napoca Romania and INRIA Paris to provide a complete perception and risk assessment solution for this project.