Les véhicules intelligents sont des véhicules dotés de systèmes permettant d’alerter le conducteur ou de prendre une décision en cas de danger imminent. Une condition sine qua non pour garantir un bon fonctionnement de ces systèmes est d’avoir une localisation précise du véhicule. En tirant profit des capteurs embarqués dans un véhicule, on peut exploiter la redondance de l’information afin d’obtenir un positionnement fiable. Cette information de localisation peut être alors utilisée dans un système d’aide à la conduite. Cette étude va se focaliser sur deux aspects. Dans un premier temps, un effort sera porté sur l'aspect localisation précise du véhicule lors de son déplacement. Il s’agit d’utiliser des approches bayésiennes pour fusionner les informations provenant de systèmes hétérogènes de navigation telle que le GPS et une centrale inertielle (INS) auxquels sera rajoutée ensuite l'odométrie. L'accent sera mis sur la précision des résultats. Ensuite, nous allons nous mettre en œuvre un régulateur de vitesse intelligent pour couvrir l’aspect navigation d’un véhicule.

Scene understanding is the process, often real time, of perceiving, analysing and elaborating an interpretation of a 3D dynamic scene observed through a network of sensors. This process consists mainly in matching signal information coming from sensors observing the scene with models which humans are using to understand the scene. Based on that, scene understanding is both adding and extracting semantic from the sensor data characterizing a scene. This scene can contain a number of physical objects of various types (e.g. people, vehicle) interacting with each others or with their environment (e.g. equipment) more or less structured. The scene can last few instants (e.g. the fall of a person) or few months (e.g. the depression of a person), can be limited to a laboratory slide observed through a microscope or go beyond the size of a city. Sensors include usually cameras (e.g. omni directional, infrared), but also may include microphones and other sensors (e.g. optical cells, contact sensors, physiological sensors, radars, smoke detectors). Scene understanding is influenced by cognitive vision and it requires at least the melding of three areas: computer vision, cognition and software engineering. Scene understanding can achieve four levels of generic computer vision functionality of detection, localisation, recognition and understanding. But scene understanding systems go beyond the detection of visual features such as corners, edges and moving regions to extract information related to the physical world which is meaningful for human operators. Its requirement is also to achieve more robust, resilient, adaptable computer vision functionalities by endowing them with a cognitive faculty: the ability to learn, adapt, weigh alternative solutions, and develop new strategies for analysis and interpretation. The key characteristic of a scene understanding system is its capacity to exhibit robust performance even in circumstances that were not foreseen when it was designed. Furthermore, a scene understanding system should be able to anticipate events and adapt its operation accordingly. Ideally, a scene understanding system should be able to adapt to novel variations of the current environment to generalize to new context and application domains and interpret the intent of underlying behaviours to predict future configurations of the environment, and to communicate an understanding of the scene to other systems, including humans. Related but different domains are robotic, where systems can interfere and modify their environment, and multi-media document analysis (e.g. video retrieval), where limited contextual information is available.

Cette thèse s'inscrit dans le cadre de la commande référencée capteurs. Pour un robot mobile ou un bras manipulateur dote d'un ou plusieurs capteurs, cette approche consiste à définir une tache de déplacement en spécifiant uniquement les mesures a' atteindre. Ce paradigme est connu pour permettre une très bonne précision de positionnement. En revanche, le robot peut présenter un comportement non désiré en cas de mouvement important ou de contraintes à respecter ( évitement des butées articulaires, visibilité, obstacles, etc.). Les solutions nécessitent généralement des degrés de liberté supplémentaires, permettant de réaliser la tâche tout en respectant les contraintes. Nous proposons tout d'abord un formalisme original pour la calibration d'un capteur extéroceptif à partir de la mesure de vitesse. Il est ainsi possible d'estimer a' la fois les paramètres de calibration intrinsèques du capteur et la position du capteur par rapport au repère du robot. Des résultats de simulation et d'expérience sont exposes pour la calibration d'une camera. Nous établissons ensuite un formalisme complet pour la réalisation d'une tache référencée multi-capteurs soumise a' un nombre arbitraire de contraintes. Nous proposons une façon générique d'introduire les contraintes dans la loi de commande. Le comportement induit est une perturbation minimale de la tache référencée capteurs tout en respectant plusieurs contraintes. Ce formalisme est applique à des problèmes classiques en robotique : évitement de butées et contrainte de visibilité. De nombreuses contraintes sont enfin combinées au sein d'un même système.

Cette thèse s'intéresse au problème du positionnement (position et orientation) dans un contexte de réalité augmentée et aborde spécifiquement les solutions à base de capteurs embarqués. Aujourd'hui, les systèmes de navigation vision-inertiel commencent à combler les besoins spécifiques de cette application. Néanmoins, ces systèmes se basent tous sur des corrections de trajectoire issues des informations visuelles à haute fréquence afin de pallier la rapide dérive des capteurs inertiels bas-coûts. Pour cette raison, ces méthodes sont mises en défaut lorsque l'environnement visuel est défavorable.Parallèlement, des travaux récents menés par la société Sysnav ont démontré qu'il était possible de réduire la dérive de l'intégration inertielle en exploitant le champ magnétique, grâce à un nouveau type d'UMI bas-coût composée – en plus des accéléromètres et gyromètres traditionnels – d'un réseau de magnétomètres. Néanmoins, cette méthode est également mise en défaut si des hypothèses de non-uniformité et de stationnarité du champ magnétique ne sont pas vérifiées localement autour du capteur.Nos travaux portent sur le développement d'une solution de navigation à l'estime robuste combinant toutes ces sources d'information: magnétiques, visuelles et inertielles.Nous présentons plusieurs approches pour la fusion de ces données, basées sur des méthodes de filtrage ou d’optimisation et nous développons un modèle de prédiction du champ magnétique inspiré d'approximation proposées en inertiel et permettant d’intégrer efficacement des termes magnétiques dans les méthodes d’ajustement de faisceaux. Les performances de ces différentes approches sont évaluées sur des données réelles et nous démontrons le bénéfice de la fusion de données comparées aux solutions vision-inertielles ou magnéto-inertielles. Des propriétés théoriques de ces méthodes liées à la théorie de l’invariance des estimateurs sont également étudiées. / This thesis addresses the issue of positioning in 6-DOF that arises from augmented reality applications and focuses on embedded sensors based solutions.Nowadays, the performance reached by visual-inertial navigation systems is starting to be adequate for AR applications. Nonetheless, those systems are based on position correction from visual sensors involved at a relatively high frequency to mitigate the quick drift of low-cost inertial sensors. This is a problem when the visual environment is unfavorable.In parallel, recent works have shown it was feasible to leverage magnetic field to reduce inertial integration drift thanks to a new type of low-cost sensor, which includes – in addition to the accelerometers and gyrometers – a network of magnetometers. Yet, this magnetic approach for dead-reckoning fails if stationarity and non-uniformity hypothesis on the magnetic field are unfulfilled in the vicinity of the sensor.We develop a robust dead-reckoning solution combining simultaneously information from all these sources: magnetic, visual, and inertial sensor. We present several approaches to solve for the fusion problem, using either filtering or non-linear optimization paradigm and we develop an efficient way to use magnetic error term in a classical bundle adjustment that was inspired from already used idea for inertial terms. We evaluate the performance of these estimators on data from real sensors. We demonstrate the benefits of the fusion compared to visual-inertial and magneto-inertial solutions. Finally, we study theoretical properties of the estimators that are linked to invariance theory.

Une capacité essentielle pour qu'un robot mobile soit capable de comprendre son environnement est de pouvoir en construire la carte. Des entités mobiles dans la zone de perception du robot pendant qu'il construit sa propre carte peuvent provoquer de graves erreurs au niveau de sa localisation, et des inexactitudes dans la carte. Les traces des objets mobiles doivent être détectées et éliminées du modèle. Nous proposons d'adopter la représentation de l'environnement par une grille d'occupation. Cette représentation fournit un modèle de l'environnement pouvant être mis à jour à une fréquence élevée ce qui présente l'intérêt de permettre la détection et le suivi d'éléments mobiles autour du robot. La détection et le suivi des cibles dynamiques sont ensuite effectués. Une procédure qui attribue les mesures acquises aux cibles correspondantes est aussi présentée. Pour essayer d'améliorer la qualité de l'information sensorielle du robot et d'augmenter la fiabilité du suivi, nous utilisons une caméra catadioptrique dont les données seront fusionnées avec le laser. Une image binaire est calculée à partir d'une approche modifiée de flot optique où un nouveau terme qui compense les changements d'illumination est calculé et pris en compte. Deux stratégies qui déterminent les directions des cibles détectées à partir d'images déployées (sur une forme cylindrique) et d'images panoramiques brutes sont respectivement présentées et comparées. Nous proposons en fin, une technique probabiliste pour coupler des mesures reçues par l'un et par l'autre capteur et pour les associer à un même événement.

La fusion entre un ensemble de capteurs et de bases de données dont les erreurs sont indépendantes est aujourd’hui la solution la plus fiable et donc la plus répandue de l’état de l’art au problème de la localisation. Les véhicules semi-autonomes et autonomes actuels, ainsi que les applications de réalité augmentée visant les contextes industriels exploitent des graphes de capteurs et de bases de données de tailles considérables, dont la conception, la calibration et la synchronisation n’est, en plus d’être onéreuse, pas triviale. Il est donc important afin de pouvoir démocratiser ces technologies, d’explorer la possibilité de l’exploitation de capteurs et bases de données bas-coûts et aisément accessibles. Cependant, ces sources d’information sont naturellement plus incertaines, et plusieurs obstacles subsistent à leur utilisation efficace en pratique. De plus, les succès récents mais fulgurants des réseaux profonds dans des tâches variées laissent penser que ces méthodes peuvent représenter une alternative peu coûteuse et efficace à certains modules des systèmes de SLAM actuels. Dans cette thèse, nous nous penchons sur la localisation à grande échelle d’un véhicule dans un repère géoréférencé à partir d’un système bas-coût. Celui-ci repose sur la fusion entre le flux vidéo d’une caméra monoculaire, des modèles 3d non-texturés mais géoréférencés de bâtiments,des modèles d’élévation de terrain et des données en provenance soit d’un GPS bas-coût soit de l’odométrie du véhicule. Nos travaux sont consacrés à la résolution de deux problèmes. Le premier survient lors de la fusion par terme barrière entre le VSLAM et l’information de positionnement fournie par un GPS bas-coût. Cette méthode de fusion est à notre connaissance la plus robuste face aux incertitudes du GPS, mais est plus exigeante en matière de ressources que la fusion via des fonctions de coût linéaires. Nous proposons une optimisation algorithmique de cette méthode reposant sur la définition d’un terme barrière particulier. Le deuxième problème est le problème d’associations entre les primitives représentant la géométrie de la scène(e.g. points 3d) et les modèles 3d des bâtiments. Les travaux précédents se basent sur des critères géométriques simples et sont donc très sensibles aux occultations en milieu urbain. Nous exploitons des réseaux convolutionnels profonds afin d’identifier et d’associer les éléments de la carte correspondants aux façades des bâtiments aux modèles 3d. Bien que nos contributions soient en grande partie indépendantes du système de SLAM sous-jacent, nos expériences sont basées sur l’ajustement de faisceaux contraint basé images-clefs. Les solutions que nous proposons sont évaluées sur des séquences de synthèse ainsi que sur des séquence urbaines réelles sur des distances de plusieurs kilomètres. Ces expériences démontrent des gains importants en performance pour la fusion VSLAM/GPS, et une amélioration considérable de la robustesse aux occultations dans la définition des contraintes. / The fusion between sensors and databases whose errors are independant is the most re-liable and therefore most widespread solution to the localization problem. Current autonomousand semi-autonomous vehicles, as well as augmented reality applications targeting industrialcontexts exploit large sensor and database graphs that are difficult and expensive to synchro-nize and calibrate. Thus, the democratization of these technologies requires the exploration ofthe possiblity of exploiting low-cost and easily accessible sensors and databases. These infor-mation sources are naturally tainted by higher uncertainty levels, and many obstacles to theireffective and efficient practical usage persist. Moreover, the recent but dazzling successes ofdeep neural networks in various tasks seem to indicate that they could be a viable and low-costalternative to some components of current SLAM systems.In this thesis, we focused on large-scale localization of a vehicle in a georeferenced co-ordinate frame from a low-cost system, which is based on the fusion between a monocularvideo stream, 3d non-textured but georeferenced building models, terrain elevation models anddata either from a low-cost GPS or from vehicle odometry. Our work targets the resolutionof two problems. The first one is related to the fusion via barrier term optimization of VS-LAM and positioning measurements provided by a low-cost GPS. This method is, to the bestof our knowledge, the most robust against GPS uncertainties, but it is more demanding in termsof computational resources. We propose an algorithmic optimization of that approach basedon the definition of a novel barrier term. The second problem is the data association problembetween the primitives that represent the geometry of the scene (e.g. 3d points) and the 3d buil-ding models. Previous works in that area use simple geometric criteria and are therefore verysensitive to occlusions in urban environments. We exploit deep convolutional neural networksin order to identify and associate elements from the map that correspond to 3d building mo-del façades. Although our contributions are for the most part independant from the underlyingSLAM system, we based our experiments on constrained key-frame based bundle adjustment.The solutions that we propose are evaluated on synthetic sequences as well as on real urbandatasets. These experiments show important performance gains for VSLAM/GPS fusion, andconsiderable improvements in the robustness of building constraints to occlusions.

La détection de personnes dans les vidéos est un défi bien connu du domaine de la vision par ordinateur avec un grand nombre d'applications telles que le développement de systèmes de surveillance visuels. Même si les détecteurs monoculaires sont plus simples à mettre en place, ils sont dans l’incapacité de gérer des scènes complexes avec des occultations, une grande densité de personnes ou des scènes avec beaucoup de profondeur de champ menant à une grande variabilité dans la taille des personnes. Dans cette thèse, nous étudions la détection de personnes multi-vues et notamment l'utilisation de cartes d'occupation probabilistes créées en fusionnant les différentes vues grâce à la connaissance de la géométrie du système. La détection à partir de ces cartes d'occupation amène cependant des fausses détections (appelées « fantômes ») dues aux différentes projections. Nous proposons deux nouvelles techniques afin de remédier à ce phénomène et améliorer la détection des personnes. La première utilise une déconvolution par un noyau dont la forme varie spatialement tandis que la seconde est basée sur un principe de validation d’hypothèse. Ces deux approches n'utilisent volontairement pas l'information temporelle qui pourra être réintroduite par la suite dans des algorithmes de suivi. Les deux approches ont été validées dans des conditions difficiles présentant des occultations, une densité de personnes plus ou moins élevée et de fortes variations dans les réponses colorimétriques des caméras. Une comparaison avec d'autres méthodes de l’état de l'art a également été menée sur trois bases de données publiques, validant les méthodes proposées pour la surveillance d'une gare et d'un aéroport / People detection is a well-studied open challenge in the field of Computer Vision with applications such as in the visual surveillance systems. Monocular detectors have limited ability to handle occlusion, clutter, scale, density. Ubiquitous presence of cameras and computational resources fuel the development of multi-camera detection systems. In this thesis, we study the multi-camera people detection; specifically, the use of multi-view probabilistic occupancy maps based on the camera calibration. Occupancy maps allow multi-view geometric fusion of several camera views. Detection with such maps create several false detections and we study this phenomenon: ghost pruning. Further, we propose two novel techniques in order to improve multi-view detection based on: (a) kernel deconvolution, and (b) occupancy shape modeling. We perform non-temporal, multi-view reasoning in occupancy maps to recover accurate positions of people in challenging conditions such as of occlusion, clutter, lighting, and camera variations. We show improvements in people detections across three challenging datasets for visual surveillance including comparison with state-of-the-art techniques. We show the application of this work in exigent transportation scenarios i.e. people detection for surveillance at a train station and at an airport

Cette thèse étudie l'utilisation de variables d'erreurs non linéaires dans la conception de filtres de Kalman étendus (EKF). La théorie des observateurs invariants sur les groupes de Lie sert de point de départ au développement d'un cadre plus général mais aussi plus simple, fournissant des variables d'erreur non linéaires assurant la propriété nouvelle et surprenante de suivre une équation différentielle (partiellement) linéaire. Ce résultat est mis à profit pour prouver, sous des hypothèses naturelles d'observabilité, la stabilité de l'EKF invariant (IEKF) une fois adapapté à la classe de systèmes (non-invariants) introduite. Le gain de performance remarquable par rapport à l'EKF classique est illustré par des applications à des problèmes industriels réels, réalisées en partenariat avec l'entreprise SAGEM.Dans une seconde approche, les variables d'erreurs sont étudiées en tant que processus stochastiques. Pour les observateurs convergeant globalement si les bruits sont ignorés, on montre que les ajouter conduit la variable d'erreur à converger en loi vers une distribution limite indépendante de l'initialisation. Ceci permet de choisir des gains à l'avance en optimisant la densité asymptotique. La dernière approche adoptée consiste à prendre un peu de recul vis-à-vis des groupes de Lie, et à étudier les EKF utilisant des variables d'erreur non linéaires de façon générale. Des propriété globales nouvelles sont obtenues. En particulier, on montre que ces méthodes permettent de résoudre le célèbre problème de fausse observabilité créé par l'EKF s'il est appliqué aux questions de localisation et cartographie simultanées (SLAM). / The present thesis explores the use of non-linear state errors to devise extended Kalman filters (EKFs). First we depart from the theory of invariant observers on Lie groups and propose a more general yet simpler framework allowing to obtain non-linear error variables having the novel unexpected property of being governed by a (partially) linear differential equation. This result is leveraged to ensure local stability of the invariant EKF (IEKF) under standard observability assumptions, when extended to this class of (non-invariant) systems. Real applications to some industrial problems in partnership with the company SAGEM illustrate the remarkable performance gap over the conventional EKF. A second route we investigate is to turn the noise on and consider the invariant errors as stochastic processes. Convergence in law of the error to a fixed probability distribution, independent of the initialization, is obtained if the error with noise turned off is globally convergent, which in turn allows to assess gains in advance that minimize the error's asymptotic dispersion. The last route consists in stepping back a little and exploring general EKFs (beyond the Lie group case) relying on a non-linear state error. Novel mathematical (global) properties are derived. In particular, these methods are shown to remedy the famous problem of false observability created by the EKF if applied to simultaneous localization and mapping (SLAM), which is a novel result.

Cette thèse, réalisée en coopération avec l'Institut Pascal et Renault, s'inscrit dans le domaine des applications d'aide à la conduite, la plupart de ces systèmes visant à améliorer la sécurité des passagers du véhicule. La fusion de différents capteurs permet de rendre plus fiable la prise de décision. L'objectif des travaux de cette thèse a été de développer un système de fusion entre un radar et une caméra intelligente pour la détection des obstacles frontaux au véhicule. Nous avons proposé une architecture modulaire de fusion temps réel utilisant des données asynchrones provenant des capteurs sans a priori applicatif. Notre système de fusion de capteurs est basé sur des méthodes de suivi de plusieurs cibles. Des méthodes probabilistes de suivi de cibles ont été envisagées et une méthode particulière, basée sur la modélisation des obstacles par un ensemble fini de variables aléatoires a été choisie et testée en temps réel. Cette méthode, appelée CPHD (Cardinalized Probability Hypothesis Density) permet de gérer les différents défauts des capteurs (non détections, fausses alarmes, imprécision de positions et de vitesses mesurées) et les incertitudes liées à l’environnement (nombre inconnu d'obstacles à détecter). Ce système a été amélioré par la gestion de différents types d'obstacles : piéton, voiture, camion, vélo. Nous avons proposé aussi une méthode permettant de résoudre le problème des occultations avec une caméra de manière explicite par une méthode probabiliste en prenant en compte les imprécisions de ce capteur. L'utilisation de capteurs intelligents a introduit un problème de corrélation des mesures (dues à un prétraitement des données) que nous avons réussi à gérer grâce à une analyse de l'estimation des performances de détection de ces capteurs. Afin de compléter ce système de fusion, nous avons mis en place un outil permettant de déterminer rapidement les paramètres de fusion à utiliser pour les différents capteurs. Notre système a été testé en situation réelle lors de nombreuses expérimentations. Nous avons ainsi validé chacune des contributions de manière qualitative et quantitative. / This PhD work, carried out in collaboration with Institut Pascal and Renault, is in the field of the Advanced Driving Assisted Systems, most of these systems aiming to improve passenger security. Sensors fusion makes the system decision more reliable. The goal of this PhD work was to develop a fusion system between a radar and a smart camera, improving obstacles detection in front of the vehicle. Our approach proposes a real-time flexible fusion architecture system using asynchronous data from the sensors without any prior knowledge about the application. Our fusion system is based on a multi targets tracking method. Probabilistic multi target tracking was considered, and one based on random finite sets (modelling targets) was selected and tested in real-time computation. The filter, named CPHD (Cardinalized Probability Hypothesis Density), succeed in taking into account and correcting all sensor defaults (non detections, false alarms and imprecision on position and speed estimated by sensors) and uncertainty about the environment (unknown number of targets). This system was improved by introducing the management of the type of the target: pedestrian, car, truck and bicycle. A new system was proposed, solving explicitly camera occlusions issues by a probabilistic method taking into account this sensor imprecision. Smart sensors use induces data correlation (due to pre-processed data). This issue was solved by correcting the estimation of sensor detection performance. A new tool was set up to complete fusion system: it allows the estimation of all sensors parameters used by fusion filter. Our system was tested in real situations with several experimentations. Every contribution was qualitatively and quantitatively validated.

Autant le GPS tend à s'imposer pour la localisation à l'extérieur des bâtiments, autant la situation est beaucoup plus ouverte pour la localisation à l'intérieur des bâtiments. De nombreux réseaux WiFi sont déployés dans les bâtiments. Ils diffusent des informations de puissance du signal permettant de remonter à la position d'un mobile. La technique du fingerprinting par puissance WiFi permet de localiser le mobile. Cependant, l'utilisation de cette technique de localisation requière une base de données correspondant à la couverture radio WiFi dans l'environnement.<br />L'utilisation d'une technique de localisation basée sur des mesures temporelles est moins contraignante que le fingerprinting. L'émission d'impulsions radio très brèves confère à la technologie 802.15.4a un fort pouvoir séparateur des multi-trajets. Le phénomène de multi-trajets est la principale contrainte au déploiement d'une technologie de localisation par mesures temporelles. La détection du premier trajet est très importante.<br />Des estimateurs comme le filtre de Kalman ou le filtre particulaire sont nécessaires pour limiter les effets des multi-trajets, des bruits de mesure, etc. Ces filtres peuvent aussi intégrer des informations de cartographie. Bien souvent, l'exploitation d'une seule technologie est insuffisante. La fusion d'informations de localisation est une étape supplémentaire pour améliorer la localisation. Des architectures de fusion robustes permettent de corriger les défauts de chacune des technologies pour conduire à un système plus robuste et plus précis en toutes circonstances.<br />Ce travail présente une approche innovante pour la localisation WiFi avec l'exploitation de cartographie dans l'estimateur tout en gardant une faible complexité suivant la plate-forme de déploiement visée. L'exploration des capacités de la localisation par ULB est proposée dans un second temps, avant d'aborder une réflexion sur les méthodes de fusion multi-capteurs.