Dans ce travail, nous considérons le cas d'un robot mobile d'intérieur dont l'objectif est de détecter les humains présents dans l'environnement et de se positionner physiquement par rapport à eux, dans le but de mieux percevoir leur état. Pour cela, le robot dispose de différents capteurs (capteur RGB-Depth, microphones, télémètre laser). Des contributions de natures variées ont été effectuées :Classification d'événements sonores en environnement intérieur : La méthode de classification proposée repose sur une taxonomie de petite taille et est destinée à différencier les marqueurs de la présence humaine. L'utilisation de fonctions de croyance permet de prendre en compte l'incertitude de la classification, et de labelliser un son comme « inconnu ».Fusion audiovisuelle pour la détection de locuteurs successifs dans une conversation : Une méthode de détection de locuteurs est proposée dans le cas du robot immobile, placé comme témoin d'une interaction sociale. Elle repose sur une fusion audiovisuelle probabiliste. Cette méthode a été testée sur des vidéos acquises par le robot.Navigation dédiée à la détection d'humains à l'aide d'une fusion multimodale : A partir d'informations provenant des capteurs hétérogènes, le robot cherche des humains de manière autonome dans un environnement connu. Les informations sont fusionnées au sein d'une grille de perception multimodale. Cette grille permet au robot de prendre une décision quant à son prochain déplacement, à l'aide d'un automate reposant sur des niveaux de priorité des informations perçues. Ce système a été implémenté et testé sur un robot Q.bo.Modélisation crédibiliste de l'environnement pour la navigation : La construction de la grille de perception multimodale est améliorée à l'aide d'un mécanisme de fusion reposant sur la théorie des fonctions de croyance. Ceci permet au robot de maintenir une grille « évidentielle » dans le temps comprenant l'information perçue et son incertitude. Ce système a d'abord été évalué en simulation, puis sur le robot Q.bo. / In this work, we consider the case of mobile robot that aims at detecting and positioning itself with respect to humans in its environment. In order to fulfill this mission, the robot is equipped with various sensors (RGB-Depth, microphones, laser telemeter). This thesis contains contributions of various natures:Sound classification in indoor environments: A small taxonomy is proposed in a classification method destined to enable a robot to detect human presence. Uncertainty of classification is taken into account through the use of belief functions, allowing us to label a sound as "unknown".Speaker tracking thanks to audiovisual data fusion: The robot is witness to a social interaction and tracks the successive speakers with probabilistic audiovisual data fusion. The proposed method was tested on videos extracted from the robot's sensors.Navigation dedicated to human detection thanks to a multimodal fusion:} The robot autonomously navigates in a known environment to detect humans thanks to heterogeneous sensors. The data is fused to create a multimodal perception grid. This grid enables the robot to chose its destinations, depending on the priority of perceived information. This system was implemented and tested on a Q.bo robot.Credibilist modelization of the environment for navigation: The creation of the multimodal perception grid is improved by the use of credibilist fusion. This enables the robot to maintain an evidential grid in time, containing the perceived information and its uncertainty. This system was implemented in simulation first, and then on a Q.bo robot.

La perception est un point clé pour le fonctionnement d'un véhicule autonome ou même pour un véhicule fournissant des fonctions d'assistance. Un véhicule observe le monde externe à l'aide de capteurs et construit un modèle interne de l'environnement extérieur. Il met à jour en continu ce modèle de l'environnement en utilisant les dernières données des capteurs. Dans ce cadre, la perception peut être divisée en deux étapes : la première partie, appelée SLAM (Simultaneous Localization And Mapping) s'intéresse à la construction d'une carte de l'environnement extérieur et à la localisation du véhicule hôte dans cette carte, et deuxième partie traite de la détection et du suivi des objets mobiles dans l'environnement (DATMO pour Detection And Tracking of Moving Objects). En utilisant des capteurs laser de grande précision, des résultats importants ont été obtenus par les chercheurs. Cependant, avec des capteurs laser de faible résolution et des données bruitées, le problème est toujours ouvert, en particulier le problème du DATMO. Dans cette thèse nous proposons d'utiliser la vision (mono ou stéréo) couplée à un capteur laser pour résoudre ce problème. La première contribution de cette thèse porte sur l'identification et le développement de trois niveaux de fusion. En fonction du niveau de traitement de l'information capteur avant le processus de fusion, nous les appelons "fusion bas niveau", "fusion au niveau de la détection" et "fusion au niveau du suivi". Pour la fusion bas niveau, nous avons utilisé les grilles d'occupations. Pour la fusion au niveau de la détection, les objets détectés par chaque capteur sont fusionnés pour avoir une liste d'objets fusionnés. La fusion au niveau du suivi requiert le suivi des objets pour chaque capteur et ensuite on réalise la fusion entre les listes d'objets suivis. La deuxième contribution de cette thèse est le développement d'une technique rapide pour trouver les bords de route à partir des données du laser et en utilisant cette information nous supprimons de nombreuses fausses alarmes. Nous avons en effet observé que beaucoup de fausses alarmes apparaissent sur le bord de la route. La troisième contribution de cette thèse est le développement d'une solution complète pour la perception avec un capteur laser et des caméras stéréo-vision et son intégration sur un démonstrateur du projet européen Intersafe-2. Ce projet s'intéresse à la sécurité aux intersections et vise à y réduire les blessures et les accidents mortels. Dans ce projet, nous avons travaillé en collaboration avec Volkswagen, l'Université Technique de Cluj-Napoca, en Roumanie et l'INRIA Paris pour fournir une solution complète de perception et d'évaluation des risques pour le démonstrateur de Volkswagen. / Perception is one of important steps for the functioning of an autonomous vehicle or even for a vehicle providing only driver assistance functions. Vehicle observes the external world using its sensors and builds an internal model of the outer environment configuration. It keeps on updating this internal model using latest sensor data. In this setting perception can be divided into two sub parts: first part, called SLAM(Simultaneous Localization And Mapping), is concerned with building an online map of the external environment and localizing the host vehicle in this map, and second part deals with finding moving objects in the environment and tracking them over time and is called DATMO(Detection And Tracking of Moving Objects). Using high resolution and accurate laser scanners successful efforts have been made by many researchers to solve these problems. However, with low resolution or noisy laser scanners solving these problems, especially DATMO, is still a challenge and there are either many false alarms, miss detections or both. In this thesis we propose that by using vision sensor (mono or stereo) along with laser sensor and by developing an effective fusion scheme on an appropriate level, these problems can be greatly reduced. The main contribution of this research is concerned with the identification of three fusion levels and development of fusion techniques for each level for SLAM and DATMO based perception architecture of autonomous vehicles. Depending on the amount of preprocessing required before fusion for each level, we call them low level, object detection level and track level fusion. For low level we propose to use grid based fusion technique and by giving appropriate weights (depending on the sensor properties) to each grid for each sensor a fused grid can be obtained giving better view of the external environment in some sense. For object detection level fusion, lists of objects detected for each sensor are fused to get a list of fused objects where fused objects have more information then their previous versions. We use a Bayesian fusion technique for this level. Track level fusion requires to track moving objects for each sensor separately and then do a fusion between tracks to get fused tracks. Fusion at this level helps remove false tracks. Second contribution of this research is the development of a fast technique of finding road borders from noisy laser data and then using these border information to remove false moving objects. Usually we have observed that many false moving objects appear near the road borders due to sensor noise. If they are not filtered out then they result into many false tracks close to vehicle making vehicle to apply breaks or to issue warning messages to the driver falsely. Third contribution is the development of a complete perception solution for lidar and stereo vision sensors and its intigration on a real vehicle demonstrator used for a European Union project (INTERSAFE-21). This project is concerned with the safety at intersections and aims at the reduction of injury and fatal accidents there. In this project we worked in collaboration with Volkswagen, Technical university of Cluj-Napoca Romania and INRIA Paris to provide a complete perception and risk assessment solution for this project.

On étudie dans cette thèse des méthodes de localisation coopérative de robots mobiles sans utilisation de mesures extéroceptives relatives, comme des angles ou des distances entre robots. Les systèmes de localisation considérés sont basés sur des mesures de radionavigation sur des balises fixes ou des satellites. Pour ces systèmes, on observe en général un écart entre la position observée et la position réelle. Cet écart systématique (appelé biais) peut être dû à une mauvaise position de la balise ou à une différence entre la propagation réelles des ondes électromagnétiques par rapport aux conditions standard utilisées pour établir les modèles d’observation. L’influence de ce biais sur la localisation des robots est non négligeable. La coopération et l’échange de données entre les robots (estimations des biais, estimations des positions et données proprioceptives) est une approche qui permet de corriger ces erreurs systématiques. La localisation coopérative par échange des estimations est sujette aux problèmes de consanguinité des données qui peuvent engendrer des résultats erronés, en particulier trop confiants. Lorsque les estimations sont utilisées pour la navigation autonome à l’approche, on doit éviter tout risque de collision qui peut mettre en jeu la sécurité des robots et des personnes aux alentours. On doit donc avoir recours à un mécanisme d’intégrité vérifiant que l’erreur commise reste inférieure à une erreur maximale tolérable pour la mission. Dans un tel contexte, il est nécessaire de caractériser des domaines de confiance fiables contenant les positions des robots mobiles avec une forte probabilité. L’utilisation des méthodes ensemblistes à erreurs bornées est considérée alors comme une solution efficace. En effet, ce type d’approche résout naturellement le problème de consanguinité des données et fournit des domaines de confiance fiables. De surcroît, l’utilisation de modèles non-linéaires ne pose aucun problème de linéarisation. Après avoir modélisé un système coopératif de nr robots avec des mesures biaisées sur des balises, une étude d’observabilité est conduite. Deux cas sont considérés selon la nature des mesures brutes des observations. En outre, des conditions d’observabilité sont démontrées. Un algorithme ensembliste de localisation coopérative est ensuite présenté. Les méthodes considérées sont basées sur la propagation de contraintes sur des intervalles et l’inversion ensembliste. La coopération est effectuée grâce au partage des positions estimées, des biais estimés et des mesures proprioceptives.L’échange des estimations de biais permet de réduire les incertitudes sur les positions des robots. Dans un cadre d’étude simple, la faisabilité de l’algorithme est évaluée grâce à des simulations de mesures de distances sur balises en utilisant plusieurs robots. La coopération est comparée aux méthodes non coopératives. L’algorithme coopératif ensembliste est ensuite testé sur des données réelles en utilisant deux véhicules. Les performances de la méthode ensembliste coopérative sont enfin comparées avec deux méthodes Bayésiennes séquentielles, notamment une avec fusion par intersection de covariance. La comparaison est conduite en termes d’exactitude et d’incertitude. / In this work, we study some cooperative localization issues for mobile robotic systems that interact with each other without using relative measurements (e.g. bearing and relative distances). The considered localization technologies are based on beacons or satellites that provide radio-navigation measurements. Such systems often lead to offsets between real and observed positions. These systematic offsets (i.e, biases) are often due to inaccurate beacon positions, or differences between the real electromagnetic waves propagation and the observation models. The impact of these biases on robots localization should not be neglected. Cooperation and data exchange (estimates of biases, estimates of positions and proprioceptive measurements) reduce significantly systematic errors. However, cooperative localization based on sharing estimates is subject to data incest problems (i.e, reuse of identical information in the fusion process) that often lead to over-convergence problems. When position information is used in a safety-critical context (e.g. close navigation of autonomous robots), one should check the consistency of the localization estimates. In this context, we aim at characterizing reliable confidence domains that contain robots positions with high reliability. Hence, set-membership methods are considered as efficient solutions. This kind of approach enables merging adequately the information even when it is reused several time. It also provides reliable domains. Moreover, the use of non-linear models does not require any linearization. The modeling of a cooperative system of nr robots with biased beacons measurements is firstly presented. Then, we perform an observability study. Two cases regarding the localization technology are considered. Observability conditions are identified and demonstrated. We then propose a set-membership method for cooperativelocalization. Cooperation is performed by sharing estimated positions, estimated biases and proprioceptive measurements. Sharing biases estimates allows to reduce the estimation error and the uncertainty of the robots positions. The algorithm feasibility is validated through simulation when the observations are beacons distance measurements with several robots. The cooperation provides better performance compared to a non-cooperative method. Afterwards, the cooperative algorithm based on set-membership method is tested using real data with two experimental vehicles. Finally, we compare the interval method performance with a sequential Bayesian approach based on covariance intersection. Experimental results indicate that the interval approach provides more accurate positions of the vehicles with smaller confidence domains that remain reliable. Indeed, the comparison is performed in terms of accuracy and uncertainty.

L'objectif de la thèse est de développer des algorithmes de fusion de données recueillies à l’aide d'un réseau de capteurs sans fil afin de localiser plusieurs sources émettant un agent chimique ou biologique dans l'air. Ces capteurs détectent la concentration de la substance émise, transportée par advection et diffusion, au niveau de leurs positions et de communiquer cette information à un centre de traitement. L’information recueillie de façon collaborative est d'abord utilisée pour localiser les capteurs déployés au hasard et ensuite pour localiser les sources. Les applications comprennent, entre autres, la surveillance environnementale et la surveillance de sites sensibles ainsi que des applications de sécurité dans le cas d'une libération accidentelle ou intentionnelle d'un agent toxique. Toutefois, l'application considérée dans la thèse est celle de la détection et la localisation de mines terrestres. Dans cette approche, les mines sont considérées comme des sources émettrices de produits chimiques explosifs.La thèse comprend une contribution théorique où nous étendons l'algorithme de propagation de la croyance, un algorithme de fusion de données bien connu et largement utilisé pour l'estimation collaborative d'état dans les réseaux de capteurs, au cadre des méthodes à erreurs bornées. Le nouvel algorithme est testé sur le problème de l'auto-localisation dans les réseaux de capteurs statiques ainsi que l'application de suivi d'un objet mobile en utilisant un réseau de capteurs de distance. Autres contributions comprennent l'utilisation d'une approche probabiliste bayésienne avec des techniques d'analyse de données pour localiser un nombre inconnu de sources émettrices de vapeur. / The aim of the thesis is to develop fusion algorithms for data collected from a wireless sensor network in order to locate multiple sources emitting some chemical or biological agent in the air. These sensors detect the concentration of the emitted substance, transported by advection and diffusion, at their positions and communicate this information to a treatment center. The information collected in a collaborative manner is used first to locate the randomly deployed sensors and second to locate the sources. Applications include, amongst others, environmental monitoring and surveillance of sensitive sites as well as security applications in the case of an accidental or intentional release of a toxic agent. However, the application we consider in the thesis is that of landmine detection and localization. In this approach, the land mines are considered as sources emitting explosive chemicals. The thesis includes a theoretical contribution where we extend the Belief Propagation algorithm, a well-known data fusion algorithm that is widely used for collaborative state estimation in sensor networks, to the bounded error framework. The novel algorithm is tested on the self-localization problem in static sensor networks as well as the application of tracking a mobile object using a network of range sensors. Other contributions include the use of a Bayesian probabilistic approach along with data analysis techniques to locate an unknown number of vapor emitting sources.

En France, les chutes constituent la première cause de mortalité chez les plus de 75 ans, et la seconde chez les plus de 65 ans. On estime qu'elle engendre un coût de 1 à 2 milliards d'euros par an pour la société. L'enjeu humain et socio-économique est colossal, sachant que le risque de chute est multiplié par 20 après une première chute, que le risque de décès est multiplié par 4 dans l'année qui suit une chute, que les chutes concernent 30% des personnes de plus de 65 ans et 50% des personnes de plus de 85 ans, et que l'on estime que d'ici 2050, plus de 30% de la population sera âgée de plus de 65 ans. Cette thèse propose un dispositif de détection de présence au sol se basant sur l'analyse de cartes de profondeurs acquises en temps réel, ainsi qu'une amélioration du dispositif proposé utilisant également un capteur thermique. Les cartes de profondeurs et les images thermiques nous permettent de nous affranchir des conditions d'illumination de la scène observée, et garantissent l'anonymat des personnes qui évoluent dans le champ de vision du dispositif. Cette thèse propose également différentes méthodes de détection du plan du sol dans une carte de profondeurs, le plan du sol constituant une référence géométrique nécessaire au dispositif proposé. Une enquête psychosociale a été réalisée, qui nous a permis d'évaluer l'acceptabilité a priori dudit dispositif. Cette enquête a démontré sa bonne acceptabilité, et a fourni des préconisations quant aux points d'amélioration et aux écueils à éviter. Enfin, une méthode de suivi d'objets dans une carte de profondeurs est proposée, un objectif à plus long terme consistant à mesurer l'activité des individus observés. / In France, fall is the first death cause for people aged 75 and more, and the second death cause for people aged 65 and more. It is considered that falls generate about 1 to 2 billion euros health costs per year. The human and social-economical issue is crucial, knowing that for the mentioned populations, fall risk is multiplied by 20 after a first fall; that the death risk is multiplied by 4 in the year following a fall; that per year, 30% of the people aged 65 and more and 50% of the people aged 85 and more are subject to falls; and that it is estimated that more than 30% of the French population whill be older than 65 years old by 2050. This thesis proposes a ground lying event detection device which bases on the real time analysis of depth maps, and also proposes an improvement of the device, which uses an additional thermal sensor. Depth maps and thermal images ensure the device is independent from textures and lighting conditions of the observed scenes, and guarantee that the device respects the privacy of those who pass into its field of view, since nobody can be recognized in such images. This thesis also proposes several methods to detect the ground plane in a depth map, the ground plane being a geometrical reference for the device. A psycho-social inquiry was conducted, and enabled the evaluation of the a priori acceptability of the proposed device. This inquiry demonstrated the good acceptability of the proposed device, and resulted in recommendations on points to be improved and on pitfalls to avoid. Last, a method to separate and track objects detected in a depth map is proposed, the measurement of the activity of observed individuals being a long term objective for the device.

Cette thèse s’intéresse à la gestion décentralisée des données récoltées par les réseaux de capteurs dans le contexte des réseaux électriques intelligents (smart grids). Nous proposons une architecture décentralisée basée sur les systèmes multi-agents pour la gestion des données et de l’énergie dans un smart grid. En particulier, nos travaux traitent de la gestion des données des réseaux de capteurs dans le réseau de distribution d’un smart grid et ont pour objectif de lever deux verrous essentiels : (1) l'identification et la détection de défaillances et de changements nécessitant une prise de décision et la mise en œuvre des actions correspondantes ; (2) la gestion des grandes quantités de données qui seront récoltées suite à la prolifération des capteurs et des compteurs communicants. La gestion de ces informations peut faire appel à plusieurs méthodes, dont l'agrégation des paquets de données sur laquelle nous nous focalisons dans cette thèse. Nous proposons d’agréger (PriBaCC) et/ou de corréler (CoDA) le contenu de ces paquets de données de manière décentralisée. Ainsi, le traitement de ces données s'effectuera plus rapidement, ce qui aboutira à une prise de décision rapide et efficace concernant la gestion de l'énergie. La validation par simulation de nos contributions a montré que celles-ci répondent aux enjeux identifiés, notamment en réduisant le volume des données à gérer et le délai de communication des données prioritaires / This thesis focuses on the decentralized management of data collected by wireless sensor networks which are deployed in a smart grid, i.e. the evolved new generation electricity network. It proposes a decentralized architecture based on multi-agent systems for both data and energy management in the smart grid. In particular, our works deal with data management of sensor networks which are deployed in the distribution electric subsystem of a smart grid. They aim at answering two key challenges: (1) detection and identification of failure and disturbances requiring swift reporting and appropriate reactions; (2) efficient management of the growing volume of data caused by the proliferation of sensors and other sensing entities such as smart meters. The management of this data can call upon several methods, including the aggregation of data packets on which we focus in this thesis. To this end, we propose to aggregate (PriBaCC) and/or to correlate (CoDA) the contents of these data packets in a decentralized manner. Data processing will thus be done faster, consequently leading to rapid and efficient decision-making concerning energy management. The validation of our contributions by means of simulation has shown that they meet the identified challenges. It has also put forward their enhancements with respect to other existing approaches, particularly in terms of reducing data volume as well as transmission delay of high priority data

Because the earth's cryosphere influences global weather patterns and climate, the scientific community has had great interest in monitoring this important region. Microwave remote sensing has proven to be a useful tool in estimating sea and glacial ice surface characteristics with both scatterometers and radiometers exhibiting high sensitivity to important ice properties. This dissertation presents an array of studies focused on extracting key surface features from multisensor microwave data sets. First, several enhanced resolution image reconstruction issues are addressed. Among these are the optimization of the scatterometer image reconstruction (SIR) algorithm for NASA scatterometer (NSCAT) data, an analysis of Ku-band azimuthal modulation in Antarctica, and inter-sensor European Remote Sensing Satellite (ERS) calibration. Next, various methods for the removal of atmospheric distortions in image reconstruction of passive radiometer observations are considered. An automated algorithm is proposed which determines the spatial extent of sea ice in the Arctic and Antarctic regions from NSCAT data. A multisensor iterative sea ice statistical classification method which adapts to the temporally varying signatures of ice types is developed. The sea ice extent and classification algorithms are adopted for current SeaWinds scatterometer data sets. Finally, the automated inversion of large-scale forward electromagnetic scattering of models is considered and used to study the temporal evolution of the scattering properties of polar sea ice.

Algunas aplicaciones de carretera actuales, tales como los servicios de información al viajero, llamadas de emergencia automáticas, control de flotas o telepeaje eletrónico, requieren una solución de calidad al problema del posicionamiento de un vehículo terrestre, que funcione en cualquier entorno y a un coste razonable. Esta tesis presenta una solución a este problema, fusionando para ello la información procedente principalmente de sensores de navegación por satélite y sensores inerciales. Para ello emplea un nuevo filtro de fusion multisensorial IMM-EKF. El comportamiento del sistema ha sido analizado en entornos reales y controlados, y comparado con otras soluciones propuestas. Finalmente, su aplicabilidad al problema planteado ha sido verificada. / Road applications such as traveller information, automatic emergency calls, freight management or electronic fee, collection require a onboard equipment (OBE) capable to offer a high available accurate position, even in unfriendly environments with low satellite visibility at low cost. Specifically in life critical applications, users demand from the OBEs accurate continuous positioning and information of the reliability of this position. This thesis presents a solution based on the fusion of Global Navigation Satellite Systems (GNSS) and inertial sensors (GNSS/INS), running an Extended Kalman Filter combined with an Interactive Multi-Model method (IMM-EKF). The solution developed in this work supplies continuous positioning in marketable conditions, and a meaningful trust level of the given solution. A set of tests performed in controlled and real scenarios proves the suitability of the proposed IMM-EKF implementation, as compared with low cost GNSS based solutions, dead reckoning systems and single model extended Kalman filter (SM-EKF) solutions.

This thesis represents Bayesian joint audio-visual tracking for the 3D locations of multiple people and a current speaker in a real conference environment. To achieve this objective, it focuses on several different research interests, such as acoustic-feature detection, visual-feature detection, a non-linear Bayesian framework, data association, and sensor fusion. As acoustic-feature detection, time-delay-of-arrival~(TDOA) estimation is used for multiple source detection. Localization performance using TDOAs is also analyzed according to different configurations of microphones. As a visual-feature detection, Viola-Jones face detection is used to initialize the locations of unknown multiple objects. Then, a corner feature, based on the results from the Viola-Jones face detection, is used for motion detection for robust objects. Simple point-to-line correspondences between multiple cameras using fundamental matrices are used to determine which features are more robust. As a method for data association and sensor fusion, Monte-Carlo JPDAF and a data association with IPPF~(DA-IPPF) are implemented in the framework of particle filtering. Three different tracking scenarios of acoustic source tracking, visual source tracking, and joint acoustic-visual source tracking are represented using the proposed algorithms. Finally the real-time implementation of this joint acoustic-visual tracking system using a PC, four cameras, and six microphones is addressed with two parts of system implementation and real-time processing.

Indiana University-Purdue University Indianapolis (IUPUI) / Multiresolution image fusion is an emerging area of research for use in military and commercial applications. While many methods for image fusion have been developed, improvements can still be made. In many cases, image fusion methods are tailored to specific applications and are limited as a result. In order to make improvements to general image fusion, novel methods have been developed based on the wavelet transform and empirical variance. One particular novelty is the use of directional filtering in conjunction with wavelet transforms. Instead of treating the vertical, horizontal, and diagonal sub-bands of a wavelet transform the same, each sub-band is handled independently by applying custom filter windows. Results of the new methods exhibit better performance across a wide range of images highlighting different situations.