La tâche consistant à tirer de l'information des images d'une caméra au cours du temps pour cartographier l'environnement et se localiser à l'intérieur de celui-ci, est appelée Localisation et Cartographie Simultanée ou SLAM.Développée à la fois par les communautés scientifiques de robotique et vision par ordinateur les applications sont multiples. Des robots bénéficient de cette capacité en gagnant en autonomie. Ces dernières années, des résultats impressionnants ont été obtenus pour des applications à des moyens de transport autonomes.Une autre champ d'application est la réalité augmenté. La localisation donnée par le SLAM offre la possibilité d'obtenir un rendu des éléments virtuels en cohérence avec les mouvements de l'utilisateur. Ainsi le cinéma, les jeux vidéos, le tourisme peuvent bénéficier de techniques SLAM. L'assistance aux travailleurs effectuant des tâches de précision ou répétitives compte également parmi les champs d'application du SLAM. Dans le cadre de cette thèse nous nous sommes intéressés au SLAM dans une optique d'applications réalistes de réalité augmentée. Bien que le sujet ait été beaucoup exploré et que d'intéressants résultats aient été obtenus, la tâche n'est toujours pas parfaitement résolue. Le problème du SLAM est un sujet de recherche ouvert, aussi bien sur des aspects spatiaux (dérive, fermeture de boucle) que temporels (temps de traitement). Dans le cadre du SLAM monoculaire nous avons surtout adressé le problème de la dérive. Puis nous nous sommes intéressés au SLAM multi-capteurs, afin d'adresser le problème des mouvements de rotation problématiques dans le cas monoculaire, et celui de la complexité calculatoire. / Gathering informations from the images of a camera, over time, in order to map the environment and localize the camera in it, is a task refered to as Simultaneous Localization and Mapping, or SLAM. Developped both by the robotics and computer vision scientific communities, its applications are many. Robots gain autonomy from this ability. Quite recently, impressive results have been obtained in applications to autonomous transportation vehicles. Another field of application is augmented reality. The localization offered by SLAM enables us to display virtual objects in a consistent way a user movements. Thus, cinema, video games, tourisme applications can benefit from SLAM methods. Visual aids to workers performing complex or repetetive tasks is also an interesting application of SLAM methods. During this PhD thesis, we took interest in SLAM with the idea of realistic augmented reality applications in mind. Though the topic has been extensively explored and many impressive results obtained, the task isn't completely solved. The problem is still an open one, regarding spatial facets (drift, loop closure) as well as temporal (processing time). As part of our monocular SLAM explorations, we mainly studied the drift issue. We then explored multisensor SLAM, both as a mean to handle problematical rotational movements for the monocular setup and as mean to reduce the substantial processing times needed to solve the problem.

La métrologie 3D permet la vérification de spécifications géométriques et dimensionnelles sur des pièces mécaniques. Ce contrôle est classiquement réalisé à partir de mesures avec des capteurs à contact montés sur des machines à mesurer tridimensionnelles. Ce type de mesures offre une très grande qualité de données acquises mais requiert un temps d'exécution relativement long. Les présents travaux s'attachent donc à développer les mesures optiques dans le cadre de la métrologie 3D qui, avec une qualité diminuée, permettent une exécution beaucoup plus rapide. L'absence de norme concernant ces systèmes de mesure a pour conséquence leur utilisation rare dans le cadre de la métrologie. En effet, le choix d'un système est généralement réalisé à partir de spécifications sur sa qualité. Nous proposons donc une méthode de qualification des systèmes de mesure optiques permettant de quantifier la qualité des données qu'ils fournissent. Les données ainsi qualifiées sont stockées dans une base de données. Un processus global d'inspection 3D multi-systèmes est mis en place, permettant le choix du système de numérisation le mieux adapté (à contact ou sans contact) en termes de qualité et de coût de numérisation, à partir des données qualifiées de la base de données. Lors de l'utilisation de systèmes de mesure optiques, la baisse de qualité est essentiellement due au bruit de numérisation inhérent à ce type de systèmes. Un filtre permettant d'éliminer ce bruit, tout en gardant le défaut de forme de la surface, est mis en place dans le processus afin de rendre possible la vérification de spécifications avec des intervalles de tolérance faibles à l'aide de systèmes de mesure optiques. / 3D metrology allows GD\&{}T verification on mechanical parts. This verification is usually calculated using data obtained with a touch probe mounted on a coordinate measuring machine. Such a measurement offers a high data quality but requires an expensive processing time. The proposed research aims at expanding optical measurements in 3D metrology, reducing execution time but with a lower data quality. The lack of standard in this field makes the use of optical sensors uncommon in 3D metrology. Indeed, the system selection is mostly carried out from its quality specifications. Therefore we propose a protocol to assess the quality of optical measuring systems that allows in particular quantification of acquired data quality. The results of measuring system qualification are stored in a database. Taking advantages of this database, a global multi-system 3D inspection process is set up allowing the selection of the best digitizing system (contact or contactless) in terms of quality and digitizing cost. When using optical sensors, the poor quality is mostly due to digitizing noise inherent to this kind of systems. A filter that removes noise, keeping the form deviation of the surface, is proposed in the process to make possible the specification verification for applications with small tolerance intervals using optical systems.

Les kits pour téléphonie mains-libres en voiture sont un équipement qui devient de plus en plus standard dans les véhicules actuels. Ces accessoires répondent à un besoin de communiquer tout en conduisant, pour des raisons professionnelles ou personnelles. Or, la voiture s’avère un environnement acoustique particulièrement difficile. En effet, un habitacle de voiture présente une forte réverbération, du fait de la présence de nombreuses surfaces vitrées, et il est aussi très bruyant. Ce bruit vient de multiples sources, comme le moteur, le roulement du pneu sur la route, le vent, la circulation environnante... et ces sources varient fortement d’une condition de conduite à l’autre. La réduction de bruit ambiant au niveau de la prise de son dans l’habitacle constitue donc un élément majeur dans le confort des utilisateurs de ce type d’équipement. L’objectif des travaux effectués dans le cadre de cette thèse est de fournir une solution efficace de réduction de bruit pour cette application, en utilisant plusieurs microphones. Nous nous intéressons ici principalement à la situation d’autoroute. Une grande campagne de mesures dans un véritable habitacle automobile en roulant a permis d’observer des caractéristiques spatiales et spectrales du champ de bruit ambiant présent dans cette situation. Ces mesures nous ont permis de mettre en évidence de fortes différences en termes de Rapport Signal à Bruit d’entrée (RSB) et de cohérence spatiale du bruit capté selon la fréquence considérée. Ces observations nous amènent à concevoir des systèmes hybrides : nous cherchons à appliquer des traitements différents en basses et hautes fréquences. Nous avons développé une implémentation adaptative du beamforming Minimum Variance Distortionless Response, qui est efficace dans des conditions de fort RSB d’entrée, et quand la cohérence inter-capteur du bruit est faible. Nous avons également étudié le placement des capteurs pour cette approche de façon à maximiser ses performances, qui seront bonnes en hautes fréquences. Pour les basses fréquences, nous avons étudié deux systèmes :- L’un est basé sur de l’Annulation de Bruit Adaptative, exploitant un bruit fortement cohérent d’un capteur sur l’autre - L’autre est un dérivé du Filtre de Wiener Multicanal . A chaque fois, une étude des performances en fonction de l’antenne de capteurs utilisée a été menée, pour utiliser la stratégie acoustique la plus appropriée. Les systèmes hybrides ainsi conçus ont été évalués de façon subjective, en faisant passer un test d’écoute à un panel d’individus. Ce test montre que le système hybride utilisant le filtrage de Wiener permet de réduire de façon significative la gêne liée au bruit ambiant, sans montrer de contrepartie sur la qualité de la parole transmise. / Hands-free car kits have gained a lot of popularity among drivers over the last years. These equipments fill the need for the users to communicate while driving their car, whether it is for professional or personal use. Having a phone conversation in a car is really challenging, as the inside of an automobile is a strongly adverse acoustic environment. Indeed, this compartment is strongly reverberant, because of the presence of important glass surface (such as the windbreaker and windows), and it is also very noisy. The noise comes from various sources, such as the engine, the contact of the tire on the road, the wind..., and those sources show different characteristics from one situation to another. Hence, the noise reduction for in-car voice pickup is a major element for the user’s comfort. The main objective of the work reported in this thesis is to build an efficient noise reduction solution for in-car telephony, using a plurality of microphones. We are in this work mostly interested in the freeway situation. Hence, a database of measurements has been recorded in a real car interior, to understand what are the spectral and spatial characteristics of the noise field in this situation. These measurements showed that the noise field has different characteristics in high and low frequencies. Indeed, the noise has more energy, and is more spatially coherent in the low frequency range. This leads us to propose hybrid subband systems, in order to use different algorithmic approaches in high and low frequencies. We made an adaptive implementation of the well-known Minimum Variance Distortionless Response beamforming, which is efficient when the input Signal-to-Noise Ratio is high, and the noise field shows a low spatial coherence. We also conducted an analysis on the impact of sensors’ positions, in order to build a microphone array which will allow this method to be efficient in the high frequency range. We also considered two different processings for the low frequency range : — one is based on Adaptive Noise Cancellation, which uses the high spatial coherence of recorded noises, — the other is based on Multichannel Wiener Filter. For both methods, an analysis of the impact of sensors’ positions has been made, in order to build an efficient microphone array. To assess the performance of these hybrid systems, a subjective evaluation has been conducted, through a listening test. This evaluation shows that the hybrid system using a Multichannel Wiener Filter in the low frequency range supresses a significant amount of noise, while keeping the voice distortion to a minimum, perceptually unnoticed.

L’objectif de cette thèse est de développer des méthodes permettant la cartographie d’un environnement tridimensionnel de grande dimension en combinant radar panoramique MMW et caméras optiques. Contrairement aux méthodes existantes de fusion de données multi-capteurs, telles que le SLAM, nous souhaitons réaliser un capteur de type RGB-D fournissant directement des mesures de profondeur enrichies par l’apparence (couleur, texture...). Après avoir modélisé géométriquement le système radar/caméra, nous proposons une méthode de calibrage originale utilisant des correspondances de points. Pour obtenir ces correspondances, des cibles permettant une mesure ponctuelle aussi bien par le radar que la caméra ont été conçues. L’approche proposée a été élaborée pour pouvoir être mise en oeuvre dans un environnement libre et par un opérateur non expert. Deuxièmement, une méthode de reconstruction de points tridimensionnels sur la base de correspondances de points radar et image a été développée. Nous montrons par une analyse théorique des incertitudes combinées des deux capteurs et par des résultats expérimentaux, que la méthode proposée est plus précise que la triangulation stéréoscopique classique pour des points éloignés comme on en trouve dans le cas de cartographie d’environnements extérieurs. Enfin, nous proposons une stratégie efficace de mise en correspondance automatique des données caméra et radar. Cette stratégie utilise deux caméras calibrées. Prenant en compte l’hétérogénéité des données radar et caméras, l’algorithme développé commence par segmenter les données radar en régions polygonales. Grâce au calibrage, l’enveloppe de chaque région est projetée dans deux images afin de définir des régions d’intérêt plus restreintes. Ces régions sont alors segmentées à leur tour en régions polygonales générant ainsi une liste restreinte d’appariement candidats. Un critère basé sur l’inter corrélation et la contrainte épipolaire est appliqué pour valider ou rejeter des paires de régions. Tant que ce critère n’est pas vérifié, les régions sont, elles même, subdivisées par segmentation. Ce processus, favorise l’appariement de régions de grande dimension en premier. L’objectif de cette approche est d’obtenir une cartographie sous forme de patchs localement denses. Les méthodes proposées, ont été testées aussi bien sur des données de synthèse que sur des données expérimentales réelles. Les résultats sont encourageants et montrent, à notre sens, la faisabilité de l’utilisation de ces deux capteurs pour la cartographie d’environnements extérieurs de grande échelle. / The main goal of this PhD work is to develop 3D mapping methods of large scale environment by combining panoramic radar and cameras. Unlike existing sensor fusion methods, such as SLAM (simultaneous localization and mapping), we want to build a RGB-D sensor which directly provides depth measurement enhanced with texture and color information. After modeling the geometry of the radar/camera system, we propose a novel calibration method using points correspondences. To obtain these points correspondences, we designed special targets allowing accurate point detection by both the radar and the camera. The proposed approach has been developed to be implemented by non-expert operators and in unconstrained environment. Secondly, a 3D reconstruction method is elaborated based on radar data and image point correspondences. A theoretical analysis is done to study the influence of the uncertainty zone of each sensor on the reconstruction method. This theoretical study, together with the experimental results, show that the proposed method outperforms the conventional stereoscopic triangulation for large scale outdoor scenes. Finally, we propose an efficient strategy for automatic data matching. This strategy uses two calibrated cameras. Taking into account the heterogeneity of cameras and radar data, the developed algorithm starts by segmenting the radar data into polygonal regions. The calibration process allows the restriction of the search by defining a region of interest in the pair of images. A similarity criterion based on both cross correlation and epipolar constraint is applied in order to validate or reject region pairs. While the similarity test is not met, the image regions are re-segmented iteratively into polygonal regions, generating thereby a shortlist of candidate matches. This process promotes the matching of large regions first which allows obtaining maps with locally dense patches. The proposed methods were tested on both synthetic and real experimental data. The results are encouraging and prove the feasibility of radar and vision sensor fusion for the 3D mapping of large scale urban environment.

Scene understanding is the process, often real time, of perceiving, analysing and elaborating an interpretation of a 3D dynamic scene observed through a network of sensors. This process consists mainly in matching signal information coming from sensors observing the scene with models which humans are using to understand the scene. Based on that, scene understanding is both adding and extracting semantic from the sensor data characterizing a scene. This scene can contain a number of physical objects of various types (e.g. people, vehicle) interacting with each others or with their environment (e.g. equipment) more or less structured. The scene can last few instants (e.g. the fall of a person) or few months (e.g. the depression of a person), can be limited to a laboratory slide observed through a microscope or go beyond the size of a city. Sensors include usually cameras (e.g. omni directional, infrared), but also may include microphones and other sensors (e.g. optical cells, contact sensors, physiological sensors, radars, smoke detectors). Scene understanding is influenced by cognitive vision and it requires at least the melding of three areas: computer vision, cognition and software engineering. Scene understanding can achieve four levels of generic computer vision functionality of detection, localisation, recognition and understanding. But scene understanding systems go beyond the detection of visual features such as corners, edges and moving regions to extract information related to the physical world which is meaningful for human operators. Its requirement is also to achieve more robust, resilient, adaptable computer vision functionalities by endowing them with a cognitive faculty: the ability to learn, adapt, weigh alternative solutions, and develop new strategies for analysis and interpretation. The key characteristic of a scene understanding system is its capacity to exhibit robust performance even in circumstances that were not foreseen when it was designed. Furthermore, a scene understanding system should be able to anticipate events and adapt its operation accordingly. Ideally, a scene understanding system should be able to adapt to novel variations of the current environment to generalize to new context and application domains and interpret the intent of underlying behaviours to predict future configurations of the environment, and to communicate an understanding of the scene to other systems, including humans. Related but different domains are robotic, where systems can interfere and modify their environment, and multi-media document analysis (e.g. video retrieval), where limited contextual information is available.

Le vieillissement du parc aéronautique, mais aussi la volonté de prolonger le cycle de vie des appareils, impose aux techniques de maintenance des exigences de contrôle accrues en termes de fiabilité et de rapidité. Les principaux enjeux étant la détection, et surtout la caractérisation des micro-fissures pouvant apparaitre dans les pièces sensibles des appareils. Cette caractérisation pouvant aller jusqu'à la reconstruction qualitative, voire quantitative du profil des fissures, ce qui suppose la résolution du problème inverse consistant, à partir des signaux mesurés, à remonter à certaines caractéristiques de la pièce inspectée, notamment géométriques, qui en sont en partie la cause.Ce manuscrit présente une approche originale de conception de sonde d'imagerie par courants de Foucault. Cette approche, ici appliquée à l'imagerie de pièces aéronautiques cylindriques, consiste à concevoir la sonde de façon à satisfaire la double contrainte d'une instrumentation performante et d'une résolution possible du problème inverse. Ainsi, la conception de la sonde est-elle faite de manière à ce que d'une part les signaux mesurés, résultant de ses interactions avec la pièce contrôlée, soient d'amplitude la plus élevée possible, et d'autre part, a n que ces interactions soient modélisables au moyen d'un modèle qui se prête bien à l'inversion.Dans un premier temps, une méthodologie de conception de sonde est présentée, qui vise à optimiser le dimensionnement et l'agencement de ses éléments en se fixant des contraintes de sensibilité et de résolution. Un prototype, conçu d'après cette méthodologie, est réalisé, mis en œuvre et caractérisé. Les résultats expérimentaux obtenus, qui s'avèrent en accord avec une modélisation par éléments finis, offrent une validation du fonctionnement de la sonde, celle-ci permettant effectivement de mettre en évidence les défauts types (micro-fissures) recherchés dans la pièce inspectée. Dans un second temps, la configuration des interactions sonde-pièce inspectée, choisie à dessein, est mise à profit pour élaborer un modèle direct. Celui-ci repose sur l'hypothèse selon laquelle, les défauts étant de faibles dimensions, il est possible de considérer que la perturbation de signal qu'ils engendrent est équivalente à celle que génèreraient des sources virtuelles de courants localisées uniquement dans le volume du défaut. Outre sa simplicité, cette modélisation offre l'avantage d'être adaptée à une mise en œuvre au moyen de la méthode des points sources distribués. Or celle-ci permet de formuler le problème direct sous forme matricielle ce qui constitue une base de nature à faciliter la résolution du problème inverse.C'est à ce problème qu'est consacrée la dernière partie du mémoire. Des méthodes d'inversion y sont proposées, visant à traiter progressivement la complexité du problème. Ainsi un algorithme d'inversion mono-fréquence est-il proposé, qui se montre efficace pour reconstruire des défauts sur de faibles profondeurs. Pour une meilleure reconstruction en profondeur, des algorithmes multifréquence faisant appel à des méthodes de régularisation sont ensuite conçus et appliqués à des signaux correspondant à des défauts de géométries diverses. / The ageing of the aeronautical fleet and the will to increase the aircrafts lifetime require the maintenance techniques to be made always more reliable and fast. In this context, the detection and characterization of the microscopic cracks likely to appear in some sensitive parts of the aircrafts is an important issue to be faced.This work deals with an original approach for the design of an eddy current imaging probe dedicated to the non destructive evaluation of cylindrical fastener parts. This approach consists in designing the probe in such a way that it both satisfies the constraint of an efficient sensing and that of enabling the inverse problem to be solved with a view to the defects reconstruction.Firstly, a probe design methodology is presented that optimizes the emission/reception topology, the choice of the probe elements and their arrangement according to sensitivity and resolution constraints. A prototype is built, implemented and characterized and validation of the design is obtained as the researched defects are displayed with experimental performances that agree with finite elements modelling simulations.Secondly, since the probe relies on a uniform eddy current flow interacting with small defects, a rather simple forward model is proposed based on virtual defect current sources (VDCS). The model implementation is carried out using the distributed point source method leading to a matrix formulation that can facilitate the resolution of the inverse problem.Finally, mono-frequency and multi-frequency methods are proposed for inverting the VDCS forward model and promising defect reconstruction results are obtained.

Description géométrique de l'environnement grâce à la redondance et à la complémentarité des informations provenant de plusieurs capteurs. Cette description est basée sur une modélisation tridimensionnelle de type surfacique incorporant les informations géométriques et l'incertitude de ces informations

Les robots parallèles connaissent un récent développement dans l'industrie. Ils présentent des avantages certains (rigidité, caractéristiques dynamiques...), même si leur cinématique est souvent complexe, notamment à cause du couplage de leurs mouvements. C'est pourquoi les robots à mouvements découplés s'avèrent intéressants et seront étudiés dans le cadre de cette thèse, notamment du point de vue de leur précision. Nous proposons une démarche en deux étapes. Dans un premier temps nous adopterons l'hypothèse des corps indéformables et nous chercherons à intégrer les défauts de fabrication et de montage dans le modèle géométrique du robot. L'étude analyse les effets de ces défauts sur les caractéristiques de découplage du robot, ainsi que sur la précision de la pose de la plateforme mobile. Dans un second temps, avec l'hypothèse des corps déformables, il s'agit de calculer la rigidité du robot avec la méthode des éléments finis, puis de proposer une approche analytique plus rapide basée sur le principe de la sous-structuration. L'intégration des défauts de fabrication et de montage dans le modèle des corps déformables a l'intérêt de visualiser l'effet des précontraintes sur la précision et sur la rigidité du robot. Ces travaux ont porté sur des robots de la famille Isoglide développés au LaMI avec la collaboration du LASMEA. La modélisation de plusieurs versions avec des degrés d'hyperactivité différents permet de montrer l'effet de l'hyperstaticité. L'analyse du comportement, tant statique que dynamique, d'un robot à structure parallèle est une tâche complexe. Il faut âtre capable de suivre simultanément plusieurs organes et de mesurer avec une grande précision la pose spatiale complète de la plate-forme mobile. Les travaux présentés mettent en oeuvre un système de métrologie par vision multi-capteurs, permettant l'analyse du comportement d'organes indépendants, puis de la structure complète du robot. Une étude de corrélation entre le comportement attendu par simulation et les mesures, dégage des perspectives sur le couplage mécanique et vision

Un des défis majeurs de la réalité augmentée est celui de l'alignement spatial des objets virtuels sur le monde réel. Plusieurs techniques de localisation par la vision ont été proposées dans la littérature pour améliorer le recalage virtuel. Le suivi hybride qui combine différentes technologies et méthodes semble ouvrir une nouvelle voie d'utilisation pour combler les divers problèmes liés à la précision et à la robustesse des algorithmes. Dans ce travail, nous avons développé une architecture multimodale de suivi de cibles et de gestion d'occultations en réalité augmentée. L'approche multimodale consiste à combiner différents capteurs et techniques, associés en fonction des conditions réelles de l'environnement. Cette architecture est constituée d'un module de tracking de cibles codées basé sur un algorithme hybride d'estimation de pose. Toutefois, cet algorithme de suivi de cibles est mis en échec si les marqueurs visuels ne sont pas entièrement visibles. Nous avons étendu donc, cette méthode de localisation spatio-temporelle par un module de suivi de points caractéristiques en présence d'occultations partielles des cibles. Cette étape se fonde sur l'étude des propriétés du suivi robuste des points d'intérêts et sur l'adaptation et la gestion des différentes conditions expérimentales. Enfin, une partie de suivi multi-capteurs est incluse dans notre démarche de conception logicielle. Ce dernier module de l'architecture est composé d'un dispositif hybride de tracking permettant de pallier les occultations totales des cibles. Des expérimentations avec le système global et de nombreuses évaluations ont servi à montrer l'intérêt de l'approche multimodale proposée pour le suivi et la gestion d'occultations en réalité augmentée. Le travail réalisé a permis de définir une base de critères nécessaires pour une mise en oeuvre efficace d'une architecture de suivi robuste et multi-capteurs dans un environnement de réalité augmentée.

La métrologie 3D permet la vérification de spécifications géométriques et dimensionnelles sur des pièces mécaniques. Ce contrôle est classiquement réalisé à partir de mesures avec des capteurs à contact montés sur des machines à mesurer tridimensionnelles. Ce type de mesures offre une très grande qualité de données acquises mais requiert un temps d'exécution relativement long. Les présents travaux s'attachent donc à développer les mesures optiques dans le cadre de la métrologie 3D qui, avec une qualité diminuée, permettent une exécution beaucoup plus rapide. L'absence de norme concernant ces systèmes de mesure a pour conséquence leur utilisation rare dans le cadre de la métrologie. En effet, le choix d'un système est généralement réalisé à partir de spécifications sur sa qualité. Nous proposons donc une méthode de qualification des systèmes de mesure optiques permettant de quantifier la qualité des données qu'ils fournissent. Les données ainsi qualifiées sont stockées dans une base de données. Un processus global d'inspection 3D multi-systèmes est mis en place, permettant le choix du système de numérisation le mieux adapté (à contact ou sans contact) en termes de qualité et de coût de numérisation, à partir des données qualifiées de la base de données. Lors de l'utilisation de systèmes de mesure optiques, la baisse de qualité est essentiellement due au bruit de numérisation inhérent à ce type de systèmes. Un filtre permettant d'éliminer ce bruit, tout en gardant le défaut de forme de la surface, est mis en place dans le processus afin de rendre possible la vérification de spécifications avec des intervalles de tolérance faibles à l'aide de systèmes de mesure optiques.