Les systèmes d'aide à la conduite peuvent améliorer la sécurité routière en aidant les utilisateurs via des avertissements de situations dangereuses ou en déclenchant des actions appropriées en cas de collision imminente (airbags, freinage d'urgence, etc). Dans ce cas, la connaissance de la position et de la vitesse des objets mobiles alentours constitue une information clé. C'est pourquoi, dans ce travail, nous nous focalisons sur la détection et le suivi d'objets dans une scène dynamique. En remarquant que les systèmes multi-caméras sont de plus en plus présents dans les véhicules et en sachant que le lidar est performant pour la détection d'obstacles, nous nous intéressons à l'apport de la vision stéréoscopique dans la perception géométrique multimodale de l'environnement. Afin de fusionner les informations géométriques entre le lidar et le système de vision, nous avons développé un procédé de calibrage qui détermine les paramètres extrinsèques et évalue les incertitudes sur ces estimations. Nous proposons ensuite une méthode d'odométrie visuelle temps-réel permettant d'estimer le mouvement propre du véhicule afin de simplifier l'analyse du mouvement des objets dynamiques. Dans un second temps, nous montrons comment l'intégrité de la détection et du suivi des objets par lidar peut être améliorée en utilisant une méthode de confirmation visuelle qui procède par reconstruction dense de l'environnement 3D. Pour finir, le système de perception multimodal a été intégré sur une plateforme automobile, ce qui a permis de tester expérimentalement les différentes approches proposées dans des situations routières en environnement non contrôlé.

Cette thèse aborde des problèmes liés à la localisation et la reconnaissance d’objets urbains dans des images multi-sources (optique, infrarouge, Modèle Numérique de Surface) de très haute précision acquises par voie aérienne.Les objets urbains (lampadaires, poteaux, voitures, arbres…) présentent des dimensions, des formes, des textures et des couleurs très variables. Ils peuvent être collés les uns les autres et sont de petite taille par rapport à la dimension d’une image. Ils sont présents en grand nombre mais peuvent être partiellement occultés. Tout ceci rend les objets urbains difficilement identifiables par les techniques actuelles de traitement d’images.Dans un premier temps, nous avons comparé les approches d’apprentissage classiques, composées de deux étapes - extraction de caractéristiques par le biais d’un descripteur prédéfini et utilisation d’un classifieur - aux approches d’apprentissage profond (Deep Learning), et plus précisément aux réseaux de neurones convolutionnels (CNN). Les CNN donnent de meilleurs résultats mais leurs performances ne sont pas suffisantes pour une utilisation industrielle. Nous avons donc proposé deux améliorations.Notre première contribution consiste à combiner de manière efficace les données provenant de sources différentes. Nous avons comparé une approche naïve qui consiste à considérer toutes les sources comme des composantes d’une image multidimensionnelle à une approche qui réalise la fusion des informations au sein même du CNN. Pour cela, nous avons traité les différentes informations dans des branches séparées du CNN. Nous avons ainsi montré que lorsque la base d’apprentissage contient peu de données, combiner intelligemment les sources dans une phase de pré-traitement (nous combinons l'optique et l'infrarouge pour créer une image NDVI) avant de les donner au CNN améliore les performances.Pour notre seconde contribution, nous nous sommes concentrés sur le problème des données incomplètes. Jusque-là, nous considérions que nous avions accès à toutes les sources pour chaque image mais nous pouvons aussi nous placer dans le cas où une source n’est pas disponible ou utilisable pour une image. Nous avons proposé une architecture permettant de prendre en compte toutes les données, même lorsqu’il manque une source sur une ou plusieurs images. Nous avons évalué notre architecture et montré que sur un scénario d’enrichissement, cette architecture permet d'obtenir un gain de plus de 2% sur la F-mesure.Les méthodes proposées ont été testées sur une base de données publique. Elles ont pour objectif d’être intégrées dans un logiciel de la société Berger-Levrault afin d’enrichir les bases de données géographiques et ainsi faciliter la gestion du territoire par les collectivités locales. / This thesis addresses problems related to the location and recognition of urban objects in multi-source images (optical, infrared, terrain model) of very high precision acquired by air.Urban objects (lamp posts, poles, car, tree...) have dimensions, shapes, textures and very variable colors. They can be glued to each other and are small with respect to the size of an image. They are present in large numbers but can be partially hidden. All this makes urban objects difficult to identify with current image processing techniques.First, we compared traditional learning approaches, consisting of two stages - extracting features through a predefined descriptor and using a classifier - to deep learning approaches and more precisely Convolutional Neural Networks (CNN). CNNs give better results but their performances are not sufficient for industrial use. We therefore proposed two contributions to increase performance.The first is to efficiently combine data from different sources. We compared a naive approach that considers all sources as components of a multidimensional image to an approach that merges information within CNN itself. For this, we have processed the different information in separate branches of the CNN.For our second contribution, we focused on the problem of incomplete data. Until then, we considered that we had access to all the sources for each image but we can also place ourselves in the case where a source is not available or usable. We have proposed an architecture to take into account all the data, even when a source is missing in one or more images. We evaluated our architecture and showed that on an enrichment scenario, it allows to have a gain of more than 2% on the F-measure.The proposed methods were tested on a public database. They aim to be integrated into a Berger-Levrault company software in order to enrich geographic databases and thus facilitate the management of the territory by local authorities.

Cette thèse aborde des problèmes liés à la localisation et reconnaissance d'objets urbains dans des images aériennes de très haute définition. Les objets urbains se caractérisent par une représentation très variable en terme de forme, texture et couleur. De plus, ils sont présents de multiples fois sur les images à analyser et peuvent être collés les uns aux autres. Pour effectuer la localisation et reconnaissance automatiquement des différents objets nous proposons d'utiliser des approches d'apprentissage supervisé. De part leurs caractéristiques, les objets urbains sont difficilement détectables et les approches classiques de détections n'offrent pas de performances satisfaisantes. Nous avons proposé l'utilisation d'un réseau de séparateurs à vaste marge (SVM) afin de mieux fusionner les informations issues des différentes résolutions et donc d'améliorer la représentativité de l'objet urbain. L'utilisation de réseau de SVM permet d'améliorer les performances mais à un coût calculatoire important. Nous avons alors proposé d'utiliser un chemin d'activation permettant de réduire la complexité sans perdre en efficacité. Ce chemin va activer le réseau de manière séquentielle et stoppera l'exploration lorsque la probabilité de détection d'un objet est importante. Dans le cas d'une localisation basée sur l'extraction de caractéristiques puis la classification, la réduction calculatoire est d'un facteur cinq. Par la suite, nous avons montré que nous pouvons combiner le réseau de SVM avec les cartes de caractéristiques issues de réseaux de neurones convolutifs. Cette architecture combinée avec le chemin d'activation permet une réduction théorique du coût d'activation pouvant aller jusqu'à 97% avec un gain de performances d'environ 8% sur les données utilisées. Les méthodes développées ont pour objectif d'être intégrées dans un logiciel de la société Berger-Levrault afin de faciliter et d'améliorer la gestion de cadastre dans les collectivités locales. / This thesis deals with the problems of automatic localization and recognition of urban objects in high-definition aerial images. Urban object detection is a challenging problem because they vary in appearance, color and size. Moreover, there are many urban objects which can be very close to each other in an image. The localization and the automatic recognition of different urban objects, considering these characteristics, are very difficult to detect and classical image processing algorithms do not lead to good performances. We propose then to use the supervised learning approach. In a first time, we have built a Support Vector Machine (SVM) network to merge different resolutions in an efficient way. However, this method highly increases the computational cost. We then proposed to use an “activation path” which reduces the complexity without any loss of efficiency. This path activates sequentially the network and stops the exploration when an urban object has a high probability of detection. In the case of localizations based on a feature extraction step followed by a classification step, this may reduce by a factor 5 the computational cost. Thereafter, we show that we can combine an SVM network with feature maps which have been extracted by a Convolutional Neural Network. Such an architecture associated with the activation path increased the performance by 8% on our database while giving a theoretical reduction of the computational costs up to 97%. We implemented all these new methods in order to be integrated in the software framework of Berger-Levrault company, to improve land registry for local communities.

Cette étude propose une nouvelle méthode pour estimer l'angle et la distance afin de localiser des objets reposants sur le fond ou enfouis dans les sédiments marins. L'originalité de cette méthode réside en l'estimation simultanée de l'angle et la distance dans un environnement bruité et en présence de signaux corrélés. Les statistiques d'ordre supérieur ont été utilisées pour pallier au problème du bruit et ceci en formant la matrice des cumulants pour chaque fréquence. Ensuite, un lissage fréquentiel est appliqué pour former la matrice des cumulants focalisée afin d'estimer le sous-espace signal cohérent. C'est ce dernier traitement qui permet de décorréler les signaux. Ainsi, pour estimer les paramètres des objets, la matrice interspectrale est remplacée par la matrice des cumulants focalisée et le modèle du champ acoustique diffusé est utilisé au lieu du modèle d'onde plane dans la méthode MUSIC (MUltiple SIgnal Classification). D'autre part, les déphasages des signaux dus aux déformations de l'antenne ont été estimés en utilisant l'algorithme DIRECT (DIviding RECTangles). Les performances de cette méthode ont été évaluées sur des données réelles mesurées dans une cuve expérimentale où plusieurs objets ont été enfouis sous le sable. La méthode proposée est supérieure en terme de performances comparée aux méthodes classiques. Cette supériorité est vérifiée qu'elle que soit la position de l'objet, champ lointain ou de champ proche de l'antenne. Les bons résultats de la localisation des objets sont encourageants et très prometteurs.

La perte de vision périphérique (vision tubulaire) a pour conséquence de nombreux déficits qui réduisent fortement l'autonomie des personnes qui en sont atteintes et par conséquent leur qualité de vie. Nombre de ces déficits témoignent d'une cognition spatiale dégradée mettant en jeu des relations étroites entre vision périphérique et représentations spatiales. Le double objectif de ce travail de thèse consiste à mieux comprendre la nature de ces relations et, sur la base de ces connaissances, contribuer à l'émergence de dispositifs d'assistance plus adaptés et performants, capables de suppléer l'absence de vision périphérique. Dans un premier temps, je me suis intéressé au rôle de la vision périphérique dans la construction de représentations spatiales égocentrées. J'ai d'abord collaboré à une expérience de psychophysique impliquant la détection en vision périphérique de cibles visuelles situées soit droit-devant, soit excentrées par rapport à l'axe du corps. En mesurant les temps de réaction nous avons pu démontrer que les sujets humains répondaient plus rapidement aux cibles présentées droit-devant qu'aux cibles excentrées. J'ai pris en charge une deuxième étude complémentaire portant sur le lien entre ce traitement sensoriel privilégié du droit-devant en vision périphérique et la dynamique des saccades oculaires de recentrage. En comparant les dynamiques de pro-saccades et d'anti-saccades de recentrage ou d' " excentrage ", j'ai pu mettre en évidence que la supériorité dynamique des saccades de recentrage guidées par la vision périphérique reposait à la fois sur des facteurs sensoriels et oculomoteurs. Ces travaux révèlent l'intégration précoce de signaux visuels et oculomoteurs en vision périphérique, pouvant servir à localiser les éléments visuels par rapport à soi et à privilégier le traitement des éléments situés dans l'axe droit-devant. Dans un deuxième temps, mes travaux ont abordé l'influence de la vision périphérique dans les représentations spatiales allocentrées. Pour étudier l'implication de la vision périphérique dans le codage allocentré, j'ai réalisé une expérience impliquant une tâche de pointage vers des cibles visuelles en vision centrale, accompagnées ou non d'indices visuels à différentes distances en vision périphérique. Les résultats obtenus montrent que des indices visuels capturés par la vision périphérique peuvent effectivement contribuer au codage allocentré d'une cible fixée, et ce même lorsque ces indices périphériques doivent être extraits de scène visuelles complexes en moins de 200 ms. Dans une étude complémentaire, j'ai montré que l'utilisation de ces indices allocentrés situés en périphérie avait un véritable rôle fonctionnel, accélérant les recherches visuelles. Ainsi, ces travaux révèlent une implication fonctionnelle forte de la vision périphérique dans l'extraction des relations spatiales entre éléments présents dans l'environnement visuel. J'ai voulu, durant la dernière partie de ma thèse, initier le développement d'un dispositif d'assistance dont la finalité est de suppléer les fonctions spatiales, égocentrées et allocentrées, de la vision périphérique. Comme preuve de concept, mon travail a consisté à concevoir et développer un dispositif tactile placé sur le poignet et capable de communiquer la position spatiale d'objets d'intérêt pour en simplifier leurs recherches visuelles. Les résultats obtenus chez des sujets sains avec un champ visuel artificiellement réduit (10°) montrent que l'interface tactile permet d'accélérer par trois la vitesse de recherche visuelle. Des résultats similaires ont été observés chez une personne atteinte de glaucome (champ visuel de 10x15°). Ma thèse pluridisciplinaire permet d'apporter un nouvel éclairage sur l'implication de la vision périphérique dans la construction de représentations spatiales, et elle propose de nouvelles pistes pour le développement de dispositifs d'assistance adaptés aux personnes atteintes de vision tubulaire. / The loss of peripheral vision (tunnel vision) leads to numerous deficits, reducing both independence and quality of life. These deficits reflect spatial cognition impairments, and highlight the close relationship between peripheral vision and spatial representations. This thesis has two main objectives: reaching a better understanding of the nature of these relationships, and using the acquired knowledge in order to propose adaptive, performant and innovative assistive devices able to overcome the peripheral loss. At first, I address the role of peripheral vision in egocentric space coding. I collaborated in a psychophysics experiment, involving detection of visual objects placed in peripheral vision. The visual objects formed similar images on the retina and differed only with respect to their egocentric location: either straight-ahead or eccentric with respect to the head/body midline. We found that straight-ahead objects elicit consistently shorter behavioral responses than eccentric objects. I took in charge a second study evaluating the link between the privileged sensory processing of the straight ahead direction and the dynamic of ocular saccades. Comparison between centripetal and centrifugal pro-saccades and anti-saccades revealed that the superior dynamic of centripetal saccades comes from both sensory and oculomotor factors. These works reveal the early integration of both visual and oculomotor signals in peripheral vision, leading to egocentric representations in which the straight ahead direction is highlighted. Secondly, I investigated the influence of peripheral vision in extracting allocentric spatial representations. In order to assess the role of peripheral vision in allocentric coding, I performed a memory-based pointing task toward previously gazed targets, which were briefly superimposed with visual cues placed at different eccentricities. The results showed that visual cues in peripheral (>10°) vision can contribute to the allocentric coding of a fixated target. A complementary experiment showed that these peripheral allocentric cues play a functional role, notably by facilitating visual searches. These works highlight the importance of peripheral vision in extracting functional spatial relationships between distant elements of the visual environment. Finally, I wanted to promote the development of new assistive devices, able to substitute both egocentric and allocentric spatial functions of the peripheral vision. As a proof of concept, I designed and evaluated a tactile interface mounted on wrist, communicating the spatial location of specific objects and facilitating visual search. Results showed that healthy subjects with artificial tunnel vision (10°) were able to increase by three visual search speeds thank to this tactile interface. Similar results were obtained on a glaucoma subject (field of view 10x15°). My multidisciplinary thesis highlights new roles of peripheral vision in spatial representations and proposes an innovative solution to develop assistive device for tunnel vision.

La conception de systèmes de perception autonomes, tels que des robots capables d’accomplir un ensemble de tâches de manière sûre et sans assistance humaine, est l’un des grands défis de notre siècle. Pour ce faire, la robotique développementale propose de concevoir des robots qui, comme des enfants, auraient la faculté d’apprendre directement par interaction avec leur environnement. Nous avons dans cette thèse exploré de telles possibilités en se limitant à l’apprentissage de la localisation des objets d’intérêt (ou objets saillants) dans l’environnement du robot.Pour ce faire, nous présentons dans ces travaux un mécanisme capable d’apprendre la saillance visuelle directement sur un robot, puis d’utiliser le modèle appris de la sorte pour localiser des objets saillants dans son environnement. Cette méthode a l’avantage de permettre la création de modèles spécialisés pour l’environnement du robot et les tâches qu’il doit accomplir, tout en restant flexible à d’éventuelles nouveautés ou modifications de l’environnement.De plus, afin de permettre un apprentissage efficace et de qualité, nous avons développé des stratégies d’explorations basées sur les motivations intrinsèques, très utilisées en robotique développementale. Nous avons notamment adapté l’algorithme IAC à l’apprentissage de la saillance visuelle, et en avons conçu une extension, RL-IAC, pour permettre une exploration efficace sur un robot mobile. Afin de vérifier et d’analyser les performances de nos algorithmes, nous avons réalisé des évaluations sur plusieurs plateformes robotiques dont une plateforme fovéale et un robot mobile, ainsi que sur des bases de données publiques. / Conceiving autonomous perceptual systems, such as robots able to accomplish a set of tasks in a safe way, without any human assistance, is one of the biggest challenge of the century. To this end, the developmental robotics suggests to conceive robots able to learn by interacting directly with their environment, just like children would. This thesis is exploring such possibility while restricting the problem to the one of localizing objects of interest (or salient objects) within the robot’s environment.For that, we present in this work a mechanism able to learn visual saliency directly on a robot, then to use the learned model so as to localize salient objects within their environment. The advantage of this method is the creation of models dedicated to the robot’s environment and tasks it should be asked to accomplish, while remaining flexible to any change or novelty in the environment.Furthermore, we have developed exploration strategies based on intrinsic motivations, widely used in developmental robotics, to enable efficient learning of good quality. In particular, we adapted the IAC algorithm to visual saliency leanring, and proposed an extension, RL-IAC to allow an efficient exploration on mobile robots.In order to verify and analyze the performance of our algorithms, we have carried out various experiments on several robotics platforms, including a foveated system and a mobile robot, as well as publicly available datasets.

Cette thèse est consacrée à l'estimation des temps d'arrivée de signaux dans le cadre de la localisation active d'objets dans un contexte large bande et multitrajets sans contraintes sur le nombre de capteurs déployés. En s'inspirant des méthodes de traitement d'antenne, adaptées à l'estimation des temps d'arrivée, nous avons proposé une méthode afin d'estimer les paramètres de localisation d'un ensemble de sources ou d'objets réflecteurs d'un signal large bande connu. L'originalité de la méthode présentée réside dans le traitement spatialement incohérent des données, à savoir que l'information est traitée indépendamment sur chaque capteur. Les temps d'arrivée estimés sont ensuite associés à leurs sources respectives, ce qui permet de déterminer leurs positions géographiques. Pour s'affranchir de la corrélation des signaux reçus nous avons mis au point une méthode de lissage fréquentiel qui conserve toutefois une résolution temporelle optimale. Les performances de la méthode globale sont validées sur des données simulées et expérimentales.

Cette thèse est consacrée à l'étude de la localisation d'objets enfouis dans acoustiques sous-marins en utilisant les méthodes de traitement d'antenne et les ondes acoustiques. Nous avons proposé un modèle bien adapté en tenant compte le phénomène physique au niveau de l'interface eau/sédiment. La modélisation de la propagation combine donc la contribution de l'onde réfléchie et celle de l'onde réfractée pour déterminer un nouveau vecteur directionnel. Le vecteur directionnel élaboré à partir des modèles de diffusion acoustique est utilisé dans la méthode MUSIC au lieu d'utiliser le modèle d'onde plane habituel. Cette approche permet d'estimer à la fois coordonnées d'objets (angle et distance objet-capteur) de forme connue, quel que soit leur emplacement vis à vis de l'antenne, en champ proche ou en champ lointain. Nous remplaçons l'étape de décomposition en éléments propres par des algorithmes plus rapides. Nous développons un algorithme d'optimisation plus élaboré consiste à combiner l'algorithme DIRECT (DIviding RECTangles) avec une interpolation de type Spline, ceci permet de faire face au cas d'antennes distordues à grand nombre de capteurs, tout en conservant un temps de calcul faible. Les signaux reçus sont des signaux issus de ce même capteur, réfléchis et réfractés par les objets et sont donc forcément corrélés. Pour cela, nous d'abord utilisons un opérateur bilinéaire. Puis nous proposons une méthode pour le cas de groupes indépendants de signaux corrélés en utilisant les cumulants. Ensuit nous présentons une méthode en utilisant la matrice tranche cumulants pour éliminer du bruit Gaussien. Mais dans la pratique, le bruit n'est pas toujours gaussien ou ses caractéristiques ne sont pas toujours connues. Nous développons deux méthodes itératives pour estimer la matrice interspectrale du bruit. Le premier algorithme est basé sur une technique d'optimisation permettant d'extraire itérativement la matrice interspectrale du bruit de la matrice interspectrale des observations. Le deuxième algorithme utilise la technique du maximum de vraisemblance pour estimer conjointement les paramètres du signal et du bruit. Enfin nous testons les algorithmes proposés avec des données expérimentales et les performances des résultats sont très bonnes. / This thesis is devoted to the study of the localization of objects buried in underwater acoustic using array processing methods and acoustic waves. We have proposed a appropriate model, taking into account the water/sediment interface. The propagation modeling thus combines the reflected wave and the refracted wave to determine a new directional vector. The directional vector developed by acoustic scattering model is used in the MUSIC method instead of the classical plane wave model. This approach can estimate both of the object coordinates (angle and distance sensor-object) of known form, in near field or far field. We propose some fast algorithms without eigendecompostion. We combine DIRECT algorithm with spline interpolation to cope with the distorted antennas of many sensors, while maintaining a low computation time. To decorrelate the received signals, we firstly use a bilinear operator. We propose a method for the case of independent groups of correlated signals using the cumulants. Then we present a method using the cumulants matrix to eliminate Gaussian noise. But in practice, the noise is not always Gaussian or the characteristics are not always known. We develope two iterative methods to estimate the interspectral matrix of noise. The first algorithm is based on an optimization technique to extract iteratively the interspectral matrix of noise. The second algorithm uses the technique of maximum likelihood to estimate the signal parameters and the noise. Finally we test the proposed algorithms with experimental data. The results quality is very good.