Le capteur a profité des récents progrès en matière d'intégration des composants électroniques qui permettent désormais de rassembler dans un même volume très réduit à la fois le capteur, l'électronique de conditionnement des signaux et les circuits numériques de traitement des données et de communication avec l'extérieur. Mais le capteur Intelligent va bien au-delà de cette simple juxtaposition, il sait extraire l'information nécessaire à une prise de décision, il intègre des services qui lui permettent de participer pleinement à la mission du système de décision distribué, au sein duquel les équipements coopèrent via un système de communication dédié, l'ossature d'une véritable base de données temps-réel. Ce mémoire introduit progressivement la notion de capteur intelligent en s'appuyant sur de nombreux exemples tirés de l'expérience personnelle de l'auteur, depuis des capteurs à base de polymères piézoélectriques pour des applications industrielles, jusqu'aux systèmes domotiques pour le suivi de la santé à domicile, en passant par des capteurs embarqués pour la télémédecine.

Cette thèse s'inscrit dans le contexte de la vision embarquée pour la détection et la reconnaissance d'obstacles routiers, en vue d'application d'assistance à la conduite automobile.A l'issue d'une étude bibliographique, nous avons constaté que la problématique de détection d'obstacles routiers, notamment des piétons, à l'aide d'une caméra embarquée, ne peut être résolue convenablement sans recourir aux techniques de reconnaissance de catégories d'objets dans les images. Ainsi, une étude complète du processus de la reconnaissance est réalisée, couvrant les techniques de représentation,de classification et de fusion d'informations. Les contributions de cette thèse se déclinent principalement autour de ces trois axes.Notre première contribution concerne la conception d'un modèle d'apparence locale basée sur un ensemble de descripteurs locaux SURF (Speeded Up RobustFeatures) représentés dans un Vocabulaire Visuel Hiérarchique. Bien que ce modèle soit robuste aux larges variations d'apparences et de formes intra-classe, il nécessite d'être couplé à une technique de classification permettant de discriminer et de catégoriser précisément les objets routiers. Une deuxième contribution présentée dans la thèse porte sur la combinaison du Vocabulaire Visuel Hiérarchique avec un classifieur SVM.Notre troisième contribution concerne l'étude de l'apport d'un module de fusion multimodale permettant d'envisager la combinaison des images visibles et infrarouges.Cette étude met en évidence de façon expérimentale la complémentarité des caractéristiques locales et globales ainsi que la modalité visible et celle infrarouge.Pour réduire la complexité du système, une stratégie de classification à deux niveaux de décision a été proposée. Cette stratégie est basée sur la théorie des fonctions de croyance et permet d'accélérer grandement le temps de prise de décision.Une dernière contribution est une synthèse des précédentes : nous mettons à profit les résultats d'expérimentations et nous intégrons les éléments développés dans un système de détection et de suivi de piétons en infrarouge-lointain. Ce système a été validé sur différentes bases d'images et séquences routières en milieu urbain.

Cette thèse aborde le problèeme du suivi et de la classification de plusieurs objets simultanément.Il est montré dans la thèese que les fonctions de croyance permettent d'améliorer les résultatsfournis par des méthodes classiques à base d'approches Bayésiennes. En particulier, une précédenteapproche développée dans le cas d'un seul objet est étendue au cas de plusieurs objets. Il est montréque dans toutes les approches multi-objets, la phase d'association entre observations et objetsconnus est fondamentale. Cette thèse propose également de nouvelles méthodes d'associationcrédales qui apparaissent plus robustes que celles trouvées dans la littérature. Enfin, est abordée laquestion de la classification multi-capteurs qui nécessite une seconde phase d'association. Dans cedernier cas, deux architectures de fusion des données capteurs sont proposées, une dite centraliséeet une autre dite distribuée. De nombreuses comparaisons illustrent l'intérêt de ces travaux, queles classes des objets soient constantes ou variantes dans le temps. / This thesis deals with multi-objet tracking and classification problem. It was shown that belieffunctions allow the results of classical Bayesian methods to be improved. In particular, a recentapproach dedicated to a single object classification which is extended to multi-object framework. Itwas shown that detected observations to known objects assignment is a fundamental issue in multiobjecttracking and classification solutions. New assignment solutions based on belief functionsare proposed in this thesis, they are shown to be more robust than the other credal solutions fromrecent literature. Finally, the issue of multi-sensor classification that requires a second phase ofassignment is addressed. In the latter case, two different multi-sensor architectures are proposed, aso-called centralized one and another said distributed. Many comparisons illustrate the importanceof this work, in both situations of constant and changing objects classes.

L’objectif de cette thèse est de développer des méthodes permettant la cartographie d’un environnement tridimensionnel de grande dimension en combinant radar panoramique MMW et caméras optiques. Contrairement aux méthodes existantes de fusion de données multi-capteurs, telles que le SLAM, nous souhaitons réaliser un capteur de type RGB-D fournissant directement des mesures de profondeur enrichies par l’apparence (couleur, texture...). Après avoir modélisé géométriquement le système radar/caméra, nous proposons une méthode de calibrage originale utilisant des correspondances de points. Pour obtenir ces correspondances, des cibles permettant une mesure ponctuelle aussi bien par le radar que la caméra ont été conçues. L’approche proposée a été élaborée pour pouvoir être mise en oeuvre dans un environnement libre et par un opérateur non expert. Deuxièmement, une méthode de reconstruction de points tridimensionnels sur la base de correspondances de points radar et image a été développée. Nous montrons par une analyse théorique des incertitudes combinées des deux capteurs et par des résultats expérimentaux, que la méthode proposée est plus précise que la triangulation stéréoscopique classique pour des points éloignés comme on en trouve dans le cas de cartographie d’environnements extérieurs. Enfin, nous proposons une stratégie efficace de mise en correspondance automatique des données caméra et radar. Cette stratégie utilise deux caméras calibrées. Prenant en compte l’hétérogénéité des données radar et caméras, l’algorithme développé commence par segmenter les données radar en régions polygonales. Grâce au calibrage, l’enveloppe de chaque région est projetée dans deux images afin de définir des régions d’intérêt plus restreintes. Ces régions sont alors segmentées à leur tour en régions polygonales générant ainsi une liste restreinte d’appariement candidats. Un critère basé sur l’inter corrélation et la contrainte épipolaire est appliqué pour valider ou rejeter des paires de régions. Tant que ce critère n’est pas vérifié, les régions sont, elles même, subdivisées par segmentation. Ce processus, favorise l’appariement de régions de grande dimension en premier. L’objectif de cette approche est d’obtenir une cartographie sous forme de patchs localement denses. Les méthodes proposées, ont été testées aussi bien sur des données de synthèse que sur des données expérimentales réelles. Les résultats sont encourageants et montrent, à notre sens, la faisabilité de l’utilisation de ces deux capteurs pour la cartographie d’environnements extérieurs de grande échelle. / The main goal of this PhD work is to develop 3D mapping methods of large scale environment by combining panoramic radar and cameras. Unlike existing sensor fusion methods, such as SLAM (simultaneous localization and mapping), we want to build a RGB-D sensor which directly provides depth measurement enhanced with texture and color information. After modeling the geometry of the radar/camera system, we propose a novel calibration method using points correspondences. To obtain these points correspondences, we designed special targets allowing accurate point detection by both the radar and the camera. The proposed approach has been developed to be implemented by non-expert operators and in unconstrained environment. Secondly, a 3D reconstruction method is elaborated based on radar data and image point correspondences. A theoretical analysis is done to study the influence of the uncertainty zone of each sensor on the reconstruction method. This theoretical study, together with the experimental results, show that the proposed method outperforms the conventional stereoscopic triangulation for large scale outdoor scenes. Finally, we propose an efficient strategy for automatic data matching. This strategy uses two calibrated cameras. Taking into account the heterogeneity of cameras and radar data, the developed algorithm starts by segmenting the radar data into polygonal regions. The calibration process allows the restriction of the search by defining a region of interest in the pair of images. A similarity criterion based on both cross correlation and epipolar constraint is applied in order to validate or reject region pairs. While the similarity test is not met, the image regions are re-segmented iteratively into polygonal regions, generating thereby a shortlist of candidate matches. This process promotes the matching of large regions first which allows obtaining maps with locally dense patches. The proposed methods were tested on both synthetic and real experimental data. The results are encouraging and prove the feasibility of radar and vision sensor fusion for the 3D mapping of large scale urban environment.

L'assemblage de structures aéronautiques nécessite de nombreuses opérations de perçage et de fraisurage. Les deux problématiques principales concernant ces opérations sont que les alésages réalisés correspondent aux standards de qualité exigés, et que les outils coupants soient utilisés de manière optimale afin de réduire les coûts. Ces deux objectifs nécessitent l'implémentation d'une solution de surveillance en ligne des opérations de perçage. De nombreuses études ont été réalisées à ce sujet. Pourtant, une grande partie des méthodologies développées ont peu de chance de quitter les laboratoires au profit des sites de production industrielle en raison de leur difficulté d'implémentation et de leur manque de robustesse. L'utilisation de plusieurs capteurs, couplés à des techniques avancées de traitement de l'information a permis une meilleure appréhension de la complexité du procédé de perçage et une augmentation de la flexibilité des systèmes de surveillance. Cependant, la majorité des études ont été réalisées en laboratoire et dans des conditions favorables, et les problématiques relatives à la flexibilité des conditions opératoires, ou encore à la qualité des données issues des capteurs n'ont pas été abordées. Cette étude a pour but de démontrer les améliorations potentielles que peuvent apporter les développements récents concernant la modélisation et la fusion de connaissances imparfaites pour la surveillance robuste des opérations de perçage. Une approche sera proposée pour l'implémentation industrielle de systèmes de surveillance de procédés. La méthodologie proposée doit pouvoir être transposée à un champ d'application plus large incluant la plupart des procédés de fabrication automatisés.

Cette thèse s'inscrit dans le contexte de la vision embarquée pour la détection et la reconnaissance d'obstacles routiers, en vue d'application d'assistance à la conduite automobile.A l'issue d'une étude bibliographique, nous avons constaté que la problématique de détection d'obstacles routiers, notamment des piétons, à l'aide d'une caméra embarquée, ne peut être résolue convenablement sans recourir aux techniques de reconnaissance de catégories d'objets dans les images. Ainsi, une étude complète du processus de la reconnaissance est réalisée, couvrant les techniques de représentation,de classification et de fusion d'informations. Les contributions de cette thèse se déclinent principalement autour de ces trois axes.Notre première contribution concerne la conception d'un modèle d'apparence locale basée sur un ensemble de descripteurs locaux SURF (Speeded Up RobustFeatures) représentés dans un Vocabulaire Visuel Hiérarchique. Bien que ce modèle soit robuste aux larges variations d'apparences et de formes intra-classe, il nécessite d'être couplé à une technique de classification permettant de discriminer et de catégoriser précisément les objets routiers. Une deuxième contribution présentée dans la thèse porte sur la combinaison du Vocabulaire Visuel Hiérarchique avec un classifieur SVM.Notre troisième contribution concerne l'étude de l'apport d'un module de fusion multimodale permettant d'envisager la combinaison des images visibles et infrarouges.Cette étude met en évidence de façon expérimentale la complémentarité des caractéristiques locales et globales ainsi que la modalité visible et celle infrarouge.Pour réduire la complexité du système, une stratégie de classification à deux niveaux de décision a été proposée. Cette stratégie est basée sur la théorie des fonctions de croyance et permet d'accélérer grandement le temps de prise de décision.Une dernière contribution est une synthèse des précédentes : nous mettons à profit les résultats d'expérimentations et nous intégrons les éléments développés dans un système de détection et de suivi de piétons en infrarouge-lointain. Ce système a été validé sur différentes bases d'images et séquences routières en milieu urbain. / The aim of this thesis arises in the context of Embedded-vision system for road obstacles detection and recognition : application to driver assistance systems. Following a literature review, we found that the problem of road obstacle detection, especially pedestrians, by using an on-board camera, cannot be adequately resolved without resorting to object recognition techniques. Thus, a preliminary study of the recognition process is presented, including the techniques of image representation, Classification and information fusion. The contributions of this thesis are organized around these three axes. Our first contribution is the design of a local appearance model based on SURF (Speeded Up Robust Features) features and represented in a hierarchical Codebook. This model shows considerable robustness with respect to significant intra-class variation of object appearance and shape. However, the price for this robustness typically is that it tends to produce a significant number of false positives. This proves the need for integration of discriminative techniques in order to accurately categorize road objects. A second contribution presented in this thesis focuses on the combination of the Hierarchical Codebook with an SVM classifier.Our third contribution concerns the study of the implementation of a multimodal fusion module that combines information from visible and infrared spectrum. This study highlights and verifies experimentally the complementarities between the proposed local and global features, on the one hand, and visible and infrared spectrum on the other hand. In order to reduce the complexity of the overall system, a two-level classification strategy is proposed. This strategy, based on belieffunctions, enables to speed up the classification process without compromising there cognition performance. A final contribution provides a synthesis across the previous ones and involves the implementation of a fast pedestrian detection systemusing a far-infrared camera. This system was validated with different urban road scenes that are recorded from an onboard camera.

La combinaison de données multi-capteurs joue un rôle croissant dans les systèmes de percep- tion artificielle. Les données de profondeur et les capteurs LiDAR en particulier sont devenus la norme pour les systèmes de vision dans les applications de robotique et de conduite auto- nome. La fusion de capteurs peut améliorer la précision des tâches et a été largement étudiée dans des environnements à ressources élevées, mais elle est moins bien comprise dans les ap- plications où les systèmes peuvent être limités en termes de puissance de calcul et de stockage d’énérgie. Dans l’analyse de la démarche chez l’homme, la compréhension du contexte local de la marche joue un rôle important, et l’analyse en laboratoire à elle même peut limiter la capacité des chercheurs à évaluer correctement la marche réelle des patients. La capacité de classifier automatiquement les terrains de marche dans divers environnements pourrait donc constituer un élément important des systèmes d’analyse de l’activité de marche. Le ter- rain de marche peut être mieux identifié à partir de données visuelles. Plusieurs contraintes (notamment les problèmes de confidentialité liés à l’envoi de données visuelles en temps réel hors appareil) limitent cette tâche de classification au dispositif Edge Computing lui- même, un environnement aux ressources limitées. Ainsi, dans ce travail, nous présentons une architecture de réseau neuronal convolutif parallèle, à fusion tardive et optimisée par calcul de bord pour l’identification des terrains de marche. L’analyse est effectuée sur un nouvel ensemble de données intitulé L-AVATeD: l’ensemble de données Lidar et visibles de terrain de marche, composé d’environ 8000 paires de données de scène visuelles (RVB) et de profondeur (LiDAR). Alors que les modèles formés sur des données visuelles uniquement produisent un modèle de calcul de bord capable d’une précision de 82%, une architecture composée d’instances parallèles de MobileNetV2 utilisant à la fois RVB et LiDAR améliore de manière mesurable la précision de la classification (92%) / Terrain classification is a critical sub-task of many autonomous robotic control processes and important to the study of human gait in ecological contexts. Real-time terrain iden- tification is traditionally performed using computer vision systems with input from visual (camera) data. With the increasing availability of affordable multi-sensor arrays, multi- modal data inputs are becoming ubiquitous in mobile, edge and Internet of Things (IoT) devices. Combinations of multi-sensor data therefore play an increasingly important role in artificial perception systems. Depth data in general and LiDAR sensors in particular are becoming standard for vision systems in applications in robotics and autonomous driving. Sensor fusion using depth data can enhance perception task accuracy and has been widely studied in high resource environments (e.g. autonomous automobiles), but is less well understood in applications where resources may be limited in compute, memory and battery power. An understanding of local walking context also plays an important role in the analysis of gait in humans, and laboratory analysis of on its own can constrain the ability of researchers to properly assess real-world gait in patients. The ability to automatically classify walking terrain in diverse environments is therefore an important part of gait analysis systems for use outside the laboratory. Several important constraints (notably privacy concerns associated with sending real-time image data off-device) restrict this classification task to the edge- computing device, itself a resource-constrained environment. In this study, we therefore present an edge-computation optimized, late-fusion, parallel Convolutional Neural Network (CNN) architecture for the real-time identification of walking terrain. Our analysis is performed on a novel dataset entitled L-AVATeD: the Lidar And Visible wAlking Terrain Dataset, consisting of approximately 8,000 pairs of visual (RGB) and depth (LiDAR) scene data. While simple models trained on visual only data produce an edge-computation model capable of 82% accuracy, an architecture composed of parallel instances of MobileNetV2 using both RGB and LiDAR data, measurably improved classifi- cation accuracy (92%).