L'École des Mines d'Albi et le LAAS-CNRS ont engagé en 2006 une collaboration avec AIRBUS Toulouse et EADS-IW pour le développement d'un système de vision artificielle destiné à l'inspection de pièces aéronautiques (panneaux de fuselage ou de voilure, métalliques ou composites) en vue de la détection de défauts de forme (écarts à la forme nominale souhaitée). Le système est constitué de plusieurs caméras (au moins quatre) afin de pouvoir inspecter des pièces de grande taille. Les caméras sont fixées sur une structure rigide statique et les pièces à inspecter sont positionnées devant cette structure. N images de la pièce à inspecter sont acquises de façon synchronisée et sont utilisées afin de reconstruire la pièce observée en 3D. Ce mémoire aborde les différentes stratégies envisagées pour l'exploitation d'un système multi-caméras. Les étapes nécessaires à la numérisation d'une pièce sont présentées, et plus particulièrement : l'appariement par corrélation multi-images (un critère de corrélation multi-images bien adapté au contexte multi-caméras est décrit), le recalage de nuages de points 3D par corrélation d'images, et l'aide au calibrage. L'utilisation de plusieurs caméras a montré de nombreux avantages. Elle permet la numérisation d'objets de grande taille (surface de plusieurs m²), fournit la forme complète d'un objet à partir d'une seule acquisition d'images (acquisition one-shot), améliore la précision de numérisation grâce à la redondance d'informations, permet de s'affranchir de problèmes de réflexion spéculaire dans le cas d'objets réfléchissants. Les algorithmes développés ont été évalués à la fois à partir d'images synthétiques et par comparaison aux mesures fournies par plusieurs systèmes commerciaux de numérisation 3D.

L’étude et la compréhension du comportement humain est devenue l’une des problématiques majeures dans différents secteurs d’activités. Ce besoin de comprendre les habitudes des individus a conduit plusieurs entreprises vers l’utilisation de vidéos pour l’analyse et l’interprétation des comportements. Ces raisons ont conduit à l’émergence de travaux de recherches qui ont pour objectif l’automatisation de ces procédures. De ce fait, l’étude du comportement humain est devenue l’un des principaux sujets de recherche dans le domaine de la vision par ordinateur, et de nombreuses solutions d’analyse du comportements basées sur l’utilisation de l’intelligence artificielle ont émergé.Dans ce travail, notre objectif est le développement d’un système qui va permettre de suivre simultanément plusieurs individus dans un réseau multi-caméras dans le contexte de l’analyse comportementale. Pour cela, nous avons proposé un système de suivi qui est composé de trois modules principaux et d’un module de gestion. Le premier est un module de comptage pour mesurer les entrées. Le deuxième module, basé sur l’utilisation de filtres à particules, est un système de suivi mono-caméra destiné à suivre les individus indépendamment dans chacune des caméras. Le troisième module, basé sur la sélection des régions saillantes de chaque individu, sert à la ré-identification et permet d’associer les individus détectés dans les différentes caméras. Enfin, le module de gestion est conçu pour créer des trajectoires sémantiques à partir des trajectoires brutes obtenues précédemment. / The study and the understanding of human behavior has become one of the major concerns for various reasons in different sectors of activity. This need to understand the habits of people led several big firms towards the use of videos surveillance for analyzing and interpreting behaviors. These reasons led to the emergence of research aimed at automating these procedures. As a result, the study of human behavior has become the main subject of several researches in the field of computer vision. Thus, a variety of behavior analysis solutions based on artificial intelligence emerged.In this work, our objective is the proposal of a solution that enable the simultaneous track of several individuals in a multi-camera network in order to reconstruct their trajectories in the context of behavioral analysis. For this, we have proposed a system that is made of three main modules and a management module. The first module is a counting module to measure entries. The second module is a mono-camera tracking system that is based on the use of particle filtering to track individuals independently in each camera. The third module is a re-identification module which is based on the selection of salient regions for each individual. It enables the association of the individuals that are detected in the different cameras. The last module which is the management module is based on the use of ontologies for interpreting trajectories. This module is designed to create semantic trajectories from raw trajectories obtained previously.

Cette thèse développe une approche basée sur la géométrie projective pour analyser et traiter des séquences d'images obtenues avec une caméra mobile. Les dérivations et démonstrations sont faites sans supposer qu'une information a priori est disponible sur les images, que ce soit sur le mouvement de la caméra ou sur leurs paramètres intrinsèques, comme la distance focale ou les points principaux. Il peut<br />même s'agir de caméras différentes. La seule hypothèse est que la scène est rigide.

En raison de l'augmentation du volume et de la complexité des systèmes de transport, de nouveaux systèmes avancés d'assistance à la conduite (ADAS) sont étudiés dans de nombreuses entreprises, laboratoires et universités. Ces systèmes comprennent des algorithmes avec des techniques qui ont été étudiés au cours des dernières décennies, comme la localisation et cartographie simultanées (SLAM), détection d'obstacles, la vision stéréoscopique, etc. Grâce aux progrès de l'électronique, de la robotique et de plusieurs autres domaines, de nouveaux systèmes embarqués sont développés pour garantir la sécurité des utilisateurs de ces systèmes critiques. Pour la plupart de ces systèmes, une faible consommation d'énergie ainsi qu'une taille réduite sont nécessaires. Cela crée la contrainte d'exécuter les algorithmes sur les systèmes embarqués avec des ressources limitées. Dans la plupart des algorithmes, en particulier pour la vision par ordinateur, une grande quantité de données doivent être traitées à des fréquences élevées, ce qui exige des ressources informatiques importantes. Un FPGA satisfait cette exigence, son architecture parallèle combinée à sa faible consommation d'énergie et la souplesse pour les programmer permet de développer et d'exécuter des algorithmes plus efficacement que sur d'autres plateformes de traitement. Les composants virtuels développés dans cette thèse ont été utilisés dans trois différents projets: PICASSO (vision stéréoscopique), COMMROB (détection d'obstacles à partir d'une système multicaméra) et SART (Système d'Aide au Roulage tous Temps).

La mesure de la forme 3D du visage est une problématique qui attire de plus en plus de chercheurs et qui trouve son application dans des domaines divers tels que la biométrie, l'animation et la chirurgie faciale. Les solutions actuelles sont souvent basées sur des systèmes projecteur/caméra et utilisent de la lumière structurée pour compenser l'insuffisance de la texture faciale. L'information 3D est ensuite calculée en décodant la distorsion des patrons projetés sur le visage. Une des techniques les plus utilisées de la lumière structurée est la codification sinusoïdale par décalage de phase qui permet une numérisation 3D de résolution pixélique. Cette technique exige une étape de déroulement de phase, sensible à l'éclairage ambiant surtout quand le nombre de patrons projetés est limité. En plus, la projection de plusieurs patrons impacte le délai de numérisation et peut générer des artefacts surtout pour la capture d'un visage en mouvement. Une alternative aux approches projecteur-caméra consiste à estimer l'information 3D par appariement stéréo suivi par une triangulation optique. Cependant, le modèle calculé par cette technique est généralement non-dense et manque de précision. Des travaux récents proposent la super-résolution pour densifier et débruiter les images de profondeur. La super-résolution a été particulièrement proposée pour les caméras 3D TOF (Time-Of-Flight) qui fournissent des scans 3D très bruités. Ce travail de thèse propose une solution de numérisation 3D à faible coût avec un schéma de super-résolution spatio-temporelle. Elle utilise un système multi-caméra étalonné assisté par une source de projection non-étalonnée. Elle est particulièrement adaptée à la reconstruction 3D de visages, i.e. rapide et mobile. La solution proposée est une approche hybride qui associe la stéréovision et la codification sinusoïdale par décalage de phase, et qui non seulement profite de leurs avantages mais qui surmonte leurs faiblesses. Le schéma de la super-résolution proposé permet de corriger l'information 3D, de compléter la vue scannée du visage en traitant son aspect déformable.

La mesure de la forme 3D du visage est une problématique qui attire de plus en plus de chercheurs et qui trouve son application dans des domaines divers tels que la biométrie, l'animation et la chirurgie faciale. Les solutions actuelles sont souvent basées sur des systèmes projecteur/caméra et utilisent de la lumière structurée pour compenser l'insuffisance de la texture faciale. L'information 3D est ensuite calculée en décodant la distorsion des patrons projetés sur le visage. Une des techniques les plus utilisées de la lumière structurée est la codification sinusoïdale par décalage de phase qui permet une numérisation 3D de résolution pixélique. Cette technique exige une étape de déroulement de phase, sensible à l'éclairage ambiant surtout quand le nombre de patrons projetés est limité. En plus, la projection de plusieurs patrons impacte le délai de numérisation et peut générer des artefacts surtout pour la capture d'un visage en mouvement. Une alternative aux approches projecteur-caméra consiste à estimer l'information 3D par appariement stéréo suivi par une triangulation optique. Cependant, le modèle calculé par cette technique est généralement non-dense et manque de précision. Des travaux récents proposent la super-résolution pour densifier et débruiter les images de profondeur. La super-résolution a été particulièrement proposée pour les caméras 3D TOF (Time-Of-Flight) qui fournissent des scans 3D très bruités. Ce travail de thèse propose une solution de numérisation 3D à faible coût avec un schéma de super-résolution spatio-temporelle. Elle utilise un système multi-caméra étalonné assisté par une source de projection non-étalonnée. Elle est particulièrement adaptée à la reconstruction 3D de visages, i.e. rapide et mobile. La solution proposée est une approche hybride qui associe la stéréovision et la codification sinusoïdale par décalage de phase, et qui non seulement profite de leurs avantages mais qui surmonte leurs faiblesses. Le schéma de la super-résolution proposé permet de corriger l'information 3D, de compléter la vue scannée du visage en traitant son aspect déformable.

Réalisé en cotutelle avec le laboratoire M2S de Rennes 2 / Cette thèse s’intéresse à définir de nouvelles méthodes cliniques d’investigation permettant de juger de l’impact de l’avance en âge sur la motricité. En particulier, cette thèse se focalise sur deux principales perturbations possibles lors de l’avance en âge : la chute et l’altération de la marche.Ces deux perturbations motrices restent encore mal connues et leur analyse en clinique pose de véritables défis technologiques et scientifiques. Dans cette thèse, nous proposons des méthodes originales de détection qui peuvent être utilisées dans la vie courante ou en clinique, avec un minimum de contraintes techniques. Dans une première partie, nous abordons le problème de la détection de la chute à domicile, qui a été largement traité dans les années précédentes. En particulier, nous proposons une approche permettant d’exploiter le volume du sujet, reconstruit à partir de plusieurs caméras calibrées. Ces méthodes sont généralement très sensibles aux occultations qui interviennent inévitablement dans le domicile et nous proposons donc une approche originale beaucoup plus robuste à ces occultations. L’efficacité et le fonctionnement en temps réel ont été validés sur plus d’une vingtaine de vidéos de chutes et de leurres, avec des résultats approchant les 100% de sensibilité et de spécificité en utilisant 4 caméras ou plus. Dans une deuxième partie, nous allons un peu plus loin dans l’exploitation des volumes reconstruits d’une personne, lors d’une tâche motrice particulière : la marche sur tapis roulant, dans un cadre de diagnostic clinique. Dans cette partie, nous analysons plus particulièrement la qualité de la marche. Pour cela nous développons le concept d’utilisation de caméras de profondeur pour la quantification de l’asymétrie spatiale au cours du mouvement des membres inférieurs pendant la marche. Après avoir détecté chaque pas dans le temps, cette méthode réalise une comparaison de surfaces de chaque jambe avec sa correspondante symétrique du pas opposé. La validation effectuée sur une cohorte de 20 sujets montre la viabilité de la démarche. / This thesis is concerned with defining new clinical investigation method to assess the impact of ageing on motricity. In particular, this thesis focuses on two main possible disturbance during ageing : the fall and walk impairment. This two motricity disturbances still remain unclear and their clinical analysis presents real scientist and technological challenges. In this thesis, we propose novel measuring methods usable in everyday life or in the walking clinic, with a minimum of technical constraints. In the first part, we address the problem of fall detection at home, which was widely discussed in previous years. In particular, we propose an approach to exploit the subject’s volume, reconstructed from multiple calibrated cameras. These methods are generally very sensitive to occlusions that inevitably occur in the home and we therefore propose an original approach much more robust to these occultations. The efficiency and real-time operation has been validated on more than two dozen videos of falls and lures, with results approaching 100 % sensitivity and specificity with at least four or more cameras. In the second part, we go a little further in the exploitation of reconstructed volumes of a person at a particular motor task : the treadmill, in a clinical diagnostic. In this section we analyze more specifically the quality of walking. For this we develop the concept of using depth camera for the quantification of the spatial and temporal asymmetry of lower limb movement during walking. After detecting each step in time, this method makes a comparison of surfaces of each leg with its corresponding symmetric leg in the opposite step. The validation performed on a cohort of 20 subjects showed the viability of the approach.

En raison de l'augmentation du volume et de la complexité des systèmes de transport, de nouveaux systèmes avancés d'assistance à la conduite (ADAS) sont étudiés dans de nombreuses entreprises, laboratoires et universités. Ces systèmes comprennent des algorithmes avec des techniques qui ont été étudiés au cours des dernières décennies, comme la localisation et cartographie simultanées (SLAM), détection d'obstacles, la vision stéréoscopique, etc. Grâce aux progrès de l'électronique, de la robotique et de plusieurs autres domaines, de nouveaux systèmes embarqués sont développés pour garantir la sécurité des utilisateurs de ces systèmes critiques. Pour la plupart de ces systèmes, une faible consommation d'énergie ainsi qu'une taille réduite sont nécessaires. Cela crée la contrainte d'exécuter les algorithmes sur les systèmes embarqués avec des ressources limitées. Dans la plupart des algorithmes, en particulier pour la vision par ordinateur, une grande quantité de données doivent être traitées à des fréquences élevées, ce qui exige des ressources informatiques importantes. Un FPGA satisfait cette exigence, son architecture parallèle combinée à sa faible consommation d'énergie et la souplesse pour les programmer permet de développer et d'exécuter des algorithmes plus efficacement que sur d'autres plateformes de traitement. Les composants virtuels développés dans cette thèse ont été utilisés dans trois différents projets: PICASSO (vision stéréoscopique), COMMROB (détection d'obstacles à partir d'une système multicaméra) et SART (Système d'Aide au Roulage tous Temps). / Due to the increase of traffic volume and complexity of new transport systems, new Advanced Driver Assistance Systems (ADAS) are a subject of research of many companies, laboratories and universities. These systems include algorithms with techniques that have been studied during the last decades like Simultaneous Lo- calization and Mapping (SLAM), obstacle detection, stereo vision, etc. Thanks to the advances in electronics, robotics and other domains, new embedded systems are being developed to guarantee the safety of the users of these critical systems. For most of these systems a low power consumption as well as reduced size is required. It creates the constraint of execute the algorithms in embedded devices with limited resources. In most of algorithms, moreover for computer vision ones, a big amount of data must be processed at high frequencies, this amount of data demands strong computing resources. FPGAs satisfy this requirement; its parallel architecture combined with its low power consumption and exibility allows developing and executing some algorithms more efficiently than any other processing platforms. In this thesis different embedded computer vision architectures intended to be used in ADAS using FPGAs are presented such as: We present the implementation of a distortion correction architecture operating at 100 Hz in two cameras simultaneously. The correction module allows also to rectify two images for implementation of stereo vision. Obstacle detection algorithms based on Inverse Perspective Mapping (IPM) and classiffication based on Color/Texture attributes are presented. The IPM transform is based in the perspective effect of a scene perceived from two different points of view. Moreover results of the detection algorithms from color/texture attributes applied on a multi-cameras system, are fused in an occupancy grid. An accelerator to apply homographies on images, is presented; this accelerator can be used for different applications like the generation of Bird's eye view or Side view. Multispectral vision is studied using both infrared images and color ones. Syn- thetic images are generated from information acquired from visible and infrared sources to provide a visual aid to the driver. Image enhancement specific for infrared images is also implemented and evaluated, based on the Contrast Lim- ited Adaptive Histogram Equalization (CLAHE). An embedded SLAM algorithm is presented with different hardware acceler- ators (point detection, landmark tracking, active search, correlation, matrix operations). All the algorithms were simulated, implemented and verified using as target FPGAs. The validation was done using development kits. A custom board integrating all the presented algorithms is presented. Virtual components developed in this thesis were used in three different projects: PICASSO (stereo vision), COMMROB (obstacle detection from a multi-cameras system) and SART (multispectral vision).

Cette thèse a été réalisée dans le secteur de l'industrie automobile, en collaboration avec le Groupe Renault et concerne en particulier le développement de systèmes d'aide à la conduite avancés et de véhicules autonomes. Les progrès réalisés par la communauté scientifique durant les dernières décennies, dans les domaines de l'informatique et de la robotique notamment, ont été si importants qu'ils permettent aujourd'hui la mise en application de systèmes complexes au sein des véhicules. Ces systèmes visent dans un premier temps à réduire les risques inhérents à la conduite en assistant les conducteurs, puis dans un second temps à offrir des moyens de transport entièrement autonomes. Les méthodes de SLAM multi-objets actuellement intégrées au sein de ces véhicules reposent pour majeure partie sur l'utilisation de capteurs embarqués très performants tels que des télémètres laser, au coût relativement élevé. Les caméras numériques en revanche, de par leur coût largement inférieur, commencent à se démocratiser sur certains véhicules de grande série et assurent généralement des fonctions d'assistance à la conduite, pour l'aide au parking ou le freinage d'urgence, par exemple. En outre, cette implantation plus courante permet également d'envisager leur utilisation afin de reconstruire l'environnement dynamique proche des véhicules en trois dimensions. D'un point de vue scientifique, les techniques de SLAM visuel multi-objets existantes peuvent être regroupées en deux catégories de méthodes. La première catégorie et plus ancienne historiquement concerne les méthodes stéréo, faisant usage de plusieurs caméras à champs recouvrants afin de reconstruire la scène dynamique observée. La plupart reposent en général sur l'utilisation de paires stéréo identiques et placées à faible distance l'une de l'autre, ce qui permet un appariement dense des points d'intérêt dans les images et l'estimation de cartes de disparités utilisées lors de la segmentation du mouvement des points reconstruits. L'autre catégorie de méthodes, dites monoculaires, ne font usage que d'une unique caméra lors du processus de reconstruction. Cela implique la compensation du mouvement propre du système d'acquisition lors de l'estimation du mouvement des autres objets mobiles de la scène de manière indépendante. Plus difficiles, ces méthodes posent plusieurs problèmes, notamment le partitionnement de l'espace de départ en plusieurs sous-espaces représentant les mouvements individuels de chaque objet mobile, mais aussi le problème d'estimation de l'échelle relative de reconstruction de ces objets lors de leur agrégation au sein de la scène statique. La problématique industrielle de cette thèse, consistant en la réutilisation des systèmes multi-caméras déjà implantés au sein des véhicules, majoritairement composés d'un caméra frontale et de caméras surround équipées d'objectifs très grand angle, a donné lieu au développement d'une méthode de reconstruction multi-objets adaptée aux systèmes multi-caméras hétérogènes en stéréo wide-baseline. Cette méthode est incrémentale et permet la reconstruction de points mobiles éparses, grâce notamment à plusieurs contraintes géométriques de segmentation des points reconstruits ainsi que de leur trajectoire. Enfin, une évaluation quantitative et qualitative des performances de la méthode a été menée sur deux jeux de données distincts, dont un a été développé durant ces travaux afin de présenter des caractéristiques similaires aux systèmes hétérogènes existants. / This Ph.D. thesis, which has been carried out in the automotive industry in association with Renault Group, mainly focuses on the development of advanced driver-assistance systems and autonomous vehicles. The progress made by the scientific community during the last decades in the fields of computer science and robotics has been so important that it now enables the implementation of complex embedded systems in vehicles. These systems, primarily designed to provide assistance in simple driving scenarios and emergencies, now aim to offer fully autonomous transport. Multibody SLAM methods currently used in autonomous vehicles often rely on high-performance and expensive onboard sensors such as LIDAR systems. On the other hand, digital video cameras are much cheaper, which has led to their increased use in newer vehicles to provide driving assistance functions, such as parking assistance or emergency braking. Furthermore, this relatively common implementation now allows to consider their use in order to reconstruct the dynamic environment surrounding a vehicle in three dimensions. From a scientific point of view, existing multibody visual SLAM techniques can be divided into two categories of methods. The first and oldest category concerns stereo methods, which use several cameras with overlapping fields of view in order to reconstruct the observed dynamic scene. Most of these methods use identical stereo pairs in short baseline, which allows for the dense matching of feature points to estimate disparity maps that are then used to compute the motions of the scene. The other category concerns monocular methods, which only use one camera during the reconstruction process, meaning that they have to compensate for the ego-motion of the acquisition system in order to estimate the motion of other objects. These methods are more difficult in that they have to address several additional problems, such as motion segmentation, which consists in clustering the initial data into separate subspaces representing the individual movement of each object, but also the problem of the relative scale estimation of these objects before their aggregation within the static scene. The industrial motive for this work lies in the use of existing multi-camera systems already present in actual vehicles to perform dynamic scene reconstruction. These systems, being mostly composed of a front camera accompanied by several surround fisheye cameras in wide-baseline stereo, has led to the development of a multibody reconstruction method dedicated to such heterogeneous systems. The proposed method is incremental and allows for the reconstruction of sparse mobile points as well as their trajectory using several geometric constraints. Finally, a quantitative and qualitative evaluation conducted on two separate datasets, one of which was developed during this thesis in order to present characteristics similar to existing multi-camera systems, is provided.

Cette thèse s’intéresse à définir de nouvelles méthodes cliniques d’investigation permettant de juger de l’impact de l’avance en âge sur la motricité. En particulier, cette thèse se focalise sur deux principales perturbations possibles lors de l’avance en âge : la chute et l’altération de la marche.Ces deux perturbations motrices restent encore mal connues et leur analyse en clinique pose de véritables défis technologiques et scientifiques. Dans cette thèse, nous proposons des méthodes originales de détection qui peuvent être utilisées dans la vie courante ou en clinique, avec un minimum de contraintes techniques. Dans une première partie, nous abordons le problème de la détection de la chute à domicile, qui a été largement traité dans les années précédentes. En particulier, nous proposons une approche permettant d’exploiter le volume du sujet, reconstruit à partir de plusieurs caméras calibrées. Ces méthodes sont généralement très sensibles aux occultations qui interviennent inévitablement dans le domicile et nous proposons donc une approche originale beaucoup plus robuste à ces occultations. L’efficacité et le fonctionnement en temps réel ont été validés sur plus d’une vingtaine de vidéos de chutes et de leurres, avec des résultats approchant les 100% de sensibilité et de spécificité en utilisant 4 caméras ou plus. Dans une deuxième partie, nous allons un peu plus loin dans l’exploitation des volumes reconstruits d’une personne, lors d’une tâche motrice particulière : la marche sur tapis roulant, dans un cadre de diagnostic clinique. Dans cette partie, nous analysons plus particulièrement la qualité de la marche. Pour cela nous développons le concept d’utilisation de caméras de profondeur pour la quantification de l’asymétrie spatiale au cours du mouvement des membres inférieurs pendant la marche. Après avoir détecté chaque pas dans le temps, cette méthode réalise une comparaison de surfaces de chaque jambe avec sa correspondante symétrique du pas opposé. La validation effectuée sur une cohorte de 20 sujets montre la viabilité de la démarche. / This thesis is concerned with defining new clinical investigation method to assess the impact of ageing on motricity. In particular, this thesis focuses on two main possible disturbance during ageing : the fall and walk impairment. This two motricity disturbances still remain unclear and their clinical analysis presents real scientist and technological challenges. In this thesis, we propose novel measuring methods usable in everyday life or in the walking clinic, with a minimum of technical constraints. In the first part, we address the problem of fall detection at home, which was widely discussed in previous years. In particular, we propose an approach to exploit the subject’s volume, reconstructed from multiple calibrated cameras. These methods are generally very sensitive to occlusions that inevitably occur in the home and we therefore propose an original approach much more robust to these occultations. The efficiency and real-time operation has been validated on more than two dozen videos of falls and lures, with results approaching 100 % sensitivity and specificity with at least four or more cameras. In the second part, we go a little further in the exploitation of reconstructed volumes of a person at a particular motor task : the treadmill, in a clinical diagnostic. In this section we analyze more specifically the quality of walking. For this we develop the concept of using depth camera for the quantification of the spatial and temporal asymmetry of lower limb movement during walking. After detecting each step in time, this method makes a comparison of surfaces of each leg with its corresponding symmetric leg in the opposite step. The validation performed on a cohort of 20 subjects showed the viability of the approach. / Réalisé en cotutelle avec le laboratoire M2S de Rennes 2