Le traitement de nuages de points 3D de lidars permet aux robots mobiles autonomes terrestres de construire des modèles sémantiques de l'environnement extérieur dans lequel ils évoluent. Ces modèles sont intéressants car ils représentent des informations qualitatives, et ainsi donnent à un robot la capacité de raisonner à un niveau plus élevé d'abstraction. Le coeur d'un système de modélisation sémantique est la capacité de classifier les observations venant du capteur. Nous proposons un système de classification centré sur l'apprentissage non-supervisé. La prémière couche, la couche intermédiaire, consiste en un modèle de mélange gaussien. Ce modèle est déterminé de manière non-supervisée lors d'une étape de training. Il definit un ensemble de classes intermédiaires qui correspond à une partition fine des classes présentes dans l'environnement. La deuxième couche, la couche finale, consiste en un regroupement des classes intermédiaires dans un ensemble de classes finales qui, elles, sont interprétables dans le contexte de la tâche ciblée. Le regroupement est déterminé par un expert lors de l'étape de training, de manière supervisée, mais guidée par les classes intermédiaires. L'évaluation est basée sur deux jeux de données acquis avec de différents lidars et possédant différentes caractéristiques. L'évaluation est quantitative pour l'un des jeux de données, et qualitative pour l'autre. La concéption du système utilise la procédure standard de l'apprentissage, basée sur les étapes de training, validation et test. L'opération suit la pipeline standard de classification. Le système est simple, et ne requiert aucun pré-traitement ou post-traitement. / The processing of 3D lidar point clouds enable terrestrial autonomous mobile robots to build semantic models of the outdoor environments in which they operate. Such models are interesting because they encode qualitative information, and thus provide to a robot the ability to reason at a higher level of abstraction. At the core of a semantic modelling system, lies the capacity to classify the sensor observations. We propose a two-layer classi- fication model which strongly relies on unsupervised learning. The first, intermediary layer consists of a Gaussian mixture model. This model is determined in a training step in an unsupervised manner, and defines a set of intermediary classes which is a fine-partitioned representation of the environment. The second, final layer consists of a grouping of the intermediary classes into final classes that are interpretable in a considered target task. This grouping is determined by an expert during the training step, in a process which is supervised, yet guided by the intermediary classes. The evaluation is done for two datasets acquired with different lidars and possessing different characteristics. It is done quantitatively using one of the datasets, and qualitatively using another. The system is designed following the standard learning procedure, based on a training, a validation and a test steps. The operation follows a standard classification pipeline. The system is simple, with no requirement of pre-processing or post-processing stages.

L'analyse de la démarche clinique est généralement subjective, étant effectuée par des cliniciens observant la démarche des patients. Des alternatives à une telle analyse sont les systèmes basés sur les marqueurs et les systèmes basés sur les plates-formes au sol. Cependant, cette analyse standard de la marche nécessite des laboratoires spécialisés, des équipements coûteux et de longs délais d'installation et de post-traitement. Les chercheurs ont fait de nombreuses tentatives pour proposer une alternative basée sur la vision par ordinateur pour l'analyse de la demarche. Avec l'apparition de caméras 3D bon marche, le problème de l'évaluation qualitative de la démarche a été re-examiné. Les chercheurs ont réalisé le potentiel des dispositifs de cameras 3D pour les applications d'analyse de mouvement. Cependant, malgré des progrès très encourageants dans les technologies de détection 3D, leur utilisation réelle dans l'application clinique reste rare.Cette thèse propose des modèles et des techniques pour l'évaluation du mouvement à l'aide d'un capteur Microsoft Kinect. En particulier, nous étudions la possibilité d'utiliser différentes données fournies par une caméra RGBD pour l'analyse du mouvement et de la posture. Les principales contributions sont les suivantes. Nous avons réalisé une étude de l'etait de l'art pour estimer les paramètres importants de la démarche, la faisabilité de différentes solutions techniques et les méthodes d'évaluation de la démarche existantes. Ensuite, nous proposons un descripteur de posture basé sur un nuage de points 3D. Le descripteur conçu peut classer les postures humaines statiques a partir des données 3D. Nous construisons un système d'acquisition à utiliser pour l'analyse de la marche basée sur les donnees acquises par un capteur Kinect v2. Enfin, nous proposons une approche de détection de démarche anormale basée sur les données du squelette. Nous démontrons que notre outil d'analyse de la marche fonctionne bien sur une collection de données personnalisées et de repères existants. Notre méthode d'évaluation de la démarche affirme des avances significatives dans le domain, nécessite un équipement limité et est prêt à être utilisé pour l'évaluation de la démarche. / Clinical Gait analysis is traditionally subjective, being performed by clinicians observing patients gait. A common alternative to such analysis is markers-based systems and ground-force platforms based systems. However, this standard gait analysis requires specialized locomotion laboratories, expensive equipment, and lengthy setup and post-processing times. Researchers made numerous attempts to propose a computer vision based alternative for clinical gait analysis. With the appearance of commercial 3D cameras, the problem of qualitative gait assessment was reviewed. Researchers realized the potential of depth-sensing devices for motion analysis applications. However, despite much encouraging progress in 3D sensing technologies, their real use in clinical application remains scarce.In this dissertation, we develop models and techniques for movement assessment using a Microsoft Kinect sensor. In particular, we study the possibility to use different data provided by an RGBD camera for motion and posture analysis. The main contributions of this dissertation are the following. First, we executed a literature study to estimate the important gait parameters, the feasibility of different possible technical solutions and existing gait assessment methods. Second, we propose a 3D point cloud based posture descriptor. The designed descriptor can classify static human postures based on 3D data without the use of skeletonization algorithms. Third, we build an acquisition system to be used for gait analysis based on the Kinect v2 sensor. Fourth, we propose an abnormal gait detection approach based on the skeleton data. We demonstrate that our gait analysis tool works well on a collection of custom data and existing benchmarks. Weshow that our gait assessment approach advances the progress in the field, is ready to be used for gait assessment scenario and requires a minimum of the equipment.

Cette thèse traite du problème de la Localisation et Cartographie Simultanées (SLAM) dans les environnements d’intérieur. Dans ce contexte, nous avons choisi un SLAM visuel en utilisant les données d’un capteur RGB-D de type Kinect pour estimer la trajectoire de la caméra et construire une carte 3D de l’environnement en temps réel. Malgré les avantages des caméras RGB-D (faible coût, images couleurs et cartes de profondeur), les données de profondeur issues de ce genre de capteur peuvent être de mauvaise qualité ce qui affecte l’estimation de la pose. En outre, la taille des nuages de points engendre une carte globale lourde et contenant de nombreux points 3D redondants. Afin de diminuer l’impact de ces faiblesses sur la résolution du SLAM, nous proposons d’utiliser des plans 3D, majoritaires dans les scènes d’intérieur, dans le processus d’estimation de poses de la caméra pour construire des cartes 3D basées-plans.Les plans 3D servent alors à générer des points d’intérêt 3D planaires moins bruités que les points bruts déduits directement des nuages de points. En rectifiant les valeurs de profondeur des points d’intérêt 3D bruts appartenant à ces plans, nous améliorons ainsi l’estimation de pose quand la scène est composée essentiellement de plans. Par la suite, les plans 3D détectés sont utilisés pour construire une carte 3D globale légère. La carte est élaborée en fusionnant itérativement les régions planaires détectées dans la scène avec celles déjà présentes dans la carte ou en ajoutant de nouveaux plans. Contrairement à la représentation classique basée point,nous réduisons ainsi la taille de la carte 3D et construisons des cartes compactes. Ces cartes sont exploitables par des applications de robotique mobile et de navigation. Pour montrer les bénéfices des travaux proposés dans cette thèse, les expérimentations réalisées évaluent la précision de la localisation, l’influence de l’échantillonnage des données RGB-D sur la détection des plans ainsi que la qualité de la carte basée-plans 3D par rapport à la scène réelle. La carte ainsi constituée de plans présente une première étape vers une carte plus sémantique. / This thesis deals with the Simultaneous Localisation and Mapping (SLAM) problem in indoor environments. In this context, we chose a visual SLAM using an RGB-D sensor (Kinect) to estimate the camera trajectory and to build a 3D map of the environment in realtime. Despite RGB-D cameras advantages (low cost, color images and depth maps), depth data resulting from this kind of sensors may be noisy, which affects pose estimation. In addition,due to points clouds sizes, the resulting global map is heavyweight and contains many redundant 3D points. In order to reduce the impact of these weaknesses on resolving the SLAM problem, we propose to use 3D planes, which are dominant in indoor scenes, for both camera poses estimations and 3D based-planes maps building process. Hence, 3D planes are used to generate 3D planar feature featuring less depth noise than the raw points extracted directly from points clouds. By regularizing depth values of raw 3D feature points belonging to these planes, we improve pose estimation when the scene is mainly composed of planes. Then, the detected 3D planes are used to build the global 3D map, creating a light representation of the environment based on these planes. The map is iteratively built from each new camera pose either by merging new planes to the existing ones or by adding new planes to the map. Thus,unlike conventional point-based representation, the size of the resulting 3D map is considerably reduced and the built map is more compact compared to point-based maps.These maps maybe used by mobile robotics and navigation applications. To show the benefits of our works, the conducted experiments to evaluate localisation accuracy, the influence of subsampled RGB-Ddata on plane detection, as well as quality of 3D plane-based maps against real scenes. Such plane-based maps represents a first step towards semantic maps.

Les fonctions de texture directionnelle (« Bidirectional Texture Function » ou BTF) ont rencontré un certain succès ces dernières années dans le contexte de la synthèse d'images en temps-réel grâce à la fois au réalisme qu'elles apportent et au faible coût de calcul nécessaire. Cependant, un inconvénient de cette approche reste la taille gigantesque des données et de nombreuses méthodes ont été proposées afin de les compresser. Dans ce document, nous proposons une nouvelle représentation des BTFs qui améliore la cohérence des données et qui permet ainsi une compression plus efficace de celles-ci. Dans un premier temps, nous étudions les méthodes d'acquisition et de génération des BTFs et plus particulièrement, les méthodes de compression adaptées à une utilisation sur cartes graphiques. Nous réalisons ensuite une étude à l'aide de notre logiciel BTFInspect afin de déterminer parmi les différents phénomènes visuels mesurés dans les BTFs, ceux qui influencent majoritairement la cohérence des données par pixel. Dans un deuxième temps, nous proposons une nouvelle représentation pour les BTFs, appelées « Flat Bidirectional Texture Function » Flat-BTFs, qui améliore la cohérence des données d'une BTF et synthétiques afin de valider sa mise en œuvre. Dans l'analyse des résultats obtenus, nous montrons statistiquement et visuellement le gain de cohérence obtenu ainsi que l'absence d'une perte significative de qualité en comparaison avec la représentation d'origine. Enfin, dans un troisième temps, nous validons l'utilisation de notre nouvelle représentation dans des applications de rendu en temps-réel sur cartes graphiques. Puis, nous proposons une compression de l'apparence grâce à une méthode de quantification adaptée et présentée dans le cadre d'une application de diffusion de données 3D entre un serveur contenant des modèles 3D et un client désirant visualiser ces données.

Les techniques de la réalité virtuelle constituent de nouveaux outils pour les métiers de la conception de produits manufacturés et offrent des gains en terme d'innovation, de temps et d'argent. L'enjeu industriel est l'intégration de ces techniques dans le cycle de conception du produit. Ces techniques doivent ainsi s'interfacer avec les différents corps de métiers et pouvoir être en phase avec le rythme des mises à jour des modèles numériques. La problématique technologique posée est relative à la gestion des données géométriques produites par les bureaux d'études en conception assistée par ordinateur. Ces données sont exhaustives, très nombreuses et ne sont pas manipulables dans un dispositif de réalité virtuelle en raison des contraintes de temps de calcul. Une maquette numérique, possédant une quantité d'informations maîtrisée et dédiée à la réalité virtuelle, est alors nécessaire. Ces travaux ont pour objectif d'apporter des méthodes et outils permettant l'utilisation des techniques de l'immersion virtuelle par les métiers du design automobile. Une chaîne de conversion, simplification et optimisation des données en fonction des critères des métiers du design automobile est proposée pour la création d'une maquette numérique dédiée à l'immersion virtuelle. La gestion en temps réel des données de cette maquette numérique est effectuée en fonction de critères de visualisation de la scène dans un contexte d'immersion virtuelle.

La fabrication de pièces manufacturées génère un nombre très important de données de différents types définissant les géométries de fabrication ainsi que la qualité de production. Ce travail de thèse s’inscrit dans le cadre de la réalisation d’un système de vision cognitif dédié à l’évaluation d’objets 3D manufacturés incluant éventuellement des surfaces gauches, en tenant compte des tolérances géométriques et des incertitudes. Ce système permet un contrôle exhaustif de pièces manufacturées et offre la possibilité d’une inspection tridimensionnelle automatique de la pièce. La mise en place d’un système de mesures multi-capteurs (passifs et actifs) a permis d’améliorer significativement la qualité d’évaluation par le biais d’une reconstruction tridimensionnelle enrichie de l’objet à évaluer. En particulier, nous avons employé simultanément un système stéréoscopique de vision et un système à projection de lumière structurée afin de reconstruire les contours et les surfaces de différents objets 3D. / Producing industrially manufactured parts generates a very large number of data of various types defining the manufacturing geometries as well as the quality of production. This PhD work has been carried out within the framework of the realization of a cognitive vision system dedicated to the 3D evaluation of manufactured objects including possibly free form surfaces, taking into account the geometric tolerances and uncertainties. This system allows the comprehensive control of manufactured parts, and provides the means for their automated 3D dimensional inspection. The implementation of a multi-sensor (passive and active) measuring system enabled to improve significantly the assessment quality through an enriched three-dimensional reconstruction of the object to be evaluated. Specifically, we made use simultaneously of a stereoscopic vision system and of a structured light based system in order to reconstruct the edges and surfaces of various 3D objects.

Les fonctions de texture directionnelle "Bidirectional Texture Function" (BTF) ont rencontrés un certain succès ces dernières années, notamment pour le rendu temps-réel d'images de synthèse, grâce à la fois au réalisme qu'elles apportent et au faible coût de calcul nécessaire. Cependant, un inconvénient de cette approche reste la taille gigantesque des données : de nombreuses méthodes ont été proposées afin de les compresser. Dans ce document, nous proposons une nouvelle représentation des BTFs qui améliore la cohérence des données et qui permet ainsi une compression plus efficace. Dans un premier temps, nous étudions les méthodes d'acquisition et de génération des BTFs et plus particulièrement, les méthodes de compression adaptées à une utilisation sur cartes graphiques. Nous réalisons ensuite une étude à l'aide de notre logiciel "BTFInspect" afin de déterminer parmi les différents phénomènes visuels dans les BTFs, ceux qui influencent majoritairement la cohérence des données par texel. Dans un deuxième temps, nous proposons une nouvelle représentation pour les BTFs, appelées Flat Bidirectional Texture Function (Flat-BTFs), qui améliore la cohérence des données d'une BTF et donc la compression des données. Dans l'analyse des résultats obtenus, nous montrons statistiquement et visuellement le gain de cohérence obtenu ainsi que l'absence d'une perte significative de qualité en comparaison avec la représentation d'origine. Enfin, dans un troisième temps, nous démontrons l'utilisation de notre nouvelle représentation dans des applications de rendu en temps-réel sur cartes graphiques. Puis, nous proposons une compression de l'apparence grâce à une méthode de quantification sur GPU et présentée dans le cadre d'une application de diffusion de données 3D entre un serveur contenant des modèles 3D et un client désirant visualiser ces données. / In recent years, Bidirectional Texture Function (BTF) has emerged as a flexible solution for realistic and real-time rendering of material with complex appearance and low cost computing. However one drawback of this approach is the resulting huge amount of data: several methods have been proposed in order to compress and manage this data. In this document, we propose a new BTF representation that improves data coherency and allows thus a better data compression. In a first part, we study acquisition and digital generation methods of BTFs and more particularly, compression methods suitable for GPU rendering. Then, We realise a study with our software BTFInspect in order to determine among the different visual phenomenons present in BTF which ones induce mainly the data coherence per texel. In a second part, we propose a new BTF representation, named Flat Bidirectional Texture Function (Flat-BTF), which improves data coherency and thus, their compression. The analysis of results show statistically and visually the gain in coherency as well as the absence of a noticeable loss of quality compared to the original representation. In a third and last part, we demonstrate how our new representation may be used for realtime rendering applications on GPUs. Then, we introduce a compression of the appearance thanks to a quantification method on GPU which is presented in the context of a 3D data streaming between a server of 3D data and a client which want visualize them.