Le laboratoire de robotique CAOR de Mines ParisTech a mis au point une technique de numérisation 3D d'environnements extérieurs, utilisant un système mobile appelé LARA3D. Il s'agit d'une voiture équipée de capteurs de localisation (GPS, Centrale Inertielle) et de capteurs de modélisation (lidars et caméras). Ce dispositif permet de construire des nuages de points 3D denses et des images géo-référencées de l'environnement traversé. Dans le cadre de cette thèse, nous avons développé une chaîne de traitement de ces nuages de points et de ces images capable de générer des modèles 3D photo-réalistes. Cette chaîne de modélisation est composée d'une succession d'étapes avec dans l'ordre : le calcul des normales, le débruitage des données, la segmentation en zones planes, la triangulation, la simplification et la texturation. Nous avons testé notre méthode de modélisation sur des données simulées et des données réelles acquises dans le cadre du projet TerraNumerica (en environnement urbain) et du projet Divas (en environnement routier).

L'analyse conjointe du mouvement et des déformations est cruciale dans un grand nombre d'applications de vision par ordinateur. Cette thèse propose d'introduire un filtre stochastique non linéaire afin de suivre une courbe libre dans le temps. L'approche proposée est implémentée à travers un filtre particulaire incluant des mesures colorimétriques caractérisant respectivement la cible et le fond. La dynamique impliquée est formulée sous la forme d'une équation différentielle stochastique. Cela permet d'avoir une représentation continue de la trajectoire de la courbe, et d'être ainsi capable d'en déduire les déformations entre images. La courbe est définie par une courbe de niveau implicite, et la dynamique stochastique s'exprime sur cette dernière. Cela prend la forme d'une équation différentielle stochastique avec un mouvement Brownien de faible dimension. Dans ces modèles d'évolution sont combinés les informations de mouvement locales extraites des images et un modèle d'incertitude de la dynamique. Le filtrage associé proposé pour le suivi de courbes appartient ainsi à la famille des filtrages particulaires conditionnels. Ses capacités sont vérifiées sur différentes séquences contenant des objets fortement déformables.

Le développement de l'image numérique et des outils associés ces dernières années a entraîné une évolution dans les attentes des utilisateurs et des changements dans leurs habitudes de travail. Cette évolution apporte de nouvelles possibilités d'utilisation ouvrant l'usage à un public très large, allant des interactions gestuelles aux jeux vidéo, en passant par le suivi d'activités à domicile, la surveillance, ... Pour qu'elles puissent être performantes et attractives, ces nouvelles technologies nécessitent la mise en œuvre d'outils de reconnaissance et d'interprétation des gestes humains, par des méthodes efficaces, rapides et ouvertes. Actuellement, les méthodes proposées en reconnaissance d'actions peuvent être regroupées en trois catégories principales : les approches de type apprentissage automatique (Machine Learning), les modélisations stochastique ou encore les méthodes utilisant le paradigme des examplars. Les travaux développés dans cette thèse se rattachent à cette dernière catégorie : " méthodes à base d'exemples " (examplar-based) où l'apprentissage peut être fait à partir de quelques instances représentatives. Nous avons fait le choix d'une démarche qui limite le recours à des grandes bases de données, et qui permet la reconnaissance d'action de façon anticipée, c'est-à-dire avant que cette dernière ne soit finie. Pour ce faire, nos travaux ont été menés selon deux visions complémentaires, avec le soucis constant d'aboutir à des traitements qui soient temps réel, précis et ouverts à la reconnaissance de nouvelles actions

Dans cette thèse, nous abordons deux problèmes principaux, à savoir l'évaluation quantitative des algorithmes de segmentation de maillages ainsi que la segmentation de maillages par apprentissage en exploitant le facteur humain. Nous proposons les contributions suivantes : - Un benchmark dédié à l'évaluation des algorithmes de segmentation de maillages 3D. Le benchmark inclut un corpus de segmentations vérités-terrains réalisées par des volontaires ainsi qu'une nouvelle métrique de similarité pertinente qui quantifie la cohérence entre ces segmentations vérités-terrains et celles produites automatique- ment par un algorithme donné sur les mêmes modèles. De plus, nous menons un ensemble d'expérimentations, y compris une expérimentation subjective, pour respectivement démontrer et valider la pertinence de notre benchmark. - Un algorithme de segmentation par apprentissage. Pour cela, l'apprentissage d'une fonction d'arête frontière est effectué, en utilisant plusieurs critères géométriques, à partir d'un ensemble de segmentations vérités-terrains. Cette fonction est ensuite utilisée, à travers une chaîne de traitement, pour segmenter un nouveau maillage 3D. Nous montrons, à travers une série d'expérimentations s'appuyant sur différents benchmarks, les excellentes performances de notre algorithme par rapport à ceux de l'état de l'art. Nous présentons également une application de notre algorithme de segmentation pour l'extraction de squelettes cinématiques pour les maillages 3D dynamiques.

La détection de la peau constitue une phase primordiale de prétraitement dans plusieurs applications telles que la vidéo surveillance et le filtrage d'Internet. Toutefois, c'est une tâche difficile à accomplir étant donné la diversité des couleurs de la peau et la variété des conditions de prise de vue. Dans l'objectif de surmonter ces dernières contraintes, nos travaux de thèse consistent à définir un modèle robuste de la distribution de la peau capable de différencier les pixels de peau de ceux de non-peau dans des images variées. Notre modélisation est fondée sur le concept des modèles graphiques probabilistes connus par leur intuitivité et efficacité pour la représentation d'une distribution jointe de probabilités sur un ensemble de variables aléatoires, plus particulièrement les arbres indexant des probabilités. En vue de définir le modèle de l'arbre idéal indexant la distribution de la peau, nous avons proposé trois approches différentes : le modèle d'arbre de dépendances à b probabilité peau et non peau, le modèle de mélange des arbres et celui de leur combinaison. Le modèle d'arbre de dépendances à bi-probabilité peau et non peau proposé, exploite les propriétés d'interclasse et d'intra classe entre les deux classes peau et non peau ainsi que les interactions entre un pixel et ses voisins que nous traduisons par un arbre de dépendance optimal. L'arbre élaboré est un arbre idéal unique indexant conjointement les distributions de probabilités peau et non peau. Le modèle de mélange des arbres est proposé pour remédier à la multiplicité des arbres de dépendances optimaux possibles sur un graphe. L'entité du mélange proposée concerne aussi bien les structures des arbres considérés que les probabilités portées par ces dernières. Ainsi, l'arbre idéal indexant probabilité peau est l'arbre résultant du mélange portant la probabilité du mélange. Quant au modèle de combinaison des arbres élaboré, il constitue une approche alternative au mélange proposé visant l'exploitation des différent informations emmagasinées dans les différents arbres de dépendances optimaux possibles. Un fondement théorique est présenté dans cette thèse pour déterminer la meilleure approche à adopter, le mélange des arbres ou la combinaison des arbres, et ce en fonction des arbres de dépendances optimaL considérés. Les expérimentations réalisées sur la base Compaq montrent l'efficacité et la faisabilité de nos approches. En outre, des études comparatives entre n< modèles de peau et l'existant prouvent qu'en termes de qualité et de quantité des résultats obtenus, les modèles proposés permettent de discriminer les pixels de peau et ceux de non peau dans des images couleurs variées.

Cette thèse présente une nouvelle approche pour contrôler des algorithmes de suivi d'objets mobiles. Plus précisément, afin de s'adapter aux variations contextuelles de suivi, cette approche apprend à régler les paramètres des algorithmes de suivi d'objets basés sur l'apparence ou sur les points d'intérêt. Le contexte de suivi d'une vidéo est défini par un ensemble de caractéristiques : la densité des objets mobiles, leur niveau d'occultation, leur contraste et leur surface 2D. Dans une phase d'apprentissage supervisée, des valeurs de paramètres satisfaisantes sont déterminées pour chaque séquence d'apprentissage. Puis ces séquences sont classifiées en groupant leurs caractéristiques contextuelles. A chaque contexte sont associées les valeurs de paramètres apprises. Dans la phase de contrôle en ligne, deux approches sont proposées. Pour la première approche, quand le contexte change, les paramètres sont réglés en utilisant les valeurs apprises. Pour la deuxième, le réglage des paramètres est réalisé quand le contexte change et quand la qualité de suivi (calculée par un algorithme d'évaluation en ligne) n'est pas assez bonne. Un processus d'apprentissage en-ligne met à jour les relations contextes/paramètres. L'approche a été expérimentée avec des vidéos longues, complexes et plusieurs ensembles de vidéos publiques. Cette thèse propose cinq contributions : (1) une méthode de classification des vidéos pour apprendre hors-ligne les paramètres de suivi, (2) un algorithme d'évaluation en-ligne du suivi, (3) une méthode pour contrôler en ligne le suivi, (4) un algorithme de suivi pouvant s'adapter aux conditions de la scène, (5) une méthode de suivi robuste basée sur le filtre de Kalman et un suivi global.

Les systèmes multi-caméras permettent de nos jours d'obtenir à la fois des flux d'images couleur mais aussi des flux de modèles 3D. Ils permettent ainsi l'étude de scènes complexes à la fois de par les éléments qui la composent mais aussi de par les mouvements et les déformations que subissent ces éléments au fil du temps. Une des principales limitations de ces données est le manque de cohérence temporelle entre les observations obtenues à deux instants de temps successifs. Les travaux présentés dans cette thèse proposent des pistes pour retrouver cette cohérence temporelle. Dans un premier temps nous nous sommes penchés sur le problème de l'estimation de champs de déplacement denses à la surface des objets de la scène. L'approche que nous proposons permet de combiner efficacement des informations photométriques provenant des caméras avec des informations géométriques. Cette méthode a été étendue, par la suite, au cas de systèmes multi-caméras hybrides composés de capteurs couleurs et de profondeur (tel que le capteur kinect). Dans un second temps nous proposons une méthode nouvelle permettant l'apprentissage de la vraie topologie d'une scène dynamique au fil d'une séquence de données 4D (3D + temps). Ces travaux permettent de construire au fur et à mesure des observations un modèle de référence de plus en plus complet de la scène observée.

Computational vision and image analysis is a multidisciplinary scientific field that aims to make computers "see" in a way that is comparable to human perception. It is currently one of the most challenging research areas in artificial intelligence. In this regard, the extraction of information from the vast amount of visual data that are available today as well as the exploitation of the resulting information space becomes one of the greatest challenges in our days. To address such a challenge, this thesis describes a very general computational framework that can be used for performing efficient inference and learning for visual perception based on very rich and powerful models.

La vision omnidirectionnelle permet de percevoir l'environnement sur 360◦. C'est un atout considérable pour un robot mobile puisque grâce à cette particularité, il peut tirer parti d'une information globale de la scène à tout moment. Les premières recherches allant dans ce sens remontent en 1990 avec les travaux de Yasushi Yagi qui a proposé d'utiliser un dispositif nommé COPIS en associant une caméra perspective et un miroir conique pour obtenir une vue panoramique de la scène. En 1995, Mouaddib et Pégard présentent un procédé similaire pour localiser un robot dans son environnement. Bien que ce système possède des avantages pour la localisation, il se révèle peu adéquat pour reconstruire l'environnement 3D. D'autres systèmes catadioptriques (caméra+miroir) ont par la suite été employés. En 1997, Nayar en a fait une analyse théorique et a démontré que pour obtenir une vision omnidirectionnelle à l'aide d'une caméra et un miroir, il n'existait que deux configurations possibles. L'une consiste à associer une caméra orthographique avec un miroir paraboloïde (caméra paracatadioptrique), l'autre associe une caméra perspective avec un miroir hyperboloïde dont l'un des foyers correspond au centre optique de la caméra. Ces deux types de capteurs ont connu de nombreux développements puisque la propriété d'un point de vue unique leur confère une géométrie projective semblable aux caméras perspectives classiques. Pour ces caméras, les méthodes d'estimation du déplacement développées pour les caméras perspectives deviennent dès lors applicables dès que nous travaillons sur les plans projectifs dont le centre de projection est confondu avec le foyer du miroir. C'est à cette période que l'on voit apparaitre les premières méthodes de reconstruction 3D d'environnement à partir de caméra catadioptrique centrale. En 2001, Geyer et Daniilidis ainsi que Barreto et ont démontré que les caméras à projection centrale (perspective, catadioptrique à point de vue unique) étaient en fait équivalentes à une image sphérique dans laquelle la projection s'effectuait en son centre. Cette propriété importante a permis de développer les premières méthodes de traitement des images adaptées aux images catadioptriques. Plus récemment, Ying et Hu ainsi que Courbon et al. ont démontré que l'on pouvait également représenter certaines caméras fish-eye par des images sphériques. Ainsi, la sphère nous fournit un cadre générique pour l'étude de plusieurs types de caméras telles que les caméras perspectives, catadioptriques à point de vue unique, fish-eyes, LadyBug. Ce manuscrit a pour objectif de montrer que la modélisation sphérique offre un outil performant pour ces caméras. Il synthétise une grande partie de mes travaux menés depuis mon recrutement en tant que Maître de Conférences en septembre 2005.

Thesis (Ph. D.)--University of California, Riverside, 2009. / Includes abstract. Title from first page of PDF file (viewed March 8, 2010). Includes bibliographical references. Issued in print and online. Available via ProQuest Digital Dissertations.