L'analyse de la posture d'un humain à partir d'images est un problème difficile en raison à la fois de la complexité de l'objet étudié (causée entre autres par le nombre de degrés de liberté et la forte variabilité d'apparences entre les personnes) et des ambiguïtés visuelles introduites par le système d'observation (liées aux phénomènes d'auto-occultation et à la perte d'information sur la profondeur). La diversité de ses applications potentielles - comme la réalité virtuelle, l'interface homme machine, l'analyse du geste sportif...- en fait toutefois un sujet de recherche très actif. Cette thèse présente un système d'estimation de la configuration d'un modèle articulé du corps à partir des images acquises par un système de caméras fixes et calibrées, observant une personne évoluant dans une pièce. La méthode proposée ne suppose pas de connaissance sur les estimations précédentes dans la vidéo, et s'affranchit donc des éventuels problèmes d'initialisation ou de perte de suivi. L'objectif de ce travail est d'ouvrir la voie vers une analyse robuste et temps-réel de la posture pour l'interprétation de scènes et la vidéo surveillance. L'analyse s'appuie tout d'abord sur une extraction de la silhouette pour chacune des caméras par une méthode de soustraction de fond. Une reconstruction en voxels de l'enveloppe visuelle du corps est ensuite obtenue grâce à un algorithme de Shape from Silhouettes. Cette enveloppe 3D fusionne les primitives extraites des images et les informations sur la géométrie du système d'acquisition, et représente un moyen de rendre l'estimation plus indépendante du placement des caméras. L'estimation est ensuite basée sur une régression : l'application permettant de passer de la forme 3D reconstruite à la configuration du corps correspondante est modélisée durant une phase d'apprentissage. Les informations a priori intégrées dans le modèle appris permettent une prédiction directe de la pose à partir des données images (représentées par l'enveloppe visuelle). Le temps de calcul associé à l'estimation est réduit car le travail de modélisation est reporté sur la phase d'entrainement effectuée hors-ligne. Des bases v tel-00725684, version 1 - 27 Aug 2012 vi d'apprentissage synthétiques ont été créées grâce à des logiciels d'animation d'avatars et de rendu 3D. Pour encoder de manière concise la géométrie de l'enveloppe visuelle, un nouveau descripteur 3D a été proposé. Différentes possibilités sur la paramétrisation du mouvement du corps, la complexité du descripteur, la méthode de régression, la configuration des caméras...ont été envisagées et testées. Toutes les méthodes proposées sont évaluées quantitativement sur des données synthétiques, qui permettent une comparaison à la vérité terrain. La robustesse du système est éprouvée qualitativement grâce à des tests sur des séquences réelles, portant sur l'analyse des mouvements de marche et de bras.

Nous nous intéressons à l'acquisition automatique de mouvements 3D de personnes. Cette opération doit être réalisée sans un équipement spécialisé (marqueurs ou habillage spécifique), pour rendre son utilisation générale, sous la contrainte du temps réel. Pour répondre à ces questions, nous sommes amenés à traiter de la reconstruction et l'analyse de la forme 3D. Concernant le problème de reconstruction 3D en temps réel d'entités en mouvement à partir de plusieurs vues, les approches existantes font souvent appel à des calculs complexes incompatibles avec la contrainte du temps réel. Les approches du type SFS offrent un compromis intéressant entre efficacité algorithmique et précision. Ces dernières utilisent les silhouettes issues de chaque caméra pour proposer un volume englobant des objets. Cependant elles nécessitent un environnement particulièrement contraint, dont le placement minutieux des caméras. Les travaux présentés dans ce manuscrit généralisent l'utilisation des approches SFS à des environnements peu contrôlés. L'acquisition du mouvement revient à déterminer les paramètres offrant la meilleure corrélation entre le modèle et la reconstruction 3D. Notre objectif étant le suivi temps réel, nous proposons des méthodes qui offrent la précision requise et le temps réel. Couplé à un suivi temporel par filtre de Kalman, à un recalage d'objets géométriques simples (ellipsoïdes, sphères, etc.), nous proposons un système temps réel, offrant une erreur de l'ordre de 6%.De par sa robustesse, il permet le suivi simultané de plusieurs personnes, même lors de contacts. Les résultats obtenus ouvrent des perspectives à un transfert vers des applications grand public

Nous nous intéressons à l'acquisition automatique de mouvements 3D de personnes. Cette opération doit être réalisée sans un équipement spécialisé (marqueurs ou habillage spécifique), pour rendre son utilisation générale, sous la contrainte du temps réel. Pour répondre à ces questions, nous sommes amenés à traiter de la reconstruction et l'analyse de la forme 3D. Concernant le problème de reconstruction 3D en temps réel d'entités en mouvement à partir de plusieurs vues, les approches existantes font souvent appel à des calculs complexes incompatibles avec la contrainte du temps réel. Les approches du type SFS offrent un compromis intéressant entre efficacité algorithmique et précision. Ces dernières utilisent les silhouettes issues de chaque caméra pour proposer un volume englobant des objets. Cependant elles nécessitent un environnement particulièrement contraint, dont le placement minutieux des caméras. Les travaux présentés dans ce manuscrit généralisent l'utilisation des approches SFS à des environnements peu contrôlés. L'acquisition du mouvement revient à déterminer les paramètres offrant la meilleure corrélation entre le modèle et la reconstruction 3D. Notre objectif étant le suivi temps réel, nous proposons des méthodes qui offrent la précision requise et le temps réel. Couplé à un suivi temporel par filtre de Kalman, à un recalage d'objets géométriques simples (ellipsoïdes, sphères, etc.), nous proposons un système temps réel, offrant une erreur de l'ordre de 6%.De par sa robustesse, il permet le suivi simultané de plusieurs personnes, même lors de contacts. Les résultats obtenus ouvrent des perspectives à un transfert vers des applications grand public / We aim at automatically capturing 3D motion of persons without markers. To make it flexible, and to consider interactive applications, we address real-time solution, without specialized instrumentation. Real-time body estimation and shape analyze lead to home motion capture application. We begin by addressing the problem of 3D real-time reconstruction of moving objects from multiple views. Existing approaches often involve complex computation methods, making them incompatible with real-time constraints. Shape-From-Silhouette (SFS) approaches provide interesting compromise between algorithm efficiency and accuracy. They estimate 3D objects from their silhouettes in each camera. However they require constrained environments and cameras placement. The works presented in this document generalize the use of SFS approaches to uncontrolled environments. The main methods of marker-less motion capture, are based on parametric modeling of the human body. The acquisition of movement goal is to determine the parameters that provide the best correlation between the model and the 3D reconstruction.The following approaches, more robust, use natural markings of the body extremities: the skin. Coupled with a temporal Kalman filter, a registration of simple geometric objects, or an ellipsoids' decomposition, we have proposed two real-time approaches, providing a mean error of 6%. Thanks to the approach robustness, it allows the simultaneous monitoring of several people even in contacts. The results obtained open up prospects for a transfer to home applications

Nous nous intéressons dans cette thèse à la modélisation de formes tridimensionnelles à partir de vidéos numériques. Plus particulièrement nous considérons les approches utilisant des silhouettes, acquises à l'aide de caméras calibrées. Notre objectif est de fournir une modélisation rapide pour permettre au modèle construit d'interagir en temps réel avec des environnements virtuels. Parmi les différentes primitives qui peuvent être considérées pour acquérir des modèles tridimensionnels, les silhouettes offrent l'avantage de simplifier la gestion de la visibilité et de permettre des traitements rapides. Les principales limitations des méthodes qui en découlent concernent le rapport défavorable entre la précision du modèle construit et le temps de calcul nécessaire, ainsi que l'extraction des silhouettes dans les images qui reste une étape sensible du processus de modélisation. En réponse à ces limitations, nous proposons deux approches rapides de modélisation à partir de silhouettes. La première suppose que les données, les silhouettes et le calibrage, sont précises, et produit un modèle exact vis-à-vis de ces données. La deuxième permet d'introduire des incertitudes dans les primitives considérées et produit alors un modèle probabiliste du volume observé. Ces deux approches sont illustrées par des résultats sur données synthétiques et réelles, acquises sur la plate-forme GrImage de l'Inria Rhône-Alpes. En particulier une implémentation distribuée et temps réel de la première méthode est proposée. Celle-ci est validée dans le contexte d'une application de réalité virtuelle.

Nous présentons une nouvelle approche pour la modélisation d'objets 3D de haute qualité à partir de séquences d'images en rotation partiellement calibrées. L'algorithme est capable: de calibrer la caméra (la pose et la longueur focale), de reconstruire la géométrie 3D et de créer une carte de texture. Par rapport à d'autres méthodes plus classiques, le calibrage est réalisé à partir d'un ensemble de silhouettes comme seule source d'information. Nous développons le concept de cohérence d'un ensemble de silhouettes généré par un objet 3D. Nous discutons d'abord la notion de cohérence de silhouettes et définissons un critère pratique pour l'estimer. Ce critère dépend à la fois des silhouettes et des paramètres des caméras qui les ont générées. Ces paramètres peuvent être estimés pour le problème de modélisation 3D en maximisant la cohérence globale des silhouettes. La méthode de reconstruction 3D est fondée sur l'utilisation d'un modèle déformable classique, qui définit le cadre dans lequel nous pouvons fusionner l'information de la texture et des silhouettes pour reconstruire la géométrie 3D. Cette fusion est accomplie en définissant deux forces basées sur les images: une force définie par la texture et une autre définie par les silhouettes. La force de texture est calculée en deux étapes: une approche corrélation multi-stéréo par décision majoritaire, et une étape de diffusion du vecteur gradient (GVF). En raison de la haute résolution de l'approche par décision majoritaire, une version multi-résolution du GVF a été développée. En ce qui concerne la force des silhouettes, une nouvelle formulation de la contrainte des silhouettes est dérivée. Elle fournit une manière robuste d'intégrer les silhouettes dans l'évolution du modèle déformable. A la fin de l'évolution, cette force fixe les contours générateurs du modèle 3D. Finalement, une carte de texture est calculée à partir des images originales et du modèle 3D reconstruit.

La reconstruction précise d’une scène 3D à partir de plusieurs caméras offre un contenu synthétique 3D à destination de nombreuses applications telles que le divertissement, la télévision et la production cinématographique. Cette thèse propose une nouvelle approche pour la reconstruction 3D multi-vues basée sur l’enveloppe visuelle et la stéréovision multi-oculaire. Cette approche nécessite en entrée l’enveloppe visuelle et plusieurs jeux d’images rectifiées issues de différentes unités multiscopiques constituées chacune de plusieurs caméras alignées et équidistantes. Nos contributions se situent à différents niveaux. Le premier est notre méthode de stéréovision multi-oculaire qui est fondée sur un nouvel échantillonnage de l’espace scénique et fournit une carte de matérialité exprimant la probabilité pour chaque point d’échantillonnage 3D d’appartenir à la surface visible par l’unité multiscopique. Le second est l’hybridation de cette méthode avec les informations issues de l’enveloppe visuelle et le troisième est la chaîne de reconstruction basée sur la fusion des différentes enveloppes creusées tout en gérant les informations contradictoires qui peuvent exister. Les résultats confirment : i) l’efficacité de l’utilisation de la carte de matérialité pour traiter les problèmes qui se produisent souvent dans la stéréovision, en particulier pour les régions partiellementoccultées ; ii) l’avantage de la fusion des méthodes de l’enveloppe visuelle et de la stéréovision multi-oculaire pour générer un modèle 3D précis de la scène. / Accurate reconstruction of a 3D scene from multiple cameras offers 3D synthetic content tobe used in many applications such as entertainment, TV, and cinema production. This thesisis placed in the context of the RECOVER3D collaborative project, which aims is to provideefficient and quality innovative solutions to 3D acquisition of actors. The RECOVER3Dacquisition system is composed of several tens of synchronized cameras scattered aroundthe observed scene within a chromakey studio in order to build the visual hull, with severalgroups laid as multiscopic units dedicated to multi-baseline stereovision. A multiscopic unitis defined as a set of aligned and evenly distributed cameras. This thesis proposes a novelframework for multi-view 3D reconstruction relying on both multi-baseline stereovision andvisual hull. This method’s inputs are a visual hull and several sets of multi-baseline views.For each such view set, a multi-baseline stereovision method yields a surface which is usedto carve the visual hull. Carved visual hulls from different view sets are then fused iterativelyto deliver the intended 3D model. Furthermore, we propose a framework for multi-baselinestereo-vision which provides upon the Disparity Space (DS), a materiality map expressingthe probability for 3D sample points to lie on a visible surface. The results confirm i) theefficient of using the materiality map to deal with commonly occurring problems in multibaselinestereovision in particular for semi or partially occluded regions, ii) the benefit ofmerging visual hull and multi-baseline stereovision methods to produce 3D objects modelswith high precision.