Le suivi en 3D des mouvements de la tête avec une seule caméra est un sujet important et difficile pour concevoir des interfaces informatiques. Dans cette thèse nous proposons deux logiciels et étudions leurs applications à l'interface Homme machine.Le premier logiciel propose un suivi différentiel d'un ellipsoïde en 3D. Il estime récursivement la position de la tête avec des prédictions et mise à jour du modèle. Cette solution, bien que robuste, souffre de deux limites : les mouvements de la tête doivent être petits et il y a une importante dérive temporelle. D'autres pistes doivent être envisagées.la deuxième partie de cette thèse se tourne vers une nouvelle solution à détection. La nouveauté est de conduire conjointement la modélisation, l'apprentissage et le suivi. Le suivi de position est réalisé en associant un suivi dynamique avec un apprentissage hors ligne des textures de visage utilisant un modèle 3D élémentaire de la tête. De nombreuses expériences valident que les mouvements de la tête sont suivi sans dérives. Pour améliorer les performances, nous avons ajouté un algorithme de flux optique pour renforcer la cohérence temporelle en éliminant les valeurs aberrantes.Dans la dernière partie, nous présentons deux applications des algorithmes. La première vise à estimer le regard à partir de la rotation de la tête. La seconde permet d’afficher des avatars réalistes en plaquant la texture du visage extraite de la vidéo. / Monocular 3D head tracking is a core technique for designing intelligent interfaces. Over the last decade, the objective that tracks long-term persistent poses in ever-changing environments remains a challenging problem. In this thesis, we investigate this problem by presenting two alternative frameworks and exploit its potential applications in computer-human interactions. The first framework is a robust implementation of the conventionally differential tracking approach along with a 3D ellipsoid for geometric reasoning. It recursively estimates head poses from prior prediction and dynamically updates its template. These attributes make it robust to ever observation changes and lead to smooth estimations. However, they also bring two severe problems that target movement is limited to be small and template drifting happens from time to time, which together make long-term tracking with a camera impossible.To avoid these crucial limits, the second part of this thesis turns to a novel tracking by detection approach. The novelty of our approach is to joint modeling, learning and tracking in a unified system. The pose tracking is realized by matching online features with the offline learned multi-view feature classes while the learning depends on face texture synthesis, stable class detection and multiview selection that are executed within a simple head modeling system. Extensive experiments witnesses the disappearance of model drifting as well as the success of tracking natural head movements. To further enhance the performances, we also integrate opticalflow correspondences to enforce temporal consistency during tracking by detection and incorporate color prior to clarify possible outlier features in a discriminative way.In the last part of this thesis, we present two applications of the proposed 3D head tracking system. The first is to estimate eye gaze in the presence of natural head rotations. The second is to transfer facial expressions from human being to an online avatar.

Les gestes de la main représentent un moyen naturel et intuitif de communication chez l'homme lui permettant d'interagir avec son environnement dans la vie de tous les jours. Ils permettent notamment de ponctuer et de renforcer l'expression orale d'un dialogue entre personnes. Outre la communication entre individus, les gestes de la main permettent de manipuler des objets ou encore d'interagir avec des machines. Avec le développement de la vision par ordinateur, on assiste à un véritable engouement pour de nouveaux types d'interactions qui exploitent le mouvement de la main et qui passent par une étape d'analyse et de reconnaissance du mouvement afin d'aboutir à l'interprétation des gestes de la main. La réalisation d'un tel objectif ouvre un large champ d'applications. C'est dans ce cadre que se positionne le travail réalisé au cours de cette thèse. Les objectifs visés étaient de proposer des méthodes pour: 1) permettre le transfert d'animation depuis une séquence réelle vers un modèle 3D représentant la main. Dans une telle perspective, le suivi permet d'estimer les différents paramètres correspondant aux degrés de liberté de la main. 2) identifier les gestes de la main en utilisant une base de gestes prédéfinie dans le but de proposer des modes d'interactions basés sur la vision par ordinateur. Sur le plan technique, nous nous sommes intéressés à deux types d’approches : le premier utilise un modèle 3D de la main et le deuxième fait appel à une base de gestes / Hand gestures take a fundamental role in inter-human daily communication. Their use has become an important part of human-computer interaction in the two last decades. Building a fast and effective vision-based hand motion tracker is challenging. This is due to the high dimensionality of the pose space, the ambiguities due to occlusion, the lack of visible surface texture and the significant appearance variations due to shading. In this thesis we are interested in two approaches for monocular hand tracking. In the first one, a parametric hand model is used. The hand motion tracking is first formulated as an optimization task, where a dissimilarity function between the projection of the hand model under articulated motion and the observed image features, is to be minimized. A two-step iterative algorithm is then proposed to minimize this dissimilarity function. We propose two dissimilarity functions to be minimized. We propose also in this thesis a data-driven method to track hand gestures and animate 3D hand model. To achieve the tracking, the presented method exploits a database of hand gestures represented as 3D point clouds. In order to track a large number of hand poses with a database as small as possible we classify the hand gestures using a Principal Component Analysis (PCA). Applied to each point cloud, the PCA produces a new representation of the hand pose independent of the position and orientation in the 3D space. To explore the database in a fast and efficient way, we use a comparison function based on 3D distance transform. Experimental results on synthetic and real data demonstrate the potentials of ours methods

La réalité mixte apporte certains avantages aux applications industrielles. Elle peut, entre autres, faciliter la visualisation et validation de projets ou assister des opérateurs durant des tâches spécifiques. Les systèmes de projection (PBS), tels que les CAVE ou la réalité augmentée spatiale, fournissent un environnement de réalité mixte permettant une collaboration directe avec des utilisateurs externes. Dans cette thèse, nous visons à améliorer l'utilisation des systèmes de projection pour des applications industrielles en abordant deux défis majeurs: (1) améliorer les composantes techniques des PBS et (2) augmenter l'expérience utilisateur dans les PBS. En tant que premier défi technique, nous visons à améliorer les systèmes de suivi de mouvements optiques. Nous proposons une approche permettant d’élargir l’espace de travail de ces systèmes grâce à deux méthodes. La première permet de suivre les mouvements à partir d’une seule caméra tandis ce que la deuxième permet de contrôler les caméras et suivre les objets dans l’espace de travail. Le système qui en résulte fournit des performances acceptables pour des applications en réalité mixte tout en augmentant considérablement l'espace de travail. Un tel système de suivi de mouvement peut permettre de mieux exploiter le potentiel des systèmes de projection et d’élargir le champ possible des interactions. En tant que deuxième défi technique, nous concevons un casque « tout-en-un » pour la réalité augmentée spatiale mobile. Le casque rassemble à la fois un système de projection et un système de suivi de mouvements qui sont embarqués sur la tête de l'utilisateur. Avec un tel système, les utilisateurs sont capables de se déplacer autour d'objets tangibles et de les manipuler directement à la main tout en projetant du contenu virtuel par-dessus. Nous illustrons notre système avec deux cas d'utilisation industriels: le prototypage virtuel et la visualisation médicale. Enfin, nous abordons le défi qui vise à améliorer l’expérience utilisateur dans les PBS. Nous proposons une approche permettant d’incarner un personnage virtuel et d’augmenter la perception spatiale des utilisateurs dans les PBS. Pour ce faire, nous ajoutons l’ombre virtuelle des utilisateurs dans les systèmes de projection immersifs. L'ombre virtuelle est directement corrélée aux mouvements des utilisateurs afin qu'ils la perçoivent comme si c'était la leur. Nous avons effectué une expérience afin d'étudier l'influence de la présence de l'ombre virtuelle sur le comportement des utilisateurs. / Mixed reality brings some advantages to industrial applications. It can, among others, facilitate visualizing and validating projects or assist operators during specific tasks. Projection-based Systems (PBS), such as CAVEs or spatial augmented reality provide a mixed reality environment enabling straightforward collaboration with external users. In this thesis, we aim at improving the usage of PBS for industrial applications by considering two main challenges: (1) improving the technical components of PBS and (2) improving the user experience when using PBS. As a first technical challenge, we propose to address the improvement of the tracking component. We introduce an approach that enables increasing the workspace of optical tracking systems by using two methods. As a first method, we propose to use monocular tracking. As a second method, we propose to use controlled cameras that follow the targets across the workspace. The resulting system provides acceptable performances for mixed reality applications while considerably increasing the workspace. Such a tracking system can make it easier to use large projection-based displays and can widen the range of available interactions. As a second technical challenge, we design an “all-in-one” headset for mobile spatial augmented reality on tangible objects. The headset gathers both a projection and a tracking system that are embedded on the user’s head. With such a system, the users are able to move around tangible objects and to manipulate them directly by hand while projecting virtual content over them. We illustrate our system with two industrial use cases: virtual prototyping and medical visualization. Finally, we address the challenge that aims at improving the user experience when using PBS. We introduce a method that provides virtual embodiment and increases the spatial perception of the users when using PBS. To do so we add the user’s virtual shadow in immersive projection-based systems. The virtual shadow is dynamically mapped to users’ movements in order to make them perceive the shadow as if it was their own. We then carry out an experiment to study the influence of the presence of the virtual shadow on the user experience and behavior.

Les travaux de recherche présentés dans cette thèse ont pour but de développer un système de réalité virtuelle d'aide à la réalisation et à l'évaluation d'exercices physiques. La notion d'exercice physique étant très large, nous avons pris le parti de cibler des exercices réalisés dans le cadre médical de traitements de rééducation fonctionnelle. Dans un premier temps, nous avons mis au point un socle technologique et algorithmique basé sur du matériel standard, peu coûteux, simple à installer et à utiliser. Il met en place les fondations nécessaires pour le développement d'applications de réalité virtuelle destinées à supporter et à superviser des exercices de rééducation, qu'ils soient réalisés dans un centre de rééducation, dans le cabinet d'un kinésithérapeute, ou à domicile. Sur base de ce socle, nous avons ensuite développé deux applications de rééducation ciblant des pathologies différentes. La première application est destinée aux patients atteints de douleurs neuropathiques telles que les douleurs fantômes (DF) chez les amputés ou le Syndrome Douloureux Régional Complexe (SDRC). Grâce à la réalité virtuelle, nous donnons l'illusion au patient qu'il peut à nouveau bouger son membre amputé ou pathologique, réduisant ainsi l'intensité des douleurs. La seconde application a pour but d'offrir au thérapeute et au patient un outil de quantification des mouvements réalisés dans le cadre d'exercices de rééducation motrice. Les mesures ainsi obtenues vont permettre d'aider le médecin à identifier et à objectiver le diagnostic d'une pathologie du mouvement, et, par la suite, vont permettre au kinésithérapeute d'en suivre l'évolution tout au long du traitement de rééducation. Pour chacune de ces applications, un algorithme spécifique de suivi de mouvements, basé sur le socle commun, est au cœur de la solution mise en œuvre. / Doctorat en Sciences de l'ingénieur / info:eu-repo/semantics/nonPublished