Cette thèse porte sur la synthèse de séquences de motion capture avec des modèles statistiques. La synthèse de ce type de séquences est une tâche pertinente pour des domaines d'application divers tels que le divertissement, l'interaction homme-machine, la robotique, etc. Du point de vue de l'apprentissage machine, la conception de modèles de synthèse consiste à apprendre des modèles génératifs, ici pour des données séquentielles. Notre point de départ réside dans deux problèmes principaux rencontrés lors de la synthèse de données de motion capture, assurer le réalisme des positions et des mouvements, et la gestion de la grande variabilité dans ces données. La variabilité vient d'abord des caractéristiques individuelles, nous ne bougeons pas tous de la même manière mais d'une façon qui dépend de notre personnalité, de notre sexe, de notre âge de notre morphologie, et de facteurs de variation plus court terme tels que notre état émotionnel, que nous soyons fatigués, etc.Une première partie présente des travaux préliminaires que nous avons réalisés en étendant des approches de l'état de l'art basées sur des modèles de Markov cachés et des processus gaussiens pour aborder les deux problèmes principaux liés au réalisme et à la variabilité. Nous décrivons d'abord une variante de modèles de Markov cachés contextuels pour gérer la variabilité dans les données en conditionnant les paramètres des modèles à une information contextuelle supplémentaire telle que l'émotion avec laquelle un mouvement a été effectué. Nous proposons ensuite une variante d'une méthode de l'état de l'art utilisée pour réaliser une tâche de synthèse de mouvement spécifique appelée Inverse Kinematics, où nous exploitons les processus gaussiens pour encourager le réalisme de chacune des postures d'un mouvement généré. Nos résultats montrent un certain potentiel de ces modèles statistiques pour la conception de systèmes de synthèse de mouvement humain. Pourtant, aucune de ces technologies n'offre la flexibilité apportée par les réseaux de neurones et la récente révolution de l'apprentissage profond et de l'apprentissage Adversarial que nous abordons dans la deuxième partie.La deuxième partie de la thèse décrit les travaux que nous avons réalisés avec des réseaux de neurones et des architectures profondes. Nos travaux s'appuient sur la capacité des réseaux neuronaux récurrents à traiter des séquences complexes et sur l'apprentissage Adversarial qui a été introduit très récemment dans la communauté du Deep Learning pour la conception de modèles génératifs performants pour des données complexes, notamment images. Nous proposons une première architecture simple qui combine l'apprentissage Adversarial et des autoencodeurs de séquences, qui permet de mettre au point des systèmes performants de génération aléatoire de séquences réalistes de motion capture. A partir de cette architecture de base, nous proposons plusieurs variantes d'architectures neurales conditionnelles qui permettent de concevoir des systèmes de synthèse que l'on peut contrôler dans une certaine mesure en fournissant une information de haut niveau à laquelle la séquence générée doit correspondre, par exemple l'émotion avec laquelle une activité est réalisée. Pour terminer nous décrivons une dernière variante qui permet de réaliser de l'édition de séquences de motion capture, où le système construit permet de générer une séquence dans le style d'une autre séquence, réelle. / This thesis focuses on the synthesis of motion capture data with statistical models. Motion synthesis is a task of interest for important application fields such as entertainment, human-computer interaction, robotics, etc. It may be used to drive a virtual character that can be involved in the applications of the virtual reality, animation films or computer games. This thesis focuses on the use of statistical models for motion synthesis with a strong focus on neural networks. From the machine learning point of view designing synthesis models consists in learning generative models. Our starting point lies in two main problems one encounters when dealing with motion capture data synthesis, ensuring realism of postures and motion, and handling the large variability in the synthesized motion. The variability in the data comes first from core individual features, we do not all move the same way but accordingly to our personality, our gender, age, and morphology etc. Moreover there are other short term factors of variation like our emotion, the fact that we are interacting with somebody else, that we are tired etc. Data driven models have been studied for generating human motion for many years. Models are learned from labelled datasets where motion capture data are recorded while actors are performed various activities like walking, dancing, running, etc. Traditional statistical models such as Hidden Markov Models, Gaussian Processes have been investigated for motion synthesis, demonstrating strengths but also weaknesses. Our work focuses in this line of research and concerns the design of generative models for sequences able to take into account some contextual information, which will represent the factors of variation. A first part of the thesis present preliminary works that we realised by extending previous approaches relying on Hidden Markov Models and Gaussian Processes to tackle the two main problems related to realism and variability. We first describe an attempt to extend contextual Hidden Markov Models for handling variability in the data by conditioning the parameters of the models to an additional contextual information such as the emotion which which a motion was performed. We then propose a variant of a traditional method for performing a specific motion synthesis task called Inverse Kinematics, where we exploit Gaussian Processes to enforce realism of each of the postures of a generated motion. These preliminary results show some potential of statistical models for designing human motion synthesis systems. Yet none of these technologies offers the flexibility brought by neural networks and the recent deep learning revolution.The second part of the thesis describes the works we realized with neural networks and deep architectures. It builds on recurrent neural networks for dealing with sequences and on adversarial learning which was introduced very recently in the deep learning community for designing accurate generative models for complex data. We propose a simple system as a basis synthesis architecture, which combines adversarial learning with sequence autoencoders, and that allows randomly generating realistic motion capture sequences. Starting from this architecture we design few conditional neural models that allow to design synthesis systems that one can control up to some extent by either providing a high level information that the generated sequence should match (e.g. the emotion) or by providing a sequence in the style of which a sequence should be generated.

En tant qu'une nouvelle alternative à la MoCap standard, la capture de surface 4D est motivée par la demande croissante des produits médiatiques de contenu 3D très réaliste. Ce type de données fournit une information complète et réelle de la forme, l'apparence et la cinématique de l'objet dynamique d'intérêt. On aborde dans cet ouvrage certaines taches liées à l'acquisition et l'exploitation de données 4D, obtenues à travers les vidéos multi-vues, avec un intérêt particulier aux formes humaines en mouvements. Parmi ces problèmes, certains ont déjà reçu beaucoup d'intérêt de la part des communautés de vision par ordinateur et d'infographie, mais plusieurs challenges restent ouverts à cet égard. En particulier, nous abordons la synthèse d'animation basée sur des exemples, la modélisation d'apparence et le transfert sémantique de mouvement.On introduit premièrement une méthode pour générer des animations en utilisant des séquences de maillages de mouvements élémentaires d'une forme donnée. De nouveaux mouvements satisfaisant des contraints hauts-niveaux sont construites en combinant et interpolant les trames des données observées. Notre méthode apporte une amélioration local au processus de la synthèse grâce à l'optimisation des transitions interpolées, ainsi qu'une amélioration globale avec une structure organisatrice optimale qu'on appelle le graph essentiel.On aborde en suite la construction de représentations efficaces de l'apparence de formes en mouvement observées à travers des vidéos multi-vue. On propose une représentation par sujet qui identifie la structure sous-jacente de l'information d'apparence relative à uneforme particulière. La représentation propre résultante représente les variabilités d'apparence dues au point de vue et au mouvement avec les textures propres, et celles dues aux imprécisions locales dans le modèle géométrique avec les déformations propres. Outre fournir des représentation compactes, ces décompositions permettent aussi l'interpolation et la complétion des apparences.Finalement, on s'intéresse au problème de transfert de mouvement entre deux modèles 4D capturés. Étant donné des ensembles d'apprentissages pour deux sujets avec des correspondances sémantiques éparses entre des poses clés, notre méthode est capable de transférer un nouveau mouvement capturé d'un sujet vers l'autre. Nous contribuons principalement un nouveau modèle de transfert basé sur l'interpolation non-linéaire de pose et de déplacement qui utilise les processus Gaussiens de régression. / As a new alternative to standard motion capture, 4D surface capture is motivated by the increasing demand from media production for highly realistic 3D content.Such data provides real full shape, appearance and kinematic information of the dynamic object of interest. We address in this work some of the tasks related to the acquisition and the exploitation of 4D data, as obtained through multi-view videos, with an emphasis on corpus of moving subjects. Some of these problems have already received a great deal of interest from the graphics and vision communities, but a number of challenges remain open in this respect. We address namely example based animation synthesis, appearance modelling and semantic motion transfer.We first propose a method to generate animations using video-based mesh sequences of elementary movements of a shape. New motions that satisfy high-level user-specified constraints are built by recombining and interpolating the frames in the observed mesh sequences. Our method brings local improvement to the synthesis process through optimized interpolated transitions, and global improvement with an optimal organizing structure that we call the essential graph.We then address the problem of building efficient appearance representations of shapes observed from multiple viewpoints and in several movements. We propose a per subject representation that identifies the underlying manifold structure of the appearance information relative to a shape. The resulting Eigen representation encodes shape appearance variabilities due to viewpoint and illumination, with Eigen textures, and due to local inaccuracies in the geometric model, with Eigen warps. In addition to providing compact representations, such decompositions also allow for appearance interpolation and appearance completion.We finally address the problem of transferring motion between captured 4D models. Given 4D training sets for two subjects for which a sparse set of semantically corresponding key-poses are known, our method is able to transfer a newly captured motion from one subject to the other. The method contributes a new transfer model based on non-linear pose and displacement interpolation that builds on Gaussian process regression.

Les pathologies du système nerveux central et périphérique, induisent des déficiences motrices ou sensorielles que les méthodes thérapeutiques classiques, chirurgie et médicaments, ne parviennent pas toujours à rééduquer ou suppléer. Depuis longtemps, la stimulation électrique fonctionnelle (FES) peut activer, moduler ou inhiber les structures nerveuses cibles, neurones ou axones. Les applications les plus spectaculaires sont le pacemaker, la stimulation du cerveau profond (pour traiter les tremblements chez les Parkinsoniens), et l'implant cochléaire.<br /><br />Pour restaurer des fonctions motrices ou sensitives plus complexes comme le mouvement ou la vision, non seulement les neuroprothèses doivent proposer des stimuli aux formes diverses non rectangulaires et commander des électrodes multipolaires, mais aussi doivent se déployer sur un nombre plus important de sites. Ce document décrit ce que je propose comme nouvelle architecture de neuroprothèses implantables pour répondre à ce besoin.<br /><br />Il est aussi indispensable de mieux comprendre le problème posé. La modélisation puis la simulation, la synthèse et la commande de mouvement, et enfin le traitement du signal, apportent des supports théoriques aussi bien pour décrire le système étudié, que pour qualifier et quantifier l'impact des neuroprothèses sur ce système. Je décris quelques résultats dans ce domaine, en particulier sur la modélisation des muscles et les développements théoriques qui en découlent, notamment pour la synthèse et la commande de mouvement chez le blessé médullaire.

Les petits robots humanoïdes sont généralement soumis à de nombreuses imperfections : déformations et jeux mécaniques, défauts électriques et problèmes d'asservissements moteurs. L'objet de ces travaux est l'utilisation de techniques d'apprentissage pour compenser les imperfections du robot réel. L'amélioration de la précision de l'odométrie et de la stabilité de mouvements générés est étudiée. Cette thèse est fortement guidée et inspirée par la participation de l'équipe Rhoban (Rhoban Football Club) à la compétition internationale de robotique, la RoboCup. Depuis 2011, l'équipe concourt chaque année dans la ligue des petits robots humanoïdes complètement autonomes (Humanoid Kid-Size) dans un tournoi de football robotique. L'odométrie proprioceptive estime les déplacements du robot à partir de ses capteurs internes (la caméra n'est pas utilisée) alors que l'odométrie prédictive simule les déplacements engendrés par une séquence donnée d'ordres du mouvement de marche. Deux méthodes de correction sont ici proposées pour les deux odométries. La première se fonde sur une technique de régression non paramétrique (LWPR) et un système externe de capture de mouvement. La deuxième optimise (CMA-ES) un modèle de correction linéaire sans ne nécessiter aucun autre dispositif de mesure. L'odométrie proprioceptive est essentielle à la localisation du robot sur le terrain de football alors que l'odométrie prédictive permet d'entraîner hors ligne une politique de contrôle de la marche. La synthèse de mouvements très dynamiques tels que la marche ou le tir est rendue difficile par la forte contrainte de stabilité bipède et les imperfections des servomoteurs. Des mouvements de tir sont tout d'abord générés par optimisation (CMA-ES) et évalués au travers du modèle dynamique inverse du robot. Le développement d'un simulateur physique a été commencé. Le but est de réduire la distance entre le comportement réel et désiré du robot par correction des mouvements au sein du simulateur. / Small humanoid robots are often affected by many flaws : mechanical wraps and backlashes, electrical issues and motor control problems. This work is aimed at applying machine learning methods to deal with the flaws of the real robot. More precisely, improving the odometry accuracy and generated motion stability is studied. This thesis is highly guided and inspired by the participation of the Rhoban team (Rhoban Football Club) to the international RoboCup competition. Since 2011, the team has been competing each year in a soccer tournament within the fully autonomous small humanoid robots (Kid-Size) league. Proprioceptive odometry estimates the robot displacements from its internal sensors (no camera is used) whereas predictive odometry simulates the displacements created from a sequence of walk orders. Two corrective methods are proposed for the two kinds of odometries. The first one is based on a non parametric regression (LWPR) and a motion capture setup. The second one optimizes (CMA-ES) a linear corrective model without needing any external measure system. The proprioceptive odometry is essential to the localization of the robot on the soccer field. The predictive odometry is used to train a control policy for the walk motion. The generation of very dynamic motions like walking or kicking the ball is difficult due to the biped balance constraint and the many servomotor flaws. To start, kick motions are generated by optimization (CMA-ES) and evaluated based on the inverse dynamic model of the robot. The implementation of a physics simulator has been started. The objective is make the real behaviour of the robot to catch up the target trajectory by correcting the motion within the simulator.