A long-standing goal in computer graphics is to create and control realistic motion for virtual human characters. Despite the progress made over the last decade, it remains challenging to design a system that allows a random user to intuitively create and control life-like human motions. This dissertation focuses on exploring theory, algorithms and applications that enable novice users to quickly and easily create and control natural-looking motions, including both full-body movement and hand articulations, for human characters. More specifically, the goals of this research are: (1) to investigate generative statistical models and physics-based dynamic models to precisely predict how humans move and (2) to demonstrate the utility of our motion models in a wide range of applications including motion analysis, synthesis, editing and acquisition. We have developed two novel generative statistical models from prerecorded motion data and show their promising applications in real time motion editing, online motion control, offline animation design, and motion data processing. In addition, we have explored how to model subtle contact phenomena for dexterous hand grasping and manipulation using physics-based dynamic models. We show for the first time how to capture physically realistic hand manipulation data from ambiguous image data obtained by video cameras.

Cette thèse propose une approche pour générer un mouvement corps complet avec contacts non coplanaires, permettant à un robot de se déplacer dans un environnement, de manipuler des objets complexes ou de collaborer avec différents agents. Les méthodes développées dans cette thèse tentent de prendre en compte une grande variété de robots, de l'humanoïde au manipulateur à base fixe en passant par les objets sous actionnés. En premier lieu, nous abordons le problème du choix des positions des points de contacts qu'un robot sous-actionné doit prendre pour se déplacer dans l'environnement. Nous calculons, en un seul problème d'optimisation non-linéaire, une séquence de postures qui satisfait une séquence de contacts donnés. Cette formulation permet de trouver la position des contacts optimale, car le choix de la position d'un contact d'une posture va prendre en compte les postures précédentes et suivantes. Elle permet aussi d'effectuer des tâches pour certaines postures qui prendront en compte l'aspect prioritaire du déplacement. Nous introduisons ensuite une méthode de génération de mouvement qui, en se basant sur la programmation quadratique, permet de résoudre le problème de géométrie inverse et de la dynamique inverse pour un robot à base fixe ou mobile, tout en satisfaisant des contraintes d'égalités et d'inégalités.Cette génération de mouvement est assez rapide pour fonctionner à la vitesse de la boucle de contrôle des robotsHRP2-10 et HRP4, et peut donc être utilisé en temps réel. À l'aide d'une machine à état, nous transformons la séquence de postures calculée à priori en une série de tâches à effectuer par le générateur de mouvement, ce qui permet à notre robot de se déplacer dans un environnement complexe. Nous étendons alors notre méthode de génération de mouvement pour calculer la commande d'un nombre arbitraire de robots. Cette extension nous permet de gérer des tâches de manipulation d'objets complexes, de collaboration entre plusieurs agents et de mouvement dans un environnement dynamique. Nous pouvons aussi spécifier directement les tâches dans le repère de l'objet manipulé pour faciliter l'élaboration de notre consigne. Dans l'optique de valider cette méthode sur un robot réel, nous formulons le problème d'estimation des paramètres inertiels d'un objet manipulé grâce à l'algèbre vectorielle spatiale. Finalement, nous validons nos travaux sur les robots HRP2-10 et HRP4. Sur le premier robot, nous validons la génération de posture et la génération de mouvement mono-robot sur le scénario demonté d'une échelle verticale aux normes industrielles. La manipulation d'objets et l'estimation des paramètres inertiels sont validées par la suite sur le robot HRP4. / This PhD proposes a whole body motion generation approach with non coplanar contacts that allowsa robot to move in an environment, manipulate complex objects or collaborate with differentagents.Methods developed in this PhD try to manage many kinds of robots, from the humanoid to thefixed base manipulator and also handling underactuated objects.Firstly, we address the problem contacts positioning that an underactuated robot should taketo move in its environment.We compute in one non-linear optimization problem a sequence of postures that fulfill aninputed contact list. This formulation allows to find the optimal contact placement regardingprevious and next stances. It also allows to execute a task for some posture while taking into accountthe priority of the motion.Next, we introduce a motion generation method that uses quadratic programming to solveinverse kinematics and dynamics problems for a fixed or mobile base robot under equality andinequality constraints.This motion generation is fast enough to fit the HRP2-10 and HRP4 control loop andcan be used in real-time.With a finite state machine we turn the posture sequence into a list of tasks that should beexecuted by the motion generation to allow a robot to move in a complex environment.We extend this motion generation scheme to compute the motion of an arbitrary number of robots.This extension allows us to manage complex object manipulation tasks, multi-agent collaboration andmotion in a dynamic environment. We can also specify a task in the manipulated object frameto ease motion design.To validate this method on a real robot, we formulate inertial parametersestimation of manipulated objects with spatial vector algebra.Finally, we validate our works on the HRP2-10 and HRP4 robot. On the first one,we validate the posture and mono-robot motion generation on a scenario where the robot climbs anindustry standard vertical ladder.On the second one, we validate object manipulation and inertial parameters estimation.

Nous proposons une approche de planification unifiée pour robots humanoïdes réalisant des tâches de locomotion et de manipulation nécessitant une dextérité propre aux systèmes anthropomorphes. Ces tâches sont basées sur des transitions de contacts ; contacts entre les extrémités des membres locomoteurs et l'environnement dans le cas du problème de locomotion par exemple, ou entre les extrémités de l'organe préhensible effecteur et l'objet manipulé dans le cas du problème de manipulation. Nous planifions ces transitions de contacts pour des systèmes abstraits constitués d'autant de robots, d'objets, et de supports dans l'environnement que désiré/nécessaire pour la modélisation du problème. Cette approche permet de s'affranchir de la distinction de nature entre tâches de locomotion et de manipulation et s'étend à une variété d'autres problèmes tels que la coopération entre plusieurs agents. Nous introduisons notre paradigme de planification non-découplée de locomotion et de manipulation en exhibant la stratification induite dans l'espace des configurations de systèmes simplifiés pour lesquels nous résolvons analytiquement le problème en comparant des méthodes de planification géométrique, non-holonome, et dynamique. Nous présentons ensuite l'algorithme de planification de contacts basé sur une recherche best-first. Cet algorithme fait appel à un solveur de cinématique inverse qui prend en compte des configurations de contacts générales dans l'espace pouvant être établis entre robots, objets, et environnement dans toutes les combinaisons possibles, le tout sous contraintes d'équilibre statique et de respect des limitations mécaniques des robots. La génération de mouvement respectant l'équation de dynamique Lagrangienne est obtenue par une formulation en programme quadratique. Enfin nous envisageons une extension à des supports de contact déformables en considérant des comportements linéaires-élastiques résolus par éléments finis. / We propose a unified planning approach for autonomous humanoid robots that perform dexterous locomotion and manipulation tasks. These tasks are based on contact transitions; for instance between the locomotion limbs of the robot and the environment, or between the manipulation end-effector of the robot and the manipulated object. We plan these contact transitions for general abstract systems made of arbitrary numbers of robots, manipulated objects, and environment supports. This approach allows us to erase distinction between the locomotion and manipulation nature of the tasks and to extend the method to various other planning problems such as collaborative manipulation and locomotion between multiple agents. We introduce our non-decoupled locomotion-and-manipulation planning paradigm by exhibiting the induced stratification of the configuration space of example simplified systems for which we analytically solve the problem comparing geometric path planning, kinematic non-holonomic planning, and dynamic trajectory planning methods. We then present the contact planning algorithm based on best-first search. The algorithm relies on an inverse kinematics solver that handles general robot-robot, robot-object, robot-environment, object-environment, non-horizontal, non-coplanar, friction-based, multi-contact configurations, under static equilibrium and physical limitation constraints. The continuous dynamics-consistent motion is generated in the locomotion case using a quadratic programming formulation. We finally envision the extension to deformable environment contact support by considering linear elasticity behaviours solved using the finite element method.

No description available.

Les petits robots humanoïdes sont généralement soumis à de nombreuses imperfections : déformations et jeux mécaniques, défauts électriques et problèmes d'asservissements moteurs. L'objet de ces travaux est l'utilisation de techniques d'apprentissage pour compenser les imperfections du robot réel. L'amélioration de la précision de l'odométrie et de la stabilité de mouvements générés est étudiée. Cette thèse est fortement guidée et inspirée par la participation de l'équipe Rhoban (Rhoban Football Club) à la compétition internationale de robotique, la RoboCup. Depuis 2011, l'équipe concourt chaque année dans la ligue des petits robots humanoïdes complètement autonomes (Humanoid Kid-Size) dans un tournoi de football robotique. L'odométrie proprioceptive estime les déplacements du robot à partir de ses capteurs internes (la caméra n'est pas utilisée) alors que l'odométrie prédictive simule les déplacements engendrés par une séquence donnée d'ordres du mouvement de marche. Deux méthodes de correction sont ici proposées pour les deux odométries. La première se fonde sur une technique de régression non paramétrique (LWPR) et un système externe de capture de mouvement. La deuxième optimise (CMA-ES) un modèle de correction linéaire sans ne nécessiter aucun autre dispositif de mesure. L'odométrie proprioceptive est essentielle à la localisation du robot sur le terrain de football alors que l'odométrie prédictive permet d'entraîner hors ligne une politique de contrôle de la marche. La synthèse de mouvements très dynamiques tels que la marche ou le tir est rendue difficile par la forte contrainte de stabilité bipède et les imperfections des servomoteurs. Des mouvements de tir sont tout d'abord générés par optimisation (CMA-ES) et évalués au travers du modèle dynamique inverse du robot. Le développement d'un simulateur physique a été commencé. Le but est de réduire la distance entre le comportement réel et désiré du robot par correction des mouvements au sein du simulateur. / Small humanoid robots are often affected by many flaws : mechanical wraps and backlashes, electrical issues and motor control problems. This work is aimed at applying machine learning methods to deal with the flaws of the real robot. More precisely, improving the odometry accuracy and generated motion stability is studied. This thesis is highly guided and inspired by the participation of the Rhoban team (Rhoban Football Club) to the international RoboCup competition. Since 2011, the team has been competing each year in a soccer tournament within the fully autonomous small humanoid robots (Kid-Size) league. Proprioceptive odometry estimates the robot displacements from its internal sensors (no camera is used) whereas predictive odometry simulates the displacements created from a sequence of walk orders. Two corrective methods are proposed for the two kinds of odometries. The first one is based on a non parametric regression (LWPR) and a motion capture setup. The second one optimizes (CMA-ES) a linear corrective model without needing any external measure system. The proprioceptive odometry is essential to the localization of the robot on the soccer field. The predictive odometry is used to train a control policy for the walk motion. The generation of very dynamic motions like walking or kicking the ball is difficult due to the biped balance constraint and the many servomotor flaws. To start, kick motions are generated by optimization (CMA-ES) and evaluated based on the inverse dynamic model of the robot. The implementation of a physics simulator has been started. The objective is make the real behaviour of the robot to catch up the target trajectory by correcting the motion within the simulator.

Kinematic approaches of motion generation use joint angles of a specified kinematic skeleton to describe poses and consider motions as sequences of poses. The progression functions, i.e. the functions describing the angular values of the joints over time are usually obtained by motion capturing. So far, approaches to synthesize these functions have only been able to create motions with strong artificial visual appearance. In this paper we present a novel method for generating gait motions from synthesized progression functions. Our method is based on the key observation that the progression functions of the joints involved in gait motions show certain characteristic shapes. Based on empirical evaluations we describe these shapes for all progression functions needed to generate walking movements. Furthermore, we analyze the variation of the described shapes depending on stride length and walking speed. Polynomial splines are used to define functions that mimic the shapes of progression functions and can be easily controlled via the spline parameters. We develop a model that describes how to change the parameters of the splines according to the rules of shape variation observed on empirical data in order to adjust stride length and walking speed. Our method can be used to generate walking motions of virtual characters with user provided stride length or walking speed. To evaluate our method we compare synthesized gait motions with recorded ones. A numerical evaluation shows that the maximal joint displacement between captured and synthesized motions lies within the range of variability of natural human walking.

Digitale Menschmodelle gelten als gut geeignete Werkzeuge zur Planung und Bewertung manueller Arbeit, insbesondere zur präventiven Ergonomieabsicherung. Bislang ist jedoch der Funktionsumfang der Softwaretools unzureichend und der Bedienaufwand zu hoch. In der vorliegenden Arbeit wird daher die Entwicklung einer Methode zur Aufbereitung digital erfasster menschlicher Bewegungen für die Bewegungsgenerierung und semiautomatische Ergonomiebewertung beschrieben. Nach einer Diskussion des gegenwärtigen Wissensstandes folgt die Darstellung zweier empirischer Untersuchungen zur Bewegungserfassung und -auswertung. Anschließend wird die Implementierung eines mehrere Belastungsfaktoren umfassenden Kombinationsverfahrens zur Ergonomiebewertung erläutert. Die gewonnenen Erkenntnisse zur Bewegungsgenerierung und Ergonomiebewertung fließen in die Entwicklung einer Software zur Planung und Bewertung manueller Arbeit, den Editor menschlicher Arbeit (ema), ein. Schließlich erfolgt eine Evaluation anhand realer Planungsszenarien. / Digital Human Models are said to be appropriate tools for planning and assessing human work; especially for preventive ergonomics risk assessment. Up to now, the functional range of established software tools is not sufficient and the operation is too complex and time consuming. Thus, in the present doctoral thesis, the development of a method for the preparation of digitally captured human motions for an algorithmic motion generation and automatic ergonomic risk assessment is described. On the summarization of the relevant current level of knowledge follows the description of two empirical studies for motion capturing and analysis. Afterwards the implementation of a method of the ergonomics risk assessment that combines several biomechanical risk factors is explained. The results of the preliminary studies flow into the development of a new software tool for planning and assessing human work – the editor for manual work activities (ema). Finally, the practical evaluation with the help of real planning scenarios is presented.

Various research has shown the potential and robustness of deep learning-based approaches to synthesise novel motions of 3D characters in virtual environments, such as video games and films. The models are trained with the motion data that is bound to the respective character skeleton (rig). It inflicts a limitation on the scalability and the applicability of the models since they can only learn motions from one particular rig (domain) and produce motions in that domain only. Transfer learning techniques can be used to overcome this issue and allow the models to better adapt to other domains with limited data. This work presents a study of three transfer learning techniques for the proposed Objective-driven motion generation model (OMG), which is a model for procedurally generating animations conditioned on positional and rotational objectives. Three transfer learning approaches for achieving rig-agnostic encoding (RAE) are proposed and experimented with: Feature encoding (FE), Feature clustering (FC) and Feature selection (FS), to improve the learning of the model on new domains with limited data. All three approaches demonstrate significant improvement in both the performance and the visual quality of the generated animations, when compared to the vanilla performance. The empirical results indicate that the FE and the FC approaches yield better transferring quality than the FS approach. It is inconclusive which of them performs better, but the FE approach is more computationally efficient, which makes it the more favourable choice for real-time applications. / Många studier har visat potentialen och robustheten av djupinlärningbaserade modeller för syntetisering av nya rörelse för 3D karaktärer i virtuell miljö, som datorspel och filmer. Modellerna är tränade med rörelse data som är bunden till de respektive karaktärskeletten (rig). Det begränsar skalbarheten och tillämpningsmöjligheten av modellerna, eftersom de bara kan lära sig av data från en specifik rig (domän) och därmed bara kan generera animationer i den domänen. Kunskapsöverföringsteknik (transfer learning techniques) kan användas för att överkomma denna begränsning och underlättar anpassningen av modeller på nya domäner med begränsade data. I denna avhandling presenteras en studie av tre kunskapsöverföringsmetoder för den föreslagna måldriven animationgenereringsnätverk (OMG), som är ett neural nätverk-baserad modell för att procedurellt generera animationer baserade på positionsmål och rotationsmål. Tre metoder för att uppnå rig-agnostisk kodning är presenterade och experimenterade: Feature encoding (FE), Feature clustering (FC) and Feature selection (FS), för att förbättra modellens lärande på nya domäner med begränsade data. All tre metoderna visar signifikant förbättring på både prestandan och den visuella kvaliteten av de skapade animationerna, i jämförelse med den vanilla prestandan. De empiriska resultaten indikerar att både FE och FC metoderna ger bättre överföringskvalitet än FS metoden. Det går inte att avgöra vilken av de presterar bättre, men FE metoden är mer beräkningseffektiv, vilket är fördelaktigt för real-time applikationer.

Digitale Menschmodelle gelten als gut geeignete Werkzeuge zur Planung und Bewertung manueller Arbeit, insbesondere zur präventiven Ergonomieabsicherung. Bislang ist jedoch der Funktionsumfang der Softwaretools unzureichend und der Bedienaufwand zu hoch. In der vorliegenden Arbeit wird daher die Entwicklung einer Methode zur Aufbereitung digital erfasster menschlicher Bewegungen für die Bewegungsgenerierung und semiautomatische Ergonomiebewertung beschrieben. Nach einer Diskussion des gegenwärtigen Wissensstandes folgt die Darstellung zweier empirischer Untersuchungen zur Bewegungserfassung und -auswertung. Anschließend wird die Implementierung eines mehrere Belastungsfaktoren umfassenden Kombinationsverfahrens zur Ergonomiebewertung erläutert. Die gewonnenen Erkenntnisse zur Bewegungsgenerierung und Ergonomiebewertung fließen in die Entwicklung einer Software zur Planung und Bewertung manueller Arbeit, den Editor menschlicher Arbeit (ema), ein. Schließlich erfolgt eine Evaluation anhand realer Planungsszenarien. / Digital Human Models are said to be appropriate tools for planning and assessing human work; especially for preventive ergonomics risk assessment. Up to now, the functional range of established software tools is not sufficient and the operation is too complex and time consuming. Thus, in the present doctoral thesis, the development of a method for the preparation of digitally captured human motions for an algorithmic motion generation and automatic ergonomic risk assessment is described. On the summarization of the relevant current level of knowledge follows the description of two empirical studies for motion capturing and analysis. Afterwards the implementation of a method of the ergonomics risk assessment that combines several biomechanical risk factors is explained. The results of the preliminary studies flow into the development of a new software tool for planning and assessing human work – the editor for manual work activities (ema). Finally, the practical evaluation with the help of real planning scenarios is presented.