In this thesis, the walking of a humanoid system is simulated applying an optimal predictive control algorithm. The simulation is built using Matlab and Simulink softwares. Four separate physical models are developed to represent the single support and the double support phases of a full gait cycle. The models are three dimensional and their properties are analogous to the human&rsquo / s. In this connection, the foot models in the double support phases include an additional joint which connects the toe to the foot. The kinematic relationships concerning the physical models are formulated recursively and the dynamic models are obtained using the Newton &ndash / Euler formulation. The computed torque method is utilized at the level of joints. In the double support phase, the redundancy problem is solved by the optimization of the actuating torques. The command accelerations required to control the gait are obtained by applying an optimal predictive control law. The introduced humanoid walker achieves a sustainable gait by tuning the optimization and prediction parameters. The control algorithm manages the tracking of the predefined walking pattern with easily realizable joint accelerations. The simulation is capable of producing all the reaction forces, reaction moments and the values of the other variables. During these computations, a three dimensional view of the humanoid walker is animated simultaneously. As a result of this study, a suitable simulation structure is obtained to test and improve the mechanical systems which perform bipedal locomotion. The modular nature of the simulation structure developed in this study allows testing the performance of alternative control laws as well.

Conduite dans le but de rendre les robots comme socio-communicatifs, les chercheurs ont cherché à mettre au point des robots dotés de compétences sociales et de «bon sens» pour les rendre acceptables. Cette intelligence sociale ou «sens commun» du robot est ce qui finit par déterminer son acceptabilité sociale à long terme.Cependant, ce n'est pas commun. Les robots peuvent donc seulement apprendre à être acceptables avec l'expérience. Cependant, en enseignant à un humanoïde, les subtilités d'une interaction sociale ne sont pas évidentes. Même un échange de dialogue standard intègre le panel le plus large possible de signes qui interviennent dans la communication et sont difficiles à codifier (synchronisation entre l'expression du corps, le visage, le ton de la voix, etc.). Dans un tel scénario, l'apprentissage du modèle comportemental du robot est une approche prometteuse. Cet apprentissage peut être réalisé avec l'aide de techniques d'IA. Cette étude tente de résoudre le problème de l'apprentissage des modèles comportementaux du robot dans le paradigme automatisé de planification et d'ordonnancement (APS) de l'IA. Dans le domaine de la planification automatisée et de l'ordonnancement (APS), les agents intelligents nécessitent un modèle d'action (plans d'actions dont les exécutions entrelacées effectuent des transitions de l'état système) afin de planifier et résoudre des problèmes réels. Au cours de cette thèse, nous présentons deux nouveaux systèmes d'apprentissage qui facilitent l'apprentissage des modèles d'action et élargissent la portée de ces nouveaux systèmes pour apprendre les modèles de comportement du robot. Ces techniques peuvent être classées dans les catégories non optimale et optimale. Les techniques non optimales sont plus classiques dans le domaine, ont été traitées depuis des années et sont de nature symbolique. Cependant, ils ont leur part de quirks, ce qui entraîne un taux d'apprentissage moins élevé que souhaité. Les techniques optimales sont basées sur les progrès récents dans l'apprentissage en profondeur, en particulier la famille à long terme (LSTM) de réseaux récurrents récurrents. Ces techniques sont de plus en plus séduisantes par la vertu et produisent également des taux d'apprentissage plus élevés. Cette étude met en vedette ces deux techniques susmentionnées qui sont testées sur des repères d'IA pour évaluer leurs prouesses. Ils sont ensuite appliqués aux traces HRI pour estimer la qualité du modèle de comportement du robot savant. Ceci est dans l'intérêt d'un objectif à long terme d'introduire l'autonomie comportementale dans les robots, afin qu'ils puissent communiquer de manière autonome avec les humains sans avoir besoin d'une intervention de «magicien». / Driven with the objective of rendering robots as socio-communicative, there has been a heightened interest towards researching techniques to endow robots with social skills and ``commonsense'' to render them acceptable. This social intelligence or ``commonsense'' of the robot is what eventually determines its social acceptability in the long run.Commonsense, however, is not that common. Robots can, thus, only learn to be acceptable with experience. However, teaching a humanoid the subtleties of a social interaction is not evident. Even a standard dialogue exchange integrates the widest possible panel of signs which intervene in the communication and are difficult to codify (synchronization between the expression of the body, the face, the tone of the voice, etc.). In such a scenario, learning the behavioral model of the robot is a promising approach. This learning can be performed with the help of AI techniques. This study tries to solve the problem of learning robot behavioral models in the Automated Planning and Scheduling (APS) paradigm of AI. In the domain of Automated Planning and Scheduling (APS), intelligent agents by virtue require an action model (blueprints of actions whose interleaved executions effectuates transitions of the system state) in order to plan and solve real world problems. During the course of this thesis, we introduce two new learning systems which facilitate the learning of action models, and extend the scope of these new systems to learn robot behavioral models. These techniques can be classified into the categories of non-optimal and optimal. Non-optimal techniques are more classical in the domain, have been worked upon for years, and are symbolic in nature. However, they have their share of quirks, resulting in a less-than-desired learning rate. The optimal techniques are pivoted on the recent advances in deep learning, in particular the Long Short Term Memory (LSTM) family of recurrent neural networks. These techniques are more cutting edge by virtue, and produce higher learning rates as well. This study brings into the limelight these two aforementioned techniques which are tested on AI benchmarks to evaluate their prowess. They are then applied to HRI traces to estimate the quality of the learnt robot behavioral model. This is in the interest of a long term objective to introduce behavioral autonomy in robots, such that they can communicate autonomously with humans without the need of ``wizard'' intervention.

Human-robot interaction (HRI) is the study of how we as humans interact and communicate with robots and one of its subfields is working on how we can improve the collaboration between humans and robots. We need robots that are more user friendly and easier to understand and a key aspect of this is human-like movements and behavior. This project targets a specific set of motions called locomotion and tests them on the humanoid NAO robot. A human-like crawling gait was developed for the NAO robot and compared to the built-in walking gait through three kinds of experiments. The first one to compare the speed of the two gaits, the second one to estimate their sta- bility, and the third to examine how long they can operate by measuring the power consumption and temperatures in the joints. The results showed the robot was significantly slower when crawling compared to walking, and when still the robot was more stable while standing than on all-fours. The power consumption remained essentially the same, but the crawling gait ended up having a shorter operational time due to higher temperature increase in the joints. While the crawling gait has benefits of having a lower profile then the walking gait and could therefore more easily pass under low hanging obsta- cles, it does have major issues that needs to be addressed to become a viable solution. Therefore these are important factors to consider when developing gaits and designing robots, and motives further research to try and solve these problems.

Nous proposons une approche de planification unifiée pour robots humanoïdes réalisant des tâches de locomotion et de manipulation nécessitant une dextérité propre aux systèmes anthropomorphes. Ces tâches sont basées sur des transitions de contacts ; contacts entre les extrémités des membres locomoteurs et l'environnement dans le cas du problème de locomotion par exemple, ou entre les extrémités de l'organe préhensible effecteur et l'objet manipulé dans le cas du problème de manipulation. Nous planifions ces transitions de contacts pour des systèmes abstraits constitués d'autant de robots, d'objets, et de supports dans l'environnement que désiré/nécessaire pour la modélisation du problème. Cette approche permet de s'affranchir de la distinction de nature entre tâches de locomotion et de manipulation et s'étend à une variété d'autres problèmes tels que la coopération entre plusieurs agents. Nous introduisons notre paradigme de planification non-découplée de locomotion et de manipulation en exhibant la stratification induite dans l'espace des configurations de systèmes simplifiés pour lesquels nous résolvons analytiquement le problème en comparant des méthodes de planification géométrique, non-holonome, et dynamique. Nous présentons ensuite l'algorithme de planification de contacts basé sur une recherche best-first. Cet algorithme fait appel à un solveur de cinématique inverse qui prend en compte des configurations de contacts générales dans l'espace pouvant être établis entre robots, objets, et environnement dans toutes les combinaisons possibles, le tout sous contraintes d'équilibre statique et de respect des limitations mécaniques des robots. La génération de mouvement respectant l'équation de dynamique Lagrangienne est obtenue par une formulation en programme quadratique. Enfin nous envisageons une extension à des supports de contact déformables en considérant des comportements linéaires-élastiques résolus par éléments finis. / We propose a unified planning approach for autonomous humanoid robots that perform dexterous locomotion and manipulation tasks. These tasks are based on contact transitions; for instance between the locomotion limbs of the robot and the environment, or between the manipulation end-effector of the robot and the manipulated object. We plan these contact transitions for general abstract systems made of arbitrary numbers of robots, manipulated objects, and environment supports. This approach allows us to erase distinction between the locomotion and manipulation nature of the tasks and to extend the method to various other planning problems such as collaborative manipulation and locomotion between multiple agents. We introduce our non-decoupled locomotion-and-manipulation planning paradigm by exhibiting the induced stratification of the configuration space of example simplified systems for which we analytically solve the problem comparing geometric path planning, kinematic non-holonomic planning, and dynamic trajectory planning methods. We then present the contact planning algorithm based on best-first search. The algorithm relies on an inverse kinematics solver that handles general robot-robot, robot-object, robot-environment, object-environment, non-horizontal, non-coplanar, friction-based, multi-contact configurations, under static equilibrium and physical limitation constraints. The continuous dynamics-consistent motion is generated in the locomotion case using a quadratic programming formulation. We finally envision the extension to deformable environment contact support by considering linear elasticity behaviours solved using the finite element method.

Cette thèse traite du problème de la localisation et de la navigation de robots humanoïdes à bas coût dans un environnement dynamique non contraint. Elle a été réalisée en collaboration entre le laboratoire de robotique CAOR de Mines ParisTech et Aldebaran, dont les robots NAO et Pepper sont utilisés comme plateformes.On verra ici comment il est possible de déduire des informations d'orientation et de position du robot malgré les fortes contraintes de puissance de calcul, de champ de vision et de généricité de l'environnement. L'environnement est représenté sous une forme topologique : les lieux sont stockés dans des nœuds, reliés par des transitions. On apprend l'environnement dans une phase préalable permettant de construire une référence. Les contributions principales de la thèse reposent sur les méthodes de calcul de l'orientation et d'une mesure de position du robot à l'aide des caméras monoculaires à faible champ de vision,et leur intégration dans une structure topologique. Pour se localiser dans le graphe, on utilise principalement les données de vision fournies par les caméras monoculaires du robot, tout en laissant la possibilité de compléter à l'aide de caméras 3D. Les différentes méthodes de localisation sont combinées dans une structure hiérarchique qui permet à la fois d'améliorer la robustesse et de fusionner les données de localisation. Un contrôle de la trajectoire est également mis en place pour permettre d'effectuer de façon fiable les transitions d'un nœud à l'autre, et accessoirement fournir un système de retour pour la marche du robot.Les travaux de cette thèse ont été intégrés dans la suite logicielle d'Aldebaran, et testés intensivement dans différents environnements afin de valider les résultats obtenus et préparer une livraison aux clients. / This thesis covers the topic of low cost humanoid robots localization and navigation in a dynamic unconstrained environment. It is the result of a collaboration between the Centre for Robotics of Mines ParisTech and Aldebaran, whose robots, NAO and Pepper, are used as experimental platforms.We will describe how to derive information on the orientation and the position of the robot, under high constraints on computing power, sensor field of view and environment genericity. The environment is represented using a topological formalism : places are stored in vertices, and connected by transitions. The environment is learned in a preliminary phase, which allows the robot to construct a reference.The main contribution of this PHD thesis lies in orientation and approximate position measurement methods, based on monocular cameras with a restricted field of view, and their integration into a topological structure. To localize the robot in the robot, we use mainly data providing by the monocular cameras of the robot, while also allowing extensions, for example with a 3D camera. The different localization methods are combined into a hierarchical structure, which makes the whole process more robust and merges the estimations. A trajectory control has also been developped in order to transition accurately from one vertex to another, and incidently to provide a feedback on the walk of the robot.The results of this thesis have been integrated into Aldebaran software suite, and thoroughly tested in various conditions, in order to validate the conclusions and prepare a client delivery.

Le problème de commande motrice de systèmes exécutant des activités multi-objectifs et fortement contraintes est à résoudre pour permettre l’émergence de comportements performants et robustes ; l’élaboration de stratégies complexes de coordination motrice est critique pour en assurer les performances, faisabilité et sécurité.Bien que les approches de commande prédictive multi-objectifs permettent la définition de stratégies complexes et sous contraintes coordonnant l’activité motrice du système, leur coût de calcul est un inconvénient critique à leur application.Le travail présenté dans ce manuscrit vise à considérer des techniques de commande prédictive multi-objectifs pour des applications pratiques à la robotique humanoïde.Une architecture de commande est alors proposée sous la forme d’un contrôleur multi-objectif à deux niveaux, exploitant les avantages respectifs des formulations prédictive et instantanée.La contribution de ce travail prend la forme de la validation des avantages d’une telle approche dans son développement pour des défis pratiques, en simulation et implémentation temps-réel, sur les robots iCub et TORO ainsi que sur des modèles d’humain.Le coût de calcul du niveau prédictif est contenu par l’introduction de problèmes réduits, permettant la formulation avantageuse de problèmes de commande au travers de programmes en nombres entiers mixtes et de distributions séquentielles et parallèles.Malgré les approximations sur la dynamique du système au niveau prédictif, des comportements complexes émergent, exploitant des stratégies de coordination entre objectifs et contraintes conflictuels pour augmenter les performances et robustesse face à des perturbations. / Rising to the challenge of motor control for systems involved in multi-objective and highly-constrained activities is a requirement to enable the emergence of efficient and robust behaviors; the elaboration of complex motor coordination strategies is critical in ensuring performance, feasibility and safety.Although multi-objective predictive approaches enable the definition of complex and constrained strategies coordinating the motor activity of the system, their computational cost is a critical drawback from practical applications.The work presented in this dissertation aims at considering multi-objective predictive control for feasible and practical applications to humanoid robotics.A control architecture is proposed to this purpose as a multi-objective, two-layered controller exploiting the respective advantages of predictive and instantaneous formulations.The contribution of this work takes the form of the validation of the benefits from such an approach in its development for practical challenges and applications, in simulation and real-time implementation, on the iCub and TORO robots and virtual human models.Computational demand of the predictive level is contained with the introduction of reduced multi-objective predictive problems, enabling computationally-favorable formulations of the control problem using mixed-integer programming and sequential and parallel distributions.Despite the resulting approximations on the dynamics of the system at the predictive level, complex behaviors are emerging, exploiting elaborate coordination strategies between conflicting objectives and constraints to increase performance and robustness against disturbances.

Le travail développé dans cette thèse a pour objectif la génération de trajectoires de marches dynamiques optimales qui puissent être validées sur une plateforme expérimentale.Le dispositif mis en oeuvre est le système locomoteur d'un robot humanoïde de petite taille (80cm pour 15kg) nommé Tidom. Ses caractéristiques mécaniques et son architecture de commande sont présentées dans le premier chapitre.Pour générer les trajectoires sur un pas de marche, nous avons utilisé une méthode d'optimisation paramétrique. Cette technique repose sur l'approximation des paramètres de configuration du mouvement par des fonctions splines de classe C3 constituées de polynômes de degré 4 raccordés en des instants équirépartis sur la durée du mouvement jusqu'aux suraccélérations. Les efforts de contact entre le pied balancé et le sol en phase bipodale sont également paramétrés par des fonctions splines, de classe C0. Les accélérations et les couples articulaires sont raccordés aux instants de transition entre les différentes phases du mouvement pour améliorer le contrôle et éviter la détérioration de la mécanique. Le vecteur des paramètres d'optimisation est ainsi composé des coordonnées articulaires aux points de jonction, des vitesses et accélérations aux extrémités des phases de la marche, des efforts de contact pied/sol en double appui auxquels s'ajoutent la longueur de pas et la durée de chaque phase. Il est à noter que la seule donnée d'une vitesse de marche permet d'engendrer un pas optimal cyclique.Plusieurs expérimentations présentées dans le dernier chapitre permettront à terme d'implémenter les trajectoires optimales sur le robot. / The work developed in this thesis aims at generating optimal trajectories for dynamic walking motions that can be validated on an experimental platform.The device used is the locomotion system of a small size humanoid robot (80cm and 15kg) named Tidom. Its mechanical characteristics and control architecture are presented in the first chapter.A parametric optimization method is developed to generate walking step trajectories. It consists in approximating joint motion coordinates using C3-spline functions, made up of 4-order polynomials linked at times equally distributed along the motion time, up to jerk linking. The contact forces between stance foot and ground are approximated using spline functions of class C0. Joint acceleration and joint torques are continuous at the transitions between single and double support phases of a step to improve the robot control and to prevent mechanical damage. The optimization variables are discrete values of joint coordinates at connecting points, joint velocities and accelerations at phase bounds, discrete values of contact forces at connecting points during the double support phase. The step length and the relative length of the step phases are also accounted for. The walking velocity is the only data required for generating an optimal cyclic step.Some experiments presented in the last chapter are the first steps towards the implementation of optimal trajectories on the humanoid robot.

La locomotion anthropomorphe est un processus complexe qui met en jeu un très grand nombre de degrés de liberté, le corps humain disposant de plus de trois cents articulations contre une trentaine chez les robots humanoïdes. Pris dans leur ensemble, ces degrés de liberté montrent une certaine cohérence rendant possible la mise en mouvement du système anthropomorphe et le maintien de son équilibre, dans le but d'éviter la chute. Cette thèse met en lumière les fondements calculatoires à l'origine de cette orchestration. Elle introduit un cadre mathématique unifié permettant à la fois l'étude de la locomotion humaine, et la génération de trajectoires locomotrices pour les robots humanoïdes. Ce cadre consiste en une réduction de la dynamique corps-complet du système pour ne considérer que sa projection autour du centre de gravité, aussi appelée dynamique centroïdale. Bien que réduite, nous montrons que cette dynamique centroïdale joue un rôle central dans la compréhension et la formation des mouvements locomoteurs. Pour ce faire, nous établissons dans un premier temps les conditions d'observabilité de cette dynamique, c'est-à-dire que nous montrons dans quelle mesure cette donnée peut être appréhendée à partir des capteurs couramment employés en biomécanique et en robotique. Forts de ces conditions d'observabilité, nous proposons un estimateur capable de reconstruire la position non-biaisée du centre de gravité. A partir de cet estimateur et de l'acquisition de mouvements de marche sur divers sujets, nous mettons en évidence la présence d'un motif cycloïdal du centre de gravité dans le plan sagittal lorsque l'humain marche de manière nominale, c'est-à-dire sans y penser. La présence de ce motif suggère l'existence d'une synergie motrice jusqu'alors ignorée, soutenant la théorie d'une coordination générale des mouvements pendant la locomotion. La dernière contribution de cette thèse porte sur la locomotion multi-contacts. Les humains ont une agilité remarquable pour effectuer des mouvements locomoteurs qui nécessitent l'utilisation conjointe des bras et des jambes, comme lors de l'ascension d'une paroi rocheuse. Comment doter les robots humanoïdes de telles capacités ? La difficulté n'est certainement pas technologique, puisque les robots actuels sont capables de développer des puissances mécaniques suffisantes. Leurs performances, évaluées tant en termes de qualité des mouvements que de temps de calcul, restent très limitées. Dans cette thèse, nous abordons le problème de génération de trajectoires multi-contacts sous la forme d'un problème de commande optimale. L'intérêt de cette formulation est de partir du modèle réduit de la dynamique centroïdale tout en répondant aux contraintes d'équilibre. L'idée originale consiste à maximiser la vraisemblance de cette dynamique réduite vis-à-vis de la dynamique corps-complet. Elle repose sur l'apprentissage d'une mesure d'occupation qui reflète les capacités cinématiques et dynamiques du robot. Elle est effective : l'algorithmique qui en découle est compatible avec des applications temps réel. L'approche a été évaluée avec succès sur le robot humanoïde HRP-2, sur plusieurs modes de locomotions, démontrant ainsi sa polyvalence. / Anthropomorphic locomotion is a complex process that involves a very large number of degrees of freedom, the human body having more than three hundred joints against thirty in humanoid robots. Taken as a whole, these degrees of freedom show a certain coherence making it possible to set the anthropomorphic system in motion and maintain its equilibrium, in order to avoid falling. This thesis highlights the computational foundations behind this orchestration. It introduces a unified mathematical framework allowing both the study of human locomotion and the generation of locomotive trajectories for humanoid robots. This framework consists of a reduction of the body-complete dynamics of the system to consider only its projection around the center of gravity, also called centroid dynamics. Although reduced, we show that this centroidal dynamics plays a central role in the understanding and formation of locomotive movements. To do this, we first establish the observability conditions of this dynamic, that is to say that we show to what extent this data can be apprehended from sensors commonly used in biomechanics and robotics. Based on these observability conditions, we propose an estimator able to reconstruct the unbiased position of the center of gravity. From this estimator and the acquisition of walking motions on various subjects, we highlight the presence of a cycloidal pattern of the center of gravity in the sagittal plane when the human is walking nominally, that is, to say without thinking. The presence of this motif suggests the existence of a motor synergy hitherto unknown, supporting the theory of a general coordination of movements during locomotion. The last contribution of this thesis is on multi-contact locomotion. Humans have remarkable agility to perform locomotive movements that require joint use of the arms and legs, such as when climbing a rock wall. How to equip humanoid robots with such capabilities? The difficulty is certainly not technological, since current robots are able to develop sufficient mechanical powers. Their performances, evaluated both in terms of quality of movement and computing time, remain very limited. In this thesis, we address the problem of generating multi-contact trajectories in the form of an optimal control problem. The interest of this formulation is to start from the reduced model of centroid dynamics while responding to equilibrium constraints. The original idea is to maximize the likelihood of this reduced dynamic with respect to body-complete dynamics. It is based on learning a measurement of occupation that reflects the kinematic and dynamic capabilities of the robot. It is effective: the resulting algorithmic is compatible with real-time applications. The approach has been successfully evaluated on the humanoid robot HRP-2, on several modes of locomotion, thus demonstrating its versatility.

No description available.

No description available.