Lorsque des changements inattendus de la surface du sol se produisent lors de la marche, le système nerveux central humain doit appliquer des mesures de contrôle appropriées pour assurer une stabilité dynamique. De nombreuses études dans le domaine de la commande moteur ont étudié les mécanismes d'un tel contrôle postural et ont largement décrit comment les trajectoires du centre de masse (COM), le placement des pas et l'activité musculaire s'adaptent pour éviter une perte d'équilibre. Les mesures que nous avons effectuées montrent qu'en arrivant sur un sol mou, les participants ont modulé de façon active les forces de réaction au sol (GRF) sous le pied de support afin d'exploiter les propriétés élastiques et déformables de la surface pour amortir l'impact et probablement dissiper l'énergie mécanique accumulée pendant la ‘chute’ sur la nouvelle surface déformable. Afin de contrôler plus efficacement l'interaction pieds-sol des robots humanoïdes pendant la marche, nous proposons d'ajouter des semelles extérieures souples (c'est-à-dire déformables) aux pieds. Elles absorbent les impacts et limitent les effets des irrégularités du sol pendant le mouvement sur des terrains accidentés. Cependant, ils introduisent des degrés de liberté passifs (déformations sous les pieds) qui complexifient les tâches d'estimation de l'état du robot et ainsi que sa stabilisation globale. Pour résoudre ce problème, nous avons conçu un nouveau générateur de modèle de marche (WPG) basé sur une minimisation de la consommation d'énergie qui génère les paramètres nécessaires pour utiliser conjointement un estimateur de déformation basé sur un modèle éléments finis (FEM) de la semelle souple pour prendre en compte sa déformation lors du mouvement. Un tel modèle FEM est coûteux en temps de calcul et empêche la réactivité en ligne. Par conséquent, nous avons développé une boucle de contrôle qui stabilise les robots humanoïdes lors de la marche avec des semelles souples sur terrain plat et irrégulier. Notre contrôleur en boucle fermée minimise les erreurs sur le centre de masse (COM) et le point de moment nul (ZMP) avec un contrôle en admittance des pieds basé sur un estimateur de déformation simplifié. Nous démontrons son efficacité expérimentalement en faisant marcher le robot humanoïde HRP-4 sur des graviers. / When unexpected changes of the ground surface occur while walking, the human central nervous system needs to apply appropriate control actions to assure dynamic stability. Many studies in the motor control field have investigated the mechanisms of such a postural control and have widely described how center of mass (COM) trajectories, step patterns and muscle activity adapt to avoid loss of balance. Measurements we conducted show that when stepping over a soft ground, participants actively modulated the ground reaction forces (GRF) under the supporting foot in order to exploit the elastic and compliant properties of the surface to dampen the impact and to likely dissipate the mechanical energy accumulated during the ‘fall’ onto the new compliant surface.In order to control more efficiently the feet-ground interaction of humanoid robots during walking, we propose adding outer soft (i.e. compliant) soles to the feet. They absorb impacts and cast ground unevenness during locomotion on rough terrains. However, they introduce passive degrees of freedom (deformations under the feet) that complexify the tasks of state estimation and overall robot stabilization. To address this problem, we devised a new walking pattern generator (WPG) based on a minimization of the energy consumption that offers the necessary parameters to be used jointly with a sole deformation estimator based on finite element model (FEM) of the soft sole to take into account the sole deformation during the motion. Such FEM computation is time costly and inhibit online reactivity. Hence, we developed a control loop that stabilizes humanoid robots when walking with soft soles on flat and uneven terrain. Our closed-loop controller minimizes the errors on the center of mass (COM) and the zero-moment point (ZMP) with an admittance control of the feet based on a simple deformation estimator. We demonstrate its effectiveness in real experiments on the HRP-4 humanoid walking on gravels.

La perception des robots joue un rôle crucial dans l’interaction homme-robot (HRI). Le système de perception fournit les informations au robot sur l’environnement, ce qui permet au robot de réagir en consequence. Dans un scénario de conversation, un groupe de personnes peut discuter devant le robot et se déplacer librement. Dans de telles situations, les robots sont censés comprendre où sont les gens, ceux qui parlent et de quoi ils parlent. Cette thèse se concentre sur les deux premières questions, à savoir le suivi et la diarisation des locuteurs. Nous utilisons différentes modalités du système de perception du robot pour remplir cet objectif. Comme pour l’humain, l’ouie et la vue sont essentielles pour un robot dans un scénario de conversation. Les progrès de la vision par ordinateur et du traitement audio de la dernière décennie ont révolutionné les capacités de perception des robots. Dans cette thèse, nous développons les contributions suivantes : nous développons d’abord un cadre variationnel bayésien pour suivre plusieurs objets. Le cadre bayésien variationnel fournit des solutions explicites, rendant le processus de suivi très efficace. Cette approche est d’abord appliqué au suivi visuel de plusieurs personnes. Les processus de créations et de destructions sont en adéquation avec le modèle probabiliste proposé pour traiter un nombre variable de personnes. De plus, nous exploitons la complémentarité de la vision et des informations du moteur du robot : d’une part, le mouvement actif du robot peut être intégré au système de suivi visuel pour le stabiliser ; d’autre part, les informations visuelles peuvent être utilisées pour effectuer l’asservissement du moteur. Par la suite, les informations audio et visuelles sont combinées dans le modèle variationnel, pour lisser les trajectoires et déduire le statut acoustique d’une personne : parlant ou silencieux. Pour expérimenter un scenario où l’information visuelle est absente, nous essayons le modèle pour la localisation et le suivi des locuteurs basé sur l’information acoustique uniquement. Les techniques de déréverbération sont d’abord appliquées, dont le résultat est fourni au système de suivi. Enfin, une variante du modèle de suivi des locuteurs basée sur la distribution de von-Mises est proposée, celle-ci étant plus adaptée aux données directionnelles. Toutes les méthodes proposées sont validées sur des bases de données specifiques à chaque application. / Robot perception plays a crucial role in human-robot interaction (HRI). Perception system provides the robot information of the surroundings and enables the robot to give feedbacks. In a conversational scenario, a group of people may chat in front of the robot and move freely. In such situations, robots are expected to understand where are the people, who are speaking, or what are they talking about. This thesis concentrates on answering the first two questions, namely speaker tracking and diarization. We use different modalities of the robot’s perception system to achieve the goal. Like seeing and hearing for a human-being, audio and visual information are the critical cues for a robot in a conversational scenario. The advancement of computer vision and audio processing of the last decade has revolutionized the robot perception abilities. In this thesis, we have the following contributions: we first develop a variational Bayesian framework for tracking multiple objects. The variational Bayesian framework gives closed-form tractable problem solutions, which makes the tracking process efficient. The framework is first applied to visual multiple-person tracking. Birth and death process are built jointly with the framework to deal with the varying number of the people in the scene. Furthermore, we exploit the complementarity of vision and robot motorinformation. On the one hand, the robot’s active motion can be integrated into the visual tracking system to stabilize the tracking. On the other hand, visual information can be used to perform motor servoing. Moreover, audio and visual information are then combined in the variational framework, to estimate the smooth trajectories of speaking people, and to infer the acoustic status of a person- speaking or silent. In addition, we employ the model to acoustic-only speaker localization and tracking. Online dereverberation techniques are first applied then followed by the tracking system. Finally, a variant of the acoustic speaker tracking model based on von-Mises distribution is proposed, which is specifically adapted to directional data. All the proposed methods are validated on datasets according to applications.

Dans cette thèse nous nous intéressons à deux types d'approches pour la planification de pas pour robots humanoïdes : d'une part les approches discrètes où le robot n'a qu'un nombre fini de pas possibles, et d'autre part les approches où le robot se base sur des zones de faisabilité continues. Nous étudions ces problèmes à la fois du point de vue théorique et pratique. En particulier nous décrivons deux méthodes originales, cohérentes et efficaces pour la planification de pas, l'une dans le cas discret (chapitre 5) et l'autre dans le cas continu (chapitre 6). Nous validons ces méthodes en simulation ainsi qu'avec plusieurs expériences sur le robot HRP-2. / In this thesis we investigate two types of approaches for footstep planning for humanoid robots: on one hand the discrete approaches where the robot has only a finite set of possible steps, and on the other hand the approaches where the robot uses continuous feasibility regions. We study these problems both on a theoretical and practical level. In particular, we describe two original, coherent and efficient methods for footstep planning, one in the discrete case (chapter 5), and one in the continuous case (chapter 6). We validate these methods in simulation and with several experiments on the robot HRP-2.

Ce travail de thèse présente un simulateur dynamique interactif pour corps poly-articulés utilisant des méthodes par contraintes pour calculer les efforts d'interaction avec frottements. Ce simulateur est une partie intégrante d'un logiciel de prototypage nommé AMELIF. Nous nous intéressons à optimiser le calcul de la dynamique pour obtenir des simulations en temps-réel et qui nous permettent de réaliser des tâches collaboratives interactives. Nous intégrons également des modèles de déformations pour pouvoir simuler, d'une part les flexibilités internes présentes sur les robots actuels, et d'autre part les futurs robots munis d'une peau flexible. Notre simulateur a été validé par différents scénarios de manipulation et de génération de postures.

Dans cette thèse nous nous intéressons à deux types d'approches pour la planification de pas pour robots humanoïdes : d'une part les approches discrètes où le robot n'a qu'un nombre fini de pas possibles, et d'autre part les approches où le robot se base sur des zones de faisabilité continues. Nous étudions ces problèmes à la fois du point de vue théorique et pratique. En particulier nous décrivons deux méthodes originales, cohérentes et efficaces pour la planification de pas, l'une dans le cas discret (chapitre 5) et l'autre dans le cas continu (chapitre 6). Nous validons ces méthodes en simulation ainsi qu'avec plusieurs expériences sur le robot HRP-2.

Cette thèse traite du problème de la locomotion des robots humanoïdes dans le contexte du projet européen KoroiBot. En s'inspirant de l'être humain, l'objectif de ce projet est l'amélioration des capacités des robots humanoïdes à se mouvoir de façon dynamique et polyvalente. Le coeur de l'approche scientifique repose sur l'utilisation du controle optimal, à la fois pour l'identification des couts optimisés par l'être humain et pour leur mise en oeuvre sur les robots des partenaires roboticiens. Cette thèse s'illustre donc par une collaboration à la fois avec des mathématiciens du contrôle et des spécialistes de la modélisation des primitives motrices. Les contributions majeures de cette thèse reposent donc sur la conception de nouveaux algorithmes temps-réel de contrôle pour la locomotion des robots humanoïdes avec nos collégues de l'université d'Heidelberg et leur intégration sur le robot HRP-2. Deux contrôleurs seront présentés, le premier permettant la locomotion multi-contacts avec une connaissance a priori des futures positions des contacts. Le deuxième étant une extension d'un travail réalisé sur de la marche sur sol plat améliorant les performances et ajoutant des fonctionnalitées au précédent algorithme. En collaborant avec des spécialistes du mouvement humain nous avons implementé un contrôleur innovant permettant de suivre des trajectoires cycliques du centre de masse. Nous présenterons aussi un contrôleur corps-complet utilisant, pour le haut du corps, des primitives de mouvements extraites du mouvement humain et pour le bas du corps, un générateur de marche. Les résultats de cette thèse ont été intégrés dans la suite logicielle "Stack-of-Tasks" du LAAS-CNRS. / This thesis covers the topic of humanoid robot locomotion in the frame of the European project KoroiBot. The goal of this project is to enhance the ability of humanoid robots to walk in a dynamic and versatile fashion as humans do. Research and innovation studies in KoroiBot rely on optimal control methods both for the identification of cost functions used by human being and for their implementations on robots owned by roboticist partners. Hence, this thesis includes fruitful collaborations with both control mathematicians and experts in motion primitive modeling. The main contributions of this PhD thesis lies in the design of new real time controllers for humanoid robot locomotion with our partners from the University of Heidelberg and their integration on the HRP-2 robot. Two controllers will be shown, one allowing multi-contact locomotion with a prior knowledge of the future contacts. And the second is an extension of a previous work improving performance and providing additional functionalities. In a collaboration with experts in human motion we designed an innovating controller for tracking cyclic trajectories of the center of mass. We also show a whole body controller using upper body movement primitives extracted from human behavior and lower body movement computed by a walking pattern generator. The results of this thesis have been integrated into the LAAS-CNRS "Stack-of-Tasks" software suit.

Le nombre de robot humanoïde s’est accru ces dernières années pour pouvoir collaborer avec l’homme ou le remplacer dans des tâches fastidieuses. L’objectif de cette thèse est de transférer aux robots humanoïdes, des habilités ou compétences humaines, en particulier pour des mouvements impliquant une coordination entre les deux bras. Dans la première partie de la thèse, un processus de conversion d’un mouvement humain vers un mouvement de robot, dans un objectif d’imitation est proposé. Comme les humains possèdent beaucoup plus de degrés de liberté qu’un robot humanoïde, les mouvements identiques ne peuvent pas être produits, les caractéristiques(longueurs des corps) peuvent aussi être différentes. Notre processus de conversion prend en compte l’enregistrement des localisations de marqueurs attachés aux corps de l’humain et des articulations pour améliorer les processus d’imitation. La deuxième partie de la thèse vise à analyser les stratégies de génération du mouvement utilisées par l’homme. Les mouvements humains sont supposés optimaux et notre objectif est de trouver un critère à minimiser pendant les manipulations. Nous faisons l’hypothèse que ce critère est une combinaison de critères classiquement utilisés en robotique et nous recherchons les poids de chaque critère qui représente au mieux le mouvement humain. De cette façon, une approche de commande cinématique optimale peut ensuite être utilisée pour générer des mouvements du robot humanoïde. / The number of humanoid robots has increased in recent years to be able to collaborate with humans or replace them in tedious tasks. The objective of this thesis is to transfer to humanoid robots, skills or human competences, in particular for movements involving coordination between the two arms. In the first part of the thesis, a process of conversion from a human movement to a robot movement, with the aim of imitation is proposed. Since humans have much more freedom than a humanoid robot, identical movements cannot be produced, the characteristics (body lengths) canal so be different. Our conversion process takes into account the recording of marker locations attached to human bodies and joints to improve the imitation processes. The second part of the thesis aims at analyzing the strategies used by humans to generate movement. Human movements are assumed to be optimal and our goal is to find criteria minimized during manipulations. We hypothesize that this criterion is a combination of classical criteria used in robotics and we look for the weights of each criterion that best represents human movement. In this way, an optimal kinematic control approach can then be used to generate movements of the humanoid robot.

Ces travaux de thèse traitent de la génération de mouvements optimaux pour les robots humanoïdes. La plupart des méthodes de génération de mouvements sont inspirées de celles utilisées pour les robots manipulateurs. Elles se basent sur l'utilisation d'un algorithme d'optimisation qui nécessite une paramétrisation du mouvement ainsi qu'une discrétisation temporelle des contraintes définissant les limites physiques du robot. Nous montrons qu'une discrétisation faite à partir d'une grille temporelle peut compromettre la sécurité et l'intégrité des robots. De ce fait, nous proposons une nouvelle méthode de discrétisation garantie qui calcule les extrema des contraintes sur des intervalles de temps couvrant toute la durée du mouvement. Cette méthode de discrétisation pour le calcul des contraintes, nécessite un temps de calcul important. Nous avons, donc, développé une méthode hybride qui assure la validité des contraintes pour des temps de calcul comparables à celui des méthodes classiques. Cette méthode nous permet ainsi de générer une base de données de mouvements que nous avons utilisée lors d'une expérimentation de suivi de cible mobile. Nous sommes, donc, en mesure de générer un mouvement optimal parfaitement adapté à une configuration de l'environnement. Cependant, aucune méthode ne dispose d'un temps de calcul qui permette de réagir rapidement à une modification de l'environnement. Par conséquent, nous présentons une méthode de re-planification qui permet de générer un nouveau mouvement à partir d'un mouvement optimal calculé précédemment. Pour cela, nous calculons, hors-ligne, un sous-ensemble faisable autour des paramètres du mouvement qui vérifient les limites du robot. La re-planification consiste, alors, à chercher, en ligne, dans ce sous-ensemble les paramètres qui satisfont la nouvelle configuration de l'environnement. Nous avons testé la méthode de re-planification avec un mouvement de coup de pied où la position de la balle varie et nous obtenons un mouvement adapté en 1.5 s de temps de calcul.

Quelle sont les points communs entre un robot humanoïde et un quadrimoteur ? Et bien, pas grand-chose… Cette thèse est donc dédiée au développement d’algorithmes permettant de contrôler un robot de manière dynamique tout en restant générique par rapport au model du robot et à la tâche que l’on cherche à résoudre. Le contrôle optimal numérique est pour cela un bon candidat. Cependant il souffre de plusieurs difficultés comme un nombre important de paramètres à ajuster et des temps de calcul relativement élevés. Ce document présente alors plusieurs améliorations permettant d’atténuer ces difficultés. D’un côté, l’ordonnancement des différentes tâches sous la forme d’une hiérarchie et sa résolution avec un algorithme adapté permet de réduire le nombre de paramètres à ajuster. D’un autre côté, l’utilisation de l’apprentissage automatique afin d’initialiser l’algorithme d’optimisation ou de générer un modèle simplifié du robot permet de fortement diminuer les temps de calcul. / What are the common characteristics of humanoid robots and quadrotors? Well, not many… Therefore, this thesis focuses on the development of algorithms allowing to dynamically control a robot while staying generic with respect to the model of the robot and the task that needs to be solved. Numerical optimal control is good candidate to achieve such objective. However, it suffers from several difficulties such as a high number of parameters to tune and a relatively important computation time. This document presents several ameliorations allowing to reduce these problems. On one hand, the tasks can be ordered according to a hierarchy and solved with an appropriate algorithm to lower the number of parameters to tune. On the other hand, machine learning can be used to initialize the optimization solver or to generate a simplified model of the robot, and therefore can be used to decrease the computation time.

Le corps humain a toujours été une source d’inspiration pour les ingénieurs et les scientifiques de tous les domaines dans le monde entier. L’un des sujets les plus intéressants de la dernière décennie a été les robots humanoïdes. Les robots humanoïdes représentent les systèmes robotiques les plus complexes. Ils offrent une plus grande mobilité dans les terrains accidentés et non structurés que les véhicules à roues normaux. À l’avenir, les robots humanoïdes devraient être employés pour une variété de tâches dangereuses dans des domaines tels que les opérations de sauvetage, l’assistance aux personnes âgées, l’éducation et le déminage humanitaire. Le travail réalisé dans cette thèse est réalisé sur le robot hydraulique humanoïde HYDROïD, un humanoïde à commande hydraulique avec 52 degrés de liberté actifs, conçu pour exécuter des tâches très dynamiques comme la marche, la course et le saut. robot puisque les actionneurs hydrauliques ont un excellent rapport poids/puissance et absorbent naturellement les pics de force d’impact lors des différentes activités. L'objectif de cette thèse est de contribuer au développement des mécanismes robotiques de la cheville et du genou avec une dynamique élevée. Un nouveau mécanisme de cheville est développé afin de pallier les inconvénients des performances réalisées avec l’ancien mécanisme de cheville d'origine. Des taux de fuite et de frottement plus faibles sont obtenus en plus d’une optimisation de pression pour les articulations de la cheville. De plus, une nouvelle solution pour optimiser le poids des actionneurs hydrauliques est appliquée sur le mécanisme du genou du robot.Une telle solution comprend l’utilisation de la technologie des matériaux composites légers pour atteindre un poids et une performance optimisés pour le joint. Afin d’appliquer des méthodologies de contrôle sur les mécanismes de la cheville et du genou, un modèle géométrique inverse pour les deux mécanismes est présenté. Le contrôle de position est utilisé pour contrôler les angles des articulations de la cheville et les mécanismes du genou. Enfin, les conclusions et les perspectives d’avenir sont présentées dans le dernier chapitre. / Human body has always been an inspiration for engineers and scientists from all fields all over the world. One of the most interesting topics in the last decade was humanoid robots. Humanoid robots represent the most complex robotic systems. They provide greater mobility in rough and unstructured terrain than the normal wheeled vehicles. In the future, humanoid robots are expected to be employed for a variety of dangerous tasks in fields like rescue operations, assisting elderly people, education and humanitarian demining. The work achieved in this dissertation is performed on the humanoid hydraulic robot HYDROïD. It is hydraulically actuated humanoid featuring 52 active degrees of freedom and is designed to perform highly dynamic tasks like walking, running and jumping. Hydraulic power was chosen for this robot since hydraulic actuators have an excellent power to weight ratio and naturally absorb impact force peaks during different activities. The objective of this dissertation is to contribute toward the development of ahighly dynamic robotic ankle and knee mechanisms. A new ankle mechanism islooked for in order to tackle the drawbacks raised by the performances achievedwith the original old ankle mechanism. Lower leakage and friction rates areachieved in addition to a pressure optimization for the ankle joints. Moreover, anew solution for optimizing the weight of hydraulic actuators is applied on theknee mechanism of the robot. Such solution includes the usage of light compositematerial technology to achieve optimized weight and performance for the joint.In order to apply control methodologies on the ankle and knee mechanisms,inverse geometrical model for the both mechanism are presented. Position controlis used to control the joints angles of the ankle and the knee mechanisms. Finally,the conclusions and the future perspectives are presented in the last chapter.