Cette thèse traite du problème de localisation et contrôle de robots humanoïdes par rapport à leur environnement, tel qu'observé par ses capteurs embarqués. Le SLAM visuel dense, consistant en l'estimation simultanée d'une carte 3D de l'environnement et de la position du robot dans cette carte est exploité pour étendre et robustifier les méthodes de planification contrôle multi-contact. Celles-ci consistent à établir et exploiter des contacts robot-environnement pour accomplir des tâches de locomotion et manipulation. Des incertitudes sur la posture initiale du robot, ainsi que des perturbations causées par une modélisation inadéquate des contacts, ainsi que des perturbations externes oblige à la prise en compte de l'état du robot et son environnement. Une méthode de calibration corps-complet est également proposée, afin d'obtenir une connaissance fiable de la chaîne cinématique du robot, nécessaire pour réaliser de telles tâches. Finalement, une méthode de marche basée sur de la commande prédictive de modèles est robustifiée par la prise en compte de large perturbations, permettant d'ajuster les trajectoires de pied et du centre de masse afin de garantir sa stabilité, tout en accomplissant les objectifs désirés. Les méthodes proposées sont illustrées et validées par de multiples expérimentations sur les robots humanoïdes HRP-2Kai et HRP-4. / This thesis deals with the problem of localizing and controlling humanoid robots with respect to its environment, as observed by its on-board sensors. Dense visual SLAM, consisting in the simultaneous estimation of a 3D map of the environment and of the robot localization within that maps is exploited to extend and robustify multi-contact planning and control. Establishing and exploiting robot-environment contacts allows the accomplishment of both locomotion and manipulation tasks. Uncertainties in the initial robot posture, and perturbations arising from improper contact-modelling and external causes are accounted for by observing the state of the robot and its environment. A whole-body calibration method is also proposed, so that robust knowledge of the robot's kinematic structure is known, a prerequisite to all robot-environment interaction tasks. Finally, a walking method based on model predictive control is robustified by taking into account large perturbations, and adjusting the footstep and center-of-mass trajectories accordingly to guarantee stability while accomplishing desired objectives.Several experiments on an HRP-2Kai and an HRP-4 humanoid robots are presented and discussed to illustrate and validate each of the proposed methods.

Lorsque des changements inattendus de la surface du sol se produisent lors de la marche, le système nerveux central humain doit appliquer des mesures de contrôle appropriées pour assurer une stabilité dynamique. De nombreuses études dans le domaine de la commande moteur ont étudié les mécanismes d'un tel contrôle postural et ont largement décrit comment les trajectoires du centre de masse (COM), le placement des pas et l'activité musculaire s'adaptent pour éviter une perte d'équilibre. Les mesures que nous avons effectuées montrent qu'en arrivant sur un sol mou, les participants ont modulé de façon active les forces de réaction au sol (GRF) sous le pied de support afin d'exploiter les propriétés élastiques et déformables de la surface pour amortir l'impact et probablement dissiper l'énergie mécanique accumulée pendant la ‘chute’ sur la nouvelle surface déformable. Afin de contrôler plus efficacement l'interaction pieds-sol des robots humanoïdes pendant la marche, nous proposons d'ajouter des semelles extérieures souples (c'est-à-dire déformables) aux pieds. Elles absorbent les impacts et limitent les effets des irrégularités du sol pendant le mouvement sur des terrains accidentés. Cependant, ils introduisent des degrés de liberté passifs (déformations sous les pieds) qui complexifient les tâches d'estimation de l'état du robot et ainsi que sa stabilisation globale. Pour résoudre ce problème, nous avons conçu un nouveau générateur de modèle de marche (WPG) basé sur une minimisation de la consommation d'énergie qui génère les paramètres nécessaires pour utiliser conjointement un estimateur de déformation basé sur un modèle éléments finis (FEM) de la semelle souple pour prendre en compte sa déformation lors du mouvement. Un tel modèle FEM est coûteux en temps de calcul et empêche la réactivité en ligne. Par conséquent, nous avons développé une boucle de contrôle qui stabilise les robots humanoïdes lors de la marche avec des semelles souples sur terrain plat et irrégulier. Notre contrôleur en boucle fermée minimise les erreurs sur le centre de masse (COM) et le point de moment nul (ZMP) avec un contrôle en admittance des pieds basé sur un estimateur de déformation simplifié. Nous démontrons son efficacité expérimentalement en faisant marcher le robot humanoïde HRP-4 sur des graviers. / When unexpected changes of the ground surface occur while walking, the human central nervous system needs to apply appropriate control actions to assure dynamic stability. Many studies in the motor control field have investigated the mechanisms of such a postural control and have widely described how center of mass (COM) trajectories, step patterns and muscle activity adapt to avoid loss of balance. Measurements we conducted show that when stepping over a soft ground, participants actively modulated the ground reaction forces (GRF) under the supporting foot in order to exploit the elastic and compliant properties of the surface to dampen the impact and to likely dissipate the mechanical energy accumulated during the ‘fall’ onto the new compliant surface.In order to control more efficiently the feet-ground interaction of humanoid robots during walking, we propose adding outer soft (i.e. compliant) soles to the feet. They absorb impacts and cast ground unevenness during locomotion on rough terrains. However, they introduce passive degrees of freedom (deformations under the feet) that complexify the tasks of state estimation and overall robot stabilization. To address this problem, we devised a new walking pattern generator (WPG) based on a minimization of the energy consumption that offers the necessary parameters to be used jointly with a sole deformation estimator based on finite element model (FEM) of the soft sole to take into account the sole deformation during the motion. Such FEM computation is time costly and inhibit online reactivity. Hence, we developed a control loop that stabilizes humanoid robots when walking with soft soles on flat and uneven terrain. Our closed-loop controller minimizes the errors on the center of mass (COM) and the zero-moment point (ZMP) with an admittance control of the feet based on a simple deformation estimator. We demonstrate its effectiveness in real experiments on the HRP-4 humanoid walking on gravels.

Cette thèse traite du problème de la locomotion des robots humanoïdes dans le contexte du projet européen KoroiBot. En s'inspirant de l'être humain, l'objectif de ce projet est l'amélioration des capacités des robots humanoïdes à se mouvoir de façon dynamique et polyvalente. Le coeur de l'approche scientifique repose sur l'utilisation du controle optimal, à la fois pour l'identification des couts optimisés par l'être humain et pour leur mise en oeuvre sur les robots des partenaires roboticiens. Cette thèse s'illustre donc par une collaboration à la fois avec des mathématiciens du contrôle et des spécialistes de la modélisation des primitives motrices. Les contributions majeures de cette thèse reposent donc sur la conception de nouveaux algorithmes temps-réel de contrôle pour la locomotion des robots humanoïdes avec nos collégues de l'université d'Heidelberg et leur intégration sur le robot HRP-2. Deux contrôleurs seront présentés, le premier permettant la locomotion multi-contacts avec une connaissance a priori des futures positions des contacts. Le deuxième étant une extension d'un travail réalisé sur de la marche sur sol plat améliorant les performances et ajoutant des fonctionnalitées au précédent algorithme. En collaborant avec des spécialistes du mouvement humain nous avons implementé un contrôleur innovant permettant de suivre des trajectoires cycliques du centre de masse. Nous présenterons aussi un contrôleur corps-complet utilisant, pour le haut du corps, des primitives de mouvements extraites du mouvement humain et pour le bas du corps, un générateur de marche. Les résultats de cette thèse ont été intégrés dans la suite logicielle "Stack-of-Tasks" du LAAS-CNRS. / This thesis covers the topic of humanoid robot locomotion in the frame of the European project KoroiBot. The goal of this project is to enhance the ability of humanoid robots to walk in a dynamic and versatile fashion as humans do. Research and innovation studies in KoroiBot rely on optimal control methods both for the identification of cost functions used by human being and for their implementations on robots owned by roboticist partners. Hence, this thesis includes fruitful collaborations with both control mathematicians and experts in motion primitive modeling. The main contributions of this PhD thesis lies in the design of new real time controllers for humanoid robot locomotion with our partners from the University of Heidelberg and their integration on the HRP-2 robot. Two controllers will be shown, one allowing multi-contact locomotion with a prior knowledge of the future contacts. And the second is an extension of a previous work improving performance and providing additional functionalities. In a collaboration with experts in human motion we designed an innovating controller for tracking cyclic trajectories of the center of mass. We also show a whole body controller using upper body movement primitives extracted from human behavior and lower body movement computed by a walking pattern generator. The results of this thesis have been integrated into the LAAS-CNRS "Stack-of-Tasks" software suit.

La perception des robots joue un rôle crucial dans l’interaction homme-robot (HRI). Le système de perception fournit les informations au robot sur l’environnement, ce qui permet au robot de réagir en consequence. Dans un scénario de conversation, un groupe de personnes peut discuter devant le robot et se déplacer librement. Dans de telles situations, les robots sont censés comprendre où sont les gens, ceux qui parlent et de quoi ils parlent. Cette thèse se concentre sur les deux premières questions, à savoir le suivi et la diarisation des locuteurs. Nous utilisons différentes modalités du système de perception du robot pour remplir cet objectif. Comme pour l’humain, l’ouie et la vue sont essentielles pour un robot dans un scénario de conversation. Les progrès de la vision par ordinateur et du traitement audio de la dernière décennie ont révolutionné les capacités de perception des robots. Dans cette thèse, nous développons les contributions suivantes : nous développons d’abord un cadre variationnel bayésien pour suivre plusieurs objets. Le cadre bayésien variationnel fournit des solutions explicites, rendant le processus de suivi très efficace. Cette approche est d’abord appliqué au suivi visuel de plusieurs personnes. Les processus de créations et de destructions sont en adéquation avec le modèle probabiliste proposé pour traiter un nombre variable de personnes. De plus, nous exploitons la complémentarité de la vision et des informations du moteur du robot : d’une part, le mouvement actif du robot peut être intégré au système de suivi visuel pour le stabiliser ; d’autre part, les informations visuelles peuvent être utilisées pour effectuer l’asservissement du moteur. Par la suite, les informations audio et visuelles sont combinées dans le modèle variationnel, pour lisser les trajectoires et déduire le statut acoustique d’une personne : parlant ou silencieux. Pour expérimenter un scenario où l’information visuelle est absente, nous essayons le modèle pour la localisation et le suivi des locuteurs basé sur l’information acoustique uniquement. Les techniques de déréverbération sont d’abord appliquées, dont le résultat est fourni au système de suivi. Enfin, une variante du modèle de suivi des locuteurs basée sur la distribution de von-Mises est proposée, celle-ci étant plus adaptée aux données directionnelles. Toutes les méthodes proposées sont validées sur des bases de données specifiques à chaque application. / Robot perception plays a crucial role in human-robot interaction (HRI). Perception system provides the robot information of the surroundings and enables the robot to give feedbacks. In a conversational scenario, a group of people may chat in front of the robot and move freely. In such situations, robots are expected to understand where are the people, who are speaking, or what are they talking about. This thesis concentrates on answering the first two questions, namely speaker tracking and diarization. We use different modalities of the robot’s perception system to achieve the goal. Like seeing and hearing for a human-being, audio and visual information are the critical cues for a robot in a conversational scenario. The advancement of computer vision and audio processing of the last decade has revolutionized the robot perception abilities. In this thesis, we have the following contributions: we first develop a variational Bayesian framework for tracking multiple objects. The variational Bayesian framework gives closed-form tractable problem solutions, which makes the tracking process efficient. The framework is first applied to visual multiple-person tracking. Birth and death process are built jointly with the framework to deal with the varying number of the people in the scene. Furthermore, we exploit the complementarity of vision and robot motorinformation. On the one hand, the robot’s active motion can be integrated into the visual tracking system to stabilize the tracking. On the other hand, visual information can be used to perform motor servoing. Moreover, audio and visual information are then combined in the variational framework, to estimate the smooth trajectories of speaking people, and to infer the acoustic status of a person- speaking or silent. In addition, we employ the model to acoustic-only speaker localization and tracking. Online dereverberation techniques are first applied then followed by the tracking system. Finally, a variant of the acoustic speaker tracking model based on von-Mises distribution is proposed, which is specifically adapted to directional data. All the proposed methods are validated on datasets according to applications.

En robotique, lorsque les exigences de dextérité et de polyvalence sont élevées, les effecteurs terminaux traditionnels montrent vite leurs limites et les mains robotisées humanoïdes semblent une alternative séduisante. Malheureusement, si l'on sait aujourd'hui fabriquer de telles mains satisfaisantes sur le plan mécanique, leur utilisation pose toujours problème car leur contrôle est difficile. Dans cette thèse, on s'est intéressé à trois problèmes relatifs au contrôle des mains robotisées humanoïdes : le contrôle du mouvement de l'objet saisi et des efforts qui lui sont appliqués, le maintien de l'objet en cas de perturbations extérieures, et la raideur de la prise, c'est-à-dire son comportement élastique. Pour la manipulation de l'objet, on propose une nouvelle loi de contrôle, basée sur un problème d'optimisation sous contraintes, qui a l'avantage de synthétiser des couples articulaires moteurs réalisant un compromis entre les différents objectifs de contrôle, possiblement conflictuels ou non atteignables, tout en respectant les limitations de la physique et du robot. Pour garder prise sur l'objet en cas de perturbation, on propose une méthode pour calculer les forces de serrage qui assurent la robustesse de la prise à la plus grande perturbation possible, dans la direction où cette plus grande perturbation possible est la plus petite : une sorte de perturbation critique pour la prise. Enfin, on donne une modélisation de la raideur de l'objet en fonction de celle des doigts, dans le cas où un mouvement relatif de roulement est possible entre les doigts et l'objet. On montre que cette raideur dépend aussi des forces de contact et des courbures des surfaces en contact.

Bien que la pleine autonomie dans des environnements inconnus soit encore loin, les architectures de contrôle partagé où l'humain et un contrôleur autonome travaillent ensemble pour atteindre un objectif commun peuvent constituer un « terrain intermédiaire » pragmatique. Dans cette thèse, nous avons abordé les différents problèmes des algorithmes de contrôle partagé pour les applications de saisie et de manipulation. En particulier, le travail s'inscrit dans le projet H2020 Romans dont l'objectif est d'automatiser le tri et la ségrégation des déchets nucléaires en développant des architectures de contrôle partagées permettant à un opérateur humain de manipuler facilement les objets d'intérêt. La thèse propose des architectures de contrôle partagé différentes pour manipulation à double bras avec un équilibre opérateur / autonomie différent en fonction de la tâche à accomplir. Au lieu de travailler uniquement sur le contrôle instantané du manipulateur, nous proposons des architectures qui prennent en compte automatiquement les tâches de pré-saisie et de post-saisie permettant à l'opérateur de se concentrer uniquement sur la tâche à accomplir. La thèse propose également une architecture de contrôle partagée pour contrôler un humanoïde à deux bras où l'utilisateur est informé de la stabilité de l'humanoïde grâce à un retour haptique. En plus, un nouvel algorithme d'équilibrage permettant un contrôle optimal de l'humanoïde lors de l'interaction avec l'environnement est également proposé. / While full autonomy in unknown environments is still in far reach, shared-control architectures where the human and an autonomous controller work together to achieve a common objective may be a pragmatic "middle-ground". In this thesis, we have tackled the different issues of shared-control architectures for grasping and sorting applications. In particular, the work is framed in the H2020 RoMaNS project whose goal is to automatize the sort and segregation of nuclear waste by developing shared control architectures allowing a human operator to easily manipulate the objects of interest. The thesis proposes several shared-control architectures for dual-arm manipulation with different operator/autonomy balance depending on the task at hand. While most of the approaches provide an instantaneous interface, we also propose architectures which automatically account for the pre-grasp and post-grasp trajectories allowing the operator to focus only on the task at hand (ex., grasping). The thesis also proposes a shared control architecture for controlling a force-controlled humanoid robot in which the user is informed about the stability of the humanoid through haptic feedback. A new balancing algorithm allowing for the optimal control of the humanoid under high interaction forces is also proposed.

Dans cette thèse nous nous intéressons à deux types d'approches pour la planification de pas pour robots humanoïdes : d'une part les approches discrètes où le robot n'a qu'un nombre fini de pas possibles, et d'autre part les approches où le robot se base sur des zones de faisabilité continues. Nous étudions ces problèmes à la fois du point de vue théorique et pratique. En particulier nous décrivons deux méthodes originales, cohérentes et efficaces pour la planification de pas, l'une dans le cas discret (chapitre 5) et l'autre dans le cas continu (chapitre 6). Nous validons ces méthodes en simulation ainsi qu'avec plusieurs expériences sur le robot HRP-2. / In this thesis we investigate two types of approaches for footstep planning for humanoid robots: on one hand the discrete approaches where the robot has only a finite set of possible steps, and on the other hand the approaches where the robot uses continuous feasibility regions. We study these problems both on a theoretical and practical level. In particular, we describe two original, coherent and efficient methods for footstep planning, one in the discrete case (chapter 5), and one in the continuous case (chapter 6). We validate these methods in simulation and with several experiments on the robot HRP-2.

Ce travail de thèse présente un simulateur dynamique interactif pour corps poly-articulés utilisant des méthodes par contraintes pour calculer les efforts d'interaction avec frottements. Ce simulateur est une partie intégrante d'un logiciel de prototypage nommé AMELIF. Nous nous intéressons à optimiser le calcul de la dynamique pour obtenir des simulations en temps-réel et qui nous permettent de réaliser des tâches collaboratives interactives. Nous intégrons également des modèles de déformations pour pouvoir simuler, d'une part les flexibilités internes présentes sur les robots actuels, et d'autre part les futurs robots munis d'une peau flexible. Notre simulateur a été validé par différents scénarios de manipulation et de génération de postures.

Dans cette thèse nous nous intéressons à deux types d'approches pour la planification de pas pour robots humanoïdes : d'une part les approches discrètes où le robot n'a qu'un nombre fini de pas possibles, et d'autre part les approches où le robot se base sur des zones de faisabilité continues. Nous étudions ces problèmes à la fois du point de vue théorique et pratique. En particulier nous décrivons deux méthodes originales, cohérentes et efficaces pour la planification de pas, l'une dans le cas discret (chapitre 5) et l'autre dans le cas continu (chapitre 6). Nous validons ces méthodes en simulation ainsi qu'avec plusieurs expériences sur le robot HRP-2.

Le nombre de robot humanoïde s’est accru ces dernières années pour pouvoir collaborer avec l’homme ou le remplacer dans des tâches fastidieuses. L’objectif de cette thèse est de transférer aux robots humanoïdes, des habilités ou compétences humaines, en particulier pour des mouvements impliquant une coordination entre les deux bras. Dans la première partie de la thèse, un processus de conversion d’un mouvement humain vers un mouvement de robot, dans un objectif d’imitation est proposé. Comme les humains possèdent beaucoup plus de degrés de liberté qu’un robot humanoïde, les mouvements identiques ne peuvent pas être produits, les caractéristiques(longueurs des corps) peuvent aussi être différentes. Notre processus de conversion prend en compte l’enregistrement des localisations de marqueurs attachés aux corps de l’humain et des articulations pour améliorer les processus d’imitation. La deuxième partie de la thèse vise à analyser les stratégies de génération du mouvement utilisées par l’homme. Les mouvements humains sont supposés optimaux et notre objectif est de trouver un critère à minimiser pendant les manipulations. Nous faisons l’hypothèse que ce critère est une combinaison de critères classiquement utilisés en robotique et nous recherchons les poids de chaque critère qui représente au mieux le mouvement humain. De cette façon, une approche de commande cinématique optimale peut ensuite être utilisée pour générer des mouvements du robot humanoïde. / The number of humanoid robots has increased in recent years to be able to collaborate with humans or replace them in tedious tasks. The objective of this thesis is to transfer to humanoid robots, skills or human competences, in particular for movements involving coordination between the two arms. In the first part of the thesis, a process of conversion from a human movement to a robot movement, with the aim of imitation is proposed. Since humans have much more freedom than a humanoid robot, identical movements cannot be produced, the characteristics (body lengths) canal so be different. Our conversion process takes into account the recording of marker locations attached to human bodies and joints to improve the imitation processes. The second part of the thesis aims at analyzing the strategies used by humans to generate movement. Human movements are assumed to be optimal and our goal is to find criteria minimized during manipulations. We hypothesize that this criterion is a combination of classical criteria used in robotics and we look for the weights of each criterion that best represents human movement. In this way, an optimal kinematic control approach can then be used to generate movements of the humanoid robot.