With the ability to navigate natural and man-made environments and utilize standard human tools, humanoid robots have the potential to transform emergency response and disaster relief applications by serving as first responders in hazardous scenarios. Such applications will require major advances in humanoid control, enabling robots to traverse difficult, cluttered terrain with both speed and stability. To advance the state of the art, this dissertation presents a complete dynamic locomotion and whole-body control framework for compliant (torque-controlled) humanoids. We develop low-level, mid-level, and high-level controllers to enable low-impedance balancing and walking on compliant and uneven terrain. For low-level control, we present a cascaded joint impedance controller for series elastic humanoids with parallel actuation. A distributed controller architecture is implemented using a dual-axis motor controller that computes desired actuator forces and motor currents using simple models of the joint mechanisms and series elastic actuators. An inner-loop force controller is developed using feedforward and PID control with a model-based disturbance observer, enabling naturally compliant behaviors with low joint impedance. For mid-level control, we implement an optimization-based whole-body control strategy assuming a rigid body model of the robot. Joint torque setpoints are computed using an efficient quadratic program (QP) given desired joint accelerations, spatial accelerations, and momentum rates of change. Constraints on the centroidal dynamics, contact forces, and joint limits ensure admissibility of the optimized setpoints. Using this approach, we develop compliant standing and stepping behaviors based on simple feedback controllers. For high-level control, we present a dynamic planning and control approach for humanoid locomotion using a novel time-varying extension of the Divergent Component of Motion (DCM). By varying the natural frequency of the DCM, we are able to achieve generic vertical center of mass (CoM) trajectories during walking. Complementary reverse-time integration and model predictive control (MPC) strategies are proposed to generate dynamically feasible DCM plans over a multi-step preview window, supporting locomotion on uneven terrain. The proposed approach is validated through experimental results obtained using THOR, a 34 degree of freedom (DOF) series elastic humanoid. Rough terrain locomotion is demonstrated in simulation, and compliant locomotion and push recovery are demonstrated in hardware. We discuss practical considerations that led to a successful implementation on the THOR hardware platform and conclude with an application of the presented control framework for humanoid firefighting onboard the ex-USS Shadwell, a decommissioned Navy ship. / Ph. D.

Series elastic actuators (SEAs) have numerous benefits for force controlled robotic applications. This thesis presents the design and assembly of a set of compact, lightweight, low-friction linear SEAs for the legs of the Tactical Hazardous Operations Robot (THOR). The THOR SEA pairs a ball screw driven linear actuator with a configurable titanium leaf spring. A removable pivot changes the effective cantilever length, setting the compliance to either 372 or 655 kN/m. Unlike typical SEAs which measure actuator load through spring deflection, an in-line axial load cell directly measures actuator forces up to the commandable peak of 2225 N. The continuous operating range of the actuator is computed, along with an evaluation of the range of motion and torque profiles for the parallel hip and ankle joints. With a focus on a large power-to-weight ratio and small packaging size, the THOR SEAs are well-suited for accurate torque control of the parallel joints on the robot. Linearly actuated joints, especially ones driven through a crank arm, tend to suffer from a loss of mechanical advantage toward the ends of its limited range of motion. To augment the range of motion and mechanical advantage profile on THOR, an inverted Hoeken's linkage straight line mechanism is paired with a linear SEA at the hip and knee pitch joints on the robot. The resulting linkage assembly is capable of delivering nearly constant peak torque of 115 Nm across its 150 degree range of motion. The mechanical advantage profile of the Hoeken's linkage actuator is computed for the nominal case, as well the deviation resulting from maximum deflection of the titanium beam. / Master of Science

As a valuable asset in human augmentation and medical rehabilitation, exoskeletons have become a major area for research and development. They have shown themselves to be effective tools for training and rehabilitation of individuals suffering from limited mobility. However, most exoskeletons are not capable of balancing without the assistance of crutches from the user. Leveraging technology and techniques developed for force controlled humanoid robots, a project was undertaken to develop a fully self-balancing, compliant lower-body robotic exoskeleton. Due to their many beneficial features, series elastic actuators were utilized to power the joints on the exoskeleton. This thesis details the development of four linear series elastic actuators (LSEA) as part of this project. All 12-degrees of freedom will be powered by one of these four LSEA's. Actuator requirements were developed by examining human gait data and three robot-walking simulations. These four walking scenarios were synthesized into one set of power requirements for actuator development. Using these requirements, analytical models were developed to perform component trade studies and predict the performance of the actuator. These actuators utilize high-efficacy components, parallel electric motors, and liquid cooling to attain high power-to-weight ratios, while maintaining a small lightweight design. These analyses and trade studies have resulted in the design of a dual-motor liquid-cooled actuator capable of producing a peak force 8500N with a maximum travel speed of 0.267m/s, and three different single-motor actuators capable of producing forces up to 2450N continuously, with a maximum travel speeds up to 0.767m/s. / Master of Science

Cette thèse présente la conception et la commande d’une main robotique légère et peu onéreuse pour un robot compagnon humanoïde. La main est conçue pour exprimer des émotions à travers des gestes et pour saisir de petits objets légers. Sa géométrie est définie à l’aide de données anthropométriques. Sa cinématique est simplifiée par rapport à la main humaine pour réduire le nombre d’actionneurs tout en respectant ses exigences fonctionnelles. La main préserve son anthropomorphisme grâce aux nombres et au placement de la base des doigts et à une bonne opposabilité du pouce. La mécatronique de la main repose sur un compromis entre des phalanges couplés, qui permettent de bien connaître la posture des doigts pendant les gestes, et des phalanges capable de s’adapter à la forme des objets pendant la saisie, réunis en une conception hybride unique. Ce compromis est rendu possible grâce à deux systèmes d’actionnement distincts placés en parallèle. Leur coexistence est garantie par une transmission compliante basée sur des barres en élastomère. La solution proposée réduit significativement le poids et la taille de la main en utilisant sept actionneurs de faible puissance pour les gestes et un seul moteur puissant pour la saisie. Le système est conçue pour être embarqué sur Romeo, un robot humanoïde de1.4 [m] produit par Aldebaran. Les systèmes d’actionnements sont dimensionnés pour ouvrir et fermer les doigts en moins de 1 [s] et pour saisir une canette pleine de soda. La main est réalisée et contrôlée pour garantir une interaction sûre avec l’homme mais aussi pour protéger l’intégrité de la mécanique. Un prototype (ALPHA) est réalisé pour valider la conception et ses capacités fonctionnelles. / This thesis presents the design and control of a low-cost and lightweight robotic hand for a social humanoid robot. The hand is designed to perform expressive hand gestures and to grasp small and light objects. Its geometry follows anthropometric data. Its kinematics simplifies the human hand structure to reduce the number of actuators while ensuring functional requirements. The hand preserves anthropomorphism by properly placing five fingers on the palm and by ensuring an equilibrated thumb opposability. Its mechanical system results from the compromise between fully-coupled phalanges and self-adaptable fingers in a unique hybrid design. This answers the need for known finger postures while gesturing and for finger adaptation to different object shapes while grasping. The design is based on two distinct actuation systems embodied in parallel within the palm and the fingers. Their coexistence is ensured by a compliant transmission based on elastomer bars. The proposed solution significantly reduces the weightand the size of the hand by using seven low-power actuators for gesturing and a single high-power motor for grasping. The overall system is conceived to be embedded on Romeo, a humanoid robot 1.4 [m] tall produced by Aldebaran. Actuation systems are dimensioned to open and close the fingers in less than1 [s] and to grasp a full soda can. The hand is realized and controlled to ensure safe human-robot interaction and to preserve mechanical integrity. A prototype(ALPHA) is realized to validate the design feasibility and its functional capabilities.

La principale limitation du modèle connexionniste (réseau neuronal artificiel) CMAC (Cerebellar Model Articulation Controller) et son applicabilité à la résolution des problèmes inhérents au systèmes automatisés complexes (robots, véhicules autonomes, etc.) est liée à la taille de mémoire requise par ce type de modèle connexionniste. Il est pertinent de rappeler que la capacité de mémoire exigée par le CMAC dépend, en premier lieu, de la précision de la quantification des signaux d'entrée, puis, de la dimension de l'espace des entrées (espace caractéristique) du système modélisé. Dans le cas des applications requérant une exécution en temps-réel, la tendance est à la réduction de l'espace caractéristique (aussi petit que possible) et la précision (de la quantification : aussi faible que possible). Cependant, souvent, les systèmes complexes impliquent plusieurs entrées. Pour résoudre le problème inhérent à cet antagonisme et la taille de la mémoire, nous nous sommes intéressés, dans la présente thèse, à l'influence des paramètres intervenant dans la précision de la quantification et dans la capacité de la généralisation sur la qualité d'approximation du modèle CMAC. L'objectif escompté était d'arriver à des structures optimales du CAMC pour le contrôle des systèmes dynamiques complexes. Les robots bipèdes (humanoïdes) et des véhicules volants hypersoniques sont deux domaines d'applications très actuelles impliquant des systèmes complexes. Nous avons appliqué des concepts étudiés aux problèmes soulevés par les deux domaines précités. Des résultats obtenus à partir de la simulation ont montré que des structures optimales ou quasi-optimales conduisant à une réduction sensible d'erreur de modélisation peuvent être obtenues. Ces résultats ont montré que les choix effectués dans l'optimisation de la structure permet une réduction de la taille de la mémoire requise (par le CMAC) et une réduction du temps d'exécution à la fois / The main limitation of the CMAC (Cerebellar Model Articulation Controller) network in realistic applications for complex automated systems (robots, automated vehicles, etc…) is related to the required memory size. It is pertinent to remind that the memory used by CMAC depends firstly on the input signal quantification step and secondly on the input space dimension. For real CMAC based control applications, on the one hand, in order to increase the accuracy of the control the chosen quantification step must be as small as possible; on the other hand, generally the input space dimension is greater than two. In order to overcome the problem relating the memory size, how both the generalization and step quantization parameters may influence the CMAC's approximation quality has been discussed. Our goal is to find an optimal CMAC structure for complex dynamic systems' control. Biped robots and Flight control design for airbreathing hypersonic vehicles are two actual areas of such systems. We have applied the investigated concepts on these two quite different areas. The presented simulation results show that an optimal or sub-optimal structure carrying out a minimal modeling error could be achieved. The choice of an optimal structure allows decreasing the memory size and reducing the computing time as well

Em interações humano-robô ainda existem muitas limitações a serem superadas referentes à provisão de uma comunicação natural quanto aos sentidos humanos. A capacidade de interagir com os seres humanos de maneira natural em contextos sociais (pelo uso da fala, gestos, expressões faciais, movimentos do corpo) é um ponto fundamental para garantir a aceitação de robôs em uma sociedade de pessoas não especialistas em manipulação de engenhos robóticos. Outrossim, a maioria dos robôs existentes possui habilidades limitadas de percepção, cognição e comportamento em comparação com seres humanos. Nesse contexto, este projeto de pesquisa investigou o potencial da arquitetura robótica do humanoide NAO, no tocante à capacidade de realizar interações com seres humanos através de imitação de movimentos do corpo de uma pessoa e pelo controle do robô. Quanto a sensores, foi utilizado um sensor câmera não-intrusivo de profundidade incorporado no dispositivo Kinect. Quanto às técnicas, alguns conceitos matemáticos foram abordados para abstração das configurações espaciais de algumas junções/membros do corpo humano essas configurações foram capturadas por meio da utilização da biblioteca OpenNI. Os experimentos realizados versaram sobre a imitação e o controle do robô por meio da avaliação de vários usuários. Os resultados desses experimentos revelaram um desempenho satisfatório quanto ao sistema desenvolvido / In human-robot interactions there are still many restrictions to overcome regarding the provision of a communication as natural to the human senses. The ability to interact with humans in a natural way in social contexts (the use of speech, gestures, facial expressions, body movements) is a key point to ensure the acceptance of robots in a society of people not specialized in manipulation of robotic devices. Moreover, most existing robots have limited abilities of perception, cognition and behavior in comparison with humans. In this context, this research project investigated the potential of the robotic architecture of the NAO humanoid robot, in terms of ability to perform interactions with humans through imitation of body movements of a person and the robot control. As for sensors, we used a non-intrusive sensor depth-camera built into the device Kinect. As to techniques, some mathematical concepts were discussed for abstraction of the spatial configurations of some joints/members of the human body these configurations were captured through the use of the OpenNI library. The performed experiments were about imitation and the control of the robot through the evaluation of various users. The results of these experiments showed a satisfactory performance for the developed system

Les grands robots marcheurs sont des systèmes mécatroniques poly-articulés complexes qui cristallisent la volonté des humains de conférer leurs capacités à des artefacts, l’une d’entre elle étant la locomotion bipède, et plus particulièrement la conservation de l’équilibre face à des perturbations extérieures. Cette thèse propose un stabilisateur postural ainsi que sa mise en œuvre sur le système locomoteur BIP 2000.Ce robot anthropomorphique possède quinze degrés de libertés actionnés par moteurs électriques et a reçu un nouvel automate ainsi que des variateurs industriels lors de la mise à jour réalisée dans le cadre de ces travaux. Un contrôleur a été conçu et implémenté en suivant les principes de la programmation orientée objet afin de fournir une modularité qui s’inspire de la symétrie naturelle des humanoïdes. Cet aspect a conduit à l’élaboration d’un ensemble d’outils mathématiques permettant de calculer l’ensemble des modèles d’un robot composé de sous-robots dont on connaîtrait déjà les modèles. Le contrôleur permet notamment à la machine de suivre des trajectoires calculées hors ligne par des algorithmes de génération de marches dynamiques ainsi que de tester le stabilisateur postural.Ce dernier consiste en un contrôle en position du robot physique par la consigne d’un robot virtuel de modèle dégradé, commandé en effort, soumis à des champs électrostatiques contraignant sa configuration articulaire. Les tests effectués ont permis de montrer la faisabilité de la méthode. / Big walking robots are complex multi-joints mechanical systems which crystallize the human will to confer their capabilities on artefacts, one of them being the bipedal locomotion and more especially the balance keeping against external disturbances. This thesis proposes a balance stabilizer under operating conditions displayed on the locomotor system BIP 2000.This anthropomorphic robot has got fifteen electrically actuated degree of freedom and an Industrial controller. A new software has been developed with an object-oriented programming approach in order to propose the modularity required by the emulated and natural human symmetry. This consideration leads to the development of a mathematical tool allowing the computation of every modelling of a serial robot which is the sum of multiple sub robots with already known modelling. The implemented software also enables the robot to run offline generated dynamic walking trajectories and to test the balance stabilizer.We explore in this thesis the feasibility of controlling the center of gravity of a multibody robotic system with electrostatic fields acting on its virtual counterpart in order to guarantee its balance. Experimental results confirm the potential of the proposed approach.

Cette thèse traite du problème de la chute de robots humanoïdes. L’étude consiste à découpler la stratégie de chute en une phase de pré-impact et une phase de post-impact. Dans la première, une solution géométrique permet au robot de choisir des points d’impact dans un environnement encombré. Pour ce faire, le robot réadapte sa posture tout en évident les singularités de chute et en préparant le seconde phase. La phase de post-impact utilise une commande par Programmation Quadratique (QP) qui permet d’adapter les gains Proportionnels-Dérivés (PD)des moteurs en ligne, ceci afin d’obtenir de la compliance dans les articulations. L’approche consiste à incorporer les gains de raideur et d’amortissement dans le vecteur d’optimisation du QP avec les variables habituelles que sont l’accélération articulaire et les forces de contact. Les contraintes ont été adaptées à ce nouveau QP. Enfin,comme la solution est locale, une commande de modèle prédictif sur un modèle simplifié du robot. A chaque pas du développement, plusieurs expériences et simulations ont été effectuées. / This thesis deals with the problem of humanoid falling with a decoupled strategy consisting of a pre-impactand a post-impact stages. In the pre-impact stage, geometrical reasoning allows the robot to choose appropriateimpact points in the surrounding environment –that can be unstructured and may contain cluttered obstacles,and to adopt a posture to reach them while avoiding impact singularities and preparing for the post-impact. Thepost-impact stage uses a quadratic program controller that adapts on-line the joint proportional-derivative (PD)gains to make the robot compliant, i.e. to absorb post-impact dynamics, which lowers possible damage risks.We propose a new approach incorporating the stiffness and damping gains directly as decision variables in theQP along with the usually-considered variables that are the joint accelerations and contact forces. By doing so,various constraints can be added to the QP. Finally, since the gain adaptation is local, we added a preview ona time-horizon for more optimal gain adaptation based on model reduction. At each step of the development,several experiments on the humanoid robot HRP-4 in a full-dynamics simulator are presented and discussed.

Les robots sont de plus en plus utilisés dans un cadre social. Il ne suffit plusde partager l’espace avec des humains, mais aussi d’interagir avec eux. Dansce cadre, il est attendu du robot qu’il comprenne un certain nombre de signauxambiguës, verbaux et visuels, nécessaires à une interaction humaine. En particulier, on peut extraire beaucoup d’information, à la fois sur l’état d’esprit despersonnes et sur la dynamique de groupe à l’œuvre, en connaissant qui ou quoichaque personne regarde. On parle de la Cible d’attention visuelle, désignéepar l’acronyme anglais VFOA. Dans cette thèse, nous nous intéressons auxdonnées perçues par un robot humanoı̈de qui participe activement à une in-teraction sociale, et à leur utilisation pour deviner ce que chaque personneregarde.D’une part, le robot doit “regarder les gens”, à savoir orienter sa tête(et donc la caméra) pour obtenir des images des personnes présentes. Nousprésentons une méthode originale d’apprentissage par renforcement pourcontrôler la direction du regard d’un robot. Cette méthode utilise des réseauxde neurones récurrents. Le robot s’entraı̂ne en autonomie à déplacer sa tête enfonction des données visuelles et auditives. Il atteint une stratégie efficace, quilui permet de cibler des groupes de personnes dans un environnement évolutif.D’autre part, les images du robot peuvent être utilisée pour estimer lesVFOAs au cours du temps. Pour chaque visage visible, nous calculons laposture 3D de la tête (position et orientation dans l’espace) car très fortementcorrélée avec la direction du regard. Nous l’utilisons dans deux applications.Premièrement, nous remarquons que les gens peuvent regarder des objets quine sont pas visible depuis le point de vue du robot. Sous l’hypothèse quelesdits objets soient regardés au moins une partie du temps, nous souhaitonsestimer leurs positions exclusivement à partir de la direction du regard despersonnes visibles. Nous utilisons une représentation sous forme de carte dechaleur. Nous avons élaboré et entraı̂né plusieurs réseaux de convolutions afinde d’estimer la régression entre une séquence de postures des têtes, et les posi-tions des objets. Dans un second temps, les positions des objets d’intérêt, pou-vant être ciblés, sont supposées connues. Nous présentons alors un modèleprobabiliste, suggéré par des résultats en psychophysique, afin de modéliserla relation entre les postures des têtes, les positions des objets, la directiondu regard et les VFOAs. La formulation utilise un modèle markovien à dy-namiques multiples. En appliquant une approches bayésienne, nous obtenonsun algorithme pour calculer les VFOAs au fur et à mesure, et une méthodepour estimer les paramètres du modèle.Nos contributions reposent sur la possibilité d’utiliser des données, afind’exploiter des approches d’apprentissage automatique. Toutes nos méthodessont validées sur des jeu de données disponibles publiquement. De plus, lagénération de scénarios synthétiques permet d’agrandir à volonté la quantitéde données disponibles; les méthodes pour simuler ces données sont explicite-ment détaillée. / Robots are more and more used in a social context. They are required notonly to share physical space with humans but also to interact with them. Inthis context, the robot is expected to understand some verbal and non-verbalambiguous cues, constantly used in a natural human interaction. In particular,knowing who or what people are looking at is a very valuable information tounderstand each individual mental state as well as the interaction dynamics. Itis called Visual Focus of Attention or VFOA. In this thesis, we are interestedin using the inputs from an active humanoid robot – participating in a socialinteraction – to estimate who is looking at whom or what.On the one hand, we want the robot to look at people, so it can extractmeaningful visual information from its video camera. We propose a novelreinforcement learning method for robotic gaze control. The model is basedon a recurrent neural network architecture. The robot autonomously learns astrategy for moving its head (and camera) using audio-visual inputs. It is ableto focus on groups of people in a changing environment.On the other hand, information from the video camera images are used toinfer the VFOAs of people along time. We estimate the 3D head poses (lo-cation and orientation) for each face, as it is highly correlated with the gazedirection. We use it in two tasks. First, we note that objects may be lookedat while not being visible from the robot point of view. Under the assump-tion that objects of interest are being looked at, we propose to estimate theirlocations relying solely on the gaze direction of visible people. We formulatean ad hoc spatial representation based on probability heat-maps. We designseveral convolutional neural network models and train them to perform a re-gression from the space of head poses to the space of object locations. Thisprovide a set of object locations from a sequence of head poses. Second, wesuppose that the location of objects of interest are known. In this context, weintroduce a Bayesian probabilistic model, inspired from psychophysics, thatdescribes the dependency between head poses, object locations, eye-gaze di-rections, and VFOAs, along time. The formulation is based on a switchingstate-space Markov model. A specific filtering procedure is detailed to inferthe VFOAs, as well as an adapted training algorithm.The proposed contributions use data-driven approaches, and are addressedwithin the context of machine learning. All methods have been tested on pub-licly available datasets. Some training procedures additionally require to sim-ulate synthetic scenarios; the generation process is then explicitly detailed.

Le nombre de robot humanoïde s’est accru ces dernières années pour pouvoir collaborer avec l’homme ou le remplacer dans des tâches fastidieuses. L’objectif de cette thèse est de transférer aux robots humanoïdes, des habilités ou compétences humaines, en particulier pour des mouvements impliquant une coordination entre les deux bras. Dans la première partie de la thèse, un processus de conversion d’un mouvement humain vers un mouvement de robot, dans un objectif d’imitation est proposé. Comme les humains possèdent beaucoup plus de degrés de liberté qu’un robot humanoïde, les mouvements identiques ne peuvent pas être produits, les caractéristiques(longueurs des corps) peuvent aussi être différentes. Notre processus de conversion prend en compte l’enregistrement des localisations de marqueurs attachés aux corps de l’humain et des articulations pour améliorer les processus d’imitation. La deuxième partie de la thèse vise à analyser les stratégies de génération du mouvement utilisées par l’homme. Les mouvements humains sont supposés optimaux et notre objectif est de trouver un critère à minimiser pendant les manipulations. Nous faisons l’hypothèse que ce critère est une combinaison de critères classiquement utilisés en robotique et nous recherchons les poids de chaque critère qui représente au mieux le mouvement humain. De cette façon, une approche de commande cinématique optimale peut ensuite être utilisée pour générer des mouvements du robot humanoïde. / The number of humanoid robots has increased in recent years to be able to collaborate with humans or replace them in tedious tasks. The objective of this thesis is to transfer to humanoid robots, skills or human competences, in particular for movements involving coordination between the two arms. In the first part of the thesis, a process of conversion from a human movement to a robot movement, with the aim of imitation is proposed. Since humans have much more freedom than a humanoid robot, identical movements cannot be produced, the characteristics (body lengths) canal so be different. Our conversion process takes into account the recording of marker locations attached to human bodies and joints to improve the imitation processes. The second part of the thesis aims at analyzing the strategies used by humans to generate movement. Human movements are assumed to be optimal and our goal is to find criteria minimized during manipulations. We hypothesize that this criterion is a combination of classical criteria used in robotics and we look for the weights of each criterion that best represents human movement. In this way, an optimal kinematic control approach can then be used to generate movements of the humanoid robot.