We present the design, analysis and construction of a biologicallyinspired tactile sensor. The sensor can measure normal and lateralforces, conform to the surfaces with which it comes in contact andincrease the friction of the surface for a good grasp.The sensor is built using a simple process and the applied forcesare read using standard electronics. These features make thesensors ideal for mass production.We are motivated to build tactile sensors that are useful forrobotic manipulation given that the current ones do not have thefeatures that we consider necessary. The sensors presented in thispaper have been designed to deal with these issues. They have beendesigned and implemented in the fingers of the humanoid robotObrero.

Afin que les robots humanoïdes puissent travailler avec les humains et être en mesure de résoudre des tâches répétitives, nous devons leur permettre de planifier leurs mouvements de façon autonome. La planification de mouvement est un problème de longue date en robotique, et tandis que sa fondation algorithmique a été étudiée en profondeur, la planification de mouvement est encore un problème NP-difficile et qui manque de solutions efficaces. Nous souhaitons ouvrir une nouvelle perspective sur le problème en mettant en évidence sa structure: le comportement du robot, le système mécanique du robot et l’environnement du robot. Nous allons nous intéresser à l’hypothèse que chaque composante structurelle peut être exploitée pour créer des algorithmes de planification de mouvement plus efficaces. Nous présentons trois algorithmes exploitant la structure, basés sur des arguments géométriques et topologiques: d’abord, nous exploitons le comportement d’un robot de marche en étudiant la faisabilité des transitions des traces de pas. L’algorithme qui en résulte est capable de planifier des traces de pas tout en évitant jusqu’à 60 objets situés sur une surface plane 6 mètres carrés. Deuxièmement, nous exploitons le système mécanique d’un robot humanoïde en étudiant les structures des liaisons linéaires de ses bras et de ses jambes. Nous introduisons le concept d’une trajectoire irréductible, qui est une technique de réduction de dimension préservant la complétude. L’algorithme résultant est capable de trouver des mouvements dans des environnements étroits, où les méthodes d’échantillonnage ne pouvaient pas être appliquées. Troisièmement, nous exploitons l’environnement en raisonnant sur la structure topologique des transitions de contact. Nous montrons que l’analyse de l’environnement est une méthode efficace pour pré-calculer les informations pertinentes pour une planification de mouvement efficace. En s’appuyant sur ces résultats, nous arrivons à la conclusion que l’exploitation de la structure est une composante essentielle de la planification de mouvement efficace. Il en résulte que tout robot humanoïde, qui veut agir efficacement dans le monde réel, doit être capable de comprendre et d’exploiter la structure. / If humanoid robots should work along with humans and should be able to solve repetitive tasks, we need to enable them with a skill to autonomously plan motions. Motion planning is a longstanding core problem in robotics, and while its algorithmic foundation has been studied in depth, motion planning is still an NP-hard problem lacking efficient solutions. We want to open up a new perspective on the problem by highlighting its structure: the behavior of the robot, the mechanical system of the robot, and the environment of the robot. We will investigate the hypothesis that each structural component can be exploited to create more efficient motion planning algorithms. We present three algorithms exploiting structure, based on geometrical and topological arguments: first, we exploit the behavior of a walking robot by studying the feasibility of footstep transitions. The resulting algorithm is able to plan footsteps avoiding up to 60 objects on a 6 square meters planar surface. Second, we exploit the mechanical system of a humanoid robot by studying the linear linkage structures of its arms and legs. We introduce the concept of an irreducible motion, which is a completeness-preserving dimensionality reduction technique. The resulting algorithm is able to find motions in narrow environments, where previous sampling-based methods could not be applied. Third, we exploit the environment by reasoning about the topological structure of contact transitions. We show that analyzing the environment is an efficient method to precompute relevant information for efficient motion planning. Based on those results, we come to the conclusion that exploiting structure is an essential component of efficient motion planning. It follows that any humanoid robot, who wants to act efficiently in the real world, needs to be able to understand and to exploit structure.

Cette thèse traite de l'estimation et de la stabilisation de l'état des compliances passives présentes dans les chevilles du robot humanoïde HRP-2. Ces compliances peuvent être vues comme un degré de liberté unique et observable, sous quelques hypothèses qui sont explicitées. L'estimateur utilise des mesures provenant de la centrale inertielle située dans le torse du robot et éventuellement des capteurs de forces situés dans ses pieds. Un filtre de Kalman étendu est utilisé pour l'estimation d'état. Ce filtre utilise un modèle complet de la dynamique du robot, pour lequel la dynamique interne du robot, considérée comme parfaitement connue et contrôlée, a été découplée de la dynamique de la compliance passive du robot. L'observabilité locale de l'état a été montrée en considérant ce modèle et les mesures provenant de la centrale inertielle seule. Il a de plus été montré que l'ajout des mesures des capteurs de forces dans les pieds du robot permet de compléter l'état avec des mesures d'erreurs dans le modèle dynamique du robot. L'estimateur a été validé expérimentalement sur le robot humanoïde HRP-2. Sur cet estimateur a été construit un stabilisateur de l'état de la compliance d'HRP-2. L'état commandé est la position et vitesse du centre de masse (contrôle indirecte de la quantité de mouvement) du robot, l'orientation et la vitesse angulaire de son tronc (contrôle indirecte du moment cinétique), ainsi que l'orientation et la vitesse angulaire de la compliance. Les grandeurs de commande sont l'accélération du centre de masse du robot et l'accélération angulaire de son tronc. Un régulateur quadratique linéaire (LQR) a été utilisé pour calculer les gains du retour d'état, basé sur un modèle appelé "pendule inverse flexible à roue d'inertie" qui consiste en un pendule inverse dont la base est flexible et où une répartition de masse en rotation autour du centre de masse du robot représente le tronc du robot. Des tests ont été effectués sur le robot HRP-2 en double support, utilisant l'estimateur décrit précédemment avec ou sans les capteurs de forces. / This PhD thesis covers the estimation and stabilization of the passive compliances state wich are located in the HRP-2 humanoid robot ankles. These compliances can be seen as a unique compliance under some assumptions that are presented. The estimator uses measurements coming from an Inertial Measurement Unit (IMU) located in the robot's chest. It also uses measurements coming from forces sensors located in its feet. An Extended Kalman Filter (EKF) is used for state estimation. This filter uses a complete model of the robot dynamics, in which the internal dynamics of the robot, considered as known, is decoupled from the dynamics of its passive compliance. The local observability of the state is shown by considering this model and the measurements coming from the IMU only. Furthermore, it has been shown that, by adding the measurements coming from the forces sensors in the robot's feet, we are able to complete the state with some errors measurements in the dynamical model of the robot. The estimator was validated experimentaly on the HRP-2 humanoid robot. Based on this estimator, a stabilizer of the compliance state of the HRP-2 robot was build. The control state is the position and velocity of the center of mass of the robot, the orientation and angular velocity of its trunk, and the orientation and the angular velocity of the compliance. The control values are the acceleration of the robot's center of mass and the angular acceleration of its trunk. A Linear Quadratic Regulator (LQR) is used to compute the feed-back gains, based on a Viscoelastic Reaction Mass Pendulum model which consist in an inverse pendulum whith a flexible base and where a mass repartition rotating around the center of mass is modeling the robot's trunk. Some tests were made on the HRP-2 robot in double support, using the previous estimator with and without the use of forces sensors

L'objet de cette thèse est le développement et l'étude des algorithmes de planification de mouvement pour les systèmes hautement dimensionnés que sont les robots humanoïdes et les acteurs virtuels. Plusieurs adaptations des méthodes génériques de planification de mouvement randomisées sont proposées et discutées. Une première contribution concerne l'utilisation de techniques de réduction de dimension linéaire pour accélérer les algorithmes d'échantillonnage. Cette méthode permet d'identifier en ligne quand un processus de planification passe par un passage étroit de l'espace des configurations et adapte l'exploration en fonction. Cet algorithme convient particulièrement bien aux problèmes difficiles de la planification de mouvement pour l'animation graphique. La deuxième contribution est le développement d'algorithmes randomisés de planification sous contraintes. Il s'agit d'une intégration d'outils de cinématique inverse hiérarchisée aux algorithmes de planification de mouvement randomisés. On illustre cette méthode sur différents problèmes de manipulation pour robots humanoïdes. Cette contribution est généralisée à la planification de mouvements corps-complet nécessitant de la marche. La dernière contribution présentée dans cette thèse est l'utilisation des méthodes précédentes pour résoudre des tâches de manipulation complexes par un robot humanoïde. Nous présentons en particulier un formalisme destiné à représenter les informations propres à l'objet manipulé utilisables par un planificateur de mouvement. Ce formalisme est présenté sous le nom d'« objets documentés». / This thesis deals with the development and analysis of motion planning algorithms for high dimensional systems: humanoid robots and digital actors. Several adaptations of generic randomized motion planning methods are proposed and discussed. A first contribution concerns the use of linear dimensionality reduction techniques to speed up sampling algorithms. This method identifies on line when a planning process goes through a narrow passage of some configuration space, and adapts the exploration accordingly. This algorithm is particularly suited to difficult problems of motion planning for computer animation. The second contribution is the development of randomized algorithms for motion planning under constraints. It consists in the integration of prioritized inverse kinematics tools within randomized motion planning. We demonstrate the use of this method on different manipulation planning problems for humanoid robots. This contribution is generalized to whole-body motion planning with locomotion. The last contribution of this thesis is the use of previous methods to solve complex manipulation tasks by humanoid robots. More specifically, we present a formalism that represents information specific to a manipulated object usable by a motion planner. This formalism is presented under the name of "documented object".

Le sens du toucher joue un rôle fondamental dans la façon dont nous percevons notre environnement, nous déplaçons, et interagissons délibérément avec d'autres objets ou êtres vivants. Ainsi, les forces de contact informent à la fois sur l'action réalisée et sa motivation. Néanmoins, l'utilisation de capteurs de force traditionnels est coûteuse, lourde, et intrusive. Dans cette thèse, nous examinons la perception haptique par la capture de mouvement. Ce problème est difficile du fait qu'un mouvement donné peut généralement être causé par une infinité de distributions de forces possibles, en multi-contact. Dans ce type de situations, l'optimisation sous contraintes physiques seule ne permet que de calculer des distributions de forces plausibles, plutôt que fidèles à celles appliquées en réalité. D'un autre côté, les méthodes d'apprentissage de type `boîte noire' pour la modélisation de structures cinématiquement et dynamiquement complexes sont sujettes à des limitations en termes de capacité de généralisation. Nous proposons une formulation du problème de la distribution de forces exploitant ces deux approches ensemble plutôt que séparément. Nous capturons ainsi la variabilité dans la façon dont on contrôle instinctivement les forces de contact tout en nous assurant de leur compatibilité avec le mouvement observé. Nous présentons notre approche à la fois pour la manipulation et les interactions corps complet avec l'environnement. Nous validons systématiquement nos résultats avec des mesures de référence et fournissons des données exhausives pour encourager et évaluer les travaux futurs sur ce nouveau sujet. / The human sense of touch is of fundamental importance in the way we perceive our environment, move ourselves, and purposefully interact with other objects or beings. Thus, contact forces are informative on both the realized task and the underlying intent. However, monitoring them with force transducers is a costly, cumbersome and intrusive process. In this thesis, we investigate the capture of haptic information from motion tracking. This is a challenging problem, as a given motion can generally be caused by an infinity of possible force distributions in multi-contact. In such scenarios, physics-based optimization alone may only capture force distributions that are physically compatible with a given motion, rather than those really applied. In contrast, machine learning techniques for the black-box modelling of kinematically and dynamically complex structures are often prone to generalization issues. We propose a formulation of the force distribution problem utilizing both approaches jointly rather than separately. We thus capture the variability in the way humans instinctively regulate contact forces while also ensuring their compatibility with the observed motion. We present our approach on both manipulation and whole-body interaction with the environment. We consistently back our findings with ground-truth measurements and provide extensive datasets to encourage and serve as benchmarks for future research on this new topic.

<p>The situated approach in cognitive science and artificial intelligence (AI) has argued since the mid-1980s that intelligent behaviour emerges as a result of a close coupling between agent and environment. Lately, many researchers have emphasized that in addition to the physical environment, the social environment must not be neglected. In this thesis we will focus on the nature of social situatedness, and the aim of this dissertation is to investigate its role and relevance for natural and artificial intelligence.</p><p>This thesis brings together work from separate areas, presenting different perspectives on the role and mechanisms social situatedness. More specifically, we will analyse Vygotsky's cognitive development theory, studies of primate (and avian) intelligence, and last, but not least, work in contemporary socially situated AI. These, at a first glance, quite different fields have a lot in common since they particularly stress the importance of social embeddedness for the development of individual intelligence.</p><p>Combining these separate perspectives, we analyse the remaining differences between natural and artificial social situatedness. Our conclusion is that contemporary socially artificial intelligence research, although heavily inspired by empirical findings in human infants, tends to lack the developmental dimension of situatedness. Further we discuss some implications for research in cognitive science and AI.</p>

La problématique traitée dans cette thèse concerne la commande et l'équilibre des robots humanoïdes disposant d'une base mobile à roues omnidirectionnelles. Les méthodes développées visent à atteindre de hautes performances dynamiques pour ce type de robot, tout en assurant stabilité et équilibre. Les robots humanoïdes ont en général un centre de masse relativement haut en comparaison avec leur surface de contact avec le sol. Ainsi, la moindre accélération des corps du robot induit une large variation de la répartition des forces de contact avec le sol. Si celles-ci ne sont pas correctement contrôlées, alors le robot peut tomber. De plus, le robot disposant d'une base mobile à roues, une perturbation peut l'amener aisément à basculer sur deux roues. Enfin, un intérêt particulier a été apporté à la réalisation d'une commande temps-réel implémentée sur le système embarqué du robot. Cela implique principalement des contraintes concernant le temps de calcul de la loi de commande. Afin de répondre à ces problèmes, deux modèles linéaires du robot ont été réalisés. Le premier permet de modéliser la dynamique du robot lorsque celui-ci possède toutes ses roues en contact avec le sol. Le second permet de modéliser la dynamique du robot lorsque celui-ci bascule sur deux de ses roues. Ces modèles ont été réalisés en prenant en compte la répartition massique du robot. Ainsi, il a été judicieux de le modéliser comme un système à deux masses ponctuelles, pouvant se déplacer sur un plan parallèle au sol. La première correspond au centre de masse de la base mobile, la seconde à celui du reste du robot. Ces modèles sont ensuite utilisés au sein de deux commandes prédictives, permettant de prendre en compte à chaque instant les contraintes dynamiques ainsi que le comportement du robot dans le futur. La première commande permet de contrôler les déplacements du robot lorsque celui-ci possède toutes ses roues en contact avec le sol, lui assurant de ne pas basculer. La seconde permet au robot de se rattraper d'une situation où une perturbation l'amène à basculer, afin de ramener toutes ses roues en contact avec le sol. Aussi, un superviseur disposant d'une machine à état à été réalisé afin de définir quelle loi de commande doit être exécutée à chaque instant. Ce superviseur utilise les capteurs disponibles sur le robot afin d'observer son état de basculement. Enfin, afin de valider expérimentalement le résultat des développements de cette thèse, une série d'expériences a été présentée, mettant en évidence les différents aspects de la loi de commande. Notamment, des essais ont été réalisés concernant le suivi de trajectoires non physiquement réalisables, le rejet de perturbations appliqués à la base mobile, la stabilisation du robot lors de son basculement, ainsi que la compensation de variations de l'inclinaison du sol. / The problem of this thesis concerns the control of the movements and the equilibrium of humanoid robots that have a mobile base with omnidirectionnal wheels. The developed methods aim to reach high dynamical performances for this type of robot, while ensuring it stability and equilibrium. Humanoid robots have generally a center of mass relatively high compared to its contact surface with the ground. Therefore, the slightest acceleration of the robot bodies induces a large variation of the distribution of the contact forces with the ground. If they are not properly controlled, the robot can fall. Moreover, the robot having a mobile base with wheels, a disturbance can easily bring it to tilt on two wheels. Finally, a specific interest have been provided about the realisation of a real time controler implemented on the embedded system of the robot. This implies some constraints about the computationnal time of the control law. In order to answer these problems, two linear models of the robot have been developed. The first allows to modelize the dynamics of the robot when it has all of its wheels in contact with the ground. The second allows to modelize the dynamics of the robot when it tilts on two of its wheels. These models have been developed by taking into account the mass distribution of the robot. These models have been subsequently used in two predictive control laws, allowing to take into account at every instant the dynamical constraints as weel as the future behavior of the robot. The first allows to control the movements of the robot when it has all of its wheels in contact with the ground, preventing it for tilting. The second allows the robot to recover itself in a situation when a disturbance bring it to tilt, in order to bring back all of its wheels in contact with the ground. Also, a supervisor that has a state machine has been made in order to define which control law has to be executed at each instant. This supervisor uses the available sensors on the robot in order to observe its tilt state. Finally, in order to validate experimentally the results of the developments of this thesis, a series of experiments has been presented, demonstrating some aspects of the control law. In particular, some tests have been made concerning the tracking of non physically feasible trajectories, the reject of disturbances applied on the mobile base, the stabilisation of the robot during its tilt, and the compensation of the variations of the ground inclination.

The situated approach in cognitive science and artificial intelligence (AI) has argued since the mid-1980s that intelligent behaviour emerges as a result of a close coupling between agent and environment. Lately, many researchers have emphasized that in addition to the physical environment, the social environment must not be neglected. In this thesis we will focus on the nature of social situatedness, and the aim of this dissertation is to investigate its role and relevance for natural and artificial intelligence. This thesis brings together work from separate areas, presenting different perspectives on the role and mechanisms social situatedness. More specifically, we will analyse Vygotsky's cognitive development theory, studies of primate (and avian) intelligence, and last, but not least, work in contemporary socially situated AI. These, at a first glance, quite different fields have a lot in common since they particularly stress the importance of social embeddedness for the development of individual intelligence. Combining these separate perspectives, we analyse the remaining differences between natural and artificial social situatedness. Our conclusion is that contemporary socially artificial intelligence research, although heavily inspired by empirical findings in human infants, tends to lack the developmental dimension of situatedness. Further we discuss some implications for research in cognitive science and AI.

Le sujet principal de cette thèse est le mouvement des systèmes anthropomorphes, et plus particulièrement la locomotion bipède des humains et des robots humanoïdes. Pour caractériser et comprendre la locomotion bipède, il est instructif d'en étudier les causes, qui résident dans le contrôle et l'organisation du mouvement, et les conséquences qui en résultent, que sont le mouvement et les interactions physiques avec l'environnement. Concernant les causes, par exemple, quels sont les principes qui régissent l'organisation des ordres moteurs pour élaborer une stratégie de déplacement spécifique ? Puis, quelles grandeurs physiques pouvons-nous calculer pour décrire au mieux le mouvement résultant de ces commandes motrices ? Ces questions sont en partie abordées par la proposition d'une extension mathématique de l'approche du Uncontrolled Manifold au contrôle moteur de tâches dynamiques, puis par la présentation d'un nouveau descripteur de la locomotion anthropomorphe. En lien avec ce travail analytique vient le problème de l'estimation de l'état pour les systèmes anthropomorphes. La difficulté d'un tel problème vient du fait que les mesures apportent un bruit qui n'est pas toujours séparable des données informatives, et que l'état du système n'est pas nécessairement observable. Pour se débarrasser du bruit, des techniques de filtrage classiques peuvent être employées, mais elles sont susceptibles d'altérer le contenu des signaux d'intérêt. Pour faire face à ce problème, nous présentons une méthode récursive, basée sur le filtrage complémentaire, pour estimer la position du centre de masse et la variation du moment cinétique d'un système en contact, deux quantités centrales de la locomotion bipède. Une autre idée pour se débarrasser du bruit de mesure est de réaliser qu'il résulte en une estimation irréaliste de la dynamique du système. En exploitant les équations du mouvement, qui dictent la dynamique temporelle du système, et en estimant une trajectoire plutôt qu'un point unique, nous présentons ensuite une estimation du maximum de vraisemblance en utilisant l'algorithme de programmation différentielle dynamique pour effectuer une estimation optimale de l'état centroidal des systèmes en contact. Finalement, une réflexion pluridisciplinaire est présentée, sur le rôle fonctionnel et computationnel joué par la tête chez les animaux. La pertinence de son utilisation en robotique mobile y est discutée, pour l'estimation d'état et la perception multisensorielle. / The substantive subject of this thesis is the motion of anthropomorphic systems, and more particularly the bipedal locomotion of humans and humanoid robots. To characterize and understand bipedal locomotion, it is instructive to study its motor causes and its resulting physical consequences, namely, the interactions with the environment. Concerning the causes, for instance, what are the principles that govern the organization of motor orders in humans for elaborating a specific displacement strategy? And then, which physical quantities can we compute for best describing the motion resulting from these motor orders ? These questions are in part addressed by the proposal of a mathematical extension of the Uncontrolled Manifold approach for the motor control of dynamic tasks and through the presentation of a new descriptor of anthropomorphic locomotion. In connection with this analytical work, comes the problem of state estimation in anthropomorphic systems. The difficulty of such a problem comes from the fact that the measurements carry noise which is not always separable from the informative data, and that the state of the system is not necessarily observable. To get rid of the noise, classical filtering techniques can be employed but they are likely to distort the signals. To cope with this issue, we present a recursive method, based on complementary filtering, to estimate the position of the center of mass and the angular momentum variation of the human body, two central quantities of human locomotion. Another idea to get rid of the measurements noise is to acknowledge the fact that it results in an unrealistic estimation of the motion dynamics. By exploiting the equations of motion, which dictate the temporal dynamics of the system, and by estimating a trajectory versus a single point, we then present maximum likelihood estimation using the dynamic differential programming algorithm to perform optimal centroidal state estimation for systems in contact. Finally, a multidisciplinary reflection on the functional and computational role played by the head in animals is presented. The relevance of using this solution in mobile robotics is discussed, particularly for state estimation and multisensory perception.

Vast improvements in robotics and wireless communication have made teleoperated robots significantly more prevalent in industry, defense, and research. To help bridge the gap for these robots in the workplace, there has been a tremendous increase in research toward the development of biomimetic robotic hands that can simulate human operators. However, current methods of control are limited in scope and do not adequately represent human muscle memory and skills. The vision of this thesis is to provide a pathway for overcoming these limitations and open an opportunity for development and implementation of a cost effective methodology towards controlling a robotic hand. The first chapter describes the experiments conducted using Flexpoint bend sensors in conjunction with a simple voltage divider to generate a cost-effective data glove that is significantly less expensive than the commercially available alternatives. The data glove was able to provide sensitivity of less than 0.1 degrees. The second chapter describes the molding process for embedding pressure sensors in silicone skin and data acquisition from them to control the robotic hand. The third chapter describes a method for parsing and observing the information from the data glove and translating the relevant control variables to the robotic hand. The fourth chapter focuses on the feasibility of the brain computer interfaces (BCI) and successfully demonstrates the implementation of a simple brain computer interface in controlling a robotic hand. / Master of Science