Cette thèse a été effectuée dans le cadre du projet européen Koroibot dont l'objectif est le développement d'algorithmes de marche avancés pour les robots humanoïdes. Dans le but de contrôler les robots d'une manière sûre et efficace chez les humains, il est nécessaire de comprendre les règles, les principes et les stratégies de l'homme lors de la locomotion et de les transférer à des robots. L'objectif de cette thèse est d'étudier et d'identifier les stratégies de locomotion humaine et créer des algorithmes qui pourraient être utilisés pour améliorer les capacités du robot. La contribution principale est l'analyse sur les principes de piétons qui guident les stratégies d'évitement des collisions. En particulier, nous observons comment les humains adapter une tâche de locomotion objectif direct quand ils ont à interférer avec un obstacle en mouvement traversant leur chemin. Nous montrons les différences entre la stratégie définie par les humains pour éviter un obstacle non-collaboratif et la stratégie pour éviter un autre être humain, et la façon dont les humains interagissent avec un objet si se déplaçant en manier simil à l'humaine. Deuxièmement, nous présentons un travail effectué en collaboration avec les neuroscientifiques de calcul. Nous proposons une nouvelle approche pour synthétiser réalistes complexes mouvements du robot humanoïde avec des primitives de mouvement. Trajectoires humaines walking-to-grasp ont été enregistrés. L'ensemble des mouvements du corps sont reciblées et proportionnée afin de correspondre à la cinématique de robots humanoïdes. Sur la base de cette base de données des mouvements, nous extrayons les primitives de mouvement. Nous montrons que ces signaux sources peuvent être exprimées sous forme de solutions stables d'un système dynamique autonome, qui peut être considéré comme un système de central pattern generators (CPGs). Sur la base de cette approche, les stratégies réactives walking-to-grasp ont été développés et expérimenté avec succès sur le robot humanoïde HRP-2 au LAAS-CNRS. Dans la troisième partie de la thèse, nous présentons une nouvelle approche du problème de pilotage d'un robot soumis à des contraintes non holonomes par une porte en utilisant l'asservissement visuel. La porte est représentée par deux points de repère situés sur ses supports verticaux. La plan géométric qui a été construit autour de la porte est constituée de faisceaux de hyperboles, des ellipses et des cercles orthogonaux. Nous montrons que cette géométrie peut être mesurée directement dans le plan d'image de la caméra et que la stratégie basée sur la vision présentée peut également être lié à l'homme. Simulation et expériences réalistes sont présentés pour montrer l'efficacité de nos solutions. / This thesis has been done within the framework of the European Project Koroibot which aims at developing advanced algorithms to improve the humanoid robots locomotion. It is organized in three parts. With the aim of steering robots in a safe and efficient manner among humans it is required to understand the rules, principles and strategies of human during locomotion and transfer them to robots. The goal of this thesis is to investigate and identify the human locomotion strategies and create algorithms that could be used to improve robot capabilities. A first contribution is the analysis on pedestrian principles which guide collision avoidance strategies. In particular, we observe how humans adapt a goal-direct locomotion task when they have to interfere with a moving obstacle crossing their way. We show differences both in the strategy set by humans to avoid a non-collaborative obstacle with respect to avoid another human, and the way humans interact with an object moving in human-like way. Secondly, we present a work done in collaboration with computational neuroscientists. We propose a new approach to synthetize realistic complex humanoid robot movements with motion primitives. Human walking-to-grasp trajectories have been recorded. The whole body movements are retargeted and scaled in order to match the humanoid robot kinematics. Based on this database of movements, we extract the motion primitives. We prove that these sources signals can be expressed as stable solutions of an autonomous dynamical system, which can be regarded as a system of coupled central pattern generators (CPGs). Based on this approach, reactive walking-to-grasp strategies have been developed and successfully experimented on the humanoid robot HRP at LAAS-CNRS. In the third part of the thesis, we present a new approach to the problem of vision-based steering of robot subject to non-holonomic constrained to pass through a door. The door is represented by two landmarks located on its vertical supports. The planar geometry that has been built around the door consists of bundles of hyperbolae, ellipses, and orthogonal circles. We prove that this geometry can be directly measured in the camera image plane and that the proposed vision-based control strategy can also be related to human. Realistic simulation and experiments are reported to show the effectiveness of our solutions.

Avec le développement de la robotique cognitive, le besoin d’outils avancés pour représenter, manipuler, raisonner sur les connaissances acquises par un robot a clairement été mis en avant. Mais stocker et manipuler des connaissances requiert tout d’abord d’éclaircir ce que l’on nomme connaissance pour un robot, et comment celle-ci peut-elle être représentée de manière intelligible pour une machine. Ce travail s’efforce dans un premier temps d’identifier de manière systématique les besoins en terme de représentation de connaissance des applications robotiques modernes, dans le contexte spécifique de la robotique de service et des interactions homme-robot. Nous proposons une typologie originale des caractéristiques souhaitables des systèmes de représentation des connaissances, appuyée sur un état de l’art détaillé des outils existants dans notre communauté. Dans un second temps, nous présentons en profondeur ORO, une instanciation particulière d’un système de représentation et manipulation des connaissances, conçu et implémenté durant la préparation de cette thèse. Nous détaillons le fonctionnement interne du système, ainsi que son intégration dans plusieurs architectures robotiques complètes. Un éclairage particulier est donné sur la modélisation de la prise de perspective dans le contexte de l’interaction, et de son interprétation en terme de théorie de l’esprit. La troisième partie de l’étude porte sur une application importante des systèmes de représentation des connaissances dans ce contexte de l’interaction homme-robot : le traitement du dialogue situé. Notre approche et les algorithmes qui amènent à l’ancrage interactif de la communication verbale non contrainte sont présentés, suivis de plusieurs expériences menées au Laboratoire d’Analyse et d’Architecture des Systèmes au CNRS à Toulouse, et au groupe Intelligent Autonomous System de l’université technique de Munich. Nous concluons cette thèse sur un certain nombre de considérations sur la viabilité et l’importance d’une gestion explicite des connaissances des agents, ainsi que par une réflexion sur les éléments encore manquant pour réaliser le programme d’une robotique “de niveau humain” / With the rise of the so-called cognitive robotics, the need of advanced tools to store, manipulate, reason about the knowledge acquired by the robot has been made clear. But storing and manipulating knowledge requires first to understand what the knowledge itself means to the robot and how to represent it in a machine-processable way. This work strives first at providing a systematic study of the knowledge requirements of modern robotic applications in the context of service robotics and human-robot interaction. What are the expressiveness requirement for a robot? what are its needs in term of reasoning techniques? what are the requirement on the robot's knowledge processing structure induced by other cognitive functions like perception or decision making? We propose a novel typology of desirable features for knowledge representation systems supported by an extensive review of existing tools in our community. In a second part, the thesis presents in depth a particular instantiation of a knowledge representation and manipulation system called ORO, that has been designed and implemented during the preparation of the thesis. We elaborate on the inner working of this system, as well as its integration into several complete robot control stacks. A particular focus is given to the modelling of agent-dependent symbolic perspectives and their relations to theories of mind. The third part of the study is focused on the presentation of one important application of knowledge representation systems in the human-robot interaction context: situated dialogue. Our approach and associated algorithms leading to the interactive grounding of unconstrained verbal communication are presented, followed by several experiments that have taken place both at the Laboratoire d'Analyse et d'Architecture des Systèmes at CNRS, Toulouse and at the Intelligent Autonomous System group at Munich Technical University. The thesis concludes on considerations regarding the viability and importance of an explicit management of the agent's knowledge, along with a reflection on the missing bricks in our research community on the way towards "human level robots"

Les premiers robots sont apparus dans les usines, sous la forme d'automates programmables. Ces premières formes robotiques ont le plus souvent un nombre très limité de capteurs et se contentent de répéter une séquence de mouvements et d'actions. De nos jours, de plus en plus de robots ont à interagir ou coopérer avec l'homme, que se soit sur le lieu de travail avec les robots coéquipiers ou dans les foyers avec les robots d'assistance. Mettre un robot dans un environnement humain soulève de nombreuses problématiques. En effet, pour évoluer dans le même environnement que l'homme et comprendre cet environnement, le robot doit être doté de capacités cognitives appropriées. Au delà de la compréhension de l'environnement matériel, le robot doit être capable de raisonner sur partenaires humains afin de pouvoir collaborer avec eux ou les servir au mieux. Lorsque le robot interagit avec des humains, l'accomplissement de la tâche n'est pas un critère suffisant pour quantifier la qualité de l'interaction. En effet, l'homme étant un être social, il est important que le robot puisse avoir des mécanismes de raisonnement lui permettant d'estimer également l'état mental de l'homme pour améliorer sa compréhension et son efficacité, mais aussi pour exhiber des comportements sociaux afin de se faire accepter et d'assurer le confort de l'humain. Dans ce manuscrit, nous présentons tout d'abord une infrastructure logicielle générique (indépendante de la plateforme robotique et des capteurs utilisés) qui permet de construire et maintenir une représentation de l'état du monde à l'aide de l'agrégation des données d'entrée et d'hypothèses sur l'environnement. Cette infrastructure est également en charge de l'évaluation de la situation. En utilisant l'état du monde qu'il maintient à jour, le système est capable de mettre en oeuvre divers raisonnements spatio-temporels afin d'évaluer la situation de l'environnement et des agents (humains et robots) présents. Cela permet ainsi d'élaborer et de maintenir une représentation symbolique de l'état du monde et d'avoir une connaissance en permanence de la situation des agents. Dans un second temps, pour aller plus loin dans la compréhension de la situation des humains, nous expliquerons comment nous avons doté notre robot de la capacité connue en psychologie développementale et cognitive sous le nom de “théorie de l'esprit” concrétisée ici par des mécanismes permettant de raisonner en se mettant à la place de l'humain, c'est à dire d'être doté de “prise de perspective”. Par la suite nous expliquerons comment l'évaluation de la situation permet d'établir un dialogue situé avec l'homme, et en quoi la capacité de gérer explicitement des croyances divergentes permet d'améliorer la qualité de l'interaction et la compréhension de l'homme par le robot. Nous montrerons également comment la connaissance de la situation et la possibilité de raisonner en se mettant à la place de l'homme permet une reconnaissance d'intentions appropriée de celui-ci et comment nous avons pu grâce à cela doter notre robot de comportements proactifs pour venir en aide à l'homme . Pour finir, nous présenterons une étude présentant un système de maintien d'un modèle des connaissances de l'homme sur diverses tâches et qui permet une gestion adaptée de l'interaction lors de l'élaboration interactive et l'accomplissement d'un plan partagé. / The first robots appeared in factories, in the form of programmable controllers. These first robotic forms usually had a very limited number of sensors and simply repeated a small set of sequences of motions and actions. Nowadays, more and more robots have to interact or cooperate with humans, whether at the workplace with teammate robots or at home with assistance robots. Introducing a robot in a human environment raises many challenges. Indeed, to evolve in the same environment as humans, and to understand this environment, the robot must be equipped with appropriate cognitive abilities. Beyond understanding the physical environment, the robot must be able to reason about human partners in order to work with them or serve them best. When the robot interacts with humans, the fulfillment of the task is not a sufficient criterion to quantify the quality of the interaction. Indeed, as the human is a social being, it is important that the robot can have reasoning mechanisms allowing it to assess the mental state of the human to improve his understanding and efficiency, but also to exhibit social behaviors in order to be accepted and to ensure the comfort of the human. In this manuscript, we first present a generic framework (independent of the robotic platform and sensors used) to build and maintain a representation of the state of the world by using the aggregation of data entry and hypotheses on the environment. This infrastructure is also in charge of assessing the situation. Using the state of the world it maintains, the system is able to utilize various spatio-temporal reasoning to assess the situation of the environment and the situation of the present agents (humans and robots). This allows the creation and maintenance of a symbolic representation of the state of the world and to keep awareness of each agent status. Second, to go further in understanding the situation of the humans, we will explain how we designed our robot with the capacity known in developmental and cognitive psychology as "theory of mind", embodied here by mechanisms allowing the system to reason by putting itself in the human situation, that is to be equipped with "perspective-taking" ability. Later we will explain how the assessment of the situation enables a situated dialogue with the human, and how the ability to explicitly manage conflicting beliefs can improve the quality of interaction and understanding of the human by the robot. We will also show how knowledge of the situation and the perspective taking ability allows proper recognition of human intentions and how we enhanced the robot with proactive behaviors to help the human. Finally, we present a study where a system maintains a human model of knowledge on various tasks to improve the management of the interaction during the interactive development and fulfillment of a shared plan.

Poslední roky přinesly rostoucí trend nasazení robotů v nových aplikacích, kde se od nich očekává nejen práce vedle lidí, ale skutečná spolupráce na společných komplexních úlohách. K umožnění blízké, bohaté a přirozené interakce člověka s robotem, bude nutné podstatně rozšířit schopnosti současných robotických systémů. Dále již nebude docházet k interakci jen mezi roboty v bezpečnostních klecích a experty na jejich programování. Stále častěji budou interagovat s~bezpečnými spolupracujícími roboty uživatelé bez odborných znalostí z oblasti robotiky, s různorodým vzděláním a zkušenostmi. Úžasně složitá zařízení, kterými dnešní roboti jsou, se tak stanou ještě složitějšími, což představuje zásadní výzvu pro návrh jejich uživatelských rozhraní. Cílem této práce je zkoumat a vyvinout řešení umožňující blízkou interakci mezi neodbornými uživateli a komplexními roboty. Výzkum byl zaměřen na dvě oblasti robotiky: asistenční servisní a průmyslové spolupracující roboty. Ačkoliv se tyto dvě oblasti vyznačují odlišnými požadavky, pro návrh interakce mezi člověkem a~robotem je možné použít podobné principy. Nedostatky stávajících přístupů jsou řešeny návrhem nové metody pro úlohově zaměřenou interakci. Nejvýznamější aspekty metody jsou využití smíšené reality, autonomních funkcí robota, komunikace vnitřního stavu robota, kontextová citlivost a použití modalit vhodných pro danou úlohu. Pro obě oblasti zaměření výzkumu bylo na základě metody navrženo a implementováno uživatelské rozhraní. Obě rozhraní byla úspěšně ověřena s neodbornými uživateli, kteří díky nim byli schopni úspěšně spolupracovat s robotem na složitých úlohách. Publikovaná ověření rozhraní prokazují, že realizovaná metoda významně zlepšuje blízkou interakci mezi člověkem a robotem, která s dosavadními přístupy nebyla plně dosažitelná. Klíčové aspekty metody představují vodítko pro návrh uživatelských rozhraní v oblasti spolupracujících robotů.

No description available.

No description available.

In a regular classroom setting, a more emotionally expressive teacher has been shown to be positively correlated with learning outcomes and task motivation among the students. Would this also be the case if the teacher were a robot? This study investigates how the facial expressions of an anthropomorphic robot affect learning outcomes and task motivation in adult learners studying a second language by setting up an experiment using the Furhat robot. The same interactions were carried out by an experiment group and a control group. The results show no increase in performance in either learning outcomes or task performance. Future studies are suggested to investigate other potential factors of why robots outperform regular computers in these settings. / I ett vanligt klassrumssammanhang har det visats att lärare som visar känslouttryck har en positiv korrelation med läranderesultat och motivation hos studenterna. Skulle detta också vara fallet om läraren var en robot? Den här studien undersöker hur ansiktsuttrycken hos en människoliknande robot påverkar läranderesultat och motivation hos vuxna studenter som lär sig ett andraspråk genom ett experiment med roboten Furhat. Samma interaktioner genomfördes av både en experimentgrupp och en kontrollgrupp. Resultaten visar ingen ökning av varken läranderesultat eller motivation. Framtida studier föreslås att undersöka andra potentiella faktorer som bidrar till att robotar utpresterar människor i dessa sammanhang.

Human-controlled robots are utilized in many situations and such use is becoming widespread. This thesis details research that allows a single human to interact with a team of robots performing tasks that require cooperation. The research provides insight into effective interaction design methods and appropriate interface techniques. The use of team-level autonomy is shown to decrease human workload while simultaneously improving individual robot efficiency and robot-team cooperation. An indoor human-robot interaction testbed was developed at the BYU MAGICC Lab to facilitate experimentation. The testbed consists of eight robots equipped with wireless modems, a field on which the robots move, an overhead camera and image processing software which tracks robot position and heading, a simulator which allows development and testing without hardware utilization and a graphical user interface which enables human control of either simulated or hardware robots. The image processing system was essential for effective robot hardware operation and is described in detail. The system produced accurate robot position and heading information 30 times per second for a maximum of 12 robots, was relatively insensitive to lighting conditions and was easily reconfigurable. The completed testbed was utilized to create a game for testing human-robot interaction schemes. The game required a human controlling three robots to find and tag three robot opponents in a maze. Finding an opponent could be accomplished by individual robots, but tagging an opponent required cooperation between at least two robots. The game was played by 11 subjects in five different autonomy modes ranging from limited robot autonomy to advanced individual autonomy with basic team-level autonomy. Participants were interrupted during the game by a secondary spatial reasoning task which prevented them from interacting with the robots for short periods of time. Robot performance during that interruption provided a measure of both individual and team neglect tolerance. Individual robot neglect tolerance and performance did not directly correspond to those quantities at the team level. The interaction mode with the highest levels of individual and team autonomy was most effective; it minimized game time and human workload and maximized team neglect tolerance.

Datorstyrda maskiner som både kan styra sina egna aktiviteter och som har ett stort rörelseomfång kommer snart att dela vår fysiska miljö vilket kommer innebära en drastisk förändring för vår nuvarande mänskliga kontext. Tidigare olyckor som skett mellan mänskliga förare och automatiserade fordon kan förklaras genom en bristande förståelse för de automatiserade fordonets beteende. Det är därför viktigt att ta reda på hur människor förstår automatiserade fordons förmågor och begränsningar. SAE International, en global yrkeskår får ingenjörer verksamma inom fordonsindustrin, har definierat ett ramverk som beskriver funktionaliteten hos automatiserade fordon i 6 olika nivåer. Den rapporterade studien undersökte med utgångspunkt i detta ramverk vilken automationsgrad deltagarna antar att en självkörande buss har genom deltagarnas upplevelse av fordonet. Inom ramarna för studien färdades deltagarna en kort sträcka på en självkörande buss och besvarade en enkät om hur de ser på bussens förmågor och begränsningar både före och efter färden. Studieresultatet visade att hälften av deltagarna överskattade bussens automationsgrad. Efter att ha färdats med bussen justerade deltagarna ner sina förväntningar på fordonets körförmåga vilket stämde bättre överens med bussens förmågor och begränsningar. Deltagarna rapporterade även att de var mer säkra i sina bedömningar efter erfarenhet av fordonet. Sammanfattningsvis tyder resultatet på att (1) människor tenderar att överskatta automatiserade fordons körförmåga, men att (2) deras uppfattning justeras i samband med att de kommer i kontakt med det automatiserade fordonet i verkligheten och att (3) de då även blir mer säkra i sina bedömningar. Detta borde tas i beaktning vid utveckling av självkörande fordon för att minska risken för olyckor i trafiken.

Virtual Reality (VR) is gaining more and more popularity as a research tool in the field of Human-Robot Interaction (HRI). To fully deploy the potential of VR and benefit HRI studies, we need to establish the basic understanding of the relationship between the physical, real-world interaction (Live) and VR. This study compared Live and VR HRI with a focus on proxemics, as proxemics preference can reflect comprehensive human intuition, making it suitable to be used to compare Live and VR. To evaluate the influence of different modalities in VR, virtual scenes with different visual familiarity and spatial sound were compared as well. Lab experiments were conducted with a physical Pepper robot and its virtual copy. In both Live and VR, proxemics preferences, the perception of the robot (competence and discomfort) and the feeling of presence were measured and compared. Results suggest that proxemic preferences do not remain consistent in Live and in VR, which could be influenced by the perception of the robot. Therefore, when conducting HRI experiments in VR, the perceptions of the robot need be compared before the experiments. Results also indicate freedom within VR HRI as different VR settings are consistent with each other.