Avec le développement de la robotique cognitive, le besoin d’outils avancés pour représenter, manipuler, raisonner sur les connaissances acquises par un robot a clairement été mis en avant. Mais stocker et manipuler des connaissances requiert tout d’abord d’éclaircir ce que l’on nomme connaissance pour un robot, et comment celle-ci peut-elle être représentée de manière intelligible pour une machine. Ce travail s’efforce dans un premier temps d’identifier de manière systématique les besoins en terme de représentation de connaissance des applications robotiques modernes, dans le contexte spécifique de la robotique de service et des interactions homme-robot. Nous proposons une typologie originale des caractéristiques souhaitables des systèmes de représentation des connaissances, appuyée sur un état de l’art détaillé des outils existants dans notre communauté. Dans un second temps, nous présentons en profondeur ORO, une instanciation particulière d’un système de représentation et manipulation des connaissances, conçu et implémenté durant la préparation de cette thèse. Nous détaillons le fonctionnement interne du système, ainsi que son intégration dans plusieurs architectures robotiques complètes. Un éclairage particulier est donné sur la modélisation de la prise de perspective dans le contexte de l’interaction, et de son interprétation en terme de théorie de l’esprit. La troisième partie de l’étude porte sur une application importante des systèmes de représentation des connaissances dans ce contexte de l’interaction homme-robot : le traitement du dialogue situé. Notre approche et les algorithmes qui amènent à l’ancrage interactif de la communication verbale non contrainte sont présentés, suivis de plusieurs expériences menées au Laboratoire d’Analyse et d’Architecture des Systèmes au CNRS à Toulouse, et au groupe Intelligent Autonomous System de l’université technique de Munich. Nous concluons cette thèse sur un certain nombre de considérations sur la viabilité et l’importance d’une gestion explicite des connaissances des agents, ainsi que par une réflexion sur les éléments encore manquant pour réaliser le programme d’une robotique “de niveau humain” / With the rise of the so-called cognitive robotics, the need of advanced tools to store, manipulate, reason about the knowledge acquired by the robot has been made clear. But storing and manipulating knowledge requires first to understand what the knowledge itself means to the robot and how to represent it in a machine-processable way. This work strives first at providing a systematic study of the knowledge requirements of modern robotic applications in the context of service robotics and human-robot interaction. What are the expressiveness requirement for a robot? what are its needs in term of reasoning techniques? what are the requirement on the robot's knowledge processing structure induced by other cognitive functions like perception or decision making? We propose a novel typology of desirable features for knowledge representation systems supported by an extensive review of existing tools in our community. In a second part, the thesis presents in depth a particular instantiation of a knowledge representation and manipulation system called ORO, that has been designed and implemented during the preparation of the thesis. We elaborate on the inner working of this system, as well as its integration into several complete robot control stacks. A particular focus is given to the modelling of agent-dependent symbolic perspectives and their relations to theories of mind. The third part of the study is focused on the presentation of one important application of knowledge representation systems in the human-robot interaction context: situated dialogue. Our approach and associated algorithms leading to the interactive grounding of unconstrained verbal communication are presented, followed by several experiments that have taken place both at the Laboratoire d'Analyse et d'Architecture des Systèmes at CNRS, Toulouse and at the Intelligent Autonomous System group at Munich Technical University. The thesis concludes on considerations regarding the viability and importance of an explicit management of the agent's knowledge, along with a reflection on the missing bricks in our research community on the way towards "human level robots"

Les premiers robots sont apparus dans les usines, sous la forme d'automates programmables. Ces premières formes robotiques ont le plus souvent un nombre très limité de capteurs et se contentent de répéter une séquence de mouvements et d'actions. De nos jours, de plus en plus de robots ont à interagir ou coopérer avec l'homme, que se soit sur le lieu de travail avec les robots coéquipiers ou dans les foyers avec les robots d'assistance. Mettre un robot dans un environnement humain soulève de nombreuses problématiques. En effet, pour évoluer dans le même environnement que l'homme et comprendre cet environnement, le robot doit être doté de capacités cognitives appropriées. Au delà de la compréhension de l'environnement matériel, le robot doit être capable de raisonner sur partenaires humains afin de pouvoir collaborer avec eux ou les servir au mieux. Lorsque le robot interagit avec des humains, l'accomplissement de la tâche n'est pas un critère suffisant pour quantifier la qualité de l'interaction. En effet, l'homme étant un être social, il est important que le robot puisse avoir des mécanismes de raisonnement lui permettant d'estimer également l'état mental de l'homme pour améliorer sa compréhension et son efficacité, mais aussi pour exhiber des comportements sociaux afin de se faire accepter et d'assurer le confort de l'humain. Dans ce manuscrit, nous présentons tout d'abord une infrastructure logicielle générique (indépendante de la plateforme robotique et des capteurs utilisés) qui permet de construire et maintenir une représentation de l'état du monde à l'aide de l'agrégation des données d'entrée et d'hypothèses sur l'environnement. Cette infrastructure est également en charge de l'évaluation de la situation. En utilisant l'état du monde qu'il maintient à jour, le système est capable de mettre en oeuvre divers raisonnements spatio-temporels afin d'évaluer la situation de l'environnement et des agents (humains et robots) présents. Cela permet ainsi d'élaborer et de maintenir une représentation symbolique de l'état du monde et d'avoir une connaissance en permanence de la situation des agents. Dans un second temps, pour aller plus loin dans la compréhension de la situation des humains, nous expliquerons comment nous avons doté notre robot de la capacité connue en psychologie développementale et cognitive sous le nom de “théorie de l'esprit” concrétisée ici par des mécanismes permettant de raisonner en se mettant à la place de l'humain, c'est à dire d'être doté de “prise de perspective”. Par la suite nous expliquerons comment l'évaluation de la situation permet d'établir un dialogue situé avec l'homme, et en quoi la capacité de gérer explicitement des croyances divergentes permet d'améliorer la qualité de l'interaction et la compréhension de l'homme par le robot. Nous montrerons également comment la connaissance de la situation et la possibilité de raisonner en se mettant à la place de l'homme permet une reconnaissance d'intentions appropriée de celui-ci et comment nous avons pu grâce à cela doter notre robot de comportements proactifs pour venir en aide à l'homme . Pour finir, nous présenterons une étude présentant un système de maintien d'un modèle des connaissances de l'homme sur diverses tâches et qui permet une gestion adaptée de l'interaction lors de l'élaboration interactive et l'accomplissement d'un plan partagé. / The first robots appeared in factories, in the form of programmable controllers. These first robotic forms usually had a very limited number of sensors and simply repeated a small set of sequences of motions and actions. Nowadays, more and more robots have to interact or cooperate with humans, whether at the workplace with teammate robots or at home with assistance robots. Introducing a robot in a human environment raises many challenges. Indeed, to evolve in the same environment as humans, and to understand this environment, the robot must be equipped with appropriate cognitive abilities. Beyond understanding the physical environment, the robot must be able to reason about human partners in order to work with them or serve them best. When the robot interacts with humans, the fulfillment of the task is not a sufficient criterion to quantify the quality of the interaction. Indeed, as the human is a social being, it is important that the robot can have reasoning mechanisms allowing it to assess the mental state of the human to improve his understanding and efficiency, but also to exhibit social behaviors in order to be accepted and to ensure the comfort of the human. In this manuscript, we first present a generic framework (independent of the robotic platform and sensors used) to build and maintain a representation of the state of the world by using the aggregation of data entry and hypotheses on the environment. This infrastructure is also in charge of assessing the situation. Using the state of the world it maintains, the system is able to utilize various spatio-temporal reasoning to assess the situation of the environment and the situation of the present agents (humans and robots). This allows the creation and maintenance of a symbolic representation of the state of the world and to keep awareness of each agent status. Second, to go further in understanding the situation of the humans, we will explain how we designed our robot with the capacity known in developmental and cognitive psychology as "theory of mind", embodied here by mechanisms allowing the system to reason by putting itself in the human situation, that is to be equipped with "perspective-taking" ability. Later we will explain how the assessment of the situation enables a situated dialogue with the human, and how the ability to explicitly manage conflicting beliefs can improve the quality of interaction and understanding of the human by the robot. We will also show how knowledge of the situation and the perspective taking ability allows proper recognition of human intentions and how we enhanced the robot with proactive behaviors to help the human. Finally, we present a study where a system maintains a human model of knowledge on various tasks to improve the management of the interaction during the interactive development and fulfillment of a shared plan.

Poslední roky přinesly rostoucí trend nasazení robotů v nových aplikacích, kde se od nich očekává nejen práce vedle lidí, ale skutečná spolupráce na společných komplexních úlohách. K umožnění blízké, bohaté a přirozené interakce člověka s robotem, bude nutné podstatně rozšířit schopnosti současných robotických systémů. Dále již nebude docházet k interakci jen mezi roboty v bezpečnostních klecích a experty na jejich programování. Stále častěji budou interagovat s~bezpečnými spolupracujícími roboty uživatelé bez odborných znalostí z oblasti robotiky, s různorodým vzděláním a zkušenostmi. Úžasně složitá zařízení, kterými dnešní roboti jsou, se tak stanou ještě složitějšími, což představuje zásadní výzvu pro návrh jejich uživatelských rozhraní. Cílem této práce je zkoumat a vyvinout řešení umožňující blízkou interakci mezi neodbornými uživateli a komplexními roboty. Výzkum byl zaměřen na dvě oblasti robotiky: asistenční servisní a průmyslové spolupracující roboty. Ačkoliv se tyto dvě oblasti vyznačují odlišnými požadavky, pro návrh interakce mezi člověkem a~robotem je možné použít podobné principy. Nedostatky stávajících přístupů jsou řešeny návrhem nové metody pro úlohově zaměřenou interakci. Nejvýznamější aspekty metody jsou využití smíšené reality, autonomních funkcí robota, komunikace vnitřního stavu robota, kontextová citlivost a použití modalit vhodných pro danou úlohu. Pro obě oblasti zaměření výzkumu bylo na základě metody navrženo a implementováno uživatelské rozhraní. Obě rozhraní byla úspěšně ověřena s neodbornými uživateli, kteří díky nim byli schopni úspěšně spolupracovat s robotem na složitých úlohách. Publikovaná ověření rozhraní prokazují, že realizovaná metoda významně zlepšuje blízkou interakci mezi člověkem a robotem, která s dosavadními přístupy nebyla plně dosažitelná. Klíčové aspekty metody představují vodítko pro návrh uživatelských rozhraní v oblasti spolupracujících robotů.

No description available.

No description available.

In a regular classroom setting, a more emotionally expressive teacher has been shown to be positively correlated with learning outcomes and task motivation among the students. Would this also be the case if the teacher were a robot? This study investigates how the facial expressions of an anthropomorphic robot affect learning outcomes and task motivation in adult learners studying a second language by setting up an experiment using the Furhat robot. The same interactions were carried out by an experiment group and a control group. The results show no increase in performance in either learning outcomes or task performance. Future studies are suggested to investigate other potential factors of why robots outperform regular computers in these settings. / I ett vanligt klassrumssammanhang har det visats att lärare som visar känslouttryck har en positiv korrelation med läranderesultat och motivation hos studenterna. Skulle detta också vara fallet om läraren var en robot? Den här studien undersöker hur ansiktsuttrycken hos en människoliknande robot påverkar läranderesultat och motivation hos vuxna studenter som lär sig ett andraspråk genom ett experiment med roboten Furhat. Samma interaktioner genomfördes av både en experimentgrupp och en kontrollgrupp. Resultaten visar ingen ökning av varken läranderesultat eller motivation. Framtida studier föreslås att undersöka andra potentiella faktorer som bidrar till att robotar utpresterar människor i dessa sammanhang.

Human-controlled robots are utilized in many situations and such use is becoming widespread. This thesis details research that allows a single human to interact with a team of robots performing tasks that require cooperation. The research provides insight into effective interaction design methods and appropriate interface techniques. The use of team-level autonomy is shown to decrease human workload while simultaneously improving individual robot efficiency and robot-team cooperation. An indoor human-robot interaction testbed was developed at the BYU MAGICC Lab to facilitate experimentation. The testbed consists of eight robots equipped with wireless modems, a field on which the robots move, an overhead camera and image processing software which tracks robot position and heading, a simulator which allows development and testing without hardware utilization and a graphical user interface which enables human control of either simulated or hardware robots. The image processing system was essential for effective robot hardware operation and is described in detail. The system produced accurate robot position and heading information 30 times per second for a maximum of 12 robots, was relatively insensitive to lighting conditions and was easily reconfigurable. The completed testbed was utilized to create a game for testing human-robot interaction schemes. The game required a human controlling three robots to find and tag three robot opponents in a maze. Finding an opponent could be accomplished by individual robots, but tagging an opponent required cooperation between at least two robots. The game was played by 11 subjects in five different autonomy modes ranging from limited robot autonomy to advanced individual autonomy with basic team-level autonomy. Participants were interrupted during the game by a secondary spatial reasoning task which prevented them from interacting with the robots for short periods of time. Robot performance during that interruption provided a measure of both individual and team neglect tolerance. Individual robot neglect tolerance and performance did not directly correspond to those quantities at the team level. The interaction mode with the highest levels of individual and team autonomy was most effective; it minimized game time and human workload and maximized team neglect tolerance.

Datorstyrda maskiner som både kan styra sina egna aktiviteter och som har ett stort rörelseomfång kommer snart att dela vår fysiska miljö vilket kommer innebära en drastisk förändring för vår nuvarande mänskliga kontext. Tidigare olyckor som skett mellan mänskliga förare och automatiserade fordon kan förklaras genom en bristande förståelse för de automatiserade fordonets beteende. Det är därför viktigt att ta reda på hur människor förstår automatiserade fordons förmågor och begränsningar. SAE International, en global yrkeskår får ingenjörer verksamma inom fordonsindustrin, har definierat ett ramverk som beskriver funktionaliteten hos automatiserade fordon i 6 olika nivåer. Den rapporterade studien undersökte med utgångspunkt i detta ramverk vilken automationsgrad deltagarna antar att en självkörande buss har genom deltagarnas upplevelse av fordonet. Inom ramarna för studien färdades deltagarna en kort sträcka på en självkörande buss och besvarade en enkät om hur de ser på bussens förmågor och begränsningar både före och efter färden. Studieresultatet visade att hälften av deltagarna överskattade bussens automationsgrad. Efter att ha färdats med bussen justerade deltagarna ner sina förväntningar på fordonets körförmåga vilket stämde bättre överens med bussens förmågor och begränsningar. Deltagarna rapporterade även att de var mer säkra i sina bedömningar efter erfarenhet av fordonet. Sammanfattningsvis tyder resultatet på att (1) människor tenderar att överskatta automatiserade fordons körförmåga, men att (2) deras uppfattning justeras i samband med att de kommer i kontakt med det automatiserade fordonet i verkligheten och att (3) de då även blir mer säkra i sina bedömningar. Detta borde tas i beaktning vid utveckling av självkörande fordon för att minska risken för olyckor i trafiken.

Virtual Reality (VR) is gaining more and more popularity as a research tool in the field of Human-Robot Interaction (HRI). To fully deploy the potential of VR and benefit HRI studies, we need to establish the basic understanding of the relationship between the physical, real-world interaction (Live) and VR. This study compared Live and VR HRI with a focus on proxemics, as proxemics preference can reflect comprehensive human intuition, making it suitable to be used to compare Live and VR. To evaluate the influence of different modalities in VR, virtual scenes with different visual familiarity and spatial sound were compared as well. Lab experiments were conducted with a physical Pepper robot and its virtual copy. In both Live and VR, proxemics preferences, the perception of the robot (competence and discomfort) and the feeling of presence were measured and compared. Results suggest that proxemic preferences do not remain consistent in Live and in VR, which could be influenced by the perception of the robot. Therefore, when conducting HRI experiments in VR, the perceptions of the robot need be compared before the experiments. Results also indicate freedom within VR HRI as different VR settings are consistent with each other.

Autonomous robots interacting with humans in a social setting must consider the social-cultural environment when pursuing their objectives. Thus the social robot must perceive and understand the social cultural environment in order to be able to explain and predict the actions of its human interaction partners. This dissertation contributes to the emerging field of human-robot interaction for social robots in the following ways: 1. We used the social calculus technique based on culture sanctioned social metrics (CSSMs) to quantify, analyze and predict the behavior of the robot, human soldiers and the public perception in the Market Patrol peacekeeping scenario. 2. We validated the results of the Market Patrol scenario by comparing the predicted values with the judgment of a large group of human observers cognizant of the modeled culture. 3. We modeled the movement of a socially aware mobile robot in a dense crowds, using the concept of a micro-conflict to represent the challenge of giving or not giving way to pedestrians. 4. We developed an approach for the robot behavior in micro-conflicts based on the psychological observation that human opponents will use a consistent strategy. For this, the mobile robot classifies the opponent strategy reflected by the personality and social status of the person and chooses an appropriate counter-strategy that takes into account the urgency of the robots' mission. 5. We developed an alternative approach for the resolution of micro-conflicts based on the imitation of the behavior of the human agent. This approach aims to make the behavior of an autonomous robot closely resemble that of a remotely operated one.