Robotics engineers' ongoing quest to create human-like robots has raised profound questions on their lack of ethical implications. The rapid progress and growth of humanoid robots is said to have a significant impact on society and human psychology in the near future. Interaction Design is a multidisciplinary field in which designers are often encouraged to engage in important conversations and find solutions to complex problems. On the other hand, animators often use animated videos as metaphors to reflect on important matters that are present in our cultural and societal spheres. This study investigates the use of animation in Speculative Design settings as material to bridge two communities together - the animators and roboticists, to foster ethical behaviors and impact future technology. The main result of the design process is a concept for a mobile platform that stimulates discussions on the ethical considerations of human relationships with humanoid robots, through speculative animation. Moreover, the interactive platform enhances imagination, creativity and learning processes between users.

Objectif de cette thèse est le développent de méthodes de planification pour la résolution de tâches jointes homme-robot dans des espaces publiques. Dans les espaces publiques, les utilisateurs qui coopèrent avec le robot peuvent facilement se distraire et abandonner la tâche jointe. Cette thèse se focalise donc sur les défis posés par l’incertitude et imprévisibilité d’une coopération avec un humain. La thèse décrit l’état de l’art sur la coopération homme-robot dans la robotique de service, et sur les modèles de planification. Elle présente ensuite une nouvelle approche théorique, basée sur les processus décisionnels de Markov partiellement observables, qui permet de garantir la coopération de l’humain tout au long de la tâche, de façon flexible, robuste et rapide. La thèse introduit une structure hiérarchique qui sépare l’aspect coopératif d’une activité jointe de la tâche en soi. L’approche a été appliquée dans un scénario réel, un robot guide dans un centre commercial. La thèse présente les expériences effectuées pour mesurer la qualité de l’approche proposée, ainsi que les expériences avec le robot réel. / This thesis presents a novel method for ensuring cooperation between humans and robots in public spaces, under the constraint of human behavior uncertainty. The thesis introduces a hierarchical and flexible framework based on POMDPs. The framework partitions the overall joint activity into independent planning modules, each dealing with a specific aspect of the joint activity: either ensuring the human-robot cooperation, or proceeding with the task to achieve. The cooperation part can be solved independently from the task and executed as a finite state machine in order to contain online planning effort. In order to do so, we introduce a belief shift function and describe how to use it to transform a POMDP policy into an executable finite state machine.The developed framework has been implemented in a real application scenario as part of the COACHES project. The thesis describes the Escort mission used as testbed application and the details of implementation on the real robots. This scenario has as well been used to carry several experiments and to evaluate our contributions.

In the last decades research and development in the field of robotics has grown rapidly. This growth has resulted in the emergence of service robots that need to be able to physically interact with humans for different applications. One of these applications involves robots and humans cooperating in handling an object together. In such cases, there is usually an initial arrangement of how the robot and the humans hold the object and the arrangement stays the same throughout the manipulation task. Real-world scenarios often require that the initial arrangement changes throughout the task, therefore, it is important that the robot is able to recognize these changes and act accordingly. We consider a setting where a robot holds a large flat object with one or two humans. The aim of this research project is to detect the change in the number of agents grasping the object using only force and torque information measured at the robot's wrist. The proposed solution involves defining a transition sequence of four steps that the humans should perform to go from the initial scenario to the final one. The force and torque information is used to estimate the grasping point of the agents with a Kalman filter. While the humans are going from one scenario to the other, the estimated point changes according to the step of the transition the humans are in. These changes are used to track the steps in the sequence using a hidden Markov model (HMM). Tracking the steps in the sequence means knowing how many agents are grasping the object. To evaluate the method, humans that were not involved in the training of the HMM were asked to perform two tasks: a) perform the previously defined sequence as is, and b) perform a deviation of the sequence. The results of the method show that it is possible to detect the change between one human and two humans holding the object using only force and torque information.

Abstract How do we cope with technology today? We are surrounded by machines, computers and technological devices from mobile phones to automated check- outs. These types of machines are no longer exotic in Sweden where today the average person is usually fluent in their use. But do we really have an understanding of how these objects work, is understanding necessary and how do we cope when our knowledge is lacking? This thesis is intended as an introduction to an anthropological way of look- ing at strategies people develop for understanding, using and interacting with technological objects, specifically robots. Still an exotic object, robots are more widely known-about than experienced. Based on ethnographic data, primarily gathered in two distinct workplace environments as well as interviews and video documentation, my analysis aims to illustrate the implications of defining hu- mans and robots as equally significant agents within networks whilst disputing the traditional importance given to the dichotomy of technology (non-human) and human. Whilst robots are definitely less than we expect them to be, they are still so- cial artefacts, firmly situated within social networks and meaning which manifest through human–robot interactions. Perhaps little more than tools, an ambigu- ity exists in human–robot interactions which suggests that we form quasi-social relations that could, and have been exploited by designers and engineers to broaden the range of use for technological objects. Keywords: human-robot interaction, network theory, situated knowledges, agential realism, performativity, social contextualisation of technological objects

As the field of robotics advances, more robots are employed in our everyday environment. Thus, the implementation of robots that can actively engage in physical collaboration and naturally interact with humans is of high importance. In order to achieve this goal, it is necessary to study human interaction and social cognition and how these aspects can be implemented in robotic agents. The theory of social sensorimotor contingencies hypothesises that many aspects of human-human interaction depend on low-level signalling and mutual prediction. In this thesis, I give an extensive account of these underlying mechanisms and how research in human-robot interaction has incorporated this knowledge. I integrate this work in human-human and human-robot interaction into a coherent framework of social sensorimotor contingencies. Furthermore, I devise a generative model based on low-level latent features that allows inferences about other agent's behaviour. With this simulation experiment I demonstrate that embodied cognition can explain behaviour that is usually interpreted with help of high-level belief and mental state inferences. In conclusion, the implementation of these low-level processes in robots creates a more natural and intuitive interaction without the need of high-level representations.

Aujourd'hui, les robots sont de plus en plus présents dans la vie quotidienne. L’étude et le développement de stratégies d'interaction sociale et émotionnelle constitue un point clé de leur insertion dans notre espace social. Ces derniers années, beaucoup de recherches se sont intéressées à la communication homme-robot en exploitant les expressions faciales, posturales ou encore vocales, mais très peu de recherches se sont intéressées à l’interaction physique via le toucher. Cependant, des recherches récentes dans le domaine de la psychologie et des interfaces homme-machine (IHM) ont montré le rôle de la modalité haptique et plus particulièrement tactile dans la perception des émotions et de leurs différentes dimensions (par exemple valence, activation, dominance). L’objectif de ce projet est d’exploiter cette modalité sensorielle dans l'interaction affective homme-robot. Sur la base du robot humanoïde MEKA, un ensemble de capteurs tactiles et physiologiques seront étudiés et développés afin de sensibiliser certaines régions de son corps (ex. bras, épaule, main) et détecter l’état émotionnel de l’utilisateur. Par la suite, une série d’études seront menées afin d'analyser le comportement des utilisateurs dans des situations d’interaction affective avec le robot. Les résultats de ces études nous permettront d’identifier des comportements affectifs haptiques types qui seront utilisés pour modéliser le comportement du robot dans des contextes d’interactions sociales. / Today, robots are more and more present in everyday life. The study and the development of strategies of social and emotional interaction constitutes a key point of their insertion in our social space. The latter years, many researches were carried out in the man-robot communication by exploiting the facial expressions, posturals or still vocal, but very few focused on the physical interaction via the touch. However, recent researches in the field of the psychology and the human-machine interfaces (HMI) showed the role of the haptic modality and more particularly tactile in the perception of the feelings and their various dimensions (for example valence, activation, dominance). The objective of this project is to exploit this sensory modality in the emotional man-robot interaction. On the basis of the robot humanoid MEKA, a set of tactile and physiological sensors will be studied and developed to make sensitive certain regions of its body (eg arm, shoulder, hand) and to detect the emotional state of the user. Afterward, a series of studies will be led to analyze the behavior of the users in situations of emotional interaction with the robot. The results of these studies will allow us to identify typical haptic emotional behavior which will be used to model the behavior of the robot in contexts of social interactions.

Les systèmes de robotique sociale sont de plus en plus présents dans nos vies. Ce ne sont plus des entités isolées, mais on s'attend à ce qu'ils soient capables d'interagir et de communiquer avec les humains. Ils doivent respecter les normes comportementales attendues par les humains avec qui les systèmes robotiques sont en interaction.L'une des principales pistes de recherche dans le domaine de la robotique sociale est représentée par la conception d'une interaction naturelle entre un robot social et un individu. Plus spécifiquement, cette interaction devrait prendre en considération le profil de l'individu, l'état émotionnel, l'état physiologique et l'humeur, entre autres.Dans cette thèse, nous explorons la relation qui existe entre l'échelle de typologie circadienne, la performance cognitive et l'état physiologique au cours de différents scénarios d'interaction homme-robot. L'administration de différents questionnaires psychologiques permet de déterminer le profil d'un individu. En outre, à l’aide de différents capteurs (par exemple, GSR, caméra thermique), de multiples méthodologies ont été développées pour déterminer l’état physiologique d’un individu. Plus spécifiquement, la variation de la température faciale, le clignotement des yeux et la réponse galvanique de la peau ont été étudiés.Plusieurs scénarios d'interaction homme-robot ont été conçus afin de tester le système développé. L'impact de l'empathie a également été étudié. En outre, le système développé a été testé avec succès dans deux environnements réels, avec deux populations vulnérables. La première application d'assistance est représentée par le projet de recherche EU H2020 ENRICHME, dans lequel un robot a été développé pour les personnes âgées atteintes d'un trouble cognitif léger. La deuxième population vulnérable est constituée d'individus souffrant de différents troubles du sommeil.Nous pensons que cette thèse représente une étape importante dans la compréhension de l'état physiologique de l'individu et est liée à la performance cognitive. / Social robotic systems are more and more present in our everyday lives. They are no longer isolated entities, but instead, they are expected to be capable of interacting and communicating with humans. They have to follow the behavioral norms that are expected by the individuals the robotic systems are interacting with.One of the main research directions in the field of social robotics is represented by the design of a natural interaction between a social robot and an individual. More specifically, this interaction should take into consideration the profile of the individual, the emotional state, the physiological internal state, and the mood, among others.In this thesis it is explored the relationship that exists between morningness-eveningness, cognitive performance, and the internal physiological state during different human-robot interaction scenarios. By administering different psychological questionnaires, the profile of an individual can be determined. Moreover, with the help of different sensors (e.g., GSR, thermal camera), multiple methodologies were developed to determine the internal physiological state of an individual. More specifically, the facial temperature variation, the blinking, and the galvanic skin response were investigated.Several human-robot interaction scenarios have been designed in order to test the developed system. The impact of empathy was also investigated. Furthermore, the developed system was successfully tested in two real-world environments, with two vulnerable populations. The first assistive application is represented by the ENRICHME EU H2020 research project, where a personal robot was developed for the elderly with mild cognitive impairment. The second vulnerable population consists of individuals suffering from different sleep disorders.We believe that this thesis represents an important step in understanding how the physiological internal state of an individual is related to cognitive performance, and to the user profile of that individual.

Un robot agit sur son environnement par le mouvement, sa capacité à planifier ses mouvements est donc une composante essentielle de son autonomie. L'objectif de cette thèse est concevoir des méthodes algorithmiques performantes permettant le calcul automatique de trajectoires pour des systèmes robotiques complexes dans le cadre de la robotique d'assistance. Les systèmes considérés qui ont pour vocation de servir l'homme et de l'accompagner dans des tâches du quotidien doivent tenir compte de la sécurité et du bien-être de l'homme. Pour cela, les mouvements du robot doivent être générés en considérant explicitement le partenaire humain raisonant sur un modèle du comportement social de l'homme, de ses capacités et de ses limites afin de produire un comportement synergique optimal.Dans cette thèse nous étendons les travaux pionniers menés au LAAS dans ce domaine afin de produire des mouvements considérant l’homme de manière explicite dans des environnements encombrés. Des algorithmes d’exploration de l’espace des configurations par échantillonnage aléatoire sont combinés à des algorithmes d’optimisation de trajectoire afin de produire des mouvements sûrs et agréables. Nous proposons dans un deuxième temps un planificateur de tâche d’échange d’objet prenant en compte la mobilité du receveur humain permettant ainsi de partager l’effort lors du transfert. La pertinence de cette approche a été étudiée dans une étude utilisateur. Finalement, nous présentons une architecture logicielle qui permet de prendre en compte l’homme de manière dynamique lors de la réalisation de tâches de manipulation interactive / A robot act upon its environment through motion, the ability to plan its movements is therefore an essential component of its autonomy. The objective of this thesis is to design algorithmic methods to perform automatic trajectory computation for complex robotic systems in the context of assistive robotics. This emerging field of autonomous robotics applications brings new constraints and new challenges. Such systems that are designed to serve humans and to help in daily tasks must consider the safety and well-being of the surrounding humans. To do this, the robot's motions must be generated by considering the human partner explicitly. For comfort and efficiency, the robot must take into account a model of human social behavior, capabilities and limitations to produce an optimal synergistic behavior.In this thesis we extend to cluttered environments the pioneering work that has been conducted at LAAS in this field. Algorithms that explore the configuration space by random sampling are combined with trajectory optimization algorithms to produce safe and human aware motions. Secondly we propose a planner for object handover taking into account the mobility of the human recipient allowing to share the effort during the transfer. The relevance of this approach has been studied in a user study. Finally, we present a software architecture developed in collaboration with a partner of the European project Dexmart that allows to take dynamically into account humans during the execution of interactive manipulation tasks

Les robots sont les futurs compagnons et équipiers de demain. Que ce soit pour aider les personnes âgées ou handicapées dans leurs vies de tous les jours ou pour réaliser des tâches répétitives ou dangereuses, les robots apparaîtront petit à petit dans notre environnement. Cependant, nous sommes encore loin d'un vrai robot autonome, qui agirait de manière naturelle, efficace et sécurisée avec l'homme. Afin de doter le robot de la capacité d'agir naturellement avec l'homme, il est important d'étudier dans un premier temps comment les hommes agissent entre eux. Cette thèse commence donc par un état de l'art sur l'action conjointe en psychologie et philosophie avant d'aborder la mise en application des principes tirés de cette étude à l'action conjointe homme-robot. Nous décrirons ensuite le module de supervision pour l'interaction homme-robot développé durant la thèse. Une partie des travaux présentés dans cette thèse porte sur la gestion de ce que l'on appelle un plan partagé. Ici un plan partagé est une séquence d'actions partiellement ordonnées à effectuer par l'homme et/ou le robot afin d'atteindre un but donné. Dans un premier temps, nous présenterons comment le robot estime l'état des connaissances des hommes avec qui il collabore concernant le plan partagé (appelées états mentaux) et les prend en compte pendant l'exécution du plan. Cela permet au robot de communiquer de manière pertinente sur les potentielles divergences entre ses croyances et celles des hommes. Puis, dans un second temps, nous présenterons l'abstraction de ces plan partagés et le report de certaines décisions. En effet, dans les précédents travaux, le robot prenait en avance toutes les décisions concernant le plan partagé (qui va effectuer quelle action, quels objets utiliser...) ce qui pouvait être contraignant et perçu comme non naturel par l'homme lors de l'exécution car cela pouvait lui imposer une solution par rapport à une autre. Ces travaux vise à permettre au robot d'identifier quelles décisions peuvent être reportées à l'exécution et de gérer leur résolutions suivant le comportement de l'homme afin d'obtenir un comportement du robot plus fluide et naturel. Le système complet de gestions des plan partagés à été évalué en simulation et en situation réelle lors d'une étude utilisateur. Par la suite, nous présenterons nos travaux portant sur la communication non-verbale nécessaire lors de de l'action conjointe homme-robot. Ces travaux sont ici focalisés sur l'usage de la tête du robot, cette dernière permettant de transmettre des informations concernant ce que fait le robot et ce qu'il comprend de ce que fait l'homme, ainsi que des signaux de coordination. Finalement, il sera présenté comment coupler planification et apprentissage afin de permettre au robot d'être plus efficace lors de sa prise de décision. L'idée, inspirée par des études de neurosciences, est de limiter l'utilisation de la planification (adaptée au contexte de l'interaction homme-robot mais coûteuse) en laissant la main au module d'apprentissage lorsque le robot se trouve en situation "connue". Les premiers résultats obtenus démontrent sur le principe l'efficacité de la solution proposée. / In the future, robots will become our companions and co-workers. They will gradually appear in our environment, to help elderly or disabled people or to perform repetitive or unsafe tasks. However, we are still far from a real autonomous robot, which would be able to act in a natural, efficient and secure manner with humans. To endow robots with the capacity to act naturally with human, it is important to study, first, how humans act together. Consequently, this manuscript starts with a state of the art on joint action in psychology and philosophy before presenting the implementation of the principles gained from this study to human-robot joint action. We will then describe the supervision module for human-robot interaction developed during the thesis. Part of the work presented in this manuscript concerns the management of what we call a shared plan. Here, a shared plan is a a partially ordered set of actions to be performed by humans and/or the robot for the purpose of achieving a given goal. First, we present how the robot estimates the beliefs of its humans partners concerning the shared plan (called mental states) and how it takes these mental states into account during shared plan execution. It allows it to be able to communicate in a clever way about the potential divergent beliefs between the robot and the humans knowledge. Second, we present the abstraction of the shared plans and the postponing of some decisions. Indeed, in previous works, the robot took all decisions at planning time (who should perform which action, which object to use…) which could be perceived as unnatural by the human during execution as it imposes a solution preferentially to any other. This work allows us to endow the robot with the capacity to identify which decisions can be postponed to execution time and to take the right decision according to the human behavior in order to get a fluent and natural robot behavior. The complete system of shared plans management has been evaluated in simulation and with real robots in the context of a user study. Thereafter, we present our work concerning the non-verbal communication needed for human-robot joint action. This work is here focused on how to manage the robot head, which allows to transmit information concerning what the robot's activity and what it understands of the human actions, as well as coordination signals. Finally, we present how to mix planning and learning in order to allow the robot to be more efficient during its decision process. The idea, inspired from neuroscience studies, is to limit the use of planning (which is adapted to the human-aware context but costly) by letting the learning module made the choices when the robot is in a "known" situation. The first obtained results demonstrate the potential interest of the proposed solution.

京都大学 / 0048 / 新制・課程博士 / 博士(情報学) / 甲第17928号 / 情博第510号 / 新制||情||90(附属図書館) / 30748 / 京都大学大学院情報学研究科知能情報学専攻 / (主査)教授 奥乃 博, 教授 河原 達也, 教授 山本 章博 / 学位規則第4条第1項該当 / Doctor of Informatics / Kyoto University / DFAM