With the great advancement in robot technology, smart human-robot interaction is considered to be the most wanted success by the researchers these days. If a robot can identify emotions and intentions of a human interacting with it, that would make robots more useful. Electroencephalography (EEG) is considered one effective way of recording emotions and motivations of a human using brain. Various machine learning techniques are used successfully to classify EEG data accurately. K-Nearest Neighbor, Bayesian Network, Artificial Neural Networks and Support Vector Machine are among the suitable machine learning techniques to classify EEG data. The aim of this thesis is to evaluate different machine learning techniques to classify EEG data associated with specific affective/emotional states. Different methods based on different signal processing techniques are studied to find a suitable method to process the EEG data. Various number of EEG data features are used to identify those which give best results for different classification techniques. Different methods are designed to format the dataset for EEG data. Formatted datasets are then evaluated on various machine learning techniques to find out which technique can accurately classify EEG data according to associated affective/emotional states. Research method includes conducting an experiment. The aim of the experiment was to find the various emotional states in subjects as they look on different pictures and record the EEG data. The obtained EEG data is processed, formatted and evaluated on various machine learning techniques to find out which technique can accurately classify EEG data according to associated affective/emotional states. The experiment confirms the choice of a technique for improving the accuracy of results. According to the results, Support Vector Machine is the first and Regression Tree is the second best to classify EEG data associated with specific affective/emotional states with accuracies up to 70.00% and 60.00% respectively. SVM is better in performance than RT. However, RT is famous for providing better accuracies for diverse EEG data.

L’interaction Humain-Robot est un domaine de recherche en pleine expansion parmi la communauté robotique. De par sa nature il réunit des chercheurs venant de domaines variés, tels que psychologie, sociologie et, bien entendu, robotique. Ensemble, ils définissent et dessinent les robots avec lesquels nous interagirons dans notre quotidien.Comme humains et robots commencent à travailler en environnement partagés, la diversité des tâches qu’ils peuvent accomplir augmente drastiquement. Cela créé de nombreux défis et questions qu’il nous faut adresser, en terme de sécurité et d’acceptation des systèmes robotiques.L’être humain a des besoins et attentes bien spécifiques qui ne peuvent être occultés lors de la conception des interactions robotiques. D’une certaine manière, il existe un besoin fort pour l’émergence d’une véritable interaction humain-robot ergonomique.Au cours de cette thèse, nous avons mis en place des méthodes pour inclure des critères ergonomiques et humains dans les algorithmes de prise de décisions, afin d’automatiser le processus de génération d’une interaction ergonomique. Les solutions que nous proposons se basent sur l’utilisation de fonctions de coût encapsulant les besoins humains et permettent d’optimiser les mouvements du robot et le choix des actions. Nous avons ensuite appliqué cette méthode à deux problèmes courants d’interaction humain-robot.Dans un premier temps, nous avons proposé une technique pour améliorer la lisibilité des mouvements du robot afin d’arriver à une meilleure compréhension des ses intentions. Notre approche ne requiert pas de modéliser le concept de lisibilité de mouvements mais pénalise les trajectoires qui amènent à une interprétation erronée ou tardive des intentions du robot durant l’accomplissement d’une tâche partagée. Au cours de plusieurs études utilisateurs nous avons observé un gain substantiel en terme de temps de prédiction et une réduction des erreurs d’interprétation.Puis, nous nous sommes attelés au problème du choix des actions et des mouvements qui vont maximiser l’ergonomie physique du partenaire humain. En utilisant une mesure d’ergonomie des postures humaines, nous simulons les actions et mouvements du robot et de l’humain pour accomplir une tâche donnée, tout en évitant les situations où l’humain serait dans une posture de travail à risque. Les études utilisateurs menées montrent que notre méthode conduit à des postures de travail plus sûr et à une interaction perçue comme étant meilleure. / Human-Robot Interaction (HRI) is a growing field in the robotic community. By its very nature it brings together researchers from various domains including psychology, sociology and obviously robotics who are shaping and designing the robots people will interact with ona daily basis. As human and robots starts working in a shared environment, the diversity of tasks theycan accomplish together is rapidly increasing. This creates challenges and raises concerns tobe addressed in terms of safety and acceptance of the robotic systems. Human beings havespecific needs and expectations that have to be taken into account when designing robotic interactions. In a sense, there is a strong need for a truly ergonomic human-robot interaction.In this thesis, we propose methods to include ergonomics and human factors in the motions and decisions planning algorithms, to automatize this process of generating an ergonomicinteraction. The solutions we propose make use of cost functions that encapsulate the humanneeds and enable the optimization of the robot’s motions and choices of actions. We haveapplied our method to two common problems of human-robot interaction.First, we propose a method to increase the legibility of the robot motions to achieve abetter understanding of its intentions. Our approach does not require modeling the conceptof legible motions but penalizes the trajectories that leads to late or mispredictions of therobot’s intentions during a live execution of a shared task. In several user studies we achievesubstantial gains in terms of prediction time and reduced interpretation errors.Second, we tackle the problem of choosing actions and planning motions that maximize thephysical ergonomics on the human side. Using a well-accepted ergonomic evaluation functionof human postures, we simulate the actions and motions of both the human and the robot,to accomplish a specific task, while avoiding situations where the human could be at risk interms of working posture. The conducted user studies show that our method leads to saferworking postures and a better perceived interaction.

Durant ce travail de thèse, nous nous sommes intéressés à la commande d'un robot manipulateur industriel, configuré pour une co-manipulation avec un opérateur humain, en vue de la manutention de charges lourdes. Dans un premier temps, nous avons présenté une vue d'ensemble des études qui ont été menées dans ce cadre. Ensuite, nous avons abordé la modélisation et l'identification des paramètres dynamiques du robot Denso VP-6242G. Nous avons utilisé le logiciel OpenSYMORO pour calculer son modèle dynamique. Après une présentation détaillée de la méthode d'identification des paramètres de robots manipulateurs, nous l'avons appliqué au cas de notre robot. Cela nous a permis d'obtenir un vecteur des paramètres qui garantit une matrice d'inertie définie positive pour n'importe quelle configuration articulaire du robot, tout en assurant une bonne qualité de reconstruction des couples pour des vitesses articulaires constantes, ou variables au cours du temps. Par la suite, nous avons détaillé les nouvelles fonctionnalités proposées pour le générateur de trajectoire en temps réel, sur lequel repose notre schéma de commande. Nous avons présenté une méthode d'estimation de la force de l'opérateur à partir des mesures de la force d'interaction entre le robot et l'opérateur, tout en tenant compte de la pénalisation de la force de l'opérateur afin d'avoir une image de cette dernière permettant de générer une trajectoire qui respecte les limites de l'espace de travail. Des tests du générateur de trajectoire simulant différents cas de figure possibles nous ont permis de vérifier l'efficacité des nouvelles fonctionnalités proposées. Le générateur permet de produire une trajectoire dans l'espace de travail tridimensionnel selon la direction de l'effort appliqué par l'opérateur, ce qui contribue à l'exigence de transparence recherchée en co-manipulation robotique. Dans la dernière partie, nous avons présenté et validé en simulation une commande en impédance dont les trajectoires de référence sont issues du générateur développé. Les résultats obtenus ont donné lieu à une bonne qualité de poursuite des trajectoires désirées. D'autre part, le respect des limites virtuelles de l'espace de travail a également été pris en compte. Cependant, les trajectoires articulaires correspondantes peuvent franchir les limites définies pour préserver l'intégrité du robot. / In this thesis, we were interested in the control of industrial manipulators in co-manipulation mode with a human operator for the handling of heavy loads. First, we have presented an overview of existing studies in this framework. Then, we have addressed the modeling and the identification of dynamic parameters for the Denso VP-6242G robot. We have used the OpenSYMORO software to calculate its dynamical model. After a detailed presentation of the method for identifying the robot's parameters, we have applied it to the case of our robot. This allowed us to obtain a vector of the parameters which guarantees a positive definite inertia matrix for any configuration of the robot, as well as a good quality of reconstruction of the torques in the case of constant joint velocities or in the case of variable ones over time. To continue, we have detailed the new features that have been proposed for the online trajectory generator, for which the control scheme is based on. We have presented a method for estimating the operator's force from the measurements of the interaction force between the robot and the operator, while taking into account for the penalization of the operator's force in order to have an information of this last which allows to generate a trajectory that respects the limits of workspace. Some tests of the trajectory generator simulating different possible scenarios have allowed us to check the effectiveness of the new proposed features. The generator makes it possible to produce a trajectory in the three-dimensional workspace according to the direction of the force applied by the operator, which contributes to fulfill the requirement of transparency that is sought in a co-manipulation. In the last part, we have presented and validated, in simulation, an impedance control whose reference trajectories are delivered by the proposed generator. The obtained results have shown a good trajectory tracking. On the other hand, the satisfaction of the virtual bounds of the workspace has also been nicely taken into account. However, the corresponding articular trajectories can cross the bounds defined to preserve the integrity of the robot.

Les travaux de recherche de cette thèse portent sur l'amélioration des capacités sociales d'un système conversationnel en interaction avec un humain. Lorsque le système n'est pas dédié à une tâche particulière, il doit tenir compte de difficultés relevant de l'interaction sociale elle-même. L'humour est un mécanisme naturel dans les interactions sociales. Nous considérons un humour-machine comme une simulation de comportements simplifiés des capacités humoristiques humaines: dérision, blagues, jeux de mots. Les travaux de cette thèse s'appuient sur des théories issues de domaines variés en sociologie, psychologie, neurosciences et linguistique pour l'intégration de cet humour-machine dans un système robotique. Implémentées dans certains systèmes de dialogue, ces capacités humoristiques sont cependant rarement utilisées pour pouvoir choisir les comportements à générer du robot. Dans nos travaux, la mise en œuvre des comportements humoristiques du système en conversation est réalisée en utilisant la théorie des rites d'interaction. L'estimation de la face de l'interlocuteur permet de diriger le comportement du robot dans la conversation casuelle humoristique. Les facteurs expressifs d'une perte ou d'une valorisation de la face sont liés à des états mentaux exprimés dans une situation donnée. Pour réaliser cette estimation de la face, nous étudions, à partir de corpus créés à cet effet, les réactions comportementales, affectives et expressives des participants à différents types d'humour réalisés par le robot et ayant des impacts variables sur celle-ci (l'humour prenant pour cible le robot, le participant ou un autre sujet). Les réactions des participants à l'humour sont établies sur une représentation multi-niveaux d'indices émotionnels, comportementaux et linguistiques, extraits à partir de l'audio.Des règles sont ainsi construites à partir de l'apprentissage automatique de ces indices issus des corpus, concernant l'appréciation de la réaction des participants à l'humour et la mise à jour de l'estimation de la face présentée du participant. Leur implémentation dans un système automatique nous permet de les évaluer. De nombreuses expérimentations ont été menées avec des publics variés : personnes âgées, adultes, adolescents. Enfin, l'utilisation des préférences du participant à l'humour dans la conversation fait émerger des questions éthiques, notamment face au pouvoir persuasif et manipulateur de l'humour. / This doctoral dissertation is about the improvement of social capacities of a conversationnal system to interact with humans. When the system is not dedicated to one particular task, it must take into account the inherent difficulties of social interaction it-self. Humor is a natural mechanism present in social interactions. We consider humour in a robotic system as a simulation of simplified behaviors from human humor : derision, jokes, puns. This work is based on theories issued from various research domains as sociology, psychology, neurosciences and linguistics to enable integration of humor in a robotic system. Implemented in some dialog systems, humorous capacities are however rarely used when programming the robot’s behavior. In our study, the humourous behavior is implemented in the system by using the ritual theory of face-work. The face analysis of the interlocutor can be used to direct the robot’s reactions during a casual humorous talk. In order to evaluate the faces of participants in interaction, we study, using data collections created for this purpose, the participant’s behavior, emotionnal and expressive responses to different types of humor (humorous act targeting the robot, the participant or a neutral subject). Participant's reaction to humor are made upon a multi-level processing of emotionnal, linguistic and behavioral cues.Machine learning is used to extract rules defining appreciation or not and update the participant's face evaluation in regards of the humorous act produced by the robot. An implementation of these rules in an automatic dialog system allows us to evaluate their accuracy. Numerous experiments were carried out on various populations : elderly persons, adults, teenagers. Finally, the use of the participant’s preferences in the conversation raises ethical questions, in particular against the persuasive and manipulative power of humor.

Évaluer un comportement humain c’est évaluer tous les marqueurs traduisant ce comportement (gestes, paroles interactions, etc.). L’observation par un humain de certains marqueurs tels que les expressions faciales, la prosodie ou encore la linguistique, nécessite une formation spécialisée. Pour faciliter l’évaluation du comportement, des échelles indiquant les observations à mener et les conclusions à faire sont employées. Ainsi, automatiser l’évaluation du comportement revient à automatiser l’analyse d’un environnement par le biais de plusieurs capteurs, puis analyser les signaux obtenus afin d’en extraire les marqueurs permettant la déduction du comportement observé. Suite à la variabilité des observations de l’humain lors d’analyses trop spécifiques, de plus en plus d’études emploient ces systèmes automatiques d’observation et d’évaluation du comportement. L’objectif est d’assister l’analyse et l’évaluation humaine en exploitant des systèmes automatiques capables d’extraire des informations difficilement observables pour l’humain. En conséquence, la collaboration entre l’humain et les systèmes informatiques permet d’analyser plus d’éléments du comportement de manière fiable et objective. Cette thèse propose une approche de l’analyse du comportement s’appuyant sur la collaboration entre l’humain et un système automatique. Nous avons mis en place une plate-forme électronique et informatique composée d’un robot mobile et d’un système ambiant afin d’évaluer le comportement humain. Cette plate-forme se définie comme étant : — Modulaire à l’ajout ou le retrait de capteurs : L’ajout et la suppression de capteurs est faisable sans qu’un système ne soit impacté autrement que sur ses performances à reconnaître précisément les comportements; — Accessible à la lecture des données enregistrées : L’utilisation d’ontologies, en tant que base de données sémantiques et logiques, rend la plate-forme utilisable et accessible aux personnes non familiarisées aux systèmes informatiques complexes; — Robuste aux ambiguïtés : Chaque système de la plate-forme (ambiant ou robot) est indépendant et a sa propre représentation de l’environnement. Cependant, ils collaborent entre eux pour répondre aux incohérences ou aux manques d’informations durant l’accomplissement d’une tâche. A partir de la plate-forme présentée précédemment, nous analysons et mesurons la qualité de l’interaction entre un patient et un soignant lors d’une prise de sang réalisée en conditions habituelles. Pour cela, nous utilisons deux méthodes de renseignement des échelles : par un observateur présent lors du soin et par une étude de l’enregistrement vidéo réalisé durant le soin par la plate-forme. Nous émettons l’hypothèse que la présence d’un système automatique d’aide au diagnostic lors de l’analyse des vidéos enregistrées limite la complexité de l’évaluation du comportement et améliore l’objectivité de l’analyse. / To evaluate a human behavior is equivalent to evaluate all the markers translating this behavior (gestures, lyrics interactions, etc.). The observation by a human of certain markers such as facial expressions, prosody or linguistics, requires specialized training. To facilitate the assessment of behavior, scales indicating the observations to be made and the conclusions to be made are used. Thus, automating the evaluation of the behavior amounts to automate the analysis of an environment by means of several sensors, then analyzing the signals obtained in order to extract the markers allowing the deduction of the observed behavior. Due to the variability of human observations in overly specific analyzes, more and more studies are using thes automatic observation and behavioral evaluation systems. The objective is to assist human analysis and evaluation by exploiting automatic systems capable of extracting information that is difficult to observe for humans. As a result, the collaboration between the human and the computer systems makes it possible to analyze more elements of the behavior in a reliable and objective way. This thesis proposes an approach of behavior analysis based on the collaboration between humans and an automatic system. We set up an electronic and computer platform consisting of a mobile robot and an ambient system to evaluate human behavior. This platform is defined as: — Modular to the addition or removal of sensors: The addition and removal of sensors is feasible without a system is impacted otherwise than its performance to accurately recognize behaviors; — Accessible to Reading Recorded Data: The use of ontologies, as a semantic and logical database, makes the platform usable and accessible to people unfamiliar With complex computer systems; — Robust to ambiguities: every platform system (ambient or robot) is independent and has its own representation of the environment. However, they collaborate With each Other to respond to inconsistencies or lack of information during the performance of a task.

Autonomous vehicles are regularly predicted to be on the verge of broad integration into regular traffic. A crucial aspect of successful traffic interactions is one agent’s ability to adequately understand other agents’ capabilities and limitations. Within the current state of the art concerning self-driving cars, there is a discrepancy between what people tend to believe the capabilities of self-driving cars are, and what those capabilities actually are. The aim of this study was to investigate whether people attribute the capacity of object permanence to self-driving cars roughly in the same manner as they would to a human driver. The study was conducted with online participants (N = 105). The results showed that the participants did not attribute object permanence differently between a self-driven car and a human driver. This indicates that people attribute object permanence similarly to self-driving cars as they do toward human drivers. Furthermore, the results indicate no connection between participants’ tendency to anthropomorphize and whether they attributed object permanence or not. The findings provide evidence for the issues connected to the perceptual belief problem in human-robot interaction, where people attribute capabilities to autonomous vehicles that are not there. The results highlight the importance of understanding which mechanisms underlie these attributions as well as when they happen, in order to mitigate unrealistic expectations.

To produce smooth human-robot interactions, it is important for robots to be able to answer users’ questions accurately and provide a suitable explanation for why they arrive to the answer they provide. However, in the wild, the user may ask the robot questions relating to aspects of the scene that the robot is unfamiliar with and hence be unable to answer correctly all of the time. In order to gain trust in the robot and resolve failure cases where an incorrect answer is provided, we propose a method that uses Grad-CAM explainability on RGB-D data. Depth is a critical component in producing more intelligent robots that can respond correctly most of the time as some questions might rely on spatial relations within the scene, for which 2D RGB data alone would be insufficient. To our knowledge, this work is the first of its kind to leverage depth and an explainability module to produce an explainable Visual Question Answering (VQA) system. Furthermore, we introduce a new dataset for the task of VQA on RGB-D data, VQA-SUNRGBD. We evaluate our explainability method against Grad-CAM on RGB data and find that ours produces better visual explanations. When we compare our proposed model on RGB-D data against the baseline VQN network on RGB data alone, we show that ours outperforms, particularly in questions relating to depth such as asking about the proximity of objects and relative positions of objects to one another. / För att skapa smidiga interaktioner mellan människa och robot är det viktigt för robotar att kunna svara på användarnas frågor korrekt och ge en lämplig förklaring till varför de kommer fram till det svar de ger. Men i det vilda kan användaren ställa frågor till roboten som rör aspekter av miljön som roboten är obekant med och därmed inte kunna svara korrekt hela tiden. För att få förtroende för roboten och lösa de misslyckade fall där ett felaktigt svar ges, föreslår vi en metod som använder Grad-CAM-förklarbarhet på RGB-D-data. Djup är en kritisk komponent för att producera mer intelligenta robotar som kan svara korrekt för det mesta, eftersom vissa frågor kan förlita sig på rumsliga relationer inom scenen, för vilka enbart 2D RGB-data skulle vara otillräcklig. Såvitt vi vet är detta arbete det första i sitt slag som utnyttjar djup och en förklaringsmodul för att producera ett förklarabart Visual Question Answering (VQA)-system. Dessutom introducerar vi ett nytt dataset för uppdraget av VQA på RGB-D-data, VQA-SUNRGBD. Vi utvärderar vår förklaringsmetod mot Grad-CAM på RGB-data och finner att vår modell ger bättre visuella förklaringar. När vi jämför vår föreslagna modell för RGB-Ddata mot baslinje-VQN-nätverket på enbart RGB-data visar vi att vår modell överträffar, särskilt i frågor som rör djup, som att fråga om objekts närhet och relativa positioner för objekt jämntemot varandra.

As the field of Artificial Intelligence continues to evolve into a tool of societal impact, a need of breaking its initial boundaries as a computer science discipline arises to also include different humanistic fields. The work presented in this thesis revolves around the role that explainable artificial intelligence has in human-robot interaction through the study of poetry generators. To better understand the scope of the project, a poetry generators study presents the steps involved in the development process and the evaluation methods. In the algorithmic development of poetry generators, the shift from traditional disciplines to transdisciplinarity is identified. In collaboration with researchers from the Research Institutes of Sweden, state-of-the-art generators are tested to showcase the power of artificially enhanced artifacts. A development plateau is discovered and with the inclusion of Design Thinking methods potential future human-robot interaction development is identified. A physical prototype capable of verbal interaction on top of a poetry generator is created with the new feature of changing the corpora to any given audio input. Lastly, the strengths of transdisciplinarity are connected with the open-sourced community in regards to creativity and self-expression, producing an online tool to address future work improvements and introduce nonexperts to the steps required to self-build an intelligent robotic companion, thus also encouraging public technological literacy. Explainable AI is shown to help with user involvement in the process of creation, alteration and deployment of AI enhanced applications.

The demand for robots to work in environments together with humans is growing. This calls for new requirements on robots systems, such as the need to be perceived as responsive and accurate in human interactions. This thesis explores the possibility of using AI methods to predict the movement of a human and evaluating if that information can assist a robot with human interactions. The AI methods that were used is a Long Short Term Memory(LSTM) network and an artificial neural network(ANN). Both networks were trained on data from a motion capture dataset and on four different prediction times: 1/2, 1/4, 1/8 and a 1/16 second. The evaluation was performed directly on the dataset to determine the prediction error. The neural networks were also evaluated on a robotic arm in a simulated environment, to show if the prediction methods would be suitable for a real-life system. Both methods show promising results when comparing the prediction error. From the simulated system, it could be concluded that with the LSTM prediction the robotic arm would generally precede the actual position. The results indicate that the methods described in this thesis report could be used as a stepping stone for a human-robot interactive system.

As the technology develops and robots are integrating into more and more facets of our lives, the futureof human-robot interaction may take form in all kinds of arrangements and configurations. In this study, we examined the understandability of di erent conversational strategies in robot-robot communication from a human-bystander standpoint. Specifically, we examined the understandability of verbal explanations constructed under Grice's maxims of informativeness. A prediction task was employed to test the understandability of the proposed strategy among other strategies. Furthermore, participants' perception of the robots' interaction was assessed with a range of ratings and rankings. The results suggest that those robots using the proposed strategy and those using the other tested strategies were understood and perceived similarly. / I takt med att teknologin utvecklas integreras robotar mer och mer i olika delar av våra liv. Framtidens människo-robot interaktioner kan ta många olika former och konfigurationer. I den här studien undersökte vi förståelsen för olika konversationsstrategier mellan robotar ur det mänskliga perspektivet. Specifikt undersökte vi förståelsen av muntliga förklaringar konstruerade enligt Grices princip för informativitet. En uppgift för deltagarna i testet var att försöka förutsäga robotarnas agerande. Dessutom utvärderades robotarnas interaktion genom att låta deltagarna rangordna och betygsätta dem. Resultatet tyder på att de robotar som använder Grices princip och de som använder de andra testade strategierna förstås och uppfattas på ett liknande sätt.