Implicit communication is important in interaction because it plays a role in conveying the internal mental states of an individual. For example, emotional expressions that are shown through unintended facial gestures can communicate underlying affective states. People can infer mental states from implicit cues and have strong expectations of what those cues mean. This is true for human-human interactions, as well as human-robot interactions. A Normalizing flow model is used as a generative model that can produce facial gestures and head movements. The invertible nature of the Normalizing flow model makes it possible to manipulate attributes of the generated gestures. The model in this work is capable of generating facial expressions that look real and human-like. Furthermore, the model can manipulate the generated output to change the perceived affective state of the facial expressions. / Implicit kommunikation är viktig i interaktioner eftersom den spelar en roll för att förmedla individens inre mentala tillstånd. Till exempel kan känslomässiga uttryck som visas genom oavsiktliga ansiktsgester kommunicera underliggande affektiva tillstånd. Människor kan härleda mentala tillstånd från implicita ledtrådar och har starka förväntningar på vad dessa ledtrådar betyder. Detta gäller för interaktion mellan människor, liksom interaktion mellan människa och robot. En normaliserande flödesmodell används som en generativ modell som kan producera ansiktsgester och huvudrörelser. Den inverterbara naturen hos normaliseringsflödesmodellen gör det också möjligt att manipulera det genererade ansiktsuttrycken. Utgången manipuleras i två dimensioner som vanligtvis används för att beskriva affektivt tillstånd, valens och upphetsning. Modellen i detta arbete kan generera ansiktsuttryck som ser verkliga och mänskliga ut och kan manipuleras for att ändra det affektiva tillstånd.

Natural Language Generation and generating believable verbal communication are critical components in the development of social robots. The work presented in this paper is based on the sequence-to-sequence model and is focused on improving context and repeatability through the inclusion of task- specific information. The data set on which this study was conducted was collected through a Wizard of Oz framework using a social robot. The generated dialogue was evaluated through a survey designed to measure the adherence to the game context and perceived human qualities. The human qualities were measured using attributes from two well-known attribute scales intended for evaluating Human-Robot Interaction. The evaluation results indicate that the quality of the generated dialogue is on par with examples of actual dialogue spoken during the experiments. This paper also highlights interesting aspects regarding the usefulness of transfer learning in narrow contextual applications. The results presented in this paper show that it is possible to improve the contextual nature of generated dialogue by including additional task-specific information. / Generering av naturligt språk och uppgiften att skapa trovärdig verbal kommunikation är kritiska komponenter i utvecklingen av sociala robotar. Arbetet som presenteras i denna uppsats är baserat på sekvens-till-sekvens-modellen och fokuserar på att förbättra sammanhang och repeterbarhet genom att inkludera uppgiftspecifik information. Datauppsättningen som denna studie genomförde samlades in via ett Wizard of Oz-ramverk med hjälp av en social robot. Den genererade dialogen utvärderades genom en onlineundersökning utformad för att mäta efterlevnaden av spelskontexten och upplevda mänskliga egenskaper. Dessa mänskliga egenskaper mättes med attribut från två välkända attributskalor avsedda för utvärdering av människa-robot-interaktion. Utvärderingsresultaten visar att kvaliteten på den genererade dialogen är i nivå med exempel på faktisk dialog som talats under experimenten. Denna uppsats belyser också intressanta aspekter beträffande nyttan av överföringsinlärning i smala kontextuella applikationer. Resultaten som presenteras i denna uppsats visar att det är möjligt att förbättra den kontextuella karaktären hos genererad dialog genom att inkludera ytterligare uppgiftspecifik information.

With the ongoing progress of research in robotics, computer vision and artificial intelligence, robots are becoming more complex, their functionalities are increasing and their abilities to solve particular problems get more efficient. For these robots to share with us our lives and environment, they should be able to move autonomously and be operated easily by users. The main focus of this thesis is on the differences and similarities in a human to a human versus a human to a robot interaction in an office environment. Experimental methods are used to identify these differences and similarities and arrive at an understanding about how users perceive robots and the robots’ abilities to help in the development of interactive service robots that are able to navigate and perform various tasks in a real life environment. A user study was conducted where 14 subjects were observed while presenting an office environment to a mobile robot and then to a person. The results from this study were that users used the same verbal phrases, hand gestures, gaze, etc. to present the environment to the robot versus a person but they emphasized more by identifying the different items to the robot .The subjects took less time to show a person around than the robot. / Genom forskning i robotik, datorseende och artificiell intelligens kommer robotar att bli mer och mer komplexa. Robotars funktionalitet ökar ständigt och deras kapacitet att lösa specifika problem blir mer effektiv. För att dessa robotar ska finnas i våra vardagsliv och vår miljö måste de kunna röra sig självständigt (autonomt) och de måste vara lätta att hantera för användare. Detta examensarbete fokuserar på skillnader och likheter mellan interaktion människa - människa och robot - människa i en kontorsmiljö. Med hjälp av experimentell metod är det möjligt att upptäcka dessa skillnader och likheter och därmed förstå hur människor uppfattar robotar och deras förmåga. Detta kan bidra till utvecklingen av servicerobotar som kan navigera och utföra olika uppgifter i vardagslivet. En användarstudie utfördes med 14 försökspersoner som observerades medan de presenterade en kontorsmiljö både för en människa och för en robot. Resultatet av denna studie var att försökspersonerna använde samma typer av muntliga uttryck och handgester, blickar, osv. för att presentera miljön för en människa som för roboten. De uttryckte sig mer detaljerat för roboten när det gällde att identifiera olika föremål i miljön. Försökspersonerna behövde mer tid för att presentera miljön för roboten än en människa.

A collaborative robot is something of growing interest for companies in the manufacturing industries to implement. However, a collaborative robot is quite new in today’s market. An issue that arises is that no implementation process for collaborative robots exists today, as well as no requirement guide for skills, as well as actors, has been defined. The aim of this project was to examine how an implementation process of collaborative robots in manufacturing companies could look like. Focusing on charting the integration process steps of a collaborative robot, and identifying the actors as well as skills needed for successful cobot integration, with the aim achieve the goal of this thesis by answering the research questions. The thesis had the following research questions: Research Question 1 – How is an integration process for implementing a cobot represented in the manufacturing companies? Research Question 2 – What particular skills as well as actors are required when implementing in a cobot in the manufacturing companies? To answer the research questions, the author conducted several interviews with different companies. The interview questions were mainly constructed in order to answer the RQs but also to get an understanding for the different aspects of what a cobot is, what is required as well as how it compares to a traditional industrial robot. The thesis resulted in an implementation process with several steps constructed in order to implement a cobot as well as different aspects of what skills and actors are needed. In order to separate the aspects, the respondents were categorized into different roles which are the developer, integrator and the user. The different roles were all vital, providing an understanding from different perspectives. Keywords: Collaborative robot, cobot, Human-robot interaction, Human-Robot Collaboration, Development strategies, Automation, Industry 4.0.

Communication between humans and interactive robots will benefit if people have a clear mental model of the robots' intent and awareness. The aim with this thesis was to investigate how human-robot interaction is affected by manipulation of social cues on the robot. The research questions were: How do social cues affect mental models of the Pepper robot, and how can a participatory design method be used for investigating how the Pepper robot could communicate intent and awareness? The hypothesis for the second question was that nonverbal cues would be preferred over verbal cues. An existing standard platform was used, Softbank's Pepper, as well as state-of-the-art tasks from the RoboCup@Home challenge. The rule book and observations from the 2018 competition were thematically coded and the themes created eight scenarios. A participatory design method called PICTIVE was used in a design study, where five student participants went through three phases, label, sketch and interview, to create a design for how the robot should communicate intent and awareness. The use of PICTIVE was a suitable way to extract a lot of design ideas. However, not all scenarios were optimal for the task. The design study confirmed the use of mediating physical attributes to alter the mental model of a humanoid robot to reach common ground. Further, it did not confirm the hypothesis that nonverbal cues would be preferred over verbal cues, though it did show that verbal cues would not be enough. This, however, needs to be further tested in live interactions.

Utvecklingen av robotar inom äldreomsorg går fort framåt. Det finns ett brett utbud av robotar för olika sammanhang. År 2050 förväntas en global fördubbling av andelen äldre människor. Robotar som kan hjälpa till i äldrevården har fått ökat politiskt intresse då den demografiska utvecklingen pekar på att andelen äldre kommer öka i omfattning. Denna rapport kommer att undersöka vilka faktorer som gör att äldre människor accepterar användandet av robotar samt hur experter inom robotik arbetar för att utveckla dessa. Studien kommer baseras på insamlad data från både äldre människor, 65 år och över, samt experter inom robotik. Till grund för uppsatsen har en mängd vetenskapliga artiklar använts. Resultatet av studien visar att faktorer som är viktiga för äldres acceptans av robotar går in under utformning, kunskap, säkerhet, integritet, lätt att använda samt uppfattad användbarhet. Studien visar att experter i nuläget arbetat väl med hänsyn till de äldre. / The development of robotics within the elderly care is moving fast forward. There is a wide range of robots for different occasions. By year 2050 it is expected that the worlds older population will be doubled. Robots that can help in the elderly care has thus gotten a political interest hence the demographic development that point to an increase in the proportion of elderly people. This essay will investigate which factors make elderly people accept the usage of robots and how experts in robotics work to develop these robots. The study will be based on data from both elderly people over 65 and experts in robotics and a number of scientific articles have been used for the essay. The results of the study show that factors that are important for older people's acceptance of robots fall under; configuration, knowledge, safety, integrity, perceived ease of use and perceived usefulness. The study shows that experts are currently working well with regard to the elderly.

In everyday communication, humans utilise eye gaze due to its importance as a communication tool. As technology evolves, social robots are expected to become more adopted in society and, since they interact with humans, they should similarly use eye gaze to elevate the level of the interaction and increase humans’ perception of them. Previous studies have shown that robots possessing human-like gaze behaviour increase the interactants’ task performance and their perception of the robot. However, social robots must also be able to behave and respond appropriately when humans act inappropriately, and failure in doing so may normalize bad behaviour even towards other humans. Additionally, with the recent progress of wearable eyetracking technology, there is interest to see how this technology can be used to help generate human gaze into a robot. This thesis work investigates how the eye gaze behaviour from a human being can be modeled into the robot Furhat to behave more human-like in a confrontational scenario. It further investigates how a robot possessing the developed human-like gaze model compares to a robot using a believable heuristic gaze model. We created a pipeline which concerned selecting scenarios, conducting roleplays between actors of these scenarios to collect gaze, extracting and processing that gaze data and extracting probability distributions that the human-like model would utilise. Our model used frequencies to determine where to gaze and head rotation, while gamma distributions were used to sample gaze length. We then executed an online video study with the two robot conditions where participants rated either robot by filling out a questionnaire. The results show that while no statistical difference could be found, the human-like condition scored higher on the measures anthropomorphism/human-likeness and composure, whereas the heuristic condition rated higher on expertise and extroversion. As such, the human-like model did not yield a significant benefit on robot perception to opt for it. Still, we suggest that the pipeline used in this thesis work may help HRI researchers to perform gaze studies and possibly build a foundation for further development. / I vardaglig kommunikation använder människor sig av blickar på grund av dess betydelse som kommunikationsverktyg. Då teknologi ständigt utvecklas förväntas det att sociala robotar kommer att bli mer involverade i samhället, och eftersom de integrerar med människor så bör de på samma sätt använda sig av blickar och ögonrörelser för att höja nivån på interaktionen och därmed förbättra människors uppfattning av dem. Tidigare studier har visat att robotar som använder sig av blickar likt människor kan förbättra deltagarnas utförande av uppgifter samt deras uppfattning av roboten. Sociala robotar måste dock även kunna agera och svara på ett lämpligt sätt när människor beter sig olämpligt, och gör dem inte det finns risken att det olämpliga beteendet normaliseras, även i interaktioner med andra människor. Med de senaste framstegen av portabla eye-tracking enheter finns det därför ett intresse att se hur denna teknologi kan användas för att generera människolikt blickbeteende som sedan används i en robot. Denna studie undersöker hur en människas sätt att blicka och titta kan modelleras i roboten Furhat för att bete sig mer människolikt i ett scenario där konfrontation behövs. Studien undersöker dessutom hur en robot som bär ett människolikt blickbeteende jämför sig med en robot som bär ett trovärdigt heuristiskt blickbeteende. Vi skapade en struktur som involverade att välja scenarion, utföra rollspel mellan skådespelare i dessa scenarier för att samla data om deras blickmönster, extrahera och bearbeta denna data, och extraherade sannolikhetsfördelningar som den människolika modellen skulle använda sig av. Vår modell använde sig av frekvenser för att besluta var roboten skulle blicka, medan gammafördelningar användes för att generera blickens längd. Vi utförde därefter en videostudie online med de två robotvarianterna, där deltagare bedömde någon av robotarna genom att svara på en enkät. Resultaten visar att ingen statistisk signifikant skillnad kunde påvisas. Trender visade dock att modellen med människolik blickbeteende bedömdes högre i mätningen av attributerna antropomorfism/mänsklighet och fattning, medan den heuristiska modellen bedömdes högre i expertis och utåtvändighet. Därav erhöll den människolika modellen ingen signifikant framgång för att föredra den. Vi föreslår ändå att strukturen som användes i studien kan hjälpa MRI forskare att utföra studier som involverar blickbeteende hos människor, och möjligtvis bygga en grund för vidareutveckling av strukturen.

Achieving appropriate and natural backchanneling behavior in social robots remains a challenge in Human-Robot Interaction (HRI). This thesis addresses this issue by utilizing methods from Safe Reinforcement Learning in particular shielding to improve social robot backchanneling behavior. The aim of the study is to develop and implement a safety shield that guarantees appropriate backchanneling. In order to achieve that, a Recurrent Neural Network (RNN) is trained on a human-human conversational dataset. Two agents are built; one uses a random algorithm to backchannel and another uses shields on top of its algorithm. The two agents are tested using a recorded human audio, and later evaluated in a between-subject user study with 41 participants. The results did not show any statistical significance between the two conditions, for the chosen significance level of α < 0.05. However, we observe that the agent with shield had a better listening behavior, more appropriate backchanneling behavior and missed less backchanneling opportunities than the agent without shields. This could indicate that shields have a positive impact on the robot’s behavior. We discuss potential explanations for why we did not obtain statistical significance and shed light on the potential for further exploration. / Att uppnå lämpligt och naturligt upbbackningsbeteende i sociala robotar är fortfarande en utmaning i Människa-Robot Interaktion (MRI). Den här avhandlingen tar upp detta problem genom att använda metoder från säker förstärkningsinlärning i synnerhet avskärmning för att förbättra sociala robotars upbbackningsbeteende. Syftet med studien är att utveckla och implementera en säkerhetsavskärmning som garanterar lämplig upbbackning. För att uppnå det, tränas ett återkommande neuralt nätverk på en människa-människa konversationsdatamängd. Två agenter byggs; en använder en slumpmässig algoritm för att upbbacka och en annan använder avskärmninng ovanpå sin algoritm. De två agenterna testas med hjälp av ett inspelat mänskligt ljud och utvärderas senare i en användarstudie med 41 deltagare. Resultaten visade inte någon statistisk signifikans mellan de två skicken, för den valda signifikansnivån < 0, 05. Vi observerar dock att agenten med avskärmning hade ett bättre lyssningsbeteende, mer lämplig upbbackningsbeteende och missade mindre upbbacknings-möjligheter än agenten utan avskärmning. Detta kan indikera att avskärmning har en positiv inverkan på robotarnas beteende. Vi diskuterar potentiella förklaringar till varför vi inte fick statistisk signifikans och belyser potentialen för ytterligare utforskning.

Robots and virtual agents grow rapidly in behavioural sophistication and complexity. They become better learners and teachers, cooperators and communicators, workers and companions. These artefacts – whose behaviours are not always readily understood by human intuition nor comprehensibly explained in terms of mechanism – will have to interact socially. Moving beyond artificial rational systems to artificial social systems means having to engage with fundamental questions about agenthood, sociality, intelligence, and the relationship between mind and body. It also means having to revise our theories about these things in the course of continuously assessing the social sufficiency of existing artificial social agents. The present thesis presents an empirical study investigating the social influence of physical versus virtual embodiment on people's decisions in the context of a bargaining task. The results indicate that agent embodiment did not affect the social influence of the agent or the extent to which it was perceived as a social actor. However, participants' perception of the agent as a social actor did influence their decisions. This suggests that experimental results from studies comparing different robot embodiments should not be over-generalised beyond the particular task domain in which the studied interactions took place.