<p>By focusing on the potential of the Wii Remote, we have implemented a broad spectrum of concept ideas into the same package, in an effort to give a good overview of the Wii Remote’s properties such as mobility, direct manipulation and generally high affordance. The purpose of this work was to find a concept on how a Wii Remote can be used as a tool for the industry, outside the domains of gaming and entertainment. The environment for our investigation was ABB’s Robot Studio which is a simulation tool for industrial robots. Creating a concept with today’s products enabled us to discuss a present solution and also a possible future in form of a redesign rationale that we exemplified with a set of scenarios.</p>

By focusing on the potential of the Wii Remote, we have implemented a broad spectrum of concept ideas into the same package, in an effort to give a good overview of the Wii Remote’s properties such as mobility, direct manipulation and generally high affordance. The purpose of this work was to find a concept on how a Wii Remote can be used as a tool for the industry, outside the domains of gaming and entertainment. The environment for our investigation was ABB’s Robot Studio which is a simulation tool for industrial robots. Creating a concept with today’s products enabled us to discuss a present solution and also a possible future in form of a redesign rationale that we exemplified with a set of scenarios.

In the last decades the average life expectancy of humans has increased significantly. There are more old people than ever before. At the same time there is a big staff shortage at nursing homes. A future study will examine the effect of introducing a socially intelligent robot called Furhat in such a home. In this work a so-called Wizard-of-Oz control system is developed which enables remote control of the normally autonomous Furhat. This control system will later be used in the future study. The Wizard-of-Oz control system is developed with the intention of reaching the lowest possible response time between the control system and Furhat to minimize the risk of unnatural conversation due to long wait times between actions. It is found that a response time at or above 500ms can have a clearly degrading effect on a conversation. By following code-standards with a focus on developing fast code an average response time in the range of 35-245ms depending on the action taken is reached.

Detta arbete har utförts inom ramarna för SIDUS-projektet AIR och fokuserar på interaktion mellan människa och autonoma och sociala robotar. Inom fältet för människa- robotinteraktion (MRI) ökar medvetenheten kring hur viktigt en positiv användarupplevelse (eng. user experience, UX) av dessa interaktioner är. När intresset för UX blir större ökar också behovet av att kunna arbeta med det på ett korrekt och lämpligt sätt. Idag finns det ett stort behov av metoder och tekniker för UX-arbete som är anpassade efter detta komplexa gränssnitt. Det övergripande syftet med detta arbete är därför att minska detta behov genom både en teoretisk litteraturstudie samt ett empiriskt arbete. I litteraturstudien kunde endast två ramverk ämnade för UX-utvärdering av MRI identifieras, varav ett av dem, USUS-ramverket, anses erbjuda en god grund för arbete med UX-utvärdering inom MRI. Fokus för det empiriska arbetet har sedan varit att förbättra och modifiera detta ramverk genom att integrera UX-mål som en del av det. UX-mål pekas ut som en central del för all sorts UX-arbete och är något som också kan optimera de utvärderingar som sker. Därför bör det också vara en del av det UX-arbete som sker inom MRI-fältet. Detta presenteras sedan i en ny version av USUS-ramverket, kallat USUS Goals. Baserat på dessa teoretiska och empiriska studier presenteras sedan riktlinjer för hur det fortsatta arbetet med UX- utvärdering inom MRI bör ske. Slutresultatet visar bland annat att utmaningarna med att integrera UX som del av MRI-fältet är större än vad som först antagits. Utmaningen ligger inte endast i att skapa användbara och anpassade UX-metoder, det är snarare ett ömsesidigt ansvar för båda domänerna att mötas för att tillsammans adressera dessa utmaningar. / Action and Intention Recognition in human interaction with autonomous systems (AIR)

In human-robot collaborative (HRC) scenarios where humans and robots work together sharing the same workspace, there is a risk of potential hazard that may occur. In this work, an AI-based risk analysis solution has been developed to identify any condition that may harm a robot and its environment. The information from the risk analysis is used in a risk mitigation module to reduce the possibility of being in a hazardous situation. The goal is to develop safety for HRC scenarios using different AI algorithms and to check the possibilities of improving efficiency of the system without any compromise on the safety. This report presents risk mitigation strategies that were built on top of the robot’s control system and based on the ISO 15066 standard. Each of them used semantic information (scene graph) about the robot’s environment and changed the robot’s movement by scaling speed. The first implementation of risk mitigation strategy used Fuzzy Logic System. This system analyzed the riskiest object’s properties to adjust the speed of the robot accordingly. The second implementation used Reinforcement Learning and considered every object’s properties. Three networks (fully connected network, convolutional neural network, and hybrid network) were implemented to estimate the Qvalue function. Additionally, local and edge computation architecture wereimplemented to measure the computational performance on the real robot. Each model was evaluated by measuring the safety aspect and the performance of the robot in a simulated warehouse scenario. All risk mitigation modules were able to reduce the risk of potential hazard. The fuzzy logic system was able to increase the safety aspect with the least efficiency reduction. The reinforcement learning model had safer operation but showed a more compromised efficiency than the fuzzy logic system. Generally, the fuzzy logic system performed up to 28% faster than reinforcement learning but compromised up to 23% in terms of safety (mean risk speed value). In terms of computational performance, edge computation was performed faster than local computation. The bottleneck of the process was the scene graph generation which analyzed an image to produce information for safety analysis. It took approximately 15 seconds to run the scene graph generation on the robot’s CPU and 0.3 seconds on an edge device. The risk mitigation module can be selected depending on KPIs of the warehouse operation while the edge architecture must be implemented to achieve a realistic performance. / I HRC-scenarier mellan människor och robotar där människor och robotar arbetar tillsammans och delar samma arbetsyta finns det risk för potentiell fara som kan uppstå. I detta arbete har en AI-baserad lösning för riskanalys utvecklats för att identifiera alla tillstånd som kan skada en robot och dess miljö. Informationen från riskanalys används i en riskreduceringsmodul för att minska risken för att vara i en farlig situation. Målet är att utveckla säkerhet för HRC-scenarier med olika AI-algoritmer och att kontrollera möjligheterna att förbättra systemets effektivitet utan att kompromissa med säkerheten.Denna rapport presenterar strategier för riskreducering som byggdes ovanpå robotens styrsystem och baserade på ISO 15066-standarden. Var och en av dem använder semantisk information (scendiagram) om robotens miljö och förändrar robotens rörelse genom skalning av hastighet. Den första implementetationen av riskreducerande strategi använder Fuzzy Logic System. Detta system analyserade de mest riskabla objektens egenskaper för att justera robotens hastighet i enlighet därmed. Den andra implementeringen använder förstärkningslärande och betraktade varje objekts egenskaper. Tre nätverk (fully connected network, convolutional neural network, and hybrid network) implementeras för att uppskatta Q-värde-funktionen. Dessutom implementerade vi också lokaloch edge-arkitektur för att beräkna beräkningsprestanda på den verkliga roboten. Varje modell utvärderas genom att mäta säkerhetsaspekten och robotens prestanda i ett simulerat lagerscenario. Alla riskreduceringsmoduler kunde minska risken för potentiell fara. Fuzzy logicsystem kunde öka säkerhetsaspekten med minsta effektivitetsminskning. Förstärkningsinlärningsmodellen har säkrare drift men har en mer begränsad effektivitet än det fuzzy logiska systemet. I allmänhet fungerar fuzzy logicsystem upp till 28 % snabbare än förstärkningslärande men komprometterar upp till 23 % när det gäller säkerhet (medelrisk hastighetsvärde). När det gäller beräkningsprestanda utfördes kantberäkningen snabbare än lokal beräkning. Flaskhalsen för processen var scengrafgenerering som analyserade en bild för att producera information för säkerhetsanalys. Det tog cirka 15 sekunder att köra scengrafgenerering på robotens CPU och 0,3 sekunder på en kantenhet. Modulen för riskreducering kan väljas beroende på KPI för lagerdriften medan edge-arkitekturen måste implementeras för att uppnå en realistisk prestanda.

In a regular classroom setting, a more emotionally expressive teacher has been shown to be positively correlated with learning outcomes and task motivation among the students. Would this also be the case if the teacher were a robot? This study investigates how the facial expressions of an anthropomorphic robot affect learning outcomes and task motivation in adult learners studying a second language by setting up an experiment using the Furhat robot. The same interactions were carried out by an experiment group and a control group. The results show no increase in performance in either learning outcomes or task performance. Future studies are suggested to investigate other potential factors of why robots outperform regular computers in these settings. / I ett vanligt klassrumssammanhang har det visats att lärare som visar känslouttryck har en positiv korrelation med läranderesultat och motivation hos studenterna. Skulle detta också vara fallet om läraren var en robot? Den här studien undersöker hur ansiktsuttrycken hos en människoliknande robot påverkar läranderesultat och motivation hos vuxna studenter som lär sig ett andraspråk genom ett experiment med roboten Furhat. Samma interaktioner genomfördes av både en experimentgrupp och en kontrollgrupp. Resultaten visar ingen ökning av varken läranderesultat eller motivation. Framtida studier föreslås att undersöka andra potentiella faktorer som bidrar till att robotar utpresterar människor i dessa sammanhang.

Robot programming can be an expensive and tedious task and companies may have to employ dedicated staff. A promising framework that can alleviate some of the most repetitive tasks and potentially make robots more accessible to non-experts is Learning from Demonstration (LfD). LfD is a framework where the robot learns how to solve a task by observing a human demonstrating it. A representation of the learned policy is needed and Behavior Trees (BTs) are promising. They are a representation of a controller that organizes the switching between tasks and naturally provides the modularity required for learning and the reactivity required for operating in an uncertain environment. Furthermore, BTs are transparent, allowing the user to inspect the policy and verify its safety before executing it. Learning BTs from demonstration has not been studied much in the past. The aim of this thesis is therefore to investigate the feasibility of using BTs in the context of LfD and how such a structure could be learned. To evaluate the feasibility of BTs and answering how they can be learned, a new algorithm for learning BTs from demonstration is presented and evaluated. The algorithm detects similarities between multiple demonstrations to infer in what reference frames different parts of a task occur. The similarities are also used to detect hidden task constraints and goal conditions that are given to a planner that outputs a reactive task plan in the form of a BT. The algorithm is evaluated on manipulation tasks in both simulation and a real robot. The results show that the resulting BT can successfully solve the task while being robust to initial conditions and reactive towards disturbances. These results suggest that BTs are a suitable policy representation for LfD. Furthermore, the results suggest that the presented algorithm is capable of learning a reactive and fault-tolerant task plan and can be used as a basis for future algorithms. / Robotprogrammering kan vara kostsamt och repetitivt och företag kan behöva anställa särskild personal. Ett lovande ramverk som kan underlätta några av de mest repetitiva uppgifterna och potentiellt göra robotar mer tillgängliga för icke-experter är Inlärning från Demonstrationer (eng. Learning from Demonstration, LfD). LfD är ett ramverk där roboten lär sig lösa en uppgift genom att observera hur en människa gör det. En representation av den inlärda policyn behövs och Beteendeträd (eng. Behavior Trees, BTs) är lovande. De är en representation av en kontroller som organiserar växlandet mellan olika uppgifter och tillhandahåller naturligt den moduläritet som krävs för lärande och den reaktivitet som krävs för att verka i en oviss miljö. Dessutom är BTs transparenta, vilket gör det möjligt för användaren att inspektera policyn och verifiera dess säkerhet innan den körs. Att lära sig BTs från demonstrationer har inte studerats mycket tidigare. Syftet med det här arbetet är därför att undersöka genomförbarheten av att använda BTs inom sammanhanget av LfD och hur en sådan struktur kan läras. För att utvärdera genomförbarheten hos BTs och svara på hur de kan läras in presenteras och utvärderas en ny algoritm för inlärning av BTs. Algoritmen detekterar likheter mellan flera demonstrationer för att avgöra i vilken referensram olika delar av uppgiften sker. Likheterna används även för att upptäcka dolda bivillkor och målvillkor i uppgiften som ges till en planerare som skapar en reaktiv uppgiftsplan i form av en BT. Algoritmen utvärderas på manipuleringsuppgifter både i simulering och på en verklig robot. Resultaten visar att de resulterande BTs kan lösa uppgifterna med framgång och samtidigt vara robusta mot begynnelsevillkor och reaktiva mot störningar. Resultaten antyder att BTs är lämpade som en policyrepresentation för LfD. Vidare antyder resultaten att den presenterade algoritmen är kapabel att lära sig en reaktiv och feltolerant uppgiftsplan och kan användas som en utgångspunkt för framtida algoritmer.

Moderating group discussions among humans can often be challenging and require certain skills, particularly in deciding when to ask other participants to elaborate or change the current topic of the discussion. Recent research on Human-Robot Interaction in groups has demonstrated the positive impact of robot behavior on the quality and effectiveness of the interaction and their ability to shape the dynamics of the group and promote social behavior. In light of this, there is the potential of using social robots as discussion moderators to facilitate engaging and productive discussions among humans. Previous work on topic management in conversational agents was predominantly based on human engagement and topic personalization, with the agent having an active/central role in the conversation. This thesis focuses exclusively on the moderation of group discussions; instead of moderating the topic based on evaluated human engagement, the thesis builds upon previous research on non-verbal cues related to discussion topic structure and turntaking to determine whether participants intend to continue discussing the current topic in a content-free manner. This thesis investigates the suitability of machine-learning models and the contribution of different audiovisual non-verbal features in predicting appropriate topic changes. For this purpose, we utilized pre-recorded interactions between a robot moderator and human participants, which we annotated and from which we extracted acoustic and body language-related features. We provide an analysis of the performance of sequential and nonsequential machine learning approaches using different sets of features, as well as a comparison with rule-based heuristics. The results indicate promising performance in classifying between cases when a topic change was inappropriate versus when a topic change could or should change, outperforming rule-based approaches and demonstrating the feasibility of using machine learning models for topic moderation. Regarding the type of models, the results suggest no distinct advantage of sequential over non-sequential modeling approaches, indicating the effectiveness of simpler non-sequential data models. Acoustic features exhibited comparable and, in some cases, improved overall performance and robustness compared to using only body language-related features or a combination of both types. In summary, this thesis provides a foundation for future research in robot-mediated topic moderation in groups using non-verbal cues, presenting opportunities to further improve social robots with topic moderation capabilities. / Att moderera gruppdiskussioner mellan människor kan ofta vara utmanande och kräver vissa färdigheter, särskilt när det gäller att bestämma när man ska be andra deltagare att utveckla eller ändra det aktuella ämnet för diskussionen. Ny forskning om människa-robotinteraktion i grupper har visat den positiva effekten av robotbeteende på interaktionens kvalitet och effektivitet och deras förmåga att forma gruppens dynamik och främja socialt beteende. I ljuset av detta finns det potential att använda sociala robotar som diskussionsmoderatorer för att underlätta engagerande och produktiva diskussioner bland människor. Tidigare arbete med ämneshantering hos konversationsagenter baserades till övervägande del på mänskligt engagemang och ämnesanpassning, där agenten hade en aktiv/central roll i samtalet. Denna avhandling fokuserar uteslutande på moderering av gruppdiskussioner; istället för att moderera ämnet baserat på utvärderat mänskligt engagemang, bygger avhandlingen på tidigare forskning om icke-verbala ledtrådar relaterade till diskussionsämnesstruktur och turtagning för att avgöra om deltagarna avser att fortsätta diskutera det aktuella ämnet på ett innehållsfritt sätt. Denna avhandling undersöker lämpligheten av maskininlärningsmodeller och bidraget från olika audiovisuella icke-verbala funktioner för att förutsäga lämpliga ämnesändringar. För detta ändamål använde vi förinspelade interaktioner mellan en robotmoderator och mänskliga deltagare, som vi kommenterade och från vilka vi extraherade akustiska och kroppsspråksrelaterade funktioner. Vi tillhandahåller en analys av prestandan för sekventiell och ickesekventiell maskininlärningsmetoder med olika uppsättningar funktioner, samt en jämförelse med regelbaserad heuristik. Resultaten indikerar lovande prestation när det gäller att klassificera mellan fall när ett ämnesbyte var olämpligt kontra när ett ämnesbyte kunde eller borde ändras, överträffande regelbaserade tillvägagångssätt och demonstrerar genomförbarheten av att använda maskininlärningsmodeller för ämnesmoderering. När det gäller typen av modeller tyder resultaten inte på någon tydlig fördel med sekventiella metoder framför icke-sekventiella modelleringsmetoder, vilket indikerar effektiviteten hos enklare icke-sekventiella datamodeller. Akustiska funktioner uppvisade jämförbara och, i vissa fall, förbättrade övergripande prestanda och robusthet jämfört med att endast använda kroppsspråksrelaterade funktioner eller en kombination av båda typerna.svis ger denna avhandling en grund för framtida forskning inom robotmedierad ämnesmoderering i grupper som använder icke-verbala ledtrådar, och presenterar möjligheter att förbättra sociala robotar ytterligare med ämnesmodererande förmåga.

The research addresses current shortcomings of autonomous service robots operating in domestic environments by considering the concept of a semi-autonomous robot that would be supported by human remote operators whenever the robot cannot handle a task autonomously. The main research objective was to investigate how to design the human-robot interaction for a robotic system to assist elderly people with physical tasks at home according to this conceptual idea. The research procedure followed the principles of human-centered design and is structured into four phases: In the first phase, the context of use of the system to be designed was determined. A focus group study yielded characteristics and attitudes of several potential user groups. A survey determined the demands of elderly people and informal caregivers for services a semiautonomous assistive robot may provide. An ethnographic study investigated the living conditions of elderly people and determined technical challenges for robots operating in this type of environment. Another ethnographic study investigated the work environment in teleassistive service centers and determined the feasibility of extending their range of services to incorporate robotic teleassistance. In the second phase, two studies were carried out to understand the interaction requirements. The first study determined common types of failure of current autonomous robots and required human interventions to resolve such failure states. The second study investigated how the human assistance could be provided considering a range of potential interaction devices. In the third phase, a human-robot interaction concept with three user groups and dedicated user interfaces was designed. The concept and user interfaces were refined in an iterative process based on the results of evaluations with prospective users and received encouraging results for user satisfaction and user experience. In the fourth and final phase the utility of two specific user interface features was investigated experimentally. The first experiment investigated the utility of providing remote operators with global 3D environment maps during robot navigation and identified beneficial usage scenarios. The second experiment investigated the utility of stereoscopic display for remote manipulation and robot navigation. Results suggested temporal advantages under stereoscopic display for one of three investigated task types and potential advantages for the other two. / Forskningen behandlar problem med autonoma robotar som agerar i hemmiljö. Specifikt studeras konceptet semi-autonoma robotar, vilket innebär att robotarna stöds av mänskliga operatörer när de inte klarar uppgifter på egen hand. Syftet med forskningen är att undersöka design av människa-robotinteraktion för robotsystem som stöder äldres behov av hjälp med fysiska uppgifter i hemmiljö. Forskningen är användarcentrerad och har strukturerats i fyra faser: I den första fasen undersöktes användarkontexten för systemet. I en fokusgruppsstudie utforskades karakteristika och attityder för flera potentiella användargrupper. Kraven på en semi-autonom robot för att assistera äldre och informella vårdgivare fastställdes. En enkätstudie undersökte levnadsvillkor hos äldre för att utforska tekniska utmaningar dessa omgivningar ställer på robotar. En etnografisk studie undersökte arbetskontexten på servicecenter för teleassistans och undersökte genomförbarhet i att utöka tjänsteutbudet till att även inkludera teleassisterade robotar. I den andra fasen utfördes två studier för att få kunskap om interaktionskrav. Den första studien fastställde vanliga typer av fel som inträffar med nuvarande typer av autonoma robotar och de typer av mänsklig assistans som krävs för att hantera dessa fel. Den andra studien undersökte hur mänsklig assistans kan utformas givet en repertoar av potentiella interaktionsanordningar. I den tredje fasen utformades ett interaktionskoncept för människa-robot interaktionen för tre användargrupper med dedicerade gränssnitt. Koncepten och användargränssnitten förfinades i en iterativ process baserat på resultat från utvärderingar med tänkta användare, och resulterade i uppmuntrande resultat vad gäller användarnas uppskattning och tillfredsställelse. I den fjärde och sista fasen studerades nyttan hos två specifika gränssnitt experimentellt. Det första experimentet undersökte nyttan med att ge operatörer på distans globala 3D-kartor under robotnavigeringen och identifierade användarscenarier där detta kan utnyttjas. Det andra experimentet undersökte nyttan med en stereoskopisk display för att manipulera och navigera roboten på distans. Resultaten visar på temporala fördelar med stereoskopisk display för en av tre undersökta uppgiftstyper och potentiella fördelar för de andra två.

Previous works in Human-Robot Interaction have demonstrated the positive potential benefit of designing highly anthropomorphic robots. This includes physical appearance but also whether they can express emotions, behave in a congruent manner, etc. This work wants to explore the creation of a robot that is able to express a given personality consistently throughout a dialogue while also manifesting congruent emotional expressions. Personality defines many aspects of the character of a person and it can influence how one speaks, behaves, reacts to events, etc. Here, we only focus our attention on language and on how it changes depending on one particular personality trait, the extraversion. To this end, we tested different language models to automate the process of generating language according to a particular personality. We also compared large language models such as GPT-3 to smaller ones, to analyse how size can correlate to performance in this task. We initially evaluated these methods through a fairly small user study in order to confirm the correct manipulation of personality in a text-only context. Results suggest that personality manipulation and how well it is understood highly depend on the context of a dialogue, with a more ‘personal’ dialogue being more successful in manifesting personality. Also, the performance of GPT-3 is comparable to smaller models, specifically trained, with the main difference only given in the perceived fluency of the generations. We then conducted a follow-up study where we chose to use a robot that is capable of showing different facial expressions used to manifest different emotions, the Furhat robot. We integrated into the robot the generations from our language models together with an emotion classification method that is used to guide its facial expressions. Whilst the output of our models did trigger different emotional expressions, resulting in robots which differed both in their language and nonverbal behaviour, resultant perception of these robots’ personality only approached significance (p ∼ 0.08). In this study, GPT3 performed very similarly to much smaller models, with the difference in fluency also being much smaller than before. We did not see any particular change in the perception of the robots in terms of likeability nor uncanniness. / Tidigare arbeten inom Människa-robotinteraktion har visat den positiva potentiella fördelen med att designa mycket antropomorfa robotar. Detta inkluderar fysiskt utseende men också huruvida de kan uttrycka känslor, bete sig på ett kongruent sätt, etc. Detta arbete vill utforska skapandet av en robot som kan uttrycka en given personlighet konsekvent under en dialog samtidigt som den manifesterar kongruenta känslomässiga uttryck. Personlighet definierar många aspekter av en persons karaktär och den kan påverka hur man talar, beter sig, reagerar på händelser etc. Här fokuserar vi vår uppmärksamhet endast på språket och på hur det förändras beroende på ett särskilt personlighetsdrag, extraversion. För detta ändamål testade vi olika språkmodeller för att automatisera processen att skapa språk enligt en viss personlighet. Vi jämförde även stora språkmodeller som GPT-3 med mindre, för att analysera hur storlek kan relatera till prestanda i denna uppgift. Vi utvärderade inledningsvis dessa metoder genom en mindre användarstudie för att bekräfta att personligheten kan manipuleras på rätt sätt i en textbaserad kontext. Resultaten tyder på att personlighetsmanipulation och hur väl den förstås i hög grad beror på sammanhanget i en dialog, där en mer ‘personlig’ dialog är mer framgångsrik när det gäller att manifestera personlighet. Prestandan hos GPT-3 är också jämförbar med mindre modeller, specifikt tränade på en uppgift, där den största skillnaden var i den genererade textens upplevda flyt. Vi gjorde sedan en uppföljningsstudie där vi valde att använda en robot som är kapabel att visa olika ansiktsuttryck och därigenom kapabel att manifestera olika känslor, Furhat-roboten. Vi integrerade talet som genererades från våra språkmodeller i roboten tillsammans med en känsloklassificeringsmetod som används för att styra dess ansiktsuttryck. Medan resultatet av våra modeller framkallade olika känslomässiga uttryck, vilket resulterade i robotar som skilde sig åt både i språk och icke-verbal kommunikation, närmade sig endast den resulterande uppfattningen av dessa robotars personlighet signifikans (p ∼ 0.08). I denna studie presterade GPT-3 mycket likartat med mycket mindre modeller, med skillnaden i flyt också mycket mindre än tidigare. Vi såg ingen speciell förändring i uppfattningen av robotarna när det gäller sympati eller obehaglighet.