Communication between humans and interactive robots will benefit if people have a clear mental model of the robots' intent and awareness. The aim with this thesis was to investigate how human-robot interaction is affected by manipulation of social cues on the robot. The research questions were: How do social cues affect mental models of the Pepper robot, and how can a participatory design method be used for investigating how the Pepper robot could communicate intent and awareness? The hypothesis for the second question was that nonverbal cues would be preferred over verbal cues. An existing standard platform was used, Softbank's Pepper, as well as state-of-the-art tasks from the RoboCup@Home challenge. The rule book and observations from the 2018 competition were thematically coded and the themes created eight scenarios. A participatory design method called PICTIVE was used in a design study, where five student participants went through three phases, label, sketch and interview, to create a design for how the robot should communicate intent and awareness. The use of PICTIVE was a suitable way to extract a lot of design ideas. However, not all scenarios were optimal for the task. The design study confirmed the use of mediating physical attributes to alter the mental model of a humanoid robot to reach common ground. Further, it did not confirm the hypothesis that nonverbal cues would be preferred over verbal cues, though it did show that verbal cues would not be enough. This, however, needs to be further tested in live interactions.

We have identified a novel Cyclin, called Cyclin O, which is able to bind and activate Cdk2 in response to intrinsic apoptotic stimuli. We have focused on the study of Cyclin Oα and Cyclin Oβ, alternatively spliced products of the gene. Upon treatment with different stress stimuli, transfected Cyclin Oα accumulates in dense aggregations in the cytoplasm compatible with being Stress Granules (SGs). Furthermore, we have seen that Cyclin Oβ and a point mutant of the N-terminal part of the protein constitutively localize to the SGs. Although both alpha and beta isoforms are proapoptotic, only Cyclin Oα can bind and activate Cdk2. On the other hand, we have demonstrated that Cyclin O is upregulated by Endoplasmic Reticulum (ER) stress and is necessary for ER stress-induced apoptosis. Cyclin O activates specifically the PERK pathway and interacts with the PERK inhibitor protein p58IPK. Moreover, Cyclin O participates in the activation of other eIF2α kinases. We have also observed that a pool of Cyclin O is located in active mitochondria, suggesting a function of the protein linked to oxidative metabolism.Hemos identificado una nueva Ciclina, llamada Ciclina O, que es capaz de unirse y activar Cdk2 en respuesta a estímulos apoptóticos intrínsecos. Nos hemos centrado en el estudio de la Ciclina Oα y la Ciclina Oβ, productos de splicing alternativo del gen. En respuesta a diferentes tipos de estrés, la Ciclina Oα se acumula en agregaciones citoplásmicas densas que podrían corresponder a Gránulos de Estrés (SGs). Además, hemos visto que la Ciclina Oβ y un mutante puntual de la parte N-terminal de la proteína se localizan constitutivamente en los SGs. Aunque las dos isoformas alfa y beta son proapoptóticas, solo la Ciclina Oα es capaz de unirse y activar Cdk2. Por otro lado, hemos demostrado que los niveles de Ciclina O se incrementan en respuesta al estrés de Retículo Endoplásmico (RE) y que esta proteína es necesaria para la inducción de apoptosis dependiente de estrés de RE. La Ciclina O activa específicamente la vía de PERK e interacciona con la proteína inhibidora de PERK p58IPK. Además, la Ciclina O participa en la activación de otras quinasas de eIF2α. La Ciclina O se localiza en mitocondrias activas, lo que sugiere una función de la proteína ligada al metabolismo oxidativo.

In der vorliegenden Dissertation wurde ein datengetriebenes Verfahren zum maschinellen Lernen von Mensch-Roboter Interaktionen auf Basis von Mensch-Mensch Demonstrationen entwickelt. Während einer Trainingsphase werden Bewegungen zweier Interakteure mittels Motion Capture erfasst und in einem Zwei-Personen Interaktionsmodell gelernt. Zur Laufzeit wird das Modell sowohl zur Erkennung von Bewegungen des menschlichen Interaktionspartners als auch zur Generierung angepasster Roboterbewegungen eingesetzt. Die Leistungsfähigkeit des Ansatzes wird in drei komplexen Anwendungen evaluiert, die jeweils kontinuierliche Bewegungskoordination zwischen Mensch und Roboter erfordern. Das Ergebnis der Dissertation ist ein Lernverfahren, das intuitive, zielgerichtete und sichere Kollaboration mit Robotern ermöglicht.

In everyday communication, humans utilise eye gaze due to its importance as a communication tool. As technology evolves, social robots are expected to become more adopted in society and, since they interact with humans, they should similarly use eye gaze to elevate the level of the interaction and increase humans’ perception of them. Previous studies have shown that robots possessing human-like gaze behaviour increase the interactants’ task performance and their perception of the robot. However, social robots must also be able to behave and respond appropriately when humans act inappropriately, and failure in doing so may normalize bad behaviour even towards other humans. Additionally, with the recent progress of wearable eyetracking technology, there is interest to see how this technology can be used to help generate human gaze into a robot. This thesis work investigates how the eye gaze behaviour from a human being can be modeled into the robot Furhat to behave more human-like in a confrontational scenario. It further investigates how a robot possessing the developed human-like gaze model compares to a robot using a believable heuristic gaze model. We created a pipeline which concerned selecting scenarios, conducting roleplays between actors of these scenarios to collect gaze, extracting and processing that gaze data and extracting probability distributions that the human-like model would utilise. Our model used frequencies to determine where to gaze and head rotation, while gamma distributions were used to sample gaze length. We then executed an online video study with the two robot conditions where participants rated either robot by filling out a questionnaire. The results show that while no statistical difference could be found, the human-like condition scored higher on the measures anthropomorphism/human-likeness and composure, whereas the heuristic condition rated higher on expertise and extroversion. As such, the human-like model did not yield a significant benefit on robot perception to opt for it. Still, we suggest that the pipeline used in this thesis work may help HRI researchers to perform gaze studies and possibly build a foundation for further development. / I vardaglig kommunikation använder människor sig av blickar på grund av dess betydelse som kommunikationsverktyg. Då teknologi ständigt utvecklas förväntas det att sociala robotar kommer att bli mer involverade i samhället, och eftersom de integrerar med människor så bör de på samma sätt använda sig av blickar och ögonrörelser för att höja nivån på interaktionen och därmed förbättra människors uppfattning av dem. Tidigare studier har visat att robotar som använder sig av blickar likt människor kan förbättra deltagarnas utförande av uppgifter samt deras uppfattning av roboten. Sociala robotar måste dock även kunna agera och svara på ett lämpligt sätt när människor beter sig olämpligt, och gör dem inte det finns risken att det olämpliga beteendet normaliseras, även i interaktioner med andra människor. Med de senaste framstegen av portabla eye-tracking enheter finns det därför ett intresse att se hur denna teknologi kan användas för att generera människolikt blickbeteende som sedan används i en robot. Denna studie undersöker hur en människas sätt att blicka och titta kan modelleras i roboten Furhat för att bete sig mer människolikt i ett scenario där konfrontation behövs. Studien undersöker dessutom hur en robot som bär ett människolikt blickbeteende jämför sig med en robot som bär ett trovärdigt heuristiskt blickbeteende. Vi skapade en struktur som involverade att välja scenarion, utföra rollspel mellan skådespelare i dessa scenarier för att samla data om deras blickmönster, extrahera och bearbeta denna data, och extraherade sannolikhetsfördelningar som den människolika modellen skulle använda sig av. Vår modell använde sig av frekvenser för att besluta var roboten skulle blicka, medan gammafördelningar användes för att generera blickens längd. Vi utförde därefter en videostudie online med de två robotvarianterna, där deltagare bedömde någon av robotarna genom att svara på en enkät. Resultaten visar att ingen statistisk signifikant skillnad kunde påvisas. Trender visade dock att modellen med människolik blickbeteende bedömdes högre i mätningen av attributerna antropomorfism/mänsklighet och fattning, medan den heuristiska modellen bedömdes högre i expertis och utåtvändighet. Därav erhöll den människolika modellen ingen signifikant framgång för att föredra den. Vi föreslår ändå att strukturen som användes i studien kan hjälpa MRI forskare att utföra studier som involverar blickbeteende hos människor, och möjligtvis bygga en grund för vidareutveckling av strukturen.

Context In the last centuries, we have been generating and building infrastructure at a faster pace than ever before. Simultaneously the costs for labor and construction sectors as road and house building is increasing. This provides room for autonomous machines. The development of infrastructure is accomplished through highly efficient and productive construction machinery that progressively modernizes to form the society. In order to increase the pace of development, both cars and industry are getting more and more automated. Volvo Construction Equipment is exploring the autonomous vehicle space. The new machines complement and perfect the human work with efficiency, reliability, and durability. There is however, a question of trust between the human workers and the autonomous machines, I will in this thesis investigate methods on how to develop trust through communication systems with autonomous machines.   Objectives To create recommendations and solutions for products that build trust between human and automated machines on a construction site.   Method Outcome is reached through a case study exploration with validated learning, meaning that it will incorporate learnings through prototype iterations.   Results The result evaluates how trust could be developed between humans and autonomous machinery at a construction site and how communication methods between these parties could be implemented while maintaining high levels of efficiency and safety.   Conclusion Findings in this thesis indicates that trust is developed over time with reliable systems that provide colleagues with updated information available at any time. The results can be introduced in both today’s and tomorrow’s construction sites at various levels of advanced technology. / Sammanhang De senaste hundra åren har vi gett upphov till att bygga infrastruktur i en snabbare takt än någonsin tidigare. Samtidigt ökar kostnaderna för både arbetskraft och byggsektorer som väg- och bostadsbyggnader. Denna situation ger utrymme för autonoma maskiner. Utvecklingen av infrastruktur sker genom effektiva och produktiva konstruktionsmaskiner som successivt moderniseras för att forma samhället. För att öka utvecklingstakten moderniseras både bilar och industri för att möta en mer automatiserad vardag.  Volvo Construction Equipment undersöker det autonoma fordonsutrymmet för nästa generations maskiner. Automationen kompletterar de nya maskinerna och fulländar det mänskliga arbetet med effektivitet, tillförlitlighet och hållbarhet.   Det finns dock en fråga om relationen mellan mänskliga arbetare och autonoma maskiner, jag kommer i denna avhandling undersöka metoder för hur man kan utveckla tillit genom kommunikationssystem mellan arbetare och autonoma maskiner.   Mål Att skapa rekommendationer och lösningar för produkter som bygger tillit mellan mänskliga och automatiserade maskiner på en byggarbetsplats.   Metod Resultatet uppnås genom användandet av fallstudie forskning kombinerat med validerande lärande. Detta innebär lärdomar med hjälp av en iterativ process utav prototyper som testas och valideras.   Resultat Resultatet utvärderar hur förtroende kan utvecklas mellan människor och autonoma maskiner på en byggarbetsplats. Hur kommunikationsmetoder mellan dessa parter skulle kunna genomföras samtidigt som hög effektivitet och säkerhet upprätthålls .   Slutsats Lärandet i denna avhandling tyder på att förtroendet utvecklas över tid med tillförlitliga system som ger medarbetare uppdaterad nödvändig information tillgänglig när som helst. Resultaten kan införas i både dagens och framtidens anläggningsplatser på olika nivåer av avancerad teknik. / <p>Vissa delar är borttagan på grund av konfidentialitet.</p> / ME310 Design Innovation at Stanford University

In this thesis, we aim at modeling some aspects of the functional role of emotions on an autonomous embodied agent. We begin by describing our robotic prototype, Cherry--a robot with the task of being a tour guide and an office assistant for the Computer Science Department at the University of Central Florida. Cherry did not have a formal emotion representation of internal states, but did have the ability to express emotions through her multimodal interface. The thesis presents the results of a survey we performed via our social informatics approach where we found that: (1) the idea of having emotions in a robot was warmly accepted by Cherry's users, and (2) the intended users were pleased with our initial interface design and functionalities. Guided by these results, we transferred our previous code to a human-height and more robust robot--Petra, the PeopleBot™--where we began to build a formal emotion mechanism and representation for internal states to correspond to the external expressions of Cherry's interface. We describe our overall three-layered architecture, and propose the design of the sensory motor level (the first layer of the three-layered architecture) inspired by the Multilevel Process Theory of Emotion on one hand, and hybrid robotic architecture on the other hand. The sensory-motor level receives and processes incoming stimuli with fuzzy logic and produces emotion-like states without any further willful planning or learning. We will discuss how Petra has been equipped with sonar and vision for obstacle avoidance as well as vision for face recognition, which are used when she roams around the hallway to engage in social interactions with humans. We hope that the sensory motor level in Petra could serve as a foundation for further works in modeling the three-layered architecture of the Emotion State Generator.

Robots and virtual agents grow rapidly in behavioural sophistication and complexity. They become better learners and teachers, cooperators and communicators, workers and companions. These artefacts – whose behaviours are not always readily understood by human intuition nor comprehensibly explained in terms of mechanism – will have to interact socially. Moving beyond artificial rational systems to artificial social systems means having to engage with fundamental questions about agenthood, sociality, intelligence, and the relationship between mind and body. It also means having to revise our theories about these things in the course of continuously assessing the social sufficiency of existing artificial social agents. The present thesis presents an empirical study investigating the social influence of physical versus virtual embodiment on people's decisions in the context of a bargaining task. The results indicate that agent embodiment did not affect the social influence of the agent or the extent to which it was perceived as a social actor. However, participants' perception of the agent as a social actor did influence their decisions. This suggests that experimental results from studies comparing different robot embodiments should not be over-generalised beyond the particular task domain in which the studied interactions took place.

In der vorliegenden Dissertation wurde ein datengetriebenes Verfahren zum maschinellen Lernen von Mensch-Roboter Interaktionen auf Basis von Mensch-Mensch Demonstrationen entwickelt. Während einer Trainingsphase werden Bewegungen zweier Interakteure mittels Motion Capture erfasst und in einem Zwei-Personen Interaktionsmodell gelernt. Zur Laufzeit wird das Modell sowohl zur Erkennung von Bewegungen des menschlichen Interaktionspartners als auch zur Generierung angepasster Roboterbewegungen eingesetzt. Die Leistungsfähigkeit des Ansatzes wird in drei komplexen Anwendungen evaluiert, die jeweils kontinuierliche Bewegungskoordination zwischen Mensch und Roboter erfordern. Das Ergebnis der Dissertation ist ein Lernverfahren, das intuitive, zielgerichtete und sichere Kollaboration mit Robotern ermöglicht.

Samhällsutvecklingen går i en riktning där människor arbetar i allt närmare samarbete med artificiella agenter. För att detta samarbete ska vara på användarens villkor är det viktigt att förstå hur människor uppfattar och förhåller sig till dessa system. Hur dessa agenter bedöms moraliskt är en komponent i denna förståelse. Malle m.fl. (2015) utförde en av de första studierna kring hur normer och skuld appliceras på människa respektive robot. I samma artikel efterfrågades mer forskning kring vilka faktorer hos agenter som påverkar de moraliska bedömningarna. Föreliggande studie tog avstamp i denna frågeställning och avsåg att undersöka hur moralisk godtagbarhet och skuldbeläggning skiljde sig beroende på om agenten var en person, en humanoid robot eller ett autonomt intelligent system utan kropp (AIS). Ett mellangrupps-experiment (N = 119) användes för att undersöka hur agenterna bedömdes för sina beslut i tre olika moraliska dilemman. Deltagares rättfärdigaden bakom bedömningar samt medveten hållning utforskades som förklaringsmodell av skillnader. Medveten hållning avser Dennetts (1971) teori kring huruvida en agent förstås utifrån mentala egenskaper. Resultaten visade att person och robot erhöll liknande godtagbarhet för sina beslut medan AIS fick signifikant lägre snitt. Graden skuld som tillskrevs skiljde sig inte signifikant mellan agenterna. Analysen av deltagares rättfärdiganden gav indikationer på att skuldbedömningarna av de artificiella agenterna inte grundade sig i sådan information som antagits ligga till grund för denna typ av bedömningar. Flera rättfärdiganden påpekade också att det var någon annan än de artificiella agenterna som bar skulden för besluten. Vidare analyser indikerade på att deltagare höll medveten hållning mot person i störst utsträckning följt av robot och sedan AIS. Studien väcker frågor kring huruvida skuld som fenomen går att applicera på artificiella agenter och i vilken utsträckning distribuerad skuld är en faktor när artificiella agenter bedöms.

Bientôt, les robots ne travailleront plus de manière isolée mais avec nous. Ils entrent peu à peu dans notre vie de tous les jours pour coopérer, assister, aider, servir, apprendre, enseigner ou même jouer avec l'homme. Dans ce contexte, nous considérons que ce ne doit pas être à l'homme de s'adapter au robot. Au contraire, le robot doit être capable d'intégrer, dans ses stratégies de planification et de décision, différents facteurs d'effort et de confort et de prendre en compte les préférences et désirs de l'homme ainsi que les normes sociales de son environnement. Tout en respectant les principes de sécurité réglementaire, le robot doit se comporter, naviguer, manipuler, communiquer et apprendre d'une manière qui soit pertinente, acceptée et compréhensible par l'homme. Cette thèse explore et définit les ingrédients clés nécessaires au robot pour développer une telle intelligence socio-cognitive. Elle définit également un cadre pour l'interaction homme-robot permettant de s'attaquer à ces challenges dans le but de rendre le robot socialement intelligent / Robots will no longer be working isolated from us. They are entering into our day-to-day life to cooperate, assist, help, serve, learn, teach and play with us. In this context, it is important that because of the presence of robots, the human should not be on compromising side. To achieve this, beyond the basic safety requirements, robots should take into account various factors ranging from human’s effort, comfort, preferences, desire, to social norms, in their various planning and decision making strategies. They should behave, navigate, manipulate, interact and learn in a way, which is expected, accepted, and understandable by us, the human. This thesis begins by exploring and identifying the basic yet key ingredients of such socio-cognitive intelligence. Then we develop generic frameworks and concepts from HRI perspective to address these additional challenges, and to elevate the robots capabilities towards being socially intelligent