Turn-taking is a fundamental process that governs social interaction. When humans interact, they naturally take initiative and relinquish control to each other using verbal and nonverbal behavior in a coordinated manner. In contrast, existing approaches for controlling a robot's social behavior do not explicitly model turn-taking, resulting in interaction breakdowns that confuse or frustrate the human and detract from the dyad's cooperative goals. They also lack generality, relying on scripted behavior control that must be designed for each new domain. This thesis seeks to enable robots to cooperate fluently with humans by automatically controlling the timing of multimodal turn-taking. Based on our empirical studies of interaction phenomena, we develop a computational turn-taking model that accounts for multimodal information flow and resource usage in interaction. This model is implemented within a novel behavior generation architecture called CADENCE, the Control Architecture for the Dynamics of Embodied Natural Coordination and Engagement, that controls a robot's speech, gesture, gaze, and manipulation. CADENCE controls turn-taking using a timed Petri net (TPN) representation that integrates resource exchange, interruptible modality execution, and modeling of the human user. We demonstrate progressive developments of CADENCE through multiple domains of autonomous interaction encompassing situated dialogue and collaborative manipulation. We also iteratively evaluate improvements in the system using quantitative metrics of task success, fluency, and balance of control.

In der vorliegenden Dissertation wurde ein datengetriebenes Verfahren zum maschinellen Lernen von Mensch-Roboter Interaktionen auf Basis von Mensch-Mensch Demonstrationen entwickelt. Während einer Trainingsphase werden Bewegungen zweier Interakteure mittels Motion Capture erfasst und in einem Zwei-Personen Interaktionsmodell gelernt. Zur Laufzeit wird das Modell sowohl zur Erkennung von Bewegungen des menschlichen Interaktionspartners als auch zur Generierung angepasster Roboterbewegungen eingesetzt. Die Leistungsfähigkeit des Ansatzes wird in drei komplexen Anwendungen evaluiert, die jeweils kontinuierliche Bewegungskoordination zwischen Mensch und Roboter erfordern. Das Ergebnis der Dissertation ist ein Lernverfahren, das intuitive, zielgerichtete und sichere Kollaboration mit Robotern ermöglicht.

The term Industry 4.0, sometimes referred to as a buzzword, is today on everyone’s tongue and the benefits undeniably seem to be promising and have potential to revolutionize the manufacturing industry. But what does it really mean? From a high-level business perspective, the concept of Industry 4.0 most often demonstrates operational efficiency and promising business models but studies show that many companies either lack understanding for the concept and how it should be implemented or are dissatisfied with progress of already implemented solutions. Further, there is a perception that it is difficult to implement the concept without interference with the current production system.The purpose of this study is to interpret and outline the main characteristics and key components of the concept Industry 4.0 and further break down and conclude the potential benefits and enablers for a manufacturing company within the heavy automotive industry. In order to succeed, a case study has been performed at a manual final assembly production unit within the heavy automotive industry. Accordingly, the study intends to give a deeper understanding of the concept and specifically how manual assembly within an already existing manual production system will be affected. Thus outline the crucial enablers in order to successfully implement the concept of Industry 4.0 and be prepared to adapt to the future challenges of the industry. The case study, performed through observations and interviews, attacks the issue from two perspectives; current state and desired state. A theoretical framework is then used as a basis for analysis of the result in order to be able to further present the findings and conclusion of the study. Lastly, two proof of concept are performed to exemplify and support the findings. The study shows that succeeding with implementation of Industry 4.0 is not only about the related technology itself. Equally important parts to be considered and understood are the integration into the existing production system and design and purpose of the manual assembly process. Lastly the study shows that creating understanding and commitment in the organization by strategy, leadership, culture and competence is of greatest importance to succeed. / Begreppet Industri 4.0, ibland benämnt som modeord, är idag på allas tungor och fördelarna verkar onekligen lovande och tros ha potential att revolutionera tillverkningsindustrin. Men vad betyder det egentligen? Ur ett affärsperspektiv påvisar begreppet Industri 4.0 oftast ökad operativ effektivitet och lovande affärsmodeller men flera studier visar att många företag antingen saknar förståelse för konceptet och hur det ska implementeras eller är missnöjda med framstegen med redan implementerade lösningar. Vidare finns det en uppfattning att det är svårt att implementera konceptet utan störningar i det nuvarande produktionssystemet. Syftet med denna studie är att tolka och beskriva huvudegenskaperna och nyckelkomponenterna i konceptet Industri 4.0 och ytterligare bryta ner och konkludera de potentiella fördelarna och möjliggörarna för ett tillverkande företag inom den tunga bilindustrin. För att lyckas har en fallstudie utförts vid en manuell slutmonteringsenhet inom den tunga lastbilsindustrin. Studien avser på så sätt att ge en djupare förståelse för konceptet och specifikt hur manuell montering inom ett redan existerande manuellt produktionssystem kommer att påverkas. Alltså att kartlägga viktiga möjliggörare för att framgångsrikt kunna implementera konceptet Industri 4.0 och på så sätt vara beredd att ta sig an industrins framtida utmaningar. Fallstudien, utförd genom observationer och intervjuer, angriper frågan från två perspektiv; nuläge och önskat läge. Ett teoretiskt ramverk används sedan som underlag för analys av resultatet för att vidare kunna presentera rön och slutsats från studien. Slutligen utförs två experiment för att exemplifiera och stödja resultatet. Studien visar att en framgångsrik implementering av Industri 4.0 troligtvis inte bara handlar om den relaterade tekniken i sig. Lika viktiga delar som ska beaktas och förstås är integrationen i det befintliga produktionssystemet och utformningen och syftet med den manuella monteringsprocessen. Slutligen visar studien att det är av största vikt att skapa förståelse och engagemang i organisationen genom strategi, ledarskap, kultur och kompetens.

This thesis provides a systematic guideline for evaluating, integrating and designing the collaborative end effector system associated with commercially available collaborative robots (cobots). On the basis of ISO/TS 15066:2016, customers’ demands are categorised as a macro demand framework and micro demand variables, which are parameterised and hierarchised. By analysing these parameters, the collaborative degree is determined to correlate the hazards with protection measures, which can demonstrate the collaborative safety level transparently. After that, the safety protection measures are specifically proposed corresponding to the potential risks. Finally, an industrial application is evaluated, a novel adapter utilised on the UR5 cobot is illustrated, and its characteristics for the collaborative operation are described.:1 Introduction 2 Robotic end effector in Assembly and Handling 3 Concept and Definition of Collaboration 4 Statement of the academic purpose and methodology 5 Guideline and Methodology for designing the Active Lightweight End-effector (ALE) for collaborative robots 6 Performance demand d4): multiplicity and versatility of end effector 7 A safety monitoring end effector (Adapter) for collaborative operations 8 A practical study of collaborative integration based on collaborative degree 9 Conclusion Appendix / Diese Arbeit liefert einen systematischen Leitfaden für die Bewertung, Integration und Gestaltung des kollaborierenden Endeffektorsystems in Verbindung mit kommerziell verfügbaren kollaborativen Robotern (Kobots). Auf der Grundlage der ISO/TS 15066:2016 werden die Anforderungen der Kunden in einen Makro-Bedarfsrahmen und Mikro-Bedarfsvariablen kategorisiert, die parametrisiert und hierarchisiert werden. Durch die Analyse dieser Parameter wird der Kollaborationsgrad ermittelt, um die Gefährdungen mit Schutzmaßnahmen zu korrelieren, die die kollaborierende Sicherheitsstufe transparent darstellen können. Danach werden die Schutzmaßnahmen entsprechend den potenziellen Risiken vorgeschlagen. Schließlich wird ein industrieller Anwendungsfall bewertet, ein neuartiger Adapter für den Einsatz an einem Roboter UR5 erläutert und dessen Kenndaten für den kollaborierenden Betrieb beschrieben.:1 Introduction 2 Robotic end effector in Assembly and Handling 3 Concept and Definition of Collaboration 4 Statement of the academic purpose and methodology 5 Guideline and Methodology for designing the Active Lightweight End-effector (ALE) for collaborative robots 6 Performance demand d4): multiplicity and versatility of end effector 7 A safety monitoring end effector (Adapter) for collaborative operations 8 A practical study of collaborative integration based on collaborative degree 9 Conclusion Appendix