Skapat av Högskolan i Skövde och på uppdrag av Elektroautomatik i Skövde har detta projekt genomförts för att identifiera möjliga människa-robot samarbeten i monteringsmiljö. Robotarna som funnits i åtanke för denna form av samarbete är kollaborativa robotar. I dagens industri existerar redan kollaborativa robotar men utför ofta uppgifter på en mer samexisterande nivå avskild från människan. Den form av människa-robot samarbete som undersökts i detta arbete är där båda parter assisterar varandra i en arbetsuppgift på gemensam yta. Detta koncept har blivit allt viktigare för dagens företag som efterfrågar ett mer flexibelt och anpassningsbart system i framtiden. Under projektet undersöktes även förbättringsförslag på nuvarande lösningar för kollaborativa robotar samt processen kring robotlösningen. Genom studerad litteratur utformades tre intervjuprotokoll avsedda för en intervjustudie med tre olika yrkesgrupper – montörer, produktionstekniker och ingenjörer. Intervjustudien utfördes i samarbete med företag i Skövde där kunskap extraherats från personer inom monteringsmiljö. Kärnfrågan i samtliga intervjuprotokoll var i vilka uppgifter i monteringsmiljö som intervjupersonen såg möjlighet till ett människa-robot samarbete. Insamlad data har transkriberats, strukturerats och sorterats för att kunna sammanställa ett resultat. Förslag på möjliga arbetsmoment som framkom under intervjustudien delades in i sex kategorier: Svåråtkomligt, tidskrävande, ergonomisk avlastning, logistik, kvalitet och produktvariation. Ett resultat presenteras där samarbetsuppgifter mellan människa och robot sammanställts från intervjustudien. Dessa har sorterats efter de sex kategorierna inom möjliga arbetsmoment. Övergripande förslag angavs under intervjustudien på vilken typ av uppgifter och områden en kollaborativ robot hade kunnat samarbeta med en människa. Dessa förslag föll under flera kategorier – exempelvis äntring av stort antal skruvar vilket kan kategoriseras enligt både ergonomisk avlastning och tidskrävande. Den kategori som genererat flest förslag är arbetsuppgifter där en kollaborativ robot kan erbjuda ergonomisk avlastning för människan. För att identifiera mer specifika arbetsuppgifter behöver ytterligare undersökning utföras baserat på de områden som identifierats i detta arbete. Den kollaborativa robotlösningen behöver kunna arbeta inom flera olika kategorier för att uppnå den framtida flexibla produktion som efterfrågas. / Created by the University of Skövde and assigned by Elektroautomatik in Skövde this project was executed to identify possible HRC tasks in the assembly industry. The robots that were reviewed for this type of collaboration tasks were collaborative robots. Collaborative robots already exists in today’s industry but are commonly working on a co-existing level separated from the human. The type of collaboration investigated during this project regards solving tasks where the human and robot assist each other on a common work surface. This concept has gained more importance for companies today because of the increasing demand of a more flexible and adaptable system for the future production. Improvement proposals has been generated during the project regarding the collaborative robot and its implementation process. Based on the researched literature three interview protocols was created for three different groups of professions – assemblers, production technicians and engineers. In collaboration with companies in Skövde the interviews were executed gathering knowledge from people working within the assembly environment. The main question in all interview protocols were in which type of assembly tasks the interviewed could see a possibility for HRC. Collected data has been transcribed, structured and sorted in order to reach a result. Proposals of possible HRC operations gathered from the interviews were divided into six categories – inaccessible, time demanding, ergonomic relief, logistics, quality and product variety. A result has been presented where HRC tasks has been compiled from the interviews. These has been sorted into the six categories generated from possible HRC operations. General ideas were proposed during the interviews regarding what possible type of tasks and areas a collaborative robot could work together with a human. In many cases the proposals given could be sorted into more than one category – for example assemble of a large amount of screws that could be categorized as both ergonomic relief and time demanding. The category that generated the largest amount of proposals of HRC were tasks intended to offer ergonomic relief for the human. To identify more specific HRC tasks further research need to be performed based on the categories of areas that has been identified in this project. The future collaborative robot solution has to be able to combine more than one category to reach the flexible and adaptable system that is demanded.

Future manufacturing will be characterized by the complementarity between humans and automation (human-robot collaboration). This requires new methods and tools for the design and operation of optimized manufacturing workplaces in terms of ergonomics, safety, efficiency, complexity management and work satisfaction. There have been some efforts in the recent years to propose a tool for determining optimal human-automation levels for load balancing. Although the topic is quite new, it shares some similarities with some of the existing research in the area of robotic assembly line balancing. Therefore, it is crucial to review the existing literature and find the most similar models and methods to facilitate the development of new optimization models and algorithms. One of the two contributions that this thesis gives to the research world in the RALBP context is a literature review that involves high quality articles from 1993 to beginning 2018. This literature review includes visual and comprehensive tables—and a label system— where previous research patterns and trends are highlighted. Visualization of data and results obtained by assembly line optimization tools is a very important topic that has rarely been studied. Data visualization would provide a: 1. better comprehension of patterns, trends and qualitative data 2. more constructive information absorption 3. better visualization of relationships and patterns between operations, and 4. better contribution to data manipulation and interaction. The second contribution to research found in this thesis is the use of a human modelling (DHM) tool (called IPS), which is proposed as an assessment to the ergonomic risk that a robotic assembly line may involve. This kind of studies are necessary in order to reduce one of the most frequent reasons of work absence in our today society i.e. musculoskeletal disorders (MSDs). MSDs are often the result of poor work environments and they lead to reduced productivity and quality losses at companies. In view of the above, IPS was used in order to resolve the load handling problem between human and robot, depending on their skills and availability, while fulfilling essential ISO standards i.e. 15066 and 10218:1 and :2. The literature review made it possible to select highly useful documents in developing assumptions for the experiment and contributed to consider real features detected in the industry. Results show that even though IPS is not capable of calculating an entire robotic assembly with human-robot collaboration, it is able to simulate a workstation constituted of one robot and one human. Finite and assembly motions for both human and robot are expected to be implemented in future versions of the software. Finally, the main advantages of using DHM tools in assessing ergonomic risks in RALB can be extracted from the results of this thesis. This advantages include 1. ergonomic evaluation for assembly motions 2. ergonomic evaluation for a full working day (available in future version) and 3. essential ISO standard testing (available in future version).

In der vorliegenden Dissertation wurde ein datengetriebenes Verfahren zum maschinellen Lernen von Mensch-Roboter Interaktionen auf Basis von Mensch-Mensch Demonstrationen entwickelt. Während einer Trainingsphase werden Bewegungen zweier Interakteure mittels Motion Capture erfasst und in einem Zwei-Personen Interaktionsmodell gelernt. Zur Laufzeit wird das Modell sowohl zur Erkennung von Bewegungen des menschlichen Interaktionspartners als auch zur Generierung angepasster Roboterbewegungen eingesetzt. Die Leistungsfähigkeit des Ansatzes wird in drei komplexen Anwendungen evaluiert, die jeweils kontinuierliche Bewegungskoordination zwischen Mensch und Roboter erfordern. Das Ergebnis der Dissertation ist ein Lernverfahren, das intuitive, zielgerichtete und sichere Kollaboration mit Robotern ermöglicht.

Cette thèse est consacrée à l'étude de la manipulation et de la coordination robotique à deux bras ayant pour objectif le développement d'une approche unifiée dont différentes tâches seront décrites dans le même formalisme. Afin de fournir un cadre théorique compact et rigoureux, les techniques présentées utilisent les quaternions duaux afin de représenter les différents aspects de la modélisation cinématique ainsi que de la commande.Une nouvelle représentation de la manipulation à deux bras est proposée - l'espace dual des tâches de coopération - laquelle exploite l'algèbre des quaternions duaux afin d'unifier les précédentes approches présentées dans la littérature. La méthode est étendue pour prendre en compte l'ensemble des chaînes cinématiques couplées incluant la simulation d'un manipulateur mobile.Une application originale de l'espace dual des tâches de coopération est développée afin de représenter de manière intuitive les tâches principales impliquées dans une collaboration homme-robot. Plusieurs expérimentations sont réalisées pour valider les techniques proposées. De plus, cette thèse propose une nouvelle classe de tâches d'interaction homme-robot dans laquelle le robot contrôle tout les aspects de la coordination. Ainsi, au-delà du contrôle de son propre bras, le robot contrôle le bras de l'humain par le biais de la stimulation électrique fonctionnelle (FES) dans le cadre d'applications d'interaction robot / personne handicapée.Grâce à cette approche générique développée tout au long de cette thèse, les outils théoriques qui en résultent sont compacts et capables de décrire et de contrôler un large éventail de tâches de manipulations robotiques complexes. / This thesis is devoted to the study of robotic two-arm coordination/manipulation from a unified perspective, and conceptually different bimanual tasks are thus described within the same formalism. In order to provide a consistent and compact theory, the techniques presented herein use dual quaternions to represent every single aspect of robot kinematic modeling and control.A novel representation for two-arm manipulation is proposed—the cooperative dual task-space—which exploits the dual quaternion algebra to unify the various approaches found in the literature. The method is further extended to take into account any serially coupled kinematic chain, and a case study is performed using a simulated mobile manipulator. An original application of the cooperative dual task-space is proposed to intuitively represent general human-robot collaboration (HRC) tasks, and several experiments were performed to validate the proposed techniques. Furthermore, the thesis proposes a novel class of HRC taskswherein the robot controls all the coordination aspects; that is, in addition to controlling its own arm, the robot controls the human arm by means of functional electrical stimulation (FES).Thanks to the holistic approach developed throughout the thesis, the resultant theory is compact, uses a small set of mathematical tools, and is capable of describing and controlling a broad range of robot manipulation tasks.

L'interaction homme-robot arrive dans une phase intéressante ou la relation entre un homme et un robot est envisage comme 'un partenariat plutôt que comme une simple relation maitre-esclave. Pour que cela devienne une réalité, le robot a besoin de comprendre le comportement humain. Il ne lui suffit pas de réagir de manière appropriée, il lui faut également être socialement proactif. Pour que ce comportement puis être mise en pratique le roboticien doit s'inspirer de la littérature déjà riche en sciences sociocognitives chez l'homme. Dans ce travail, nous allons identifier les éléments clés d'une telle interaction dans le contexte d'une tâche commune, avec un accent particulier sur la façon dont l'homme doit collaborer pour réaliser avec succès une action commune. Nous allons montrer l'application de ces éléments au cas un système robotique afin d'enrichir les interactions sociales homme-robot pour la prise de décision. A cet égard, une contribution a la gestion du but de haut niveau de robot et le comportement proactif est montre. La description d'un modèle décisionnel d'collaboration pour une tâche collaboratif avec l'humain est donnée. Ainsi, l'étude de l'interaction homme robot montre l'intéret de bien choisir le moment d'une action de communication lors des activités conjointes avec l'humain / Human Robot Interaction is entering into the interesting phase where the relationship with a robot is envisioned more as one of companionship with the human partner than a mere master-slave relationship. For this to become a reality, the robot needs to understand human behavior and not only react appropriately but also be socially proactive. A Companion Robot will also need to collaborate with the human in his daily life and will require a reasoning mechanism to manage thecollaboration and also handle the uncertainty in the human intention to engage and collaborate. In this work, we will identify key elements of such interaction in the context of a collaborative activity, with special focus on how humans successfully collaborate to achieve a joint action. We will show application of these elements in a robotic system to enrich its social human robot interaction aspect of decision making. In this respect, we provide a contribution to managing robot high-level goals and proactive behavior and a description of a coactivity decision model for collaborative human robot task. Also, a HRI user study demonstrates the importance of timing a verbal communication in a proactive human robot joint action

Reinforcement Learning (RL) algorithms are highly popular in the robotics field to solve complex problems, learn from dynamic environments and generate optimal outcomes. However, one of the main limitations of RL is the lack of model transparency. This includes the inability to provide explanations of why the output was generated. The explainability becomes even more crucial when RL outputs influence human decisions, such as in Human-Robot Collaboration (HRC) scenarios, where safety requirements should be met. This work focuses on the application of two explainability techniques, “Reward Decomposition” and “Autonomous Policy Explanation”, on a RL algorithm which is the core of a risk mitigation module for robots’ operation in a collaborative automated warehouse scenario. The “Reward Decomposition” gives an insight into the factors that impacted the robot’s choice by decomposing the reward function into sub-functions. It also allows creating Minimal Sufficient Explanation (MSX), sets of relevant reasons for each decision taken during the robot’s operation. The second applied technique, “Autonomous Policy Explanation”, provides a global overview of the robot’s behavior by answering queries asked by human users. It also provides insights into the decision guidelines embedded in the robot’s policy. Since the synthesis of the policy descriptions and the queries’ answers are in natural language, this tool facilitates algorithm diagnosis even by non-expert users. The results proved that there is an improvement in the RL algorithm which now chooses more evenly distributed actions and a full policy to the robot’s decisions is produced which is for the most part aligned with the expectations. The work provides an analysis of the results of the application of both techniques which both led to increased transparency of the robot’s decision process. These explainability methods not only built trust in the robot’s choices, which proved to be among the optimal ones in most of the cases but also made it possible to find weaknesses in the robot’s policy, making them a tool helpful for debugging purposes. / Algoritmer för förstärkningsinlärning (RL-algoritmer) är mycket populära inom robotikområdet för att lösa komplexa problem, att lära sig av dynamiska miljöer och att generera optimala resultat. En av de viktigaste begränsningarna för RL är dock bristen på modellens transparens. Detta inkluderar den oförmåga att förklara bakomliggande process (algoritm eller modell) som genererade ett visst returvärde. Förklarbarheten blir ännu viktigare när resultatet från en RL-algoritm påverkar mänskliga beslut, till exempel i HRC-scenarier där säkerhetskrav bör uppfyllas. Detta arbete fokuserar på användningen av två förklarbarhetstekniker, “Reward Decomposition” och “Autonomous policy Explanation”, tillämpat på en RL-algoritm som är kärnan i en riskreduceringsmodul för drift av samarbetande robotars på ett automatiserat lager. “Reward Decomposition” ger en inblick i vilka faktorer som påverkade robotens val genom att bryta ner belöningsfunktionen i mindre funktioner. Det gör det också möjligt att formulera en MSX (minimal sufficient explanation), uppsättning av relevanta skäl för varje beslut som har fattas under robotens drift. Den andra tillämpade tekniken, “Autonomous Policy Explanation”, ger en generellt prespektiv över robotens beteende genom att mänskliga användare får ställa frågor till roboten. Detta ger även insikt i de beslutsriktlinjer som är inbäddade i robotens policy. Ty syntesen av policybeskrivningarna och frågornas svar är naturligt språk underlättar detta en algoritmdiagnos även för icke-expertanvändare. Resultaten visade att det finns en förbättring av RL-algoritmen som nu väljer mer jämnt fördelade åtgärder. Dessutom produceras en fullständig policy för robotens beslut som för det mesta är anpassad till förväntningarna. Rapporten ger en analys av resultaten av tillämpningen av båda teknikerna, som visade att båda ledde till ökad transparens i robotens beslutsprocess. Förklaringsmetoderna gav inte bara förtroende för robotens val, vilket visade sig vara bland de optimala i de flesta fall, utan gjorde det också möjligt att hitta svagheter i robotens policy, vilket gjorde dem till ett verktyg som är användbart för felsökningsändamål.

In a previous work, a distributed safety framework supported by edge computing was developed to enable real-time response of robots that collaborate with humans in the Human-Robot Collaboration (HRC) scenario. However, as the number of robots in the automated warehouse increases, the network is easier to induce the congestion. A network infrastructure that can fulfill the automated warehouse needs is therefore desired. This work develops network slicing technology in the aforementioned network infrastructure and investigates its application in the automated warehouse scenario. The goal is to improve the performance of the network through network slicing, in order that it can provide differentiated services to devices in the automated warehouse based on their needs, allowing network resources to be more efficiently allocated. With network optimization, low-latency and high reliability communication of the robot can be achieved in the automated warehouse. The performance of network slicing was compared to the scenario without this technology in the experiments. Specifically, in the standard Wireless Fidelity (Wi-Fi) network scenario without network slicing, all devices and robots will be connected to one channel to send data to the Multi-access Edge Computing (MEC) server. For the network with slicing, we divide it into three slices based on different use cases, including computers, Internet of Things (IoT) devices, and robots. Slices are created by defining multiple Service Set Identifiers (SSIDs) in a single Access Point (AP). Our results show that network slicing technology can significantly improve network performance in the automated warehouse. The network with slicing is superior to that without slicing in terms of latency at different levels of network load, which is reduced by up to 53.6%. The throughput is also increased by up to 33.5% compared to the network without slicing. Meanwhile, the network with slicing can maintain a relatively low error probability of all flows, of which the median value is 0%. It can prove that network slicing technology is beneficial for the automated warehouse network. / Begreppet samarbete mellan människa och robot (HRC) har blivit vanligt förekommande inom modern industri. I det tidigare arbetet presenteras en säkerhetsram som är utrustad med en MEC-server (Multi-access Edge Computing) för att tillhandahålla tillräcklig resurser till roboten som arbetar i det automatiserade lagret med HRC scenario. När antalet robotar i det automatiserade lagret ökar ökar, kommer nätverket att bli en flaskhals. En långsiktig, modern och robust nätverk för automatiserade lager är därför önskvärt för att anpassa sig till eventuella framtida behov. I det här projektet undersöks genomförandet av nätverksindelning i automatiserade lager med HRC-scenario. Målet är att förbättra prestanda för nätverket genom att dela upp nätverket så att det kan tillhandahålla differentierade tjänster till enheter i det automatiserade lagret baserat på utifrån deras behov, vilket gör att nätverksresurserna kan fördelas mer effektivt. Med nätverksoptimering kan kommunikation med låg latenstid och hög tillförlitlighet av roboten kan uppnås i det automatiserade lagret. Vi utförde experiment med två scenarier: standardscenarier med en Wireless Fidelity (Wi-Fi)-nätverk och Wi-Fi-nätverk med nätverksslicing. I standardscenariot för Wi-Fi-nätverk är alla enheter och robotar anslutna till en kanal för att skicka data till MEC-servern. För nätverket med slicing delar vi upp det i tre skivor baserat på olika användningsfall, inklusive datorer, IoT-enheter (Internet of Things) och robotar. Skivorna är skapas genom att definiera flera SSID:er (Service Set Identifiers) i ett enda åtkomstnät. punkt (AP). Våra resultat visar att tekniken för att dela upp nätverk kan förbättra följande avsevärt nätverksprestanda i det automatiserade lagret. Nätet med skivning är överlägset det utan skivning när det gäller latens på olika nivåer av nätverks belastning, som minskas med upp till 53,63 %. Nätet med skivning kan också fortfarande upprätthålla en relativt låg felsannolikhet för att säkerställa nätverkskvaliteten samtidigt som samtidigt som det ger hög genomströmning. Det visar att tekniken för nätverksskivning är fördelaktig för det automatiserade lagernätverket.

Human-robot collaboration (HRC) occurs when people and robots work together in a shared environment. Current robots often use rigid programs unsuitable for HRC. Multimodal robot programming offers an easier way to control robots using inputs like voice and gestures. In this scenario, human commands from different sensors trigger the robot’s actions. However, this data-driven approach has challenges: accurately understanding power dynamics, integrating inputs, and precisely controlling the robot. To address this, we introduce EEG signals to improve robot control, requiring reliable signal processing, feature extraction, and accurate classification using machine learning and deep learning. Existing deep learning models struggle to balance accuracy and efficiency. This thesis focuses on whether dilated convolutional neural networks can improve accuracy and reduce training and reaction times compared to the baseline. After using the Morlet wavelet for EEG feature extraction, in the thesis, an existing convolutional neural network as a benchmark is employed and uses the dilated convolution algorithm for comparison. Accuracy, precision, recall, and time are used to assess the comparison algorithm’s performance. The conclusion is that the dilated convolutional neural network performs better than the baseline in accuracy and time parameters. / Samarbete mellan människa och robot (HRC) inträffar när människor och robotar arbetar tillsammans i en delad miljö. Nuvarande robotar använder ofta rigida program som inte är lämpliga för HRC. Multimodal robotprogrammering erbjuder ett enklare sätt att styra robotar med hjälp av röst och gester. I detta scenario utlöser mänskliga kommandon från olika sensorer robotens handlingar. Dock har denna datadrivna ansats utmaningar: att noggrant förstå kraftdynamik, integrera inmatning och exakt styra roboten. För att hantera detta introducerar vi EEG-signaler för att förbättra robotstyrningen, vilket kräver pålitlig signalbehandling, funktionsextraktion och noggrann klassificering med maskininlärning och djupinlärning. Nuvarande djupinlärningsmodeller har svårt att balansera noggrannhet och effektivitet. Den här artikeln fokuserar på om dilaterade konvolutionella neurala nätverk kan förbättra noggrannheten och minska träningstider och reaktionstider jämfört med baslinjen. Efter att ha använt Morlet-våg för EEG-funktionsutvinning använder artikeln en befintlig konvolutionell neural modell som referens och jämför med dilaterad konvolution för att bedöma prestandan. Noggrannhet, precision, recall och tidsparametrar bedömer jämförelsealgoritmens prestanda. Slutsatsen är att det dilaterade konvolutionella neurala nätverket presterar bättre än baslinjen vad gäller noggrannhet och tidsparametrar.

Turn-taking is a fundamental process that governs social interaction. When humans interact, they naturally take initiative and relinquish control to each other using verbal and nonverbal behavior in a coordinated manner. In contrast, existing approaches for controlling a robot's social behavior do not explicitly model turn-taking, resulting in interaction breakdowns that confuse or frustrate the human and detract from the dyad's cooperative goals. They also lack generality, relying on scripted behavior control that must be designed for each new domain. This thesis seeks to enable robots to cooperate fluently with humans by automatically controlling the timing of multimodal turn-taking. Based on our empirical studies of interaction phenomena, we develop a computational turn-taking model that accounts for multimodal information flow and resource usage in interaction. This model is implemented within a novel behavior generation architecture called CADENCE, the Control Architecture for the Dynamics of Embodied Natural Coordination and Engagement, that controls a robot's speech, gesture, gaze, and manipulation. CADENCE controls turn-taking using a timed Petri net (TPN) representation that integrates resource exchange, interruptible modality execution, and modeling of the human user. We demonstrate progressive developments of CADENCE through multiple domains of autonomous interaction encompassing situated dialogue and collaborative manipulation. We also iteratively evaluate improvements in the system using quantitative metrics of task success, fluency, and balance of control.

In der vorliegenden Dissertation wurde ein datengetriebenes Verfahren zum maschinellen Lernen von Mensch-Roboter Interaktionen auf Basis von Mensch-Mensch Demonstrationen entwickelt. Während einer Trainingsphase werden Bewegungen zweier Interakteure mittels Motion Capture erfasst und in einem Zwei-Personen Interaktionsmodell gelernt. Zur Laufzeit wird das Modell sowohl zur Erkennung von Bewegungen des menschlichen Interaktionspartners als auch zur Generierung angepasster Roboterbewegungen eingesetzt. Die Leistungsfähigkeit des Ansatzes wird in drei komplexen Anwendungen evaluiert, die jeweils kontinuierliche Bewegungskoordination zwischen Mensch und Roboter erfordern. Das Ergebnis der Dissertation ist ein Lernverfahren, das intuitive, zielgerichtete und sichere Kollaboration mit Robotern ermöglicht.