Zugl.: Paderborn, Universiẗat, Diss., 2000.

Techn. Hochsch., Diss., 2002--Aachen.

Vortrag UNIX-Stammtisch 05/97

Ein Army Colonel empfindet Mitleid mit einem Roboter, der versuchsweise Landminen entschärft und deklariert den Test als inhuman (Garreau, 2007). Roboter bekommen militärische Beförderungen, Beerdigungen und Ehrenmedaillen (Garreau, 2007; Carpenter, 2013). Ein Schildkrötenroboter wird entwickelt, um Kindern beizubringen, Roboter gut zu behandeln (Ackermann, 2018). Der humanoide Roboter Sophia wurde erst kürzlich Saudi-Arabischer Staatsbürger und es gibt bereits Debatten, ob Roboter Rechte bekommen sollen (Delcker, 2018). Diese und ähnliche Entwicklungen zeigen schon jetzt die Bedeutsamkeit von Robotern und die emotionale Wirkung die diese auslösen. Dennoch scheinen sich diese emotionalen Reaktionen auf einer anderen Ebene abzuspielen, gemessen an Kommentaren in Internetforen. Dort ist oftmals die Rede davon, wieso jemand überhaupt emotional auf einen Roboter reagieren kann. Tatsächlich ist es, rein rational gesehen, schwierig zu erklären, warum Menschen mit einer leblosen (‚mindless‘) Maschine mitfühlen sollten. Und dennoch zeugen nicht nur oben genannte Berichte, sondern auch erste wissenschaftliche Studien (z.B. Rosenthal- von der Pütten et al., 2013) von dem emotionalen Einfluss den Roboter auf Menschen haben können. Trotz der Bedeutsamkeit der Erforschung emotionaler Reaktionen auf Roboter existieren bislang wenige wissenschaftliche Studien hierzu. Tatsächlich identifizierten Kappas, Krumhuber und Küster (2013) die systematische Analyse und Evaluation sozialer Reaktionen auf Roboter als eine der größten Herausforderungen der affektiven Mensch-Roboter Interaktion. Nach Scherer (2001; 2005) bestehen Emotionen aus der Koordination und Synchronisation verschiedener Komponenten, die miteinander verknüpft sind. Motorischer Ausdruck (Mimik), subjektives Erleben, Handlungstendenzen, physiologische und kognitive Komponenten gehören hierzu. Um eine Emotion vollständig zu erfassen, müssten all diese Komponenten gemessen werden, jedoch wurde eine solch umfassende Analyse bisher noch nie durchgeführt (Scherer, 2005). Hauptsächlich werden Fragebögen eingesetzt (vgl. Bethel & Murphy, 2010), die allerdings meist nur das subjektive Erleben abfragen. Bakeman und Gottman (1997) geben sogar an, dass nur etwa 8% der psychologischen Forschung auf Verhaltensdaten basiert, obwohl die Psychologie traditionell als das ‚Studium von Psyche und Verhalten‘ (American Psychological Association, 2018) definiert wird. Die Messung anderer Emotionskomponenten ist selten. Zudem sind Fragebögen mit einer Reihe von Nachteilen behaftet (Austin, Deary, Gibson, McGregor, Dent, 1998; Fan et al., 2006; Wilcox, 2011). Bethel und Murphy (2010) als auch Arkin und Moshkina (2015) plädieren für einen Multi-Methodenansatz um ein umfassenderes Verständnis von affektiven Prozessen in der Mensch-Roboter Interaktion zu erlangen. Das Hauptziel der vorliegenden Dissertation ist es daher, mithilfe eines Multi-Methodenansatzes verschiedene Komponenten von Emotionen (motorischer Ausdruck, subjektive Gefühlskomponente, Handlungstendenzen) zu erfassen und so zu einem vollständigeren und tiefgreifenderem Bild emotionaler Prozesse auf Roboter beizutragen. Um dieses Ziel zu erreichen, wurden drei experimentelle Studien mit insgesamt 491 Teilnehmern durchgeführt. Mit unterschiedlichen Ebenen der „apparent reality“ (Frijda, 2007) sowie Macht / Kontrolle über die Situation (vgl. Scherer & Ellgring, 2007) wurde untersucht, inwiefern sich Intensität und Qualität emotionaler Reaktionen auf Roboter ändern und welche weiteren Faktoren (Aussehen des Roboters, emotionale Expressivität des Roboters, Behandlung des Roboters, Autoritätsstatus des Roboters) Einfluss ausüben. Experiment 1 basierte auf Videos, die verschiedene Arten von Robotern (tierähnlich, anthropomorph, maschinenartig), die entweder emotional expressiv waren oder nicht (an / aus) in verschiedenen Situationen (freundliche Behandlung des Roboters vs. Misshandlung) zeigten. Fragebögen über selbstberichtete Gefühle und die motorisch-expressive Komponente von Emotionen: Mimik (vgl. Scherer, 2005) wurden analysiert. Das Facial Action Coding System (Ekman, Friesen, & Hager, 2002), die umfassendste und am weitesten verbreitete Methode zur objektiven Untersuchung von Mimik, wurde hierfür verwendet. Die Ergebnisse zeigten, dass die Probanden Gesichtsausdrücke (Action Unit [AU] 12 und AUs, die mit positiven Emotionen assoziiert sind, sowie AU 4 und AUs, die mit negativen Emotionen assoziiert sind) sowie selbstberichtete Gefühle in Übereinstimmung mit der Valenz der in den Videos gezeigten Behandlung zeigten. Bei emotional expressiven Robotern konnten stärkere emotionale Reaktionen beobachtet werden als bei nicht-expressiven Robotern. Der tierähnliche Roboter Pleo erfuhr in der Misshandlungs-Bedingung am meisten Mitleid, Empathie, negative Gefühle und Traurigkeit, gefolgt vom anthropomorphen Roboter Reeti und am wenigsten für den maschinenartigen Roboter Roomba. Roomba wurde am meisten Antipathie zugeschrieben. Die Ergebnisse knüpfen an frühere Forschungen an (z.B. Krach et al., 2008; Menne & Schwab, 2018; Riek et al., 2009; Rosenthal-von der Pütten et al., 2013) und zeigen das Potenzial der Mimik für eine natürliche Mensch-Roboter Interaktion. Experiment 2 und Experiment 3 übertrugen die klassischen Experimente von Milgram (1963; 1974) zum Thema Gehorsam in den Kontext der Mensch-Roboter Interaktion. Die Gehorsamkeitsstudien von Milgram wurden als sehr geeignet erachtet, um das Ausmaß der Empathie gegenüber einem Roboter im Verhältnis zum Gehorsam gegenüber einem Roboter zu untersuchen. Experiment 2 unterschied sich von Experiment 3 in der Ebene der „apparent reality“ (Frijda, 2007): in Anlehnung an Milgram (1963) wurde eine rein text-basierte Studie (Experiment 2) einer live Mensch-Roboter Interaktion (Experiment 3) gegenübergestellt. Während die abhängigen Variablen von Experiment 2 aus den Selbstberichten emotionaler Gefühle sowie Einschätzungen des hypothetischen Verhaltens bestand, erfasste Experiment 3 subjektive Gefühle sowie reales Verhalten (Reaktionszeit: Dauer des Zögerns; Gehorsamkeitsrate; Anzahl der Proteste; Mimik) der Teilnehmer. Beide Experimente untersuchten den Einfluss der Faktoren „Autoritätsstatus“ (hoch / niedrig) des Roboters, der die Befehle erteilt (Nao) und die emotionale Expressivität (an / aus) des Roboters, der die Strafen erhält (Pleo). Die subjektiven Gefühle der Teilnehmer aus Experiment 2 unterschieden sich zwischen den Gruppen nicht. Darüber hinaus gaben nur wenige Teilnehmer (20.2%) an, dass sie den „Opfer“-Roboter definitiv bestrafen würden. Ein ähnliches Ergebnis fand auch Milgram (1963). Das reale Verhalten von Versuchsteilnehmern in Milgrams‘ Labor-Experiment unterschied sich jedoch von Einschätzungen hypothetischen Verhaltens von Teilnehmern, denen Milgram das Experiment nur beschrieben hatte. Ebenso lassen Kommentare von Teilnehmern aus Experiment 2 darauf schließen, dass das beschriebene Szenario möglicherweise als fiktiv eingestuft wurde und Einschätzungen von hypothetischem Verhalten daher kein realistisches Bild realen Verhaltens gegenüber Roboter in einer live Interaktion zeichnen können. Daher wurde ein weiteres Experiment (Experiment 3) mit einer Live Interaktion mit einem Roboter als Autoritätsfigur (hoher Autoritätsstatus vs. niedriger) und einem weiteren Roboter als „Opfer“ (emotional expressiv vs. nicht expressiv) durchgeführt. Es wurden Gruppenunterschiede in Fragebögen über emotionale Reaktionen gefunden. Dem emotional expressiven Roboter wurde mehr Empathie entgegengebracht und es wurde mehr Freude und weniger Antipathie berichtet als gegenüber einem nicht-expressiven Roboter. Außerdem konnten Gesichtsausdrücke beobachtet werden, die mit negativen Emotionen assoziiert sind während Probanden Nao’s Befehl ausführten und Pleo bestraften. Obwohl Probanden tendenziell länger zögerten, wenn sie einen emotional expressiven Roboter bestrafen sollten und der Befehl von einem Roboter mit niedrigem Autoritätsstatus kam, wurde dieser Unterschied nicht signifikant. Zudem waren alle bis auf einen Probanden gehorsam und bestraften Pleo, wie vom Nao Roboter befohlen. Dieses Ergebnis steht in starkem Gegensatz zu dem selbstberichteten hypothetischen Verhalten der Teilnehmer aus Experiment 2 und unterstützt die Annahme, dass die Einschätzungen von hypothetischem Verhalten in einem Mensch-Roboter-Gehorsamkeitsszenario nicht zuverlässig sind für echtes Verhalten in einer live Mensch-Roboter Interaktion. Situative Variablen, wie z.B. der Gehorsam gegenüber Autoritäten, sogar gegenüber einem Roboter, scheinen stärker zu sein als Empathie für einen Roboter. Dieser Befund knüpft an andere Studien an (z.B. Bartneck & Hu, 2008; Geiskkovitch et al., 2016; Menne, 2017; Slater et al., 2006), eröffnet neue Erkenntnisse zum Einfluss von Robotern, zeigt aber auch auf, dass die Wahl einer Methode um Empathie für einen Roboter zu evozieren eine nicht triviale Angelegenheit ist (vgl. Geiskkovitch et al., 2016; vgl. Milgram, 1965). Insgesamt stützen die Ergebnisse die Annahme, dass die emotionalen Reaktionen auf Roboter tiefgreifend sind und sich sowohl auf der subjektiven Ebene als auch in der motorischen Komponente zeigen. Menschen reagieren emotional auf einen Roboter, der emotional expressiv ist und eher weniger wie eine Maschine aussieht. Sie empfinden Empathie und negative Gefühle, wenn ein Roboter misshandelt wird und diese emotionalen Reaktionen spiegeln sich in der Mimik. Darüber hinaus unterscheiden sich die Einschätzungen von Menschen über ihr eigenes hypothetisches Verhalten von ihrem tatsächlichen Verhalten, weshalb videobasierte oder live Interaktionen zur Analyse realer Verhaltensreaktionen empfohlen wird. Die Ankunft sozialer Roboter in der Gesellschaft führt zu nie dagewesenen Fragen und diese Dissertation liefert einen ersten Schritt zum Verständnis dieser neuen Herausforderungen. / An Army Colonel feels sorry for a robot that defuses landmines on a trial basis and declares the test inhumane (Garreau, 2007). Robots receive military promotions, funerals and medals of honor (Garreau, 2007; Carpenter, 2013). A turtle robot is being developed to teach children to treat robots well (Ackermann, 2018). The humanoid robot Sophia recently became a Saudi Arabian citizen and there are now debates whether robots should have rights (Delcker, 2018). These and similar developments already show the importance of robots and the emotional impact they have. Nevertheless, these emotional reactions seem to take place on a different level, judging by comments in internet forums alone: Most often, emotional reactions towards robots are questioned if not denied at all. In fact, from a purely rational point of view, it is difficult to explain why people should empathize with a mindless machine. However, not only the reports mentioned above but also first scientific studies (e.g. Rosenthal- von der Pütten et al., 2013) bear witness to the emotional influence of robots on humans. Despite the importance of researching emotional reactions towards robots, there are few scientific studies on this subject. In fact, Kappas, Krumhuber and Küster (2013) identified effective testing and evaluation of social reactions towards robots as one of the major challenges of affective Human-Robot Interaction (HRI). According to Scherer (2001; 2005), emotions consist of the coordination and synchronization of different components that are linked to each other. These include motor expression (facial expressions), subjective experience, action tendencies, physiological and cognitive components. To fully capture an emotion, all these components would have to be measured, but such a comprehensive analysis has never been performed (Scherer, 2005). Primarily, questionnaires are used (cf. Bethel & Murphy, 2010) but most of them only capture subjective experiences. Bakeman and Gottman (1997) even state that only about 8% of psychological research is based on behavioral data, although psychology is traditionally defined as the 'study of the mind and behavior' (American Psychological Association, 2018). The measurement of other emotional components is rare. In addition, questionnaires have a number of disadvantages (Austin, Deary, Gibson, McGregor, Dent, 1998; Fan et al., 2006; Wilcox, 2011). Bethel and Murphy (2010) as well as Arkin and Moshkina (2015) argue for a multi-method approach to achieve a more comprehensive understanding of affective processes in HRI. The main goal of this dissertation is therefore to use a multi-method approach to capture different components of emotions (motor expression, subjective feeling component, action tendencies) and thus contribute to a more complete and profound picture of emotional processes towards robots. To achieve this goal, three experimental studies were conducted with a total of 491 participants. With different levels of ‘apparent reality’ (Frijda, 2007) and power/control over the situation (cf. Scherer & Ellgring, 2007), the extent to which the intensity and quality of emotional responses to robots change were investigated as well as the influence of other factors (appearance of the robot, emotional expressivity of the robot, treatment of the robot, authority status of the robot). Experiment 1 was based on videos showing different types of robots (animal-like, anthropomorphic, machine-like) in different situations (friendly treatment of the robot vs. torture treatment) while being either emotionally expressive or not. Self-reports of feelings as well as the motoric-expressive component of emotion: facial expressions (cf. Scherer, 2005) were analyzed. The Facial Action Coding System (Ekman, Friesen, & Hager, 2002), the most comprehensive and most widely used method for objectively assessing facial expressions, was utilized for this purpose. Results showed that participants displayed facial expressions (Action Unit [AU] 12 and AUs associated with positive emotions as well as AU 4 and AUs associated with negative emotions) as well as self-reported feelings in line with the valence of the treatment shown in the videos. Stronger emotional reactions could be observed for emotionally expressive robots than non-expressive robots. Most pity, empathy, negative feelings and sadness were reported for the animal-like robot Pleo while watching it being tortured, followed by the anthropomorphic robot Reeti and least for the machine-like robot Roomba. Most antipathy was attributed to Roomba. The findings are in line with previous research (e.g., Krach et al., 2008; Menne & Schwab, 2018; Riek et al., 2009; Rosenthal-von der Pütten et al., 2013) and show facial expressions’ potential for a natural HRI. Experiment 2 and Experiment 3 transferred Milgram’s classic experiments (1963; 1974) on obedience into the context of HRI. Milgram’s obedience studies were deemed highly suitable to study the extent of empathy towards a robot in relation to obedience to a robot. Experiment 2 differed from Experiment 3 in the level of ‘apparent reality’ (Frijda, 2007): based on Milgram (1963), a purely text-based study (Experiment 2) was compared with a live HRI (Experiment 3). While the dependent variables of Experiment 2 consisted of self-reports of emotional feelings and assessments of hypothetical behavior, Experiment 3 measured subjective feelings and real behavior (reaction time: duration of hesitation; obedience rate; number of protests; facial expressions) of the participants. Both experiments examined the influence of the factors "authority status" (high / low) of the robot giving the orders (Nao) and the emotional expressivity (on / off) of the robot receiving the punishments (Pleo). The subjective feelings of the participants from Experiment 2 did not differ between the groups. In addition, only few participants (20.2%) stated that they would definitely punish the "victim" robot. Milgram (1963) found a similar result. However, the real behavior of participants in Milgram's laboratory experiment differed from the estimates of hypothetical behavior of participants to whom Milgram had only described the experiment. Similarly, comments from participants in Experiment 2 suggest that the scenario described may have been considered fictitious and that assessments of hypothetical behavior may not provide a realistic picture of real behavior towards robots in a live interaction. Therefore, another experiment (Experiment 3) was performed with a live interaction with a robot as authority figure (high authority status vs. low) and another robot as "victim" (emotional expressive vs. non-expressive). Group differences were found in questionnaires on emotional responses. More empathy was shown for the emotionally expressive robot and more joy and less antipathy was reported than for a non-expressive robot. In addition, facial expressions associated with negative emotions could be observed while subjects executed Nao's command and punished Pleo. Although subjects tended to hesitate longer when punishing an emotionally expressive robot and the order came from a robot with low authority status, this difference did not reach significance. Furthermore, all but one subject were obedient and punished Pleo as commanded by the Nao robot. This result stands in stark contrast to the self-reported hypothetical behavior of the participants from Experiment 2 and supports the assumption that the assessments of hypothetical behavior in a Human-Robot obedience scenario are not reliable for real behavior in a live HRI. Situational variables, such as obedience to authorities, even to a robot, seem to be stronger than empathy for a robot. This finding is in line with previous studies (e.g. Bartneck & Hu, 2008; Geiskkovitch et al., 2016; Menne, 2017; Slater et al., 2006), opens up new insights into the influence of robots, but also shows that the choice of a method to evoke empathy for a robot is not a trivial matter (cf. Geiskkovitch et al., 2016; cf. Milgram, 1965). Overall, the results support the assumption that emotional reactions to robots are profound and manifest both at the subjective level and in the motor component. Humans react emotionally to a robot that is emotionally expressive and looks less like a machine. They feel empathy and negative feelings when a robot is abused and these emotional reactions are reflected in facial expressions. In addition, people's assessments of their own hypothetical behavior differ from their actual behavior, which is why video-based or live interactions are recommended for analyzing real behavioral responses. The arrival of social robots in society leads to unprecedented questions and this dissertation provides a first step towards understanding these new challenges. / Are there emotional reactions towards social robots? Could you love a robot? Or, put the other way round: Could you mistreat a robot, tear it apart and sell it? Media reports people honoring military robots with funerals, mourning the “death” of a robotic dog, and granting the humanoid robot Sophia citizenship. But how profound are these reactions? Three experiments take a closer look on emotional reactions towards social robots by investigating the subjective experience of people as well as the motor expressive level. Contexts of varying degrees of Human-Robot Interaction (HRI) sketch a nuanced picture of emotions towards social robots that encompass conscious as well as unconscious reactions. The findings advance the understanding of affective experiences in HRI. It also turns the initial question into: Can emotional reactions towards social robots even be avoided?

Manyindustrialautomationsolutionsusewirelesscommunicationandrelyontheavail- ability and quality of the wireless channel. At the same time the wireless medium is highly congested and guaranteeing the availability of wireless channels is becoming increasingly difficult. In this work we show, that ad-hoc networking solutions can be used to provide new communication channels and improve the performance of mobile automation systems. These ad-hoc networking solutions describe different communi- cation strategies, but avoid relying on network infrastructure by utilizing the Peer-to- Peer (P2P) channel between communicating entities. This work is a step towards the effective implementation of low-range communication technologies(e.g. VisibleLightCommunication(VLC), radarcommunication, mmWave communication) to the industrial application. Implementing infrastructure networks with these technologies is unrealistic, since the low communication range would neces- sitate a high number of Access Points (APs) to yield full coverage. However, ad-hoc networks do not require any network infrastructure. In this work different ad-hoc net- working solutions for the industrial use case are presented and tools and models for their examination are proposed. The main use case investigated in this work are Automated Guided Vehicles (AGVs) for industrial applications. These mobile devices drive throughout the factory trans- porting crates, goods or tools or assisting workers. In most implementations they must exchange data with a Central Control Unit (CCU) and between one another. Predicting if a certain communication technology is suitable for an application is very challenging since the applications and the resulting requirements are very heterogeneous. The proposed models and simulation tools enable the simulation of the complex inter- action of mobile robotic clients and a wireless communication network. The goal is to predict the characteristics of a networked AGV fleet. Theproposedtoolswereusedtoimplement, testandexaminedifferentad-hocnetwork- ing solutions for industrial applications using AGVs. These communication solutions handle time-critical and delay-tolerant communication. Additionally a control method for the AGVs is proposed, which optimizes the communication and in turn increases the transport performance of the AGV fleet. Therefore, this work provides not only tools for the further research of industrial ad-hoc system, but also first implementations of ad-hoc systems which address many of the most pressing issues in industrial applica- tions. / Viele industrielle Automatisierungslösungen verwenden drahtlose Kommunikations- systeme und sind daher auf die Verfügbarkeit und Qualität des drahtlosen Kanals an- gewiesen. Gleichzeitig ist das drahtlose Medium stark belastet und die Gewährleis- tung der Verfügbarkeit der drahtlosen Kanäle wird zunehmends herrausfordernder. In dieser Arbeit wird gezeigt, dass Ad-hoc-Netzwerklösungen genutzt werden können, um neue Kommunikationskanäle bereitzustellen und die Leistung von mobilen Au- tomatisierungssystemen zu verbessern. Diese Ad-hoc-Netzwerklösungen können un- terschiedliche Kommunikationsstrategien bezeichnen. In all diesen Strategien wird der Peer-to-Peer (P2P)-Kanal zwischen zwei kommunizierenden Systemen verwendet statt Netzwerk-Infrastruktur. Diese Arbeit ist ein Schritt hin zur effektiven Implementierung von Kommunikations- technologien mit geringer Reichweite (z.B. Visible Light Communication (VLC), Radar- kommunikation, mmWave-Kommunikation) in der industriellen Anwendung. Die Im- plementierung von Infrastrukturnetzen mit diesen Technologien ist unrealistisch, da die geringe Kommunikationsreichweite eine hohe Anzahl von Access Points (APs) er- fordern würde um eine flächendeckende Bereitstellung von Kommunikationskanälen zu gewährleisten. Ad-hoc-Netzwerke hingegen benötigen keine Netzwerkinfrastruk- tur. In dieser Arbeit werden verschiedene Ad-hoc-Netzwerklösungen für den industri- ellenAnwendungsfallvorgestelltundWerkzeugeundModellefürderenUntersuchung vorgeschlagen. Der Hauptanwendungsfall, der in dieser Arbeit untersucht wird, sind Fahrerlose Trans- portSysteme (FTS) (fortführend als Automated Guided Vehicles (AGVs)) für industri- elle Anwendungen. Diese FTS fahren durch die Produktionsanlage um Kisten, Waren oder Werkzeuge zu transportieren oder um Mitarbeitern zu assistieren. In den meisten Implementierungen müssen sie Daten mit einer Central Control Unit (CCU) und unter- einander austauschen. Die Vorhersage, ob eine bestimmte Kommunikationstechnologie für eine Anwendung geeignet ist, ist sehr anspruchsvoll, da sowohl Anwendungen als auch Anforderungen sehr heterogen sind. Die präsentierten Modelle und Simulationswerkzeuge ermöglichen die Simulation der komplexen Interaktion von mobilen Robotern und drahtlosen Kommunikationsnetz- werken. Das Ziel ist die Vorhersage der Eigenschaften einer vernetzten FTS-Flotte. Mit den vorgestellten Werkzeugen wurden verschiedene Ad-hoc-Netzwerklösungen für industrielle Anwendungen mit FTS implementiert, getestet und untersucht. Die- se Kommunikationssysteme übertragen zeitkritische und verzögerungstolerante Nach- richten. Zusätzlich wird eine Steuerungsmethode für die FTS vorgeschlagen, die die KommunikationoptimiertunddamiteinhergehenddieTransportleistungderFTS-Flotte erhöht. Dieses Werk führt also nicht nur neue Werkzeuge ein um die Entwicklung in- dustrieller Ad-hoc Systeme zu ermöglichen, sondern schlägt auch einige Systeme für die kritischsten Kommunikationsprobleme industrieller Anwendungen vor.

In der vorliegenden Dissertation wurde ein datengetriebenes Verfahren zum maschinellen Lernen von Mensch-Roboter Interaktionen auf Basis von Mensch-Mensch Demonstrationen entwickelt. Während einer Trainingsphase werden Bewegungen zweier Interakteure mittels Motion Capture erfasst und in einem Zwei-Personen Interaktionsmodell gelernt. Zur Laufzeit wird das Modell sowohl zur Erkennung von Bewegungen des menschlichen Interaktionspartners als auch zur Generierung angepasster Roboterbewegungen eingesetzt. Die Leistungsfähigkeit des Ansatzes wird in drei komplexen Anwendungen evaluiert, die jeweils kontinuierliche Bewegungskoordination zwischen Mensch und Roboter erfordern. Das Ergebnis der Dissertation ist ein Lernverfahren, das intuitive, zielgerichtete und sichere Kollaboration mit Robotern ermöglicht.

In advanced robot applications, the challenge today is that the robot should perform different successive subtasks to achieve one or more complicated tasks similar to human. Hence, this kind of tasks required to combine different kind of sensors in order to get full information about the work environment. However, from the point of view of control, more sensors mean more possibilities for the structure of the control system. As shown previously, vision and force sensors are the most common external sensors in robot system. As a result, in scientific papers it can be found numerous control algorithms and different structures for vision/force robot control, e.g. shared, traded control etc. The lacks in integration of vision/force robot control could be summarized as follows: • How to define which subspaces should be vision, position or force controlled? • When the controller should switch from one control mode to another one? • How to insure that the visual information could be reliably used? • How to define the most appropriated vision/force control structure? In many previous works, during performing a specified task one kind of vision/force control structure has been used which is pre-defined by the programmer. In addition to that, if the task is modified or changed, it would be much complicated for the user to describe the task and to define the most appropriated vision/force robot control especially if the user is inexperienced. Furthermore, vision and force sensors are used only as simple feedback (e.g. vision sensor is used usually as position estimator) or they are intended to avoid the obstacles. Accordingly, much useful information provided by the sensors which help the robot to perform the task autonomously is missed. In our opinion, these lacks of defining the most appropriate vision/force robot control and the weakness in the utilization from all the information which could be provided by the sensors introduce important limits which prevent the robot to be versatile, autonomous, dependable and user-friendly. For this purpose, helping to increase autonomy, versatility, dependability and user-friendly in certain area of robotics which requires vision/force integration is the scope of this thesis. More concretely: 1. Autonomy: In the term of an automatic decision system which defines the most appropriated vision/force control modes for different kinds of tasks and chooses the best structure of vision/force control depending on the surrounding environments and a priori knowledge. 2. Versatility: By preparing some relevant scenarios for different situations, where both the visual servoing and force control are necessary and indispensable. 3. Dependability: In the term of the robot should depend on its own sensors more than on reprogramming and human intervention. In other words, how the robot system can use all the available information which could be provided by the vision and force sensors, not only for the target object but also for the features extraction of the whole scene. 4. User-friendly: By designing a high level description of the task, the object and the sensor configuration which is suitable also for inexperienced user. If the previous properties are relatively achieved, the proposed robot system can: • Perform different successive and complex tasks. • Grasp/contact and track imprecisely placed objects with different poses. • Decide automatically the most appropriate combination of vision/force feedback for every task and react immediately to the changes from one control cycle to another because of occurrence of some unforeseen events. • Benefit from all the advantages of different vision/force control structures. • Benefit from all the information provided by the sensors. • Reduce the human intervention or reprogramming during the execution of the task. • Facilitate the task description and entering of a priori-knowledge for the user, even if he/she is inexperienced.

Robots that support humans in physically demanding tasks require accurate force sensing capabilities. A common way to achieve this is by monitoring the interaction with the environment directly with dedicated force sensors. Major drawbacks of such special purpose sensors are the increased costs and the reduced payload of the robot platform. Instead, this thesis investigates how the functionality of such sensors can be approximated by utilizing force estimation approaches. Most of today’s robots are equipped with rich proprioceptive sensing capabilities where even a robotic arm, e.g., the UR5, provides access to more than hundred sensor readings. Following this trend, it is getting feasible to utilize a wide variety of sensors for force estimation purposes. Human proprioception allows estimating forces such as the weight of an object by prior experience about sensory-motor patterns. Applying a similar approach to robots enables them to learn from previous demonstrations without the need of dedicated force sensors. This thesis introduces Behavior-Specific Proprioception Models (BSPMs), a novel concept for enhancing robotic behavior with estimates of the expected proprioceptive feedback. A main methodological contribution is the operationalization of the BSPM approach using data-driven machine learning techniques. During a training phase, the behavior is continuously executed while recording proprioceptive sensor readings. The training data acquired from these demonstrations represents ground truth about behavior-specific sensory-motor experiences, i.e., the influence of performed actions and environmental conditions on the proprioceptive feedback. This data acquisition procedure does not require expert knowledge about the particular robot platform, e.g., kinematic chains or mass distribution, which is a major advantage over analytical approaches. The training data is then used to learn BSPMs, e.g. using lazy learning techniques or artificial neural networks. At runtime, the BSPMs provide estimates of the proprioceptive feedback that can be compared to actual sensations. The BSPM approach thus extends classical programming by demonstrations methods where only movement data is learned and enables robots to accurately estimate forces during behavior execution.

Ursprünglich wurden Industrieroboter hauptsächlich hinter Schutzzäunen betrieben, um den Sicherheitsanforderungen gerecht zu werden. Mit der Flexibilisierung der Produktion wurden diese scharfen Trennbereiche zunehmend aufgeweicht und externe Sicherheitstechnik, wie Abstandssensoren, genutzt, um Industrieroboter schutzzaunlos zu betreiben. Ausgehend vom Gedanken dieser Koexistenz bzw. Kooperation wurde die Sicherheitssensorik in den Roboter integriert, um eine wirkliche Kollaboration zu ermöglichen. Diese sogenannten kollaborierenden Roboter, oder Cobots, eröffnen neue Applikationsfelder und füllen somit die bestehenden Automatisierungslücken. Doch welche Automatisierungsvariante ist aus wirtschaftlichen Gesichtspunkten die geeignetste? Bisherige Forschung untersucht zum Großteil isoliert eine der beiden Technologien, ohne dabei einen Systemvergleich hinsichtlich technologischer Spezifika und Wirtschaftlichkeit anzustellen. Daher widmet sich diese Dissertation einer Methodik zum wirtschaftlichen Vergleich von kollaborierenden Robotern und Industrierobotern in schutzzaunlosen Maschinenbeladungssystemen. Besonderer Fokus liegt dabei auf dem Herausarbeiten der technischen Faktoren, die die Wirtschaftlichkeit maßgeblich beeinflussen, um ein Systemverständnis der wirtschaftlichen Struktur beider Robotertechnologievarianten zu erhalten. Zur Untersuchung werden die Inhalte eines solchen Planungsvorhabens beschrieben, kategorisiert, systematisiert und modularisiert. Auf wirtschaftlicher Seite wird ein geeignetes Optimierungsmodell vorgestellt, während auf technischer Seite vor allem die Machbarkeit hinsichtlich Greifbarkeit, Layoutplanung, Robotergeschwindigkeiten und Zykluszeitbestimmung untersucht wird. Mit deduktiven, simulativen, empirischen und statistischen Methoden wird das Systemverhalten für die einzelnen Planungsinhalte analysiert, um die Gesamtwirtschaftlichkeit mit einem Minimum an Investment,- Produktions,- und Zykluszeitinformationen a priori vorhersagen zu können. Es wird gezeigt, dass durch einen Reverse Engineering Ansatz die notwendigen Planungsdaten, im Sinne von Layoutkomposition, Robotergeschwindigkeiten und Taktzeiten, mithilfe von Frontloading zu Planungsbeginn zur Verfügung gestellt werden können. Dabei dient der Kapitalwert als wirtschaftliche Bewertungsgrundlage, dessen Abhängigkeit vom Mensch-Roboter-Interaktionsgrad in einem Vorteilhaftigkeitsdiagramm für die einzelnen Technologiealternativen dargestellt werden kann. Wirtschaftlich fundierte Entscheidungen können somit auf quantitiativer Basis getroffen werden.:1. Introduction 25 1.1 Research Domain 25 1.2 Research Niche 26 1.3 Research Structure 28 2. State of the Art and Research 31 2.1 Turning Machines and Machine Tending 31 2.1.1 Tooling Machine Market Trends and Machine Tending Systems 31 2.1.2 Workpiece System 34 2.1.3 Machine System 36 2.1.4 Logistics System 39 2.1.5 Handling System 41 2.2 Robotics 43 2.2.1 Robot Installation Development and Application Fields 43 2.2.2 Fenceless Industrial and Collaborative Robots 48 2.2.3 Robot Grippers 55 2.3 Planning and Evaluation Methods 56 2.3.1 Planning of General and Manual Workstations 56 2.3.2 Cell Planning for Fully Automated and Hybrid Robot Systems 59 2.3.3 Robot Safety Planning 61 2.3.4 Economic Evaluation Methods 70 2.4 Synthesis - State of the Art and Research 71 3. Solution Approach 77 3.1 Need for Research and General Solution Approach 77 3.2 Use Case Delineation and Planning Focus 80 3.3 Economic Module – Solution Approach 86 3.4 Gripper Feasibility Module – Solution Approach 89 3.5 Rough Layout Discretization Model – Solution Approach 94 3.6 Cycle Time Estimation Module – Solution Approach 97 3.7 Collaborative Speed Estimation Module – Solution Approach 103 3.7.1 General Approach 103 3.7.2 Case 1: Quasi-static Contact with Hand 107 3.7.3 Case 2: Transient Contact with Hand 109 3.7.4 Case 3: Transient Contact with Shoulder 111 3.8 Synthesis – Solution Approach 114 4. Module Development 117 4.1 Economic Module – Module Development 117 4.1.1 General Approach 117 4.1.2 Calculation Scheme for Manual Operation 117 4.1.3 Calculation Scheme for Collaborative Robots 118 4.1.4 Calculation Scheme for Industrial Robots 120 4.2 Gripper Feasibility Module – Module Development 121 4.3 Rough Layout Discretization Module – Module Development 122 4.3.1 General Approach 122 4.3.2 Two-Dimensional Layout Pattern 123 4.3.3 Three-Dimensional Layout Pattern 125 4.4 Cycle Time Estimation Module – Module Development 126 4.4.1 General Approach 126 4.4.2 Reachability Study 127 4.4.3 Simulation Results 128 4.5 Collaborative Speed Estimation Module – Module Development 135 4.5.1 General Approach 135 4.5.2 Case 1: Quasi-static Contact with Hand 135 4.5.3 Case 2: Transient Contact with Hand 143 4.5.4 Case 3: Transient Contact with Shoulder 145 4.6 Synthesis – Module Development 149 5. Practical Verification 155 5.1 Use Case Overview 155 5.2 Gripper Feasibility 155 5.3 Layout Discretization 156 5.4 Collaborative Speed Estimation 157 5.5 Cycle Time Estimation 158 5.6 Economic Evaluation 160 5.7 Synthesis – Practical Verification 161 6. Results and Conclusions 165 6.1 Scientific Findings and Results 165 6.2 Critical Appraisal and Outlook 173 / Initially, industrial robots were mainly operated behind safety fences to account for the safety requirements. With production flexibilization, these sharp separation areas have been increasingly softened by utilizing external safety devices, such as distance sensors, to operate industrial robots fenceless. Based on this idea of coexistence or cooperation, safety technology has been integrated into the robot to enable true collaboration. These collaborative robots, or cobots, open up new application fields and fill the existing automation gap. But which automation variant is most suitable from an economic perspective? Present research dealt primarily isolated with one technology without comparing these systems regarding technological and economic specifics. Therefore, this doctoral thesis pursues a methodology to economically compare collaborative and industrial robots in fenceless machine tending systems. A particular focus lies on distilling the technical factors that mainly influence the profitability to receive a system understanding of the economic structure of both robot technology variants. For examination, the contents of such a planning scheme are described, categorized, systematized, and modularized. A suitable optimization model is presented on the economic side, while the feasibility regarding gripping, layout planning, robot velocities, and cycle time determination is assessed on the technical side. With deductive, simulative, empirical, and statistical methods, the system behavior of the single planning entities is analyzed to predict the overall profitability a priori with a minimum of investment,- production,- and cycle time information. It is demonstrated that the necessary planning data, in terms of layout composition, robot velocities, and cycle times, can be frontloaded to the project’s beginning with a reverse engineering approach. The net present value serves as the target figure, whose dependency on the human-robot interaction grade can be illustrated in an advantageousness diagram for the individual technical alternatives. Consequently, sound economic decisions can be made on a quantitative basis.:1. Introduction 25 1.1 Research Domain 25 1.2 Research Niche 26 1.3 Research Structure 28 2. State of the Art and Research 31 2.1 Turning Machines and Machine Tending 31 2.1.1 Tooling Machine Market Trends and Machine Tending Systems 31 2.1.2 Workpiece System 34 2.1.3 Machine System 36 2.1.4 Logistics System 39 2.1.5 Handling System 41 2.2 Robotics 43 2.2.1 Robot Installation Development and Application Fields 43 2.2.2 Fenceless Industrial and Collaborative Robots 48 2.2.3 Robot Grippers 55 2.3 Planning and Evaluation Methods 56 2.3.1 Planning of General and Manual Workstations 56 2.3.2 Cell Planning for Fully Automated and Hybrid Robot Systems 59 2.3.3 Robot Safety Planning 61 2.3.4 Economic Evaluation Methods 70 2.4 Synthesis - State of the Art and Research 71 3. Solution Approach 77 3.1 Need for Research and General Solution Approach 77 3.2 Use Case Delineation and Planning Focus 80 3.3 Economic Module – Solution Approach 86 3.4 Gripper Feasibility Module – Solution Approach 89 3.5 Rough Layout Discretization Model – Solution Approach 94 3.6 Cycle Time Estimation Module – Solution Approach 97 3.7 Collaborative Speed Estimation Module – Solution Approach 103 3.7.1 General Approach 103 3.7.2 Case 1: Quasi-static Contact with Hand 107 3.7.3 Case 2: Transient Contact with Hand 109 3.7.4 Case 3: Transient Contact with Shoulder 111 3.8 Synthesis – Solution Approach 114 4. Module Development 117 4.1 Economic Module – Module Development 117 4.1.1 General Approach 117 4.1.2 Calculation Scheme for Manual Operation 117 4.1.3 Calculation Scheme for Collaborative Robots 118 4.1.4 Calculation Scheme for Industrial Robots 120 4.2 Gripper Feasibility Module – Module Development 121 4.3 Rough Layout Discretization Module – Module Development 122 4.3.1 General Approach 122 4.3.2 Two-Dimensional Layout Pattern 123 4.3.3 Three-Dimensional Layout Pattern 125 4.4 Cycle Time Estimation Module – Module Development 126 4.4.1 General Approach 126 4.4.2 Reachability Study 127 4.4.3 Simulation Results 128 4.5 Collaborative Speed Estimation Module – Module Development 135 4.5.1 General Approach 135 4.5.2 Case 1: Quasi-static Contact with Hand 135 4.5.3 Case 2: Transient Contact with Hand 143 4.5.4 Case 3: Transient Contact with Shoulder 145 4.6 Synthesis – Module Development 149 5. Practical Verification 155 5.1 Use Case Overview 155 5.2 Gripper Feasibility 155 5.3 Layout Discretization 156 5.4 Collaborative Speed Estimation 157 5.5 Cycle Time Estimation 158 5.6 Economic Evaluation 160 5.7 Synthesis – Practical Verification 161 6. Results and Conclusions 165 6.1 Scientific Findings and Results 165 6.2 Critical Appraisal and Outlook 173

Im Beitrag wird die Nutzung des Mehrkörper-Simulationsprogrammes alaska zur Entwicklung eines Fahrmoduls für mobile Roboter vorgestellt. Das Ziel bei der Entwicklung des Moduls war, mobile Roboter mit höheren Fahrgeschwindigkeiten zu realisieren als vergleichbare Systeme mit omnidirektionalen Rädern. Die Nutzung von Simulationsrechnungen stellte vom ersten Entwurf einen elementaren Bestandteil der Gesamtentwicklung dar. So flossen immer wieder Erkenntnisse aus den Simulationen in die Weiterentwicklung ein. Die Mehrkörpersysteme (MKS) wurden im Programm alaska aufgebaut. Am Beginn des Entwicklungsprozesses bestanden die Simulationsmodelle aus wenigen Elementen, um das grundsätzliche Bewegungsverhalten zu analysieren. Darauf aufbauend wurden komplexere Simulationsmodelle genutzt, die sich zur Bestimmung des Einflusses von Parametern auf das Bewegungsverhalten eignen. / This article presents the use of a multi-body simulation program to develop a driving module for mobile robots. The aim in developing the module was to realize mobile robots with higher driving speeds than comparable systems with omnidirectional wheels. The use of simulation calculations was an elementary component of the overall development from the very first draft. As a result, findings from the simulations were repeatedly incorporated into further development. The multi-body systems (MBS) were set up in the simulation program alaska. At the beginning of the development process, the simulation models consisted of a few elements in order to analyze the basic movement behavior. Building on this, more complex simulation models were used, which are suitable for determining the influence of parameters on the movement behavior.