This thesis addresses the question of how to teach dynamic motor skills to synthetic humanoids. A general approach based on imitation learning is presented and evaluated on a number of synthetic humanoids, as well as a number of different motor skills. The approach allows for intuitive and natural specification of motor skills without the need for expert knowledge. Using this approach we show that various important problems in robotics and computer animation can be tackled, including the synthesis of natural grasping, the synthesis of locomotion behavior or the physical interaction between humans and robots.

Logistikmitarbeiter können mit Augmented-Reality-Datenbrillen ausgerüstet werden, um relevante Daten in ihr Sichtfeld einblenden zu lassen. Mithilfe moderner Datenbrillen können Visualisierungen dabei aufgrund der Brennweitendifferenz zwischen dem menschlichen Auge und der Datenbrillenoptik meist nur auf definierte Entfernungen scharf dargestellt werden. Ein Angleich der Brennweite der Optik an die Brennweite des Auges ermöglicht eine scharfe Darstellung der Inhalte innerhalb des Griffbereiches des Mitarbeiters. Zur Realisierung dieses Ansatzes wird in dieser Arbeit ein multikamerabasiertes Verfahren zur automatischen Adaptierung der Optikbrennweite vorgeschlagen. Für die Brennweitenadaptierung wird ein Ansatz zur Pupillendetektion in Kombination mit einer 3D-Umgebungskamera vorgestellt. Da geläufige Algorithmen zur Pupillendetektion nicht für die Verwendung auf eingebetteten Systemen optimiert sind, wird der Schwerpunkt auf die Entwicklung eines geeigneten ressourcenarmen Algorithmus gelegt. Die nötige Relation zwischen dem menschlichen Auge und der 3D-Kamera wird dabei über einen Ansatz der mehrstufigen Ebenenkalibrierung realisiert. Die gewonnenen 3D-Tiefeninformationen werden anschließend mithilfe einer adaptiven Flüssiglinse zur Brennweitenjustierung der Optik genutzt. Da aktuell keine Datenbrillen mit den genannten Komponenten erhältlich sind, wurde eine eigenes Konzept realisiert. Die später beabsichtigte Anwendung soll dem Nutzer dabei Informationen zur Umsetzung aktueller Aufgaben anzeigen und diese direkt auf die Brennweite des Auges anpassen, um dessen kognitive Belastung zu reduzieren.:1 Einleitung 1 1.1 Aktueller Stand der Technik 2 1.2 Systemübersicht 6 1.3 Inhaltliche Gliederung 8 1.4 Wissenschaftlicher Beitrag 9 2 Theoretische Vorbetrachtungen 11 2.1 Augmentierte Realität 11 2.1.1 Übersicht 11 2.1.2 Videoaufnahme in Echtzeit 13 2.1.3 Tracking 13 2.1.4 Registrierung 15 2.1.5 Visuelle Ausgabemöglichkeiten 16 2.1.6 Eye-Tracking in AR 17 2.2 Das menschliche Auge 18 2.2.1 Anatomie 19 2.2.2 Das Auge als dioptrischer Apparat 22 2.2.3 Die Pupille 25 2.2.4 Verhaltensanalyse des Auges 26 2.2.5 Die retinale Signalverarbeitung 27 2.3 3D-Umgebungen 29 2.3.1 Kameramodell 29 2.3.2 Stereoskopie 32 2.3.3 Strukturiertes Licht 37 2.3.4 Time of Flight 39 3 Entwurf einer AR-Datenbrille mit blickpunktabhängiger Brennweitenadaptierung 42 3.1 Gesamtsystem 42 3.2 Infrarotbeleuchtung für die Eye-Tracking-Kamera 44 3.2.1 Gefährdung der Kornea durch IR-A Strahlen 47 3.2.2 Thermische Netzhautgefährdung – schwacher visueller Reiz 48 3.2.3 Überprüfung der Einhaltung der Grenzwerte der selektierten IR-LED 50 3.3 Optisches System 53 3.4 Adaptive Linse 55 3.5 3D-Umgebungskamera 56 3.6 Recheneinheit 58 4 Eye-Tracking 59 4.1 Einleitung 59 4.2 Voruntersuchungen 64 4.3 Eye-Tracking-Algorithmus „Fast Ellipse Fitting “(FEF) 67 4.3.1 Stand der Forschung 67 4.3.2 Übersicht 69 4.3.3 Schwellwertapproximation 70 4.3.4 ROI-Findung / hochaufgelöste Schwellwertsuche 72 4.3.5 Pupillendetektion 75 4.3.6 Anfälligkeiten 76 4.4 Validierung 81 4.5 Zusammenfassung 85 4.6 Diskussion 86 5 Blickpunktschätzung 87 5.1 Einleitung 87 5.2 2D-Blickpunktschätzung 89 5.2.1 Einleitung 89 5.2.2 Evaluierung 92 5.3 3D-Blickpunktschätzung 100 5.3.1 Stand der Technik 100 5.3.2 Aufnahme von Kalibrierungspunkten im 3D-Raum 103 5.3.3 Algorithmen zur 3D-Blickpunktschätzung 104 5.3.4 Evaluierung 108 5.4 Zusammenfassung 111 5.5 Diskussion 111 6 Blickpunktanalyse 113 6.1 Filterung der Augenbewegungen/Glint-Vektoren 113 6.1.1 Stand der Forschung 113 6.1.2 Glättung der Glint-Vektoren 116 6.2 Blickpunktauswertung 117 6.2.1 Display-Steuerung 119 6.2.2 Eye-Tracking zur Informationsergänzung 125 6.2.3 Validierung der 3D-Blickpunktschätzung 131 6.3 Zusammenfassung 135 6.4 Diskussion 136 7 Zusammenfassung 138 8 Ausblick 140 9 Literaturverzeichnis 142 A Anhang 151

Die numerische Simulation ist ein unverzichtbares Werkzeug bei der Produktentwicklung geworden. Bereits in den frühen Phasen von Studien und Konzepten können unterschiedliche Lösungsansätze für eine Aufgabenstellung bewertet werden. In diesem Zusammenhang wird von virtuellen Prototypen gesprochen. Bei der Simulation mobiler Arbeitsmaschinen erfordert das die Einbindung des Bedieners. Die technologische Leistungsfähigkeit wird wesentlich durch die Interaktion zwischen Bediener und Maschine geprägt. Die Beschreibung des Bedieners durch mathematische Modelle ist bis zum gegenwärtigen Zeitpunkt nicht mit belastbaren Resultaten erfolgt. Die Entwicklungen im Bereich der Simulationstechnologie und der Computergrafik ermöglichen die Durchführung interaktiver Simulationen in komplexen virtuellen Welten. Damit lässt sich der Bediener direkt in die Simulation einbinden und es können zusätzliche Potenziale, wie z. B. bei der Untersuchung der Mensch-Maschine-Interaktion erschlossen werden. Durch die interaktive Simulation in Virtual-Reality-Systemen werden neue Anforderungen an die Simulationssoftware gestellt. Zur Interaktion mit dem Bediener müssen die Eingaben aus den Bedienelementen in Echtzeit verarbeitet und audiovisuelle Ausgaben generiert werden. Dabei sind neben den mathematisch-physikalischen Aspekten der Simulation auch Problemfelder wie Synchronisation, Kommunikation, Bussysteme und Computergrafik zu behandeln. Die Anpassung des Simulationssystems an unterschiedliche Aufgabenstellungen erfordert ein flexibel konfigurierbares Softwaresystem. Als Lösung dieser Aufgabenstellung wird eine Softwarearchitektur vorgestellt, welche die unterschiedlichen Problemfelder durch klar voneinander abgegrenzte Komponenten mit entsprechenden Schnittstellen behandelt. Das entstandene Softwaresystem ist flexibel und erweiterbar. Die Simulationsaufgabe wird durch die Konfiguration des Komponentensystems spezifiziert. Die entstehenden Konfigurationsdateien bilden die Anwendungslogik ab und stellen daher einen der wesentlichen Kostenfaktoren bei der Realisierung interaktiver Simulationen dar. Zur Erhöhung der Wiederverwendbarkeit bestehender Konfigurationsfragmente wird ein kompositionsbasierter Ansatz auf der Basis von Skriptsprachen gewählt. / Numerical simulation has evolved into an indispensable tool in modern product development. Even in the early design phases of studies and concepts several different approaches for one individual task can be evaluated. In this context the term virtual prototypes can be used. For effective simulation of mobile construction site machinery incorporation of the operator\'s influence is required. The technological performance of the machinery is essentially influenced by the interaction between the operator and the machine. Currently, there are no known mathematical models describing the operator\'s behaviour, which give substantiated results. The latest developments in computing technology and computer graphics facilitate interactive simulations in complex virtual worlds. This allows not only the operator to be linked to the simulation but also the investigation of additional research areas such as human-machine-interaction. The application of interactive simulation in virtual reality systems places new demands on the simulation software. Due to the interaction not only input signals from the instruments have to be processed but also audio and visual output has to be generated in real time. In addition to the mathematical and physical aspects of simulation, problems in the areas of synchronisation, communication, bus systems and computer graphics also have to be solved. The adaption of the simulation system to new tasks requires a flexible and highly configurable software system. As a response to these demands, a software architecture is presented which partitions the various problems into finite components with corresponding interfaces. The partitioning results in a flexible and extendable software system. The simulation task is specified by the configuration of the component system. The resulting configuration files reflect the application logic and therefore represent one of the main cost factors in the realisation of the interactive simulations. A composition-based approach is chosen as it raises the level of reuse of existing configuration fragments. This approach is based on scripting languages.

Die Digitalisierung im Bauwesen steht unter der großen Überschrift Building Information Modeling (BIM). Ziel ist es, Software-Unterstützung für den gesamten Lebenszyklus eines Bauwerks zu schaffen, beginnend bei der Planung über die Bauausführung bis hin zu Bewirtschaftung und Rückbau. Im Ergebnis sollen alle Prozesse effektiver und effizienter gestaltet werden, um die Produktivität der Bauwirtschaft signifikant zu erhöhen. Hierbei sind die verschiedenen Software-Lösungen so ausgelegt, dass ein übergreifendes virtuelles Gesamtmodell entsteht, welches die Gebäudefunktion zum Planungszeitpunkt simuliert und zu optimieren erlaubt, die interdisziplinäre Zusammenarbeit fördert und die Kommunikation zwischen allen Beteiligten erleichtert. Die vielleicht wichtigste und am deutlichsten sichtbare Rolle spielt dabei, neben der Standardisierung der Datenformate, die Umstellung von 2D- auf 3D-Geometriemodelle. In dieser Arbeit wird beschrieben, welche Herausforderungen und Chancen bezüglich BIM für die Planung von Bahn-Bauwerken bestehen. Der spezifische Fokus liegt auf der Anwendung von 3D-CAD- und 3D-Laserscan-Modellen der zu erstellenden Anlagen.

Visual Simultaneous Localisation and Mapping (SLAM) is concerned with simultaneously estimating the pose of a camera and a map of the environment from a sequence of images. Traditionally, sparse maps comprising isolated point features have been employed, which facilitate robust localisation but are not well suited to advanced applications. In this thesis, we present map representations that allow a more dense description of the environment. In one approach, planar features are used to represent textured planar surfaces in the scene. This model is applied within a visual SLAM framework based on the Extended Kalman Filter. We presents solutions to several challenges which arise from this approach.

Visual Simultaneous Localisation and Mapping (SLAM) is concerned with simultaneously estimating the pose of a camera and a map of the environment from a sequence of images. Traditionally, sparse maps comprising isolated point features have been employed, which facilitate robust localisation but are not well suited to advanced applications. In this thesis, we present map representations that allow a more dense description of the environment. In one approach, planar features are used to represent textured planar surfaces in the scene. This model is applied within a visual SLAM framework based on the Extended Kalman Filter. We presents solutions to several challenges which arise from this approach.

To improve the performance and capabilities of athletes, augmented reality could play an important role in exercise training. During training, these technologies support athletes in analyzing their training over all phases. Regardless of all potential advantages, the vergence-accommodation-conflict (VAC) could affect the effectiveness of training and performance. This work is aimed to evaluate the effect of VAC in different conditions. / Um die Leistungen und Fähigkeiten von Sportlern zu verbessern, könnte Augmented Reality eine wichtige Rolle im Training spielen. Während des Trainings unterstützen diese Technologien die Sportler bei der Analyse ihres Trainings in allen Phasen. Ungeachtet aller potenziellen Vorteile könnte der Vergenz-Akommodations-Konflikt (VAC) die Effektivität des Trainings und der Leistung beeinträchtigen. Ziel dieser Arbeit ist es, die Wirkung des VAC unter verschiedenen Bedingungen zu bewerten.

In der vorliegenden Dissertation wurde ein datengetriebenes Verfahren zum maschinellen Lernen von Mensch-Roboter Interaktionen auf Basis von Mensch-Mensch Demonstrationen entwickelt. Während einer Trainingsphase werden Bewegungen zweier Interakteure mittels Motion Capture erfasst und in einem Zwei-Personen Interaktionsmodell gelernt. Zur Laufzeit wird das Modell sowohl zur Erkennung von Bewegungen des menschlichen Interaktionspartners als auch zur Generierung angepasster Roboterbewegungen eingesetzt. Die Leistungsfähigkeit des Ansatzes wird in drei komplexen Anwendungen evaluiert, die jeweils kontinuierliche Bewegungskoordination zwischen Mensch und Roboter erfordern. Das Ergebnis der Dissertation ist ein Lernverfahren, das intuitive, zielgerichtete und sichere Kollaboration mit Robotern ermöglicht.

The following text is an excerpt from the book Narrative Instability: Destabilizing Identities, Realities, and Textualities in Contemporary American Popular Culture, which was originally published in 2019 with Universitätsverlag Winter as part of the series American Studies – A Monograph Series. The book introduces the concept of ‘narrative instability’ in order to make visible a new trend in contemporary US popular culture, to analyze this trend’s poetics, and to scrutinize its textual politics. It identifies those texts as narratively unstable that consciously frustrate and obfuscate the process of narrative understanding and comprehension, challenging their audiences to reconstruct what happened in a text’s plot, who its characters are, which of its diegetic worlds are real, or how narrative information is communicated in the first place. Despite—or rather, exactly because of—their confusing and destabilizing tendencies, such texts have attained mainstream commercial popularity in recent years across a variety of media, most prominently in films, video games, and television series. Focusing on three clusters of instability that form around identities, realities, and textualities, the book argues that narratively unstable texts encourage their audiences to engage with the narrative constructedness of their universes, that narrative instability embodies a new facet of popular culture, that it takes place and can only be understood transmedially, and that its textual politics particularly speak to white male middle-class Americans.

This volume contributes to the understanding of the fundamental, manifold, and ever-changing sign processes that underlie our access to the world. It contains the abstracts of the contributions to the 16th International Congress of the German Society for Semiotics “Transformations – Signs and their Objects in Transition”, which met digitally in Chemnitz from 28 September to 2 October 2021.:Geleitwort / Welcome Address PROGRAMM Programmübersicht Keynotes Panelübersicht Liste aller Vorträge RAHMEN­PROGRAMM Verleihung des DGS-­Nachwuchsförderpreises Dokumentarfilm Reading Circus Posterschau mit studentischen Forschungsprojekten Digitale Exkursion Chemnitz – Leben mit dem Vulkan Podium Transformationen und Infrastrukturen der Wissenschafts­kommunikation Diskussionsforen & Agora Semiotica, quo vadis? Transdisziplinärer Workshop Reading Circus Kolloquium Haus der Zeichen Gather.town PANELS ARCHÄOLOGIE Repräsentationen und Interpretationen dynamischer Prozesse und Aktionen in vormodernen Gesellschaften ARCHITEKTUR Transformationen in Architektur und Städtebau BILD Bilder als Agenten kultureller Transformationsprozesse DESIGN Rückkehr des Realen. Design und Designtheorie im Wandel DIGITAL HUMANITIES Digitale Transformation der Geisteswissenschaften? Theoretische und methodologische Provokationen durch die Digital Humanities KÖRPER Digitale Transformation und Virtualisierung von Körperzeichen KULTURWISSENSCHAFT Images as Agents of Cultural Transformation LITERATUR & JUGEND - UND SUBKULTUREN Mediale Transformationen und/als Innovation narrativer Formate: Aneignung, Literacy, Protest MEDIEN Mediale und semiotische Transformationsprozesse in der Wissenschaftspraxis MODE Religion, Politik und Mode – Zirkulation der Zeichen TANZ, THEATER UND ZIRKUS Zur (Ir)relevanz der Semiotik. Transformationen in den performativen Künsten UMWELT - UND KARTO-/ATLASSEMIOTIK Von der Kartosemiotik zur Atlassemiotik ZEICHENPHILOSOPHIE Das Ende der Referenz? Wahrheitsansprüche im „postfaktischen Zeitalter“ ASSOZIIERTES PANEL DES CHEMNITZER SFB 1410 HYBRID SOCIETIES Anthropomorphisierung aus semiotischer und kognitiver Perspektive. Ein Beitrag zur sozialen Robotik ASSOZIIERTES PANEL PALIMPSESTRÄUME Herausforderungen und Potentiale der Palimpsestraumtheorie PERSONENVERZEICHNIS / Der Band gibt einen Einblick in das Verständnis der fundamentalen, mannigfaltigen und immer im Wandel befindlichen Zeichenprozesse, die unserem Weltzugang zugrunde liegen. Er versammelt die Abstracts der Beiträge des 16. Internationalen Kongresses der Deutschen Gesellschaft für Semiotik „Transformationen – Zeichen und ihre Objekte im Wandel“, der vom 28. September bis 2. Oktober 2021 digital in Chemnitz tagte.:Geleitwort / Welcome Address PROGRAMM Programmübersicht Keynotes Panelübersicht Liste aller Vorträge RAHMEN­PROGRAMM Verleihung des DGS-­Nachwuchsförderpreises Dokumentarfilm Reading Circus Posterschau mit studentischen Forschungsprojekten Digitale Exkursion Chemnitz – Leben mit dem Vulkan Podium Transformationen und Infrastrukturen der Wissenschafts­kommunikation Diskussionsforen & Agora Semiotica, quo vadis? Transdisziplinärer Workshop Reading Circus Kolloquium Haus der Zeichen Gather.town PANELS ARCHÄOLOGIE Repräsentationen und Interpretationen dynamischer Prozesse und Aktionen in vormodernen Gesellschaften ARCHITEKTUR Transformationen in Architektur und Städtebau BILD Bilder als Agenten kultureller Transformationsprozesse DESIGN Rückkehr des Realen. Design und Designtheorie im Wandel DIGITAL HUMANITIES Digitale Transformation der Geisteswissenschaften? Theoretische und methodologische Provokationen durch die Digital Humanities KÖRPER Digitale Transformation und Virtualisierung von Körperzeichen KULTURWISSENSCHAFT Images as Agents of Cultural Transformation LITERATUR & JUGEND - UND SUBKULTUREN Mediale Transformationen und/als Innovation narrativer Formate: Aneignung, Literacy, Protest MEDIEN Mediale und semiotische Transformationsprozesse in der Wissenschaftspraxis MODE Religion, Politik und Mode – Zirkulation der Zeichen TANZ, THEATER UND ZIRKUS Zur (Ir)relevanz der Semiotik. Transformationen in den performativen Künsten UMWELT - UND KARTO-/ATLASSEMIOTIK Von der Kartosemiotik zur Atlassemiotik ZEICHENPHILOSOPHIE Das Ende der Referenz? Wahrheitsansprüche im „postfaktischen Zeitalter“ ASSOZIIERTES PANEL DES CHEMNITZER SFB 1410 HYBRID SOCIETIES Anthropomorphisierung aus semiotischer und kognitiver Perspektive. Ein Beitrag zur sozialen Robotik ASSOZIIERTES PANEL PALIMPSESTRÄUME Herausforderungen und Potentiale der Palimpsestraumtheorie PERSONENVERZEICHNIS