Die vorliegende Arbeit untersucht das Potenzial von Augmented Reality zur Verbesserung von Image Retrieval Prozessen. Herausforderungen in Design und Gebrauchstauglichkeit wurden für beide Forschungsbereiche dargelegt und genutzt, um Designziele für Konzepte zu entwerfen. Eine Taxonomie für Image Retrieval in Augmented Reality wurde basierend auf der Forschungsarbeit entworfen und eingesetzt, um verwandte Arbeiten und generelle Ideen für Interaktionsmöglichkeiten zu strukturieren. Basierend auf der Taxonomie wurden Anwendungsszenarien als weitere Anforderungen für Konzepte formuliert. Mit Hilfe der generellen Ideen und Anforderungen wurden zwei umfassende Konzepte für Image Retrieval in Augmented Reality ausgearbeitet. Eins der Konzepte wurde auf einer Microsoft HoloLens umgesetzt und in einer Nutzerstudie evaluiert. Die Studie zeigt, dass das Konzept grundsätzlich positiv aufgenommen wurde und bietet Erkenntnisse über unterschiedliches Verhalten im Raum und verschiedene Suchstrategien bei der Durchführung von Image Retrieval in der erweiterten Realität.:1 Introduction 1.1 Motivation and Problem Statement 1.1.1 Augmented Reality and Head-Mounted Displays 1.1.2 Image Retrieval 1.1.3 Image Retrieval within Augmented Reality 1.2 Thesis Structure 2 Foundations of Image Retrieval and Augmented Reality 2.1 Foundations of Image Retrieval 2.1.1 Definition of Image Retrieval 2.1.2 Classification of Image Retrieval Systems 2.1.3 Design and Usability in Image Retrieval 2.2 Foundations of Augmented Reality 2.2.1 Definition of Augmented Reality 2.2.2 Augmented Reality Design and Usability 2.3 Taxonomy for Image Retrieval within Augmented Reality 2.3.1 Session Parameters 2.3.2 Interaction Process 2.3.3 Summary of the Taxonomy 3 Concepts for Image Retrieval within Augmented Reality 3.1 Related Work 3.1.1 Natural Query Specification 3.1.2 Situated Result Visualization 3.1.3 3D Result Interaction 3.1.4 Summary of Related Work 3.2 Basic Interaction Concepts for Image Retrieval in Augmented Reality 3.2.1 Natural Query Specification 3.2.2 Situated Result Visualization 3.2.3 3D Result Interaction 3.3 Requirements for Comprehensive Concepts 3.3.1 Design Goals 3.3.2 Application Scenarios 3.4 Comprehensive Concepts 3.4.1 Tangible Query Workbench 3.4.2 Situated Photograph Queries 3.4.3 Conformance of Concept Requirements 4 Prototypic Implementation of Situated Photograph Queries 4.1 Implementation Design 4.1.1 Implementation Process 4.1.2 Structure of the Implementation 4.2 Developer and User Manual 4.2.1 Setup of the Prototype 4.2.2 Usage of the Prototype 4.3 Discussion of the Prototype 5 Evaluation of Prototype and Concept by User Study 5.1 Design of the User Study 5.1.1 Usability Testing 5.1.2 Questionnaire 5.2 Results 5.2.1 Logging of User Behavior 5.2.2 Rating through Likert Scales 5.2.3 Free Text Answers and Remarks during the Study 5.2.4 Observations during the Study 5.2.5 Discussion of Results 6 Conclusion 6.1 Summary of the Present Work 6.2 Outlook on Further Work / The present work investigates the potential of augmented reality for improving the image retrieval process. Design and usability challenges were identified for both fields of research in order to formulate design goals for the development of concepts. A taxonomy for image retrieval within augmented reality was elaborated based on research work and used to structure related work and basic ideas for interaction. Based on the taxonomy, application scenarios were formulated as further requirements for concepts. Using the basic interaction ideas and the requirements, two comprehensive concepts for image retrieval within augmented reality were elaborated. One of the concepts was implemented using a Microsoft HoloLens and evaluated in a user study. The study showed that the concept was rated generally positive by the users and provided insight in different spatial behavior and search strategies when practicing image retrieval in augmented reality.:1 Introduction 1.1 Motivation and Problem Statement 1.1.1 Augmented Reality and Head-Mounted Displays 1.1.2 Image Retrieval 1.1.3 Image Retrieval within Augmented Reality 1.2 Thesis Structure 2 Foundations of Image Retrieval and Augmented Reality 2.1 Foundations of Image Retrieval 2.1.1 Definition of Image Retrieval 2.1.2 Classification of Image Retrieval Systems 2.1.3 Design and Usability in Image Retrieval 2.2 Foundations of Augmented Reality 2.2.1 Definition of Augmented Reality 2.2.2 Augmented Reality Design and Usability 2.3 Taxonomy for Image Retrieval within Augmented Reality 2.3.1 Session Parameters 2.3.2 Interaction Process 2.3.3 Summary of the Taxonomy 3 Concepts for Image Retrieval within Augmented Reality 3.1 Related Work 3.1.1 Natural Query Specification 3.1.2 Situated Result Visualization 3.1.3 3D Result Interaction 3.1.4 Summary of Related Work 3.2 Basic Interaction Concepts for Image Retrieval in Augmented Reality 3.2.1 Natural Query Specification 3.2.2 Situated Result Visualization 3.2.3 3D Result Interaction 3.3 Requirements for Comprehensive Concepts 3.3.1 Design Goals 3.3.2 Application Scenarios 3.4 Comprehensive Concepts 3.4.1 Tangible Query Workbench 3.4.2 Situated Photograph Queries 3.4.3 Conformance of Concept Requirements 4 Prototypic Implementation of Situated Photograph Queries 4.1 Implementation Design 4.1.1 Implementation Process 4.1.2 Structure of the Implementation 4.2 Developer and User Manual 4.2.1 Setup of the Prototype 4.2.2 Usage of the Prototype 4.3 Discussion of the Prototype 5 Evaluation of Prototype and Concept by User Study 5.1 Design of the User Study 5.1.1 Usability Testing 5.1.2 Questionnaire 5.2 Results 5.2.1 Logging of User Behavior 5.2.2 Rating through Likert Scales 5.2.3 Free Text Answers and Remarks during the Study 5.2.4 Observations during the Study 5.2.5 Discussion of Results 6 Conclusion 6.1 Summary of the Present Work 6.2 Outlook on Further Work

Der Beitrag befasst sich mit dem Onlinespiel TwinKomplex, das ein aus verschiedenen realen wie fiktionalen Quellen zusammengesetztes Mashup darstellt. Dabei bildet das Konglomerat aus verschiedenen Medien eine Ebene des Mashups, eine zweite wird durch die Parallelität von Realität und Fiktion eingeführt. Der Beitrag beschreibt die Grundzüge des Spiels und gibt die Ergebnisse eines qualitativ-empirisch angelegten Experiments wieder, bei dem fünf Spieler ihre Eindrückre und Erfahrungen schildern. Die meisten modernen Computerspiele sind von Grund auf neu geschaffene komplexe Erzählungen, angesiedelt in einer eigenen fiktionalen Spielwelt mit fiktionalen Charakteren. Bilder, Texte und Geräusche sowie Sprache und Musik werden für solche Computerspiele eigens kreiert, die Handlung wird durchgeplant, nichts wird dem Zufall überlassen. Anders verhält es sich bei TwinKomplex. Es startete im Herbst 2011 als so genanntes „free to play“-Spiel und kann kostenfrei in Deutsch, Englisch und Spanisch gespielt werden. Bei TwinKomplex werden für eine Agenten- und Geheimdienstgeschichte bestehende, real existierende Medien (u. a. YouTube-Videos , Google Maps, Suchmaschinen, Websites, Bilder) und vorproduzierte, fiktive und konstruierte Inhalte (u. a. Videos mit Schauspielern, fingierte Websites, nachgestellte Bilder) zusammen mit den Möglichkeiten sozialer Netzwerke zu einem großen, neuen Ganzen kombiniert – zu einem transmedialen Social Online Game. Durch das Kombinieren fiktionaler und realer Inhalte (Informationen aus dem Web, reale Handlungsorte, Schauspieler und Wissenschaftler statt Avatare) soll letztlich eine „Augmented Virtuality” entstehen. Im Beitrag wird sich dieser Augmented Virtuality und diesem Social Online Game in seiner Eigenschaft als Mashup genähert. Die Einbettung eines Spielszenarios in einen realen Kontext, die Nutzung unterschiedlichster, alltäglich gebräuchlicher Medienelemente zur Lösung von Kriminalfällen, das Vernetzen mit realen Mitspielern, das Zusammenschließen zu Teams, der reale zeitliche Kontext, in dem das Spiel abläuft usw. – all das lässt die grundsätzliche Vermutung aufkommen, dass es dieses Mashup vermag, die Spieler in anderer, wenn nicht gar stärkerer Art und Weise, als es fiktionale Computerspiele könnten, in seinen Bann zu ziehen. Ein qualitativ-empirisch angelegtes Experiment versuchte, sich dieser These zu nähern und erfasste das Nutzererlebnis während des Spielens. Insgesamt fünf Spieler hielten ihre Eindrücke, Spielerlebnisse und Erfahrungen über zehn Tage – von der Anmeldung bis zum Logout – in einem Tagebuch fest. Die Schilderungen geben das Spielerlebnis aus Nutzersicht sehr detailliert wieder.

Traditionelle 3D-Anwendungsentwicklung für VR/AR verläuft in heterogenen Entwicklerteams unstrukturiert, ad hoc und ist fehlerbehaftet. Der präsentierte Roundtrip3D Entwicklungsprozess ermöglicht die iterativ inkrementelle 3D-Anwendungsentwicklung, wechselseitig auf Softwaremodell- und Implementierungsebene. Modelle fördern das gemeinsame Verständnis unter Projektbeteiligten und sichern durch generierte Schnittstellen gleichzeitiges Programmieren und 3D-Modellieren zu. Das Roundtrip3D Werkzeug ermittelt Inkonsistenzen zwischen vervollständigten 3D-Inhalten und Quelltexten auch für verschiedene Plattformen und visualisiert sie auf abstrakter Modellebene. Die gesamte Implementierung wird nicht simultan, sondern nach codegetriebener Entwicklung kontrolliert mit Softwaremodellen abgeglichen. Inkremente aus aktualisierten Softwaremodellen fließen in dann wieder zueinander konsistente Quelltexte und 3D-Inhalte ein. Der Roundtrip3D Entwicklungsprozess vereint dauerhaft Vorteile codegetriebener mit modellgetriebener 3D-Anwendungsentwicklung und fördert strukturiertes Vorgehen im agilen Umfeld.

Diese Arbeit befasst sich mit der Konzeption eines Gestaltungskonzeptes für die Visualisierung komplexer zusammenhängender Datenmengen, wie sie durch Graphen repräsentiert werden können. Als Ausgabemedium wird dazu das immersive VR-System CAVE genutzt, welches es dem Betrachter ermöglicht, die Daten stereoskopisch und damit räumlich zu betrachten. Zur Entwicklung eines Gestaltkonzeptes für Graphen werden sowohl Besonderheiten der Raumwahrnehmung in VR-Systemen als auch Anforderungen und Aufgaben auf Graphen beleuchtet. Zusätzlich entstand ein Modell zur Klassifizierung von Graphenanwendungen sowie ein innovatives Konzept zur Darstellung von großen zweidimensionalen Graphen in einer CAVE. Als Resultat werden grundlegende Gestaltungskriterien angeboten, die es ermöglichen sollen, eine intuitive und effektive Visualisierung von Graphen zu realisieren.:1. Einleitung 1.1. Zielstellung 1.2. Gliederung 2. Grundlagen und Begrife 2.1. Informationsvisualisierung 2.2. Graphentheorie 2.3. Graphenlayout 2.4. Wahrnehmungundpsychologische Grundlagen 2.5. 3D Computergrafik 2.6. Stereo Grafik 2.7. Virtuelle Realität 2.8. Das Medium CAVE 3. Verwandte Arbeiten 3.1. ConeTrees 3.2. Information Cube 3.3. Hyperbolic Layout-H3 viewer 3.4. Skyrails 3.5. Perspective Wall 4. Synthese 4.1. Einführung 4.2. Einsatzgebiet für Graphen 4.3. Arbeiten mit Graphen 4.4. Mehrwert der dritten Dimension 4.5. Allgemeine Gestaltung 4.6. Orientierung 4.7. Farbe als Gestaltungsmittel 4.8. Gestaltung von Knoten 4.9. Gestaltung von Kanten 4.10. Hintergrund 4.11. Anordnung 4.12. Darstellung von großen zweidimensionalen Inhalten 4.13. Zusammenfassung 5. Praktische Umsetzung 5.1. Werkzeuge 5.2. Testfälle 5.3. Umsetzung 5.4. Evaluation 5.5. Zusammenfassung 6. Zusammenfassung und Ausblick 6.1. Fazit 6.2. Diskussion 6.3. Ausblick

While teleoperation of technical highly sophisticated systems has already been a wide field of research, especially for space and robotics applications, the automation industry has not yet benefited from its results. Besides the established fields of application, also production lines with industrial robots and the surrounding plant components are in need of being remotely accessible. This is especially critical for maintenance or if an unexpected problem cannot be solved by the local specialists. Special machine manufacturers, especially robotics companies, sell their technology worldwide. Some factories, for example in emerging economies, lack qualified personnel for repair and maintenance tasks. When a severe failure occurs, an expert of the manufacturer needs to fly there, which leads to long down times of the machine or even the whole production line. With the development of data networks, a huge part of those travels can be omitted, if appropriate teleoperation equipment is provided. This thesis describes the development of a telemaintenance system, which was established in an active production line for research purposes. The customer production site of Braun in Marktheidenfeld, a factory which belongs to Procter & Gamble, consists of a six-axis cartesian industrial robot by KUKA Industries, a two-component injection molding system and an assembly unit. The plant produces plastic parts for electric toothbrushes. In the research projects "MainTelRob" and "Bayern.digital", during which this plant was utilised, the Zentrum für Telematik e.V. (ZfT) and its project partners develop novel technical approaches and procedures for modern telemaintenance. The term "telemaintenance" hereby refers to the integration of computer science and communication technologies into the maintenance strategy. It is particularly interesting for high-grade capital-intensive goods like industrial robots. Typical telemaintenance tasks are for example the analysis of a robot failure or difficult repair operations. The service department of KUKA Industries is responsible for the worldwide distributed customers who own more than one robot. Currently such tasks are offered via phone support and service staff which travels abroad. They want to expand their service activities on telemaintenance and struggle with the high demands of teleoperation especially regarding security infrastructure. In addition, the facility in Marktheidenfeld has to keep up with the high international standards of Procter & Gamble and wants to minimize machine downtimes. Like 71.6 % of all German companies, P&G sees a huge potential for early information on their production system, but complains about the insufficient quality and the lack of currentness of data. The main research focus of this work lies on the human machine interface for all human tasks in a telemaintenance setup. This thesis provides own work in the use of a mobile device in context of maintenance, describes new tools on asynchronous remote analysis and puts all parts together in an integrated telemaintenance infrastructure. With the help of Augmented Reality, the user performance and satisfaction could be raised. A special regard is put upon the situation awareness of the remote expert realized by different camera viewpoints. In detail the work consists of: - Support of maintenance tasks with a mobile device - Development and evaluation of a context-aware inspection tool - Comparison of a new touch-based mobile robot programming device to the former teach pendant - Study on Augmented Reality support for repair tasks with a mobile device - Condition monitoring for a specific plant with industrial robot - Human computer interaction for remote analysis of a single plant cycle - A big data analysis tool for a multitude of cycles and similar plants - 3D process visualization for a specific plant cycle with additional virtual information - Network architecture in hardware, software and network infrastructure - Mobile device computer supported collaborative work for telemaintenance - Motor exchange telemaintenance example in running production environment - Augmented reality supported remote plant visualization for better situation awareness / Die Fernsteuerung technisch hochentwickelter Systeme ist seit vielen Jahren ein breites Forschungsfeld, vor allem im Bereich von Weltraum- und Robotikanwendungen. Allerdings hat die Automatisierungsindustrie bislang zu wenig von den Ergebnissen dieses Forschungsgebiets profitiert. Auch Fertigungslinien mit Industrierobotern und weiterer Anlagenkomponenten müssen über die Ferne zugänglich sein, besonders bei Wartungsfällen oder wenn unvorhergesehene Probleme nicht von den lokalen Spezialisten gelöst werden können. Hersteller von Sondermaschinen wie Robotikfirmen verkaufen ihre Technologie weltweit. Kunden dieser Firmen besitzen beispielsweise Fabriken in Schwellenländern, wo es an qualifizierten Personal für Reparatur und Wartung mangelt. Wenn ein ernster Fehler auftaucht, muss daher ein Experte des Sondermaschinenherstellers zum Kunden fliegen. Das führt zu langen Stillstandzeiten der Maschine. Durch die Weiterentwicklung der Datennetze könnte ein großer Teil dieser Reisen unterbleiben, wenn eine passende Fernwartungsinfrastruktur vorliegen würde. Diese Arbeit beschreibt die Entwicklung eines Fernwartungssystems, welches in einer aktiven Produktionsumgebung für Forschungszwecke eingerichtet wurde. Die Fertigungsanlage des Kunden wurde von Procter & Gamble in Marktheidenfeld zur Verfügung gestellt und besteht aus einem sechsachsigen, kartesischen Industrieroboter von KUKA Industries, einer Zweikomponentenspritzgussanlage und einer Montageeinheit. Die Anlage produziert Plastikteile für elektrische Zahnbürsten. Diese Anlage wurde im Rahmen der Forschungsprojekte "MainTelRob" und "Bayern.digital" verwendet, in denen das Zentrum für Telematik e.V. (ZfT) und seine Projektpartner neue Ansätze und Prozeduren für moderne Fernwartungs-Technologien entwickeln. Fernwartung bedeutet für uns die umfassende Integration von Informatik und Kommunikationstechnologien in der Wartungsstrategie. Das ist vor allem für hochentwickelte, kapitalintensive Güter wie Industrierobotern interessant. Typische Fernwartungsaufgaben sind beispielsweise die Analyse von Roboterfehlermeldungen oder schwierige Reparaturmaßnahmen. Die Service-Abteilung von KUKA Industries ist für die weltweit verteilten Kunden zuständig, die teilweise auch mehr als einen Roboter besitzen. Aktuell werden derartige Aufgaben per Telefonauskunft oder mobilen Servicekräften, die zum Kunden reisen, erledigt. Will man diese komplizierten Aufgaben durch Fernwartung ersetzen um die Serviceaktivitäten auszuweiten muss man mit den hohen Anforderungen von Fernsteuerung zurechtkommen, besonders in Bezug auf Security Infrastruktur. Eine derartige umfassende Herangehensweise an Fernwartung bietet aber auch einen lokalen Mehrwert beim Kunden: Die Fabrik in Marktheidenfeld muss den hohen internationalen Standards von Procter & Gamble folgen und will daher die Stillstandzeiten weiter verringern. Wie 71,6 Prozent aller deutschen Unternehmen sieht auch P&G Marktheidenfeld ein großes Potential für frühe Informationen aus ihrem Produktionssystem, haben aber aktuell noch Probleme mit der Aktualität und Qualität dieser Daten. Der Hauptfokus der hier vorgestellten Forschung liegt auf der Mensch-Maschine-Schnittstelle für alle Aufgaben eines umfassenden Fernwartungskontextes. Diese Arbeit stellt die eigene Arbeiten bei der Verwendung mobiler Endgeräte im Kontext der Wartung und neue Softwarewerkzeuge für die asynchrone Fernanalyse vor und integriert diese Aspekte in eine Fernwartungsinfrastruktur. In diesem Kontext kann gezeigt werden, dass der Einsatz von Augmented Reality die Nutzerleistung und gleichzeitig die Zufriedenheit steigern kann. Dabei wird auf das sogenannte "situative Bewusstsein" des entfernten Experten besonders Wert gelegt. Im Detail besteht die Arbeit aus: - Unterstützung von Wartungsaufgaben mit mobilen Endgeräten - Entwicklung und Evaluation kontextsensitiver Inspektionssoftware - Vergleich von touch-basierten Roboterprogrammierung mit der Vorgängerversion des Programmierhandgeräts - Studien über die Unterstützung von Reparaturaufgaben durch Augmented Reality - Zustandsüberwachung für eine spezielle Anlage mit Industrieroboter - Mensch-Maschine Interaktion für die Teleanalyse eines Produktionszyklus - Grafische Big Data Analyse einer Vielzahl von Produktionszyklen - 3D Prozess Visualisierung und Anreicherung mit virtuellen Informationen - Hardware, Software und Netzwerkarchitektur für die Fernwartung - Computerunterstützte Zusammenarbeit mit Verwendung mobiler Endgeräte für die Fernwartung - Fernwartungsbeispiel: Durchführung eines Motortauschs in der laufenden Produktion - Augmented Reality unterstütze Visualisierung des Anlagenkontextes für die Steigerung des situativen Bewusstseins

Produktionssysteme mit Industrierobotern werden zunehmend komplex; waren deren Arbeitsbereiche früher noch statisch und abgeschirmt, und die programmierten Abläufe gleichbleibend, so sind die Anforderungen an moderne Robotik-Produktionsanlagen gestiegen: Diese sollen sich jetzt mithilfe von intelligenter Sensorik auch in unstrukturierten Umgebungen einsetzen lassen, sich bei sinkenden Losgrößen aufgrund individualisierter Produkte und häufig ändernden Produktionsaufgaben leicht rekonfigurieren lassen, und sogar eine direkte Zusammenarbeit zwischen Mensch und Roboter ermöglichen. Gerade auch bei dieser Mensch-Roboter-Kollaboration wird es damit notwendig, dass der Mensch die Daten und Aktionen des Roboters leicht verstehen kann. Aufgrund der gestiegenen Anforderungen müssen somit auch die Bedienerschnittstellen dieser Systeme verbessert werden. Als Grundlage für diese neuen Benutzerschnittstellen bietet sich Augmented Reality (AR) als eine Technologie an, mit der sich komplexe räumliche Daten für den Bediener leicht verständlich darstellen lassen. Komplexe Informationen werden dabei in der Arbeitsumgebung der Nutzer visualisiert und als virtuelle Einblendungen sichtbar gemacht, und so auf einen Blick verständlich. Die diversen existierenden AR-Anzeigetechniken sind für verschiedene Anwendungsfelder unterschiedlich gut geeignet, und sollten daher flexibel kombinier- und einsetzbar sein. Auch sollen diese AR-Systeme schnell und einfach auf verschiedenartiger Hardware in den unterschiedlichen Arbeitsumgebungen in Betrieb genommen werden können. In dieser Arbeit wird ein Framework für Augmented Reality Systeme vorgestellt, mit dem sich die genannten Anforderungen umsetzen lassen, ohne dass dafür spezialisierte AR-Hardware notwendig wird. Das Flexible AR-Framework kombiniert und bündelt dafür verschiedene Softwarefunktionen für die grundlegenden AR-Anzeigeberechnungen, für die Kalibrierung der notwendigen Hardware, Algorithmen zur Umgebungserfassung mittels Structured Light sowie generische ARVisualisierungen und erlaubt es dadurch, verschiedene AR-Anzeigesysteme schnell und flexibel in Betrieb zu nehmen und parallel zu betreiben. Im ersten Teil der Arbeit werden Standard-Hardware für verschiedene AR-Visualisierungsformen sowie die notwendigen Algorithmen vorgestellt, um diese flexibel zu einem AR-System zu kombinieren. Dabei müssen die einzelnen verwendeten Geräte präzise kalibriert werden; hierfür werden verschiedene Möglichkeiten vorgestellt, und die mit ihnen dann erreichbaren typischen Anzeige- Genauigkeiten in einer Evaluation charakterisiert. Nach der Vorstellung der grundlegenden ARSysteme des Flexiblen AR-Frameworks wird dann eine Reihe von Anwendungen vorgestellt, bei denen das entwickelte System in konkreten Praxis-Realisierungen als AR-Benutzerschnittstelle zum Einsatz kam, unter anderem zur Überwachung von, Zusammenarbeit mit und einfachen Programmierung von Industrierobotern, aber auch zur Visualisierung von komplexen Sensordaten oder zur Fernwartung. Im Verlauf der Arbeit werden dadurch die Vorteile, die sich durch Verwendung der AR-Technologie in komplexen Produktionssystemen ergeben, herausgearbeitet und in Nutzerstudien belegt. / During recent years, production environments involving industrial robots have moved away from static, shielded production lines towards a more open, flexible and adaptable setup, where human and robot are working in close proximity or even collaborating on the same workpiece. This change necessitates improving existing user interfaces for these robots, to allow for an easier understanding of the complex robot data as well as simplifying their handling and programming. Augmented Reality (AR) is a technology that allows for realizing that: it enables the user to simply grasp complex spatial data by seeing it - appropriately visualized - in his natural work environment. This thesis introduces the Flexible Augmented Reality framework, an AR framework that allows for quick and easy realization of multiple monitor- or projection-based AR displays in the work environment of industrial robots, greatly simplifying and improving their handling without the use of specialized AR hardware. The developed framework combines and bundles all the necessary software functions and algorithms, among others for realizing the fundamental AR visualizations, calibrating the necessary hardware, capturing the display environment utilizing Structured Light and easily creating generic AR visualizations, to allow for fast deployment and parallel operation of multiple AR interfaces in different production and application fields. Among describing the developed algorithms as well as properties of the employed hardware, a thorough evaluation of the achievable display accuracy with standard hardware is given in this thesis. Finally, the framework was tested and evaluated in a number of different practical application scenarios involving industrial robot programming, remote surveillance and control, as well as intuitive sensor data display or remote maintenance. The developed solutions are presented in detail together with performed evaluations and user studies, exemplifying the framework's improvement of traditional industrial robot interfaces.

Multimodal interfaces (MMIs) are a promising human-computer interaction paradigm. They are feasible for a wide rang of environments, yet they are especially suited if interactions are spatially and temporally grounded with an environment in which the user is (physically) situated. Real-time interactive systems (RISs) are technical realizations for situated interaction environments, originating from application areas like virtual reality, mixed reality, human-robot interaction, and computer games. RISs include various dedicated processing-, simulation-, and rendering subsystems which collectively maintain a real-time simulation of a coherent application state. They thus fulfil the complex functional requirements of their application areas. Two contradicting principles determine the architecture of RISs: coupling and cohesion. On the one hand, RIS subsystems commonly use specific data structures for multiple purposes to guarantee performance and rely on close semantic and temporal coupling between each other to maintain consistency. This coupling is exacerbated if the integration of artificial intelligence (AI) methods is necessary, such as for realizing MMIs. On the other hand, software qualities like reusability and modifiability call for a decoupling of subsystems and architectural elements with single well-defined purposes, i.e., high cohesion. Systems predominantly favour performance and consistency over reusability and modifiability to handle this contradiction. They thus accept low maintainability in general and hindered scientific progress in the long-term. This thesis presents six semantics-based techniques that extend the established entity-component system (ECS) pattern and pose a solution to this contradiction without sacrificing maintainability: semantic grounding, a semantic entity-component state, grounded actions, semantic queries, code from semantics, and decoupling by semantics. The extension solves the ECS pattern's runtime type deficit, improves component granularity, facilitates access to entity properties outside a subsystem's component association, incorporates a concept to semantically describe behavior as complement to the state representation, and enables compatibility even between RISs. The presented reference implementation Simulator X validates the feasibility of the six techniques and may be (re)used by other researchers due to its availability under an open-source licence. It includes a repertoire of common multimodal input processing steps that showcase the particular adequacy of the six techniques for such processing. The repertoire adds up to the integrated multimodal processing framework miPro, making Simulator X a RIS platform with explicit MMI support. The six semantics-based techniques as well as the reference implementation are validated by four expert reviews, multiple proof of concept prototypes, and two explorative studies. Informal insights gathered throughout the design and development supplement this assessment in the form of lessons learned meant to aid future development in the area. / Multimodale Schnittstellen sind ein vielversprechendes Paradigma der Mensch-Computer-Interaktion. Sie sind in einer Vielzahl von Umgebungen einsetzbar und eignen sich besonders wenn Interaktionen zeitlich und räumlich mit einer Umgebung verankert sind in welcher der Benutzer (physikalisch) situiert ist. Interaktive Echtzeitsysteme (engl. Real-time Interactive Systems, RIS) sind technische Umsetzungen situierter Interaktionsumgebungen, die vor allem in Anwendungsgebieten wie der virtuellen Realität, der gemischten Realität, der Mensch-Roboter-Interaktion und im Bereich der Computerspiele eingesetzt werden. Interaktive Echtzeitsysteme bestehen aus vielfältigen dedizierten Subsystemen, die zusammen die Echtzeitsimulation eines kohärenten Anwendungszustands aufrecht erhalten und die komplexen funktionalen Anforderungen des Anwendungsgebiets erfüllen. Zwei gegensätzliche Prinzipien bestimmen die Softwarearchitekturen interaktiver Echtzeitsysteme: Kopplung und Kohäsion. Einerseits verwenden Subsysteme typischerweise spezialisierte Datenstrukturen um Performanzanforderungen gerecht zu werden. Um Konsistenz aufrecht zu erhalten sind sie zudem auf enge zeitliche- und semantische Abhängigkeiten untereinander angewiesen. Diese enge Kopplung wird verstärkt, falls Methoden der künstlichen Intelligenz in das RIS integriert werden müssen, wie es für die Umsetzung multimodaler Schnittstellen der Fall ist. Andererseits bedingen Softwarequalitätsmerkmale wie Wiederverwendbarkeit und Modifizierbarkeit die Entkopplung von Subsystemen und Architekturelementen und fordern hohe Kohäsion. Bestehende Systeme lösen diesen Konflikt überwiegend zu Gunsten von Performanz und Konsistenz und zu Lasten von Wiederverwendbarkeit und Modifizierbarkeit. Insgesamt wird auf diese Weise geringe Wartbarkeit akzeptiert und auf lange Sicht der wissenschaftliche Fortschritt eingeschränkt. Diese Arbeit stellt sechs Softwaretechniken auf Basis von Methoden der Wissensrepräsentation vor, welche das etablierte Entity-Component System (ECS) Entwurfsmuster erweitern und eine Lösung des Konflikts darstellen, die die Wartbarkeit nicht missachtet: semantic grounding, semantic entity-component state, grounded actions, semantic queries, code from semantics und decoupling by semantics. Diese Erweiterung löst das Introspektionsdefizit des ECS-Musters, verbessert die Granularität von ECS-Komponenten, erleichtert den Zugriff auf Entity-Eigenschaften außerhalb der Subsystem-Komponentenzuordnung, beinhaltet ein Konzept zur einheitlichen Beschreibung von Verhalten als Komplement zur Zustandsrepräsentation und ermöglicht sogar Kompatibilität zwischen interaktiven Echtzeitsystemen. Die vorgestellte Referenzimplementierung Simulator X weist die technische Machbarkeit der sechs Softwaretechniken nach. Sie kann von anderen Forschern auf Basis einer Open-Source Lizenz (wieder)verwendet werden und beinhaltet ein Repertoire an üblichen Verarbeitungsschritten für multimodalen Eingaben, welche die besondere Eignung der sechs Softwaretechniken für eine solche Eingabeverarbeitung veranschaulichen. Dieses Repertoire bildet zusammen das integrierte multimodale Eingabeverarbeitungs-Framework miPro und macht damit Simulator X zu einem RIS, welches explizit die Umsetzung von multimodalen Schnittstellen unterstützt. Die sechs Softwaretechniken sowie die Referenzimplementierung sind durch vier Expertengutachten, eine Vielzahl an technischen Demonstrationen sowie durch zwei explorative Studien validiert. Informelle Erkenntnisse, die während Design und Entwicklung gesammelt wurden, ergänzen diese Beurteilung in Form von lessons learned, welche bei künftigen Entwicklungsarbeiten in diesem Gebiet helfen sollen.

Die Rehabilitation von Gangstörungen bei Patienten mit MS und Schlaganfall erfolgt häufig mithilfe eines konventionellen Laufbandtrainings. Einige Studien haben bereits gezeigt, dass durch eine Erweiterung dieses Trainings um eine virtuelle Realität die Motivation der Patienten gesteigert und die Therapieergebnisse verbessert werden können. In der vorliegenden Studie wurde eine immersive VR-Anwendung (unter Verwendung eines HMD) für die Gangrehabilitation von Patienten evaluiert. Hierbei wurden ihre Anwendbarkeit und Akzeptanz geprüft sowie ihre Kurzzeiteffekte mit einer semi-immersiven Präsentation (unter Verwendung eines Monitors) und mit einem konventionellen Laufbandtraining ohne VR verglichen. Der Fokus lag insbesondere auf der Untersuchung der Anwendbarkeit beider Systeme und der Auswirkungen auf die Laufgeschwindigkeit und Motivation der Benutzer. Im Rahmen einer Studie mit Innersubjekt-Design nahmen zunächst 36 gesunde Teilnehmer und anschließend 14 Patienten mit MS oder Schlaganfall an drei experimentellen Bedingungen (VR über HMD, VR über Monitor, Laufbandtraining ohne VR) teil. Sowohl in der Studie mit gesunden Teilnehmern als auch in der Patientenstudie zeigte sich in der HMD-Bedingung eine höhere Laufgeschwindigkeit als beim Laufbandtraining ohne VR und in der Monitor-Bedingung. Die gesunden Studienteilnehmer berichteten über eine höhere Motivation nach der HMD-Bedingung als nach den anderen Bedingungen. Es traten in beiden Gruppen keine Nebenwirkungen im Sinne einer Simulator Sickness auf und es wurden auch keine Erhöhungen der Herzfrequenzen nach den VR-Bedingungen detektiert. Die Bewertungen des Präsenzerlebens waren in beiden Gruppen in der HMD-Bedingung höher als in der Monitor-Bedingung. Beide VR-Bedingungen erhielten hohe Bewertungen für die Benutzerfreundlichkeit. Die meisten der gesunden Teilnehmer (89 %) und Patienten (71 %) präferierten das HMD-basierte Laufbandtraining unter den drei Trainingsformen und die meisten Patienten könnten sich vorstellen, es häufiger zu nutzen. Mit der vorliegenden Studie wurde eine strukturierte Evaluation der Anwendbarkeit eines immersiven VR-Systems für die Gangrehabilitation geprüft und dieses erstmals in den direkten Vergleich zu einem semi-immersiven System und einem konventionellen Training ohne VR gesetzt. Die Studie bestätigte die Praktikabilität der Kombination eines Laufbandtrainings mit immersiver VR. Aufgrund ihrer hohen Benutzerfreundlichkeit und der geringen Nebenwirkungen scheint diese Trainingsform besonders für Patienten geeignet zu sein, um deren Trainingsmotivation und Trainingserfolge, wie z. B. die Laufgeschwindigkeit, zu steigern. Da immersive VR-Systeme allerdings nach wie vor spezifische technische Installationsprozeduren erfordern, sollte für die spezifische klinische Anwendung eine Kosten-Nutzen-Bewertung erfolgen. / Rehabilitation of gait disorders in patients with MS and stroke is often done with the help of conventional treadmill training. Some studies have already shown that extending this training with virtual reality can increase patient motivation and improve therapy outcomes. In the present study, an immersive VR application (using an HMD) was evaluated for gait rehabilitation of patients. Here, its applicability and acceptability were tested, and its short-term effects were compared with a semi-immersive presentation (using a monitor) and with conventional treadmill training without VR. In particular, the focus was on investigating the applicability of both systems and the effects on user walking speed and motivation. In a study using a within-subjects design, first 36 healthy participants and then 14 patients with MS or stroke participated in three experimental conditions (VR via HMD, VR via monitor, treadmill training without VR). In both the healthy participant study and the patient study, the HMD condition showed a higher walking speed than the treadmill training without VR and the monitor condition. The healthy study participants reported higher motivation after the HMD condition than after the other conditions. No side effects in terms of simulator sickness occurred in either group, and no increases in heart rates were detected after the VR conditions. Presence experience ratings were higher in both groups in the HMD condition than in the monitor condition. Both VR conditions received high ratings for usability. Most of the healthy participants (89%) and patients (71%) preferred the HMD-based treadmill training among the three training modalities, and most patients could imagine using it more often. The present study tested a structured evaluation of the applicability of an immersive VR system for gait rehabilitation and, for the first time, compared it directly with a semi-immersive system and conventional training without VR. The study confirmed the practicability of combining treadmill training with immersive VR. Due to its high usability and low side effects, this form of training seems to be particularly suitable for patients to increase their training motivation and training success, such as walking speed. However, immersive VR systems still require specific technical installation procedures, so a cost-benefit assessment should be performed for the specific clinical application.

This thesis describes a set of techniques and methods to create an autonomously interactive character as a virtual opponent in a Virtual Reality (VR) application for anticipation training in sports karate. Convincing karate movements are created by blending adequate motion capture data in real-time with motion blending. Attack techniques with a precise attacking position are achieved by using hybrid Inverse Kinematics. Stepping movements are created with a motion graph approach, enabling the virtual character to adapt the position relative to the user’s position. An offline preprocessing method is proposed to cope with a large amount of motion capture data. The realized character can autonomously and interactively respond to the trainee’s movement and perform a suitable hand attack. A user study among karate athletes shows a general acceptance of the implemented system as a useful tool for anticipation training.:List of Figures List of Tables 1 Introduction 2 Human Motion Synthesis and Animation 3 Combining Inverse Kinematics with Motion Blending 4 Automatic Motion Base Creation 5 Create an Autonomous Interactive Character 6 Conclusion and Discussion Appendices Bibliography

Im Fokus dieser Arbeit steht die Entwicklung und Realisierung einer Nutzerschnittstelle für die computergestützte Bearbeitung von Oberflächen dreidimensionaler Designobjekte, die durch herkömmliche CAD-Systeme nur unzureichend unterstützt werden können. Es werden Methoden und Algorithmen erarbeitet, um die Interaktion des Benutzers direkt auf Basis der für das Design relevanten 3D Objektoberflächen zu ermöglichen. Den Ausgangspunkt bildet das Proxy-Konzept des Forschungsfeldes zur Mensch-Maschine-Interaktion, in welchem physische Stellvertreterobjekte zur Manipulation virtueller Objekte genutzt werden. Im ersten Teil der Arbeit wird dieses Konzept um eine auf die Oberfläche des bearbeiteten Objektes bezogene Interaktion und Designfunktionalität erweitert. Dazu wird das Konzept eines CAD-Proxys entwickelt und verschiedene Umsetzungen und Anwendungen erläutert. Dabei werden die CAD-Proxys in drei Typen unterschieden. Der exakte CAD-Proxy ermöglicht es, ein virtuelles Objekt mit einem formgleichen, physischen Gegenstück zu bearbeiten. Beim abstrakten CAD-Proxy wird gezeigt, wie auch ein anders geformtes Gegenstück zum Einsatz kommen kann. Der augmentierte CAD-Proxy erlaubt die Anzeige des Designs direkt auf dem physischen Gegenstück. Nutzerstudien belegen, dass die CAD-Proxys zur Erstellung eines Designs auf einer Oberfläche deutlich besser geeignet sind als eine klassische Nutzerschnittstelle. Dies gilt insbesondere für anspruchsvolle Designaufgaben, etwa im künstlerischen Design. Im zweiten Teil der Arbeit wird die Verarbeitung von Linienzügen im Gestaltungsprozess eingeführt, welche das Konzept der aktiven Konturen auf Oberflächen erweitern. Diese Linienzüge werden auf die Form der Oberfläche bezogen verarbeitet und beachten gleichzeitig wichtige Merkmale, wie bspw. die Kanten des Objektes. Es wird ein neues Verfahren vorgestellt, mit dem aktive Konturen auch auf schlecht vernetzten Oberflächen eingesetzt werden können und gleichzeitig Formen flexibler repräsentieren können als bisherige Ansätze. Für den Bezug der Designlinien zur Oberfläche wird eine neue Datenstruktur eingeführt, die ein geometrisches Nachbarschaftsproblem löst. Es wird gezeigt, dass diese Struktur auf den getesteten Objekten mindestens um Faktor 14 schneller ist als alternative Ansätze und auch direkt auf andere Problemstellungen anwendbar ist. Der dritte Teil enthält die Betrachtungen zum Formverständnis der Designobjekte, welche für die Designlinien und die Modellierung der Designobjekte benötigt werden. Dabei kommt die Krümmungsberechnung als etabliertes Werkzeug derartiger Analysen zum Einsatz. Hier wird eine neue Betrachtung erarbeitet, die den Einfluss unterschiedlicher Faktoren auf die Genauigkeit der Krümmungsschätzung und auf die Eignung verschiedener Schätzungsverfahren erstmals umfassend untersucht. Durch die Kombination existierender Verfahren kann das Verfahren der Shape Operator Approximation entwickelt werden, welches Eigenschaften wie Schätzungsgenauigkeit, Performanz und eine einfache Formulierung bekannter Verfahren vereint.