Anhand einer Befragung zu virtuellen und hybriden Prototypen, einem multimodalen Lösungsansatz zur Beurteilung von virtuellen Prototypen (Buchholz 2017), werden Erwartungshaltungen, Erfahrungswerte und Prioritäten von Experten in der Produktentwicklung dargestellt und analysiert. Die qualitative Expertenbefragung spiegelt ein aktuelles Meinungsbild der deutschen Industrie zur Verwendung solcher Prototypen wieder und eröffnet eine detaillierte Sicht auf Hürden, die es bei der Entwicklung und Planung zu bewältigen gilt, um die Hemmschwellen für den Einsatz mindern zu können. Im Zuge des Verbundprojekts „RobVRAR - Funktionale virtuelle Prüfsysteme für die roboterbasierte Qualitätsprüfung“ ist in Zusammenarbeit mit der Firma Battenberg ROBOTIC GmbH & Co. KG ein Heckklappen-Demonstrator gebaut worden, der sich als repräsentatives Beispiel eignet. Die Expertenbefragung enthält allgemeine Fragen zu hybriden Prototypen und Fragen, die sich konkret mit dem Heckklappen-Demonstrator befassen.

Die rasante Weiterentwicklung der Technik eröffnet vielen Lebens- und Wirtschaftsbereichen völlig neue Möglichkeiten. So ist die stetige Verbesserung von mobilen Geräten auch ein Gewinn für die Kartographie. Im Bereich der erweiterten Realität sind dazu schon einige Anwendungen entwickelt worden. Diese Arbeit stellt verschiedene Augmented Reality Anwendungen vor, nicht nur aus dem Gebiet der Kartographie, sondern aus allen Lebensbereichen. Ein besonderes Augenmerk soll dabei auf der Anwendung mit mobilen Endgeräten liegen. Entstanden ist aus dieser Arbeit ein Campusführer, der nur die Namen der Gebäude anzeigt, welche der Nutzer von seiner Position aus auch tatsächlich sehen kann. Hierfür werden in der Arbeit Sichtbarkeitsanalysen im Allgemeinen und im Speziellen für GIS-Programme untersucht und vorgestellt. Auch die Beschriftung im dreidimensionalen Raum und auf dem Bildschirm von mobilen Geräten wird überblickshaft dargestellt. Abschließend wird der Campusführer getestet und bewertet sowie ein Fazit zum Thema Augmented Reality auf mobilen Endgeräten gegeben.:Abbildungsverzeichnis iii Tabellenverzeichnis vii Abkürzungsverzeichnis ix 1 Einleitung 1 2 Die erweiterte virtuelle Realität - Augmented Reality 3 2.1 Definition der Augmented Reality . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.1.1 Das Augmented Reality System . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Augmented Reality mit mobilen Geräten . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2.1 Mobile Geräte und Dienste . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2.2 Mobile Anwendungen mit Augmented Reality . . . . . . . . . . . . . . . . 13 2.3 Augmented Reality in der Kartographie . . . . . . . . . . . . . . . . . . . . . . . . 15 2.4 Bewertung der vorgestellten Augmented Reality Anwendungen . . . . . . . . . . . . 20 3 Sichtbarkeitsanalyse 23 3.1 Vorbetrachtungen zu ortsbasierten Sichtbarkeitsanalysen auf mobilen Endgeräten . . 23 3.1.1 Ortsbasierte Dienste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.1.2 Positionsbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.2 GIS-basierte Sichtbarkeitsanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.2.1 Anfälligkeit von Viewsheds auf Höhenunsicherheiten im DGM . . . . . . . 29 3.2.2 Unterschiedliche Implementierung der Algorithmen . . . . . . . . . . . . . 30 3.2.3 Erweiterung von Sichtbarkeitsanalysen . . . . . . . . . . . . . . . . . . . . 33 3.3 Sichtbarkeitsanalysen mit der Software ArcGIS . . . . . . . . . . . . . . . . . . . . 35 3.4 Grafische Darstellung der Sichtbarkeiten auf mobilen Geräten . . . . . . . . . . . . 38 3.4.1 Der Z-Buffer-Algorithmus . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.4.2 Das Raytracing Verfahren (Strahl-Verfolgung) . . . . . . . . . . . . . . . . 40 3.4.3 Verschiedene Culling-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . 40 4 Beschriftung im dreidimensionalen Raum 41 4.1 Beschriftungsplatzierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2 Schriftformen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.2.1 Schriftart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.2.2 Schriftfarbe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 4.2.3 Schriftgrad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5 Erstellung eines Campusführers 49 5.1 Genauigkeit der Positionsbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . 49 5.2 Arbeitsschritte zur Erstellung der Sichtbarkeitsanalyse . . . . . . . . . . . . . . . . 52 5.3 Arbeitsschritte in der Geodatenbank PostGIS . . . . . . . . . . . . . . . . . . . . . 56 5.4 Die Plattform Layar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 5.5 Die Programmierung mit Java . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 5.6 Probleme bei der Erstellung des Campusführers . . . . . . . . . . . . . . . . . . . . 63 5.7 Der Campusführer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 5.8 Bewertung der Anwendung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 6 Fazit und Zusammenfassung 75 Literaturverzeichnis 77 A Workflow 85 B Quellcode 87 B.1 PointsOfInterest.java . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 B.2 IfKLayarQueryBuilder.java . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 B.3 pom.xml . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 / Undreamed-of possibilities in many areas of life and also in different economic sectors emerge owing to the rapid enhancement of technology. The constant advancement of mobile devices is also a gain for cartography. In this field some augmented reality applications have already been developed. In this thesis some augmented reality applications, not only with cartographic references, are introduced. Special attention is paid to their use on mobile devices. Furthermore a campus-guide is developed, which only displays the points of interest actually seen from the user's position. For this purpose the concept of viewsheds is introduced and examined both in general terms and especially in the use of GIS-programs. The labeling in a three-dimensional scene and on the screen of mobile devices is shortly discussed as well. Moving on, the campus-guide is tested and evaluated. Also a conclusion on the topic of augmented reality with mobile devices is given.:Abbildungsverzeichnis iii Tabellenverzeichnis vii Abkürzungsverzeichnis ix 1 Einleitung 1 2 Die erweiterte virtuelle Realität - Augmented Reality 3 2.1 Definition der Augmented Reality . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.1.1 Das Augmented Reality System . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Augmented Reality mit mobilen Geräten . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2.1 Mobile Geräte und Dienste . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2.2 Mobile Anwendungen mit Augmented Reality . . . . . . . . . . . . . . . . 13 2.3 Augmented Reality in der Kartographie . . . . . . . . . . . . . . . . . . . . . . . . 15 2.4 Bewertung der vorgestellten Augmented Reality Anwendungen . . . . . . . . . . . . 20 3 Sichtbarkeitsanalyse 23 3.1 Vorbetrachtungen zu ortsbasierten Sichtbarkeitsanalysen auf mobilen Endgeräten . . 23 3.1.1 Ortsbasierte Dienste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.1.2 Positionsbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.2 GIS-basierte Sichtbarkeitsanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.2.1 Anfälligkeit von Viewsheds auf Höhenunsicherheiten im DGM . . . . . . . 29 3.2.2 Unterschiedliche Implementierung der Algorithmen . . . . . . . . . . . . . 30 3.2.3 Erweiterung von Sichtbarkeitsanalysen . . . . . . . . . . . . . . . . . . . . 33 3.3 Sichtbarkeitsanalysen mit der Software ArcGIS . . . . . . . . . . . . . . . . . . . . 35 3.4 Grafische Darstellung der Sichtbarkeiten auf mobilen Geräten . . . . . . . . . . . . 38 3.4.1 Der Z-Buffer-Algorithmus . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.4.2 Das Raytracing Verfahren (Strahl-Verfolgung) . . . . . . . . . . . . . . . . 40 3.4.3 Verschiedene Culling-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . 40 4 Beschriftung im dreidimensionalen Raum 41 4.1 Beschriftungsplatzierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2 Schriftformen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.2.1 Schriftart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.2.2 Schriftfarbe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 4.2.3 Schriftgrad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5 Erstellung eines Campusführers 49 5.1 Genauigkeit der Positionsbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . 49 5.2 Arbeitsschritte zur Erstellung der Sichtbarkeitsanalyse . . . . . . . . . . . . . . . . 52 5.3 Arbeitsschritte in der Geodatenbank PostGIS . . . . . . . . . . . . . . . . . . . . . 56 5.4 Die Plattform Layar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 5.5 Die Programmierung mit Java . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 5.6 Probleme bei der Erstellung des Campusführers . . . . . . . . . . . . . . . . . . . . 63 5.7 Der Campusführer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 5.8 Bewertung der Anwendung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 6 Fazit und Zusammenfassung 75 Literaturverzeichnis 77 A Workflow 85 B Quellcode 87 B.1 PointsOfInterest.java . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 B.2 IfKLayarQueryBuilder.java . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 B.3 pom.xml . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

Life science today involves computational analysis of a large amount and variety of data, such as volumetric data acquired by state-of-the-art microscopes, or mesh data from analysis of such data or simulations. The advent of new imaging technologies, such as lightsheet microscopy, has resulted in the users being confronted with an ever-growing amount of data, with even terabytes of imaging data created within a day. With the possibility of gentler and more high-performance imaging, the spatiotemporal complexity of the model systems or processes of interest is increasing as well. Visualisation is often the first step in making sense of this data, and a crucial part of building and debugging analysis pipelines. It is therefore important that visualisations can be quickly prototyped, as well as developed or embedded into full applications. In order to better judge spatiotemporal relationships, immersive hardware, such as Virtual or Augmented Reality (VR/AR) headsets and associated controllers are becoming invaluable tools. In this work we present scenery, a modular and extensible visualisation framework for the Java VM that can handle mesh and large volumetric data, containing multiple views, timepoints, and color channels. scenery is free and open-source software, works on all major platforms, and uses the Vulkan or OpenGL rendering APIs. We introduce scenery's main features, and discuss its use with VR/AR hardware and in distributed rendering. In addition to the visualisation framework, we present a series of case studies, where scenery can provide tangible benefit in developmental and systems biology: With Bionic Tracking, we demonstrate a new technique for tracking cells in 4D volumetric datasets via tracking eye gaze in a virtual reality headset, with the potential to speed up manual tracking tasks by an order of magnitude. We further introduce ideas to move towards virtual reality-based laser ablation and perform a user study in order to gain insight into performance, acceptance and issues when performing ablation tasks with virtual reality hardware in fast developing specimen. To tame the amount of data originating from state-of-the-art volumetric microscopes, we present ideas how to render the highly-efficient Adaptive Particle Representation, and finally, we present sciview, an ImageJ2/Fiji plugin making the features of scenery available to a wider audience.:Abstract Foreword and Acknowledgements Overview and Contributions Part 1 - Introduction 1 Fluorescence Microscopy 2 Introduction to Visual Processing 3 A Short Introduction to Cross Reality 4 Eye Tracking and Gaze-based Interaction Part 2 - VR and AR for System Biology 5 scenery — VR/AR for Systems Biology 6 Rendering 7 Input Handling and Integration of External Hardware 8 Distributed Rendering 9 Miscellaneous Subsystems 10 Future Development Directions Part III - Case Studies C A S E S T U D I E S 11 Bionic Tracking: Using Eye Tracking for Cell Tracking 12 Towards Interactive Virtual Reality Laser Ablation 13 Rendering the Adaptive Particle Representation 14 sciview — Integrating scenery into ImageJ2 & Fiji Part IV - Conclusion 15 Conclusions and Outlook Backmatter & Appendices A Questionnaire for VR Ablation User Study B Full Correlations in VR Ablation Questionnaire C Questionnaire for Bionic Tracking User Study List of Tables List of Figures Bibliography Selbstständigkeitserklärung

Software frameworks for Realtime Interactive Systems (RIS), e.g., in the areas of Virtual, Augmented, and Mixed Reality (VR, AR, and MR) or computer games, facilitate a multitude of functionalities by coupling diverse software modules. In this context, no uniform methodology for coupling these modules does exist; instead various purpose-built solutions have been proposed. As a consequence, important software qualities, such as maintainability, reusability, and adaptability, are impeded. Many modern systems provide additional support for the integration of Artificial Intelligence (AI) methods to create so called intelligent virtual environments. These methods exacerbate the above-mentioned problem of coupling software modules in the thus created Intelligent Realtime Interactive Systems (IRIS) even more. This, on the one hand, is due to the commonly applied specialized data structures and asynchronous execution schemes, and the requirement for high consistency regarding content-wise coupled but functionally decoupled forms of data representation on the other. This work proposes an approach to decoupling software modules in IRIS, which is based on the abstraction of architecture elements using a semantic Knowledge Representation Layer (KRL). The layer facilitates decoupling the required modules, provides a means for ensuring interface compatibility and consistency, and in the end constitutes an interface for symbolic AI methods. / Software Frameworks zur Entwicklung Echtzeit-interaktiver Systeme (engl. Realtime Interactive Systems, RIS), z.B. mit Anwendungen in der Virtual, Augmented und Mixed Reality (VR, AR und MR) sowie in Computerspielen, integrieren vielfältige Funktionalitäten durch die Kopplung verschiedener Softwaremodule. Eine einheitliche Methodik einer Kopplung in diesen Systemen besteht dabei nicht, stattdessen existieren mannigfaltige individuelle Lösungen. Als Resultat sinken wichtige Softwarequalitätsfaktoren wie Wartbarkeit, Wiederverwendbarkeit und Anpassbarkeit. Viele moderne Systeme setzen zusätzlich unterschiedliche Methoden der Künstlichen Intelligenz (KI) ein, um so intelligente virtuelle Umgebungen zu generieren. Diese KI-Methoden verschärfen in solchen Intelligenten Echtzeit-interaktiven Systemen (engl. Intelligent Realtime Interactive Systems, IRIS) das eingangs genannte Kopplungsproblem signifikant durch ihre spezialisierten Datenstrukturen und häufig asynchronen Prozessflüssen bei gleichzeitig hohen Konsistenzanforderungen bzgl. inhaltlich assoziierter, aber funktional entkoppelter Datenrepräsentationen in anderen Modulen. Die vorliegende Arbeit beschreibt einen Lösungsansatz für das Entkopplungsproblem mittels Abstraktion maßgeblicher Softwarearchitekturelemente basierend auf einer erweiterbaren semantischen Wissensrepräsentationsschicht. Diese semantische Abstraktionsschicht erlaubt die Entkopplung benötigter Module, ermöglicht eine automatische Überprüfung von Schnittstellenkompatibiltät und Konsistenz und stellt darüber hinaus eine generische Schnittstelle zu symbolischen KI-Methoden bereit.

Technologien der erweiterten Realität (extended reality, XR) finden im gesamten Produktentwicklungsprozess Anwendung. Insbesondere Systeme zur aktiven Erzeugung und Veränderung digitaler Produktdaten bieten noch viel Potential. Die Erforschung und Entwicklung dieser immersiven Interfaces beruht maßgeblich auf der Evaluation durch Nutzerstudien, denn nur so kann die Einsatztauglichkeit der Mensch-Maschine-Schnittstellen seriös beurteilt und verglichen werden. Bei der Konzeptionierung und Durchführung dieser Nutzerstudien gibt es viel zu beachten. In dieser Arbeit wird ein Leitfaden für das Design von Evaluationen von XR Interfaces für die Produktentwicklung präsentiert. Zu Beginn müssen die Fragestellungen festgelegt werden, welche die Studie beantworten soll. Ausgehend von diesen müssen die zu testenden Versuchsbedingungen, die gestellten Aufgaben, die aufgenommen Metriken, die gewählten Probanden und der geplante Ablauf festgelegt werden. Zusätzlich zu der allgemeinen Darlegung wird das Vorgehen anhand eines Fallbeispiels angewandt. Die Gestaltung einer Nutzerstudie zur Evaluation der Usability und Eignung eines neuartigen Virtual Reality Interfaces zur natürlichen Gestaltung von Vorentwürfen wird vorgestellt.

Globaler Wettbewerb und kürzer werdende Innovationszyklen erfordern eine immer schnellere und exaktere Reaktion auf sich ständig ändernde Kundenwünsche. Die direkte Integration von Kunden und Anwendern in den Entwicklungsprozess im Rahmen kontinuierlicher Validierungsaktivitäten gewinnt im Zuge dieser Entwicklung zunehmend an Bedeutung (Ponn & Lindemann, 2011). Die Erfassung zielgerichteten Kundenfeedbacks erfordert in der Regel die Konfrontation mit konkreten Repräsentationen des späteren Produkts. Zumal physische Prototypen hierfür in frühen Entwicklungsphasen oft nicht zur Verfügung stehen und deren Aufbau kostenintensiv ist, kommen stattdessen virtuelle Produktmodelle wie CAD-Modelle oder digitale Produktskizzen zum Einsatz. Aufgrund der starken Verkürzungen im Vergleich zum späteren Produkt sind sie jedoch unter Umständen nicht in der Lage ein realistisches Produkterlebnis zu erzeugen. Sie eignen sich damit je nach Anwendungsfall nur bedingt als Kristallisationspunkt für zielgerichtetes Kundenfeedback. Durch die technologischen Entwicklungen im Bereich von Virtual Reality- und Augmented Reality-Anwendungen (VR und AR) besteht jedoch das Potenzial, diese Einschränkungen virtueller Produktmodelle für den Einsatz in der Produktvalidierung in frühen Entwicklungsphasen aufzuheben. Die Technologien ermöglichen dem Anwender das realitätsnahe Erleben von vollständig virtuellen (VR) oder gemischt physisch-virtuellen (AR) Umgebungen. Erreicht die virtuelle Umwelt einen hohen sogenannten Immersionsgrad (fachsprachlich für Grad des „Eintauchens“), ist der Anwender im Extremfall nicht mehr in der Lage zwischen der realen und der virtuellen Umwelt zu unterscheiden. Besonders die AR-Technologie bietet für den Einsatz in der Produktvalidierung große Potenziale, zumal bestehende, physische Referenzprodukte mit virtuellen Modellen kombiniert werden können (Reinemann, Hirschter, Mandel, Heimicke & Albers, 2018). Dieser Beitrag präsentiert die Ergebnisse eines Forschungsvorhabens, dessen Ziel es war die Potenziale der AR-Technik für die Produktvalidierung in einer vergleichenden Probandenstudie differenziert zu untersuchen. [... aus der Einleitung]

Augmented Reality (AR) Anwendungen finden zunehmend den Weg auf Smartphones und Tablets und etablieren sich stetig weiter in unseren Alltag. Bislang waren spezielle Drittanbieter-Entwicklungsumgebungen (SDKs) wie Vuforia für die Entwicklung von AR Anwendungen notwendig, um die teils komplexe Erkennung von Objekten und Umgebungen für eine positionsgetreue Darstellung von Texten und virtuellen 3D-Modellen zu ermöglichen. Heutet bieten die Hersteller der mobilen Betriebssysteme eigene SDKs, wie z.B. Google mit ARCore für eine Reihe von Smartphones und Tablets auf Android-Basis, an. Apple kaufte 2015 die Firma metaio, welche bis dato eines der leistungsstärksten AR-SDKs angeboten hat. Seit 2017 ist das SDK vollständig in das Betriebssystem integriert und lässt sich von jedem Entwickler wie jede andere Standardfunktionalität des Betriebssystems nutzen [...] Ermöglicht wird die virtuelle Positionierung über die visuell-inertiale Odometrie (VIO), bei den markanten Punkten in jedem einzelnen Kamerabild des Videostreams der Smartphone Kamera verglichen und zusätzlich mit den detektierten Bewegungen über die integrierte Bewegungs-und Beschleunigungssensoren des Smartphones abgleichen werden. Durch dieses Verfahren lassen sich digitale, dreidimensionale Abbilder der Umgebung erzeugen, ohne spezielle Kameras mit Tiefensensoren oder Stereokameras nutzen zu müssen. Die Nutzung von AR erfreut sich unter den Anwendern immer größerer Beliebtheit. Dabei ist den Anwendern häufig nicht klar, dass die anfallenden Daten, welche durch die VIO generiert werde, auch Auswertungen ermöglichen, die einen erheblichen Eingriff in die Privatsphäre bedeuten. [... aus der Einleitung]

Werkzeugmaschinen besitzen als Produktionsmittel einen wesentlichen Anteil an der Gesamtheit der industriellen Produktion. Als Investitionsgut muss eine hohe Verfügbarkeit und lange Lebensdauer erzielt werden, die durch einen optimalen Instandhaltungsprozess abgesichert werden muss. Durch die immer höheren Anforderungen an die Produktion neuer Produkte werden Werkzeugmaschinen jedoch komplexer und individueller, das zu aufwendigeren und komplizierteren Instandhaltungsprozessen führt. Dazu muss der Instandhalter komplexere Tätigkeiten ausführen, die Spezialwissen verlangen und höheres Potenzial für Fehler besitzen. Zur Verbesserung des Instandhaltungsprozesses werden neben der technischen Dokumentation der Werkzeugmaschine neue digitale Methoden, wie die Augmented Reality (AR), eingesetzt. Dabei entstehen neue Problemfelder, da entsprechend viel Fachwissen des Instandhaltungsplaners erforderlich ist, der Einsatz der neuen Technologie eine hohe Komplexität aufweist und der Planungsprozess einen erheblichen Aufwand zur individuellen Anpassung an die jeweilige Werkzeugmaschine erfordert. In dieser Arbeit werden der Instandhaltungsplanungsprozess von Werkzeugmaschinen unter Nutzung der AR-Technologie analysiert und neue Methoden und Konzepte zur Integration verschiedener AR-Komponenten sowie Unternehmenssysteme und -daten in den Planungsprozess entwickelt, die anhand verschiedener Instandhaltungsszenarien verifiziert werden.:Abkürzungsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis 1 Einleitung 1.1 Motivation zur Anwendung der Augmented Reality bei der Instandhaltung von Werkzeugmaschinen 1.2 Problemstellung des Einsatzes der Augmented Reality bei der Instandhaltung von Werkzeugmaschinen 2 Stand der Technik 2.1 Instandhaltung von Werkzeugmaschinen 2.1.1 Die Werkzeugmaschine als Instandhaltungsobjekt 2.1.2 Begriff der Instandhaltung 2.1.3 Maßnahmen zur Instandhaltung 2.1.4 Technische Dokumentation für die Instandhaltung 2.1.5 Diskussion bestehender technischer Dokumentationsformen 2.2 Augmented Reality 2.2.1 Entwicklung der Augmented Reality 2.2.2 Merkmale der Augmented Reality 2.2.3 Hard- und Software-Komponenten der Augmented Reality 2.2.4 Technische Anwendungsgebiete der Augmented Reality 2.2.5 Frameworks für Augmented-Reality-Anwendungen 2.2.6 Erstellungskonzepte für Augmented-Reality-Anwendungen 2.3 Augmented Reality in der Instandhaltung von Werkzeugmaschinen 2.3.1 Vorteile der Nutzung von Augmented Reality in der Instandhaltung 2.3.2 Augmented-Reality-Nutzungskonzepte für die Instandhaltung 2.3.3 Augmented-Reality-Erstellungskonzepte für die Instandhaltung 2.3.4 Diskussion bestehender Augmented-Reality-Erstellungskonzepte 2.4 Zusammenfassung Stand der Technik 3 Zielsetzung und Vorgehensweise 3.1 Zielsetzung 3.2 Vorgehensweise 4 Methode zur Integration der Augmented Reality in die Instandhaltung 4.1 Anforderungen an die Augmented-Reality-basierte Instandhaltung 4.1.1 Anforderungen an die Augmented-Reality-Anwendung 4.1.2 Anforderungen an die Augmented-Reality-Komponenten 4.1.3 Anforderungen an die Instandhaltungsdokumentation 4.1.4 Anforderungen an den Instandhaltungsplanungsprozess 4.2 Konzept des Augmented-Reality-Systems zur Instandhaltung 4.2.1 Konzept des Instandhaltungsplanungsprozesses 4.2.2 Konzept des Augmented-Reality-Gesamtsystems 4.3 Integration von Augmented-Reality-Komponenten 4.3.1 Kamerabild 4.3.2 Tracking 4.3.3 Visualisierung 4.3.4 Interaktion 4.4 Integration von Produktionsdaten 4.4.1 CAD-Anwendung 4.4.2 Dokumentationsanwendung für die Instandhaltung 4.4.3 PDM-System 4.5 Integration von Maschinendaten 4.5.1 Manufacturing Execution System 4.5.2 Maschinensteuerung 5 Verifikation der Methode 5.1 Vorgehensweise der Verifikation 5.2 Definition der Instandhaltungsszenarien 5.2.1 Instandhaltungsszenario A: Dreh-Fräs-Bearbeitungszentrum 5.2.2 Instandhaltungsszenario B: Drahtziehmaschine 5.3 Anwendung der Methode auf die Instandhaltungsszenarien 5.3.1 Instandhaltungsszenario A: Dreh-Fräs-Bearbeitungszentrum 5.3.2 Instandhaltungsszenario B: Drahtziehmaschine 5.4 Auswertung der Methode 6 Zusammenfassung und Ausblick 6.1 Zusammenfassung 6.2 Ausblick Literaturverzeichnis

Traditionelle 3D-Anwendungsentwicklung für VR/AR verläuft in heterogenen Entwicklerteams unstrukturiert, ad hoc und ist fehlerbehaftet. Der präsentierte Roundtrip3D Entwicklungsprozess ermöglicht die iterativ inkrementelle 3D-Anwendungsentwicklung, wechselseitig auf Softwaremodell- und Implementierungsebene. Modelle fördern das gemeinsame Verständnis unter Projektbeteiligten und sichern durch generierte Schnittstellen gleichzeitiges Programmieren und 3D-Modellieren zu. Das Roundtrip3D Werkzeug ermittelt Inkonsistenzen zwischen vervollständigten 3D-Inhalten und Quelltexten auch für verschiedene Plattformen und visualisiert sie auf abstrakter Modellebene. Die gesamte Implementierung wird nicht simultan, sondern nach codegetriebener Entwicklung kontrolliert mit Softwaremodellen abgeglichen. Inkremente aus aktualisierten Softwaremodellen fließen in dann wieder zueinander konsistente Quelltexte und 3D-Inhalte ein. Der Roundtrip3D Entwicklungsprozess vereint dauerhaft Vorteile codegetriebener mit modellgetriebener 3D-Anwendungsentwicklung und fördert strukturiertes Vorgehen im agilen Umfeld.

Future connected vehicles will be able to warn about hidden dangers already before they are visible for the driver. With sight obstructions as one of the most common factors of accident causation, there is a huge potential to improve traffic safety. However, it is unclear how to design the human-machine-interface of such systems to effectively warn drivers about invisible dangers. Especially the expectation that such warnings will be comparably unreliable lead to conflicting demands on amount and coding of warning information. Earlier work shows that warnings that contain more specific information about a hazard can improve drivers understanding of and responses to warnings but they can also raise processing costs and delay reactions or even distract drivers. Psychological theories as well as related research indicates that augmented reality (AR) has the potential to improve warning effectiveness through optimized coding of additional information. AR warnings can inherently transmit the location of a hazard and – due to the corresponding approach of the referenced display towards the driver – could increases the salience of a warning. The general aim of this work is to understand the human factors of future communication-based collision warnings. Based on a theoretical analysis revealing the most relevant questions within that context, we conducted three driving simulator studies to understand the impact of AR warning design on the effectiveness of unreliable warnings about sight obstructed dangers. To consider not only short-term effectiveness, all studies contained several necessary as well as unnecessary warnings that were analyzed in detail. The first study with 88 participants investigated the benefit of prototypical AR warnings over unspecific warnings of different modalities (visual vs. auditory). Visual AR warnings showed advantages over the other warning designs in gaze and brake reaction times, passing speeds, collision rates and subjective evaluation. Auditory AR warnings did not reveal comparable effects. The second test with 80 participants examined the contribution of different design aspects of visual AR warnings. Adding specific warning symbols or scaling animations to the warnings showed some positive but rather inconsistent effects. In contrast, spatial referencing even of an unspecific warning symbol with AR consistently improved driver’s reactions and evaluations. A third experiment with 36 participants observed the differential effects of the spatial information per se and the coding of the information with AR. The warnings had either no spatial information, symbolically encrypted spatial information or AR encrypted spatial information. A higher amount of information consistently led to stronger brake reactions, higher trust and better subjective evaluation. Additionally, with AR encryption we observed faster fixations as well as brake reactions. The present research emphasizes the importance of specificity for warnings about hidden hazards and the potential of AR especially for in-vehicle warnings of future collision avoidance systems. The systematic analysis of psychological factors of warning design and the corresponding findings on their relative contribution to driver’s behavior might also be transferred to other domains and applications of warning and information design. / In naher Zukunft werden vernetzte Fahrzeuge bereits vor sichtverdeckten Gefahren warnen können, noch bevor diese für den Fahrer sichtbar sind. Da Sichtverdeckungen bei einem Großteil schwerer Verkehrsunfälle eine Rolle spielen, stellt dies ein großes Potenzial zur Erhöhung der Verkehrssicherheit dar. Unklar ist jedoch, wie die Mensch-Maschine- Schnittstelle solcher Systeme gestaltet werden sollte, um Autofahrer möglichst effektiv vor noch nicht sichtbaren Gefahren zu warnen. Insbesondere die Vorhersage, dass solche Systeme nur eine begrenzte Zuverlässigkeit haben werden, führt zu teilweise widersprüchlichen Anforderungen an Informationsmenge und Kodierung der Warnungen. Frühere Arbeiten haben gezeigt, dass Warnungen mit spezifischen Informationen über eine Gefahr einerseits Verständnis und Reaktionen der Fahrer auf die Warnungen verbessern, andererseits aber auch kognitiven Verarbeitungsaufwand und Reaktionszeiten erhöhen und ablenken können. Sowohl kognitionspsychologische Theorien als auch Studien aus unserem Forschungsgebiet deuten darauf hin, dass die Darstellungsprinzipien der erweiterten Realität (AR, für engl. augmented reality) das Potenzial bieten, die Effizienz solcher Warnungen durch eine optimierte Kodierung von Zusatzinformationen zu steigern. AR-Warnungen können inhärent die Position einer Gefahr übermitteln, ohne dass der Fahrer dazu eine abstrakte Repräsentation der Information auf die reale Umwelt übertragen muss. Das grundlegende Ziel der vorliegenden Arbeit besteht darin, die psychologischen Faktoren zukünftiger vernetzter Kollisionswarnungen zu verstehen. Ausgehend von der theoretischen Analyse relevanter psychologischer Theorien wurden wesentliche Implikationen und offene Fragestellungen abgeleitet. Zur Beantwortung dieser Fragen wurden drei Fahrsimulator- Studien durchgeführt, in denen der Einfluss von AR als Darstellungsprinzip auf die Effizienz begrenzt zuverlässiger Warnungen über sichtverdeckte Gefahren untersucht wurden. Um valide Aussagen über die längerfristige Wirksamkeit treffen zu können, wurden in den Versuchen sowohl notwendige als auch unnötige Warnungen betrachtet. Eine erste Studie mit 88 Teilnehmern untersuchte den Mehrwert prototypischer AR-Warnungen unterschiedlicher Modalität (visuell vs. auditiv) gegenüber unspezifischen Warnungen. Visuelle AR-Warnungen zeigten klare Vorteile bezüglich Blick- und Bremsreaktionen, Geschwindigkeiten, Kollisionszahlen und subjektiven Bewertungen. Auditive AR-Warnungen hingegen führten zu einzelnen positiven, jedoch auch einigen negativen Effekten. In der zweiten Studie mit 80 Teilnehmern wurden die Auswirkungen gestalterischer Teilaspekte visueller AR-Warnungen verglichen. Das Hinzufügen von spezifischen Warnsymbolen über Bewegungsrichtung und Typ der Gefahr oder einer Vergrößerungs-Animation mit gleicher zeitlicher Veränderung wie bei der AR-Warnung führte zu einzelnen positiven aber nicht konsistenten Effekten. Im Gegensatz dazu führten räumlich verortete AR-Warnungen erneut sowohl zu schnelleren und stärkeren Fahrerreaktionen als auch zu besseren subjektiven Bewertungen. In der dritten Studie mit 36 Teilnehmern wurden schließlich die individuellen Effekte der räumlichen Information an sich und der Codierung dieser Information mittels AR analysiert. Dazu wurden Warnungen ohne Information über die Position der Gefahr, mit symbolisch kodierter Information, sowie mit AR-kodierter Information verglichen. Der höhere Informationsgehalt führte zu durchgehend stärkeren Bremsungen, höherem Systemvertrauen und besseren subjektiven Bewertungen. Darüber hinaus ermöglichte die AR-Kodierung desselben Informationsgehalts der Warnungen sowohl schnellere Gefahrenentdeckung als auch kürzere Bremsreaktionszeiten. Insgesamt bestätigen die Ergebnisse der vorliegenden Arbeit einen deutlichen Mehrwert von spezifischen Informationen bei Warnungen vor sichtverdeckten Gefahren sowie das hohe Potenzial von AR als Darstellungsprinzip, insbesondere für Warnungen zukünftiger Kollisionsvermeidungssysteme. Die systematische Analyse der bei der Gestaltung von Warnungen relevanten psychologischen Faktoren sowie unsere empirischen Erkenntnisse zu deren relativen Einfluss auf das Nutzerverhalten können zudem auf Warnungen anderer Anwendungen und Domänen übertragen werden, und somit einen generellen Beitrag zur Vermeidung von Unfällen in Mensch-Maschine-Systemen liefern.