Produktionssysteme mit Industrierobotern werden zunehmend komplex; waren deren Arbeitsbereiche früher noch statisch und abgeschirmt, und die programmierten Abläufe gleichbleibend, so sind die Anforderungen an moderne Robotik-Produktionsanlagen gestiegen: Diese sollen sich jetzt mithilfe von intelligenter Sensorik auch in unstrukturierten Umgebungen einsetzen lassen, sich bei sinkenden Losgrößen aufgrund individualisierter Produkte und häufig ändernden Produktionsaufgaben leicht rekonfigurieren lassen, und sogar eine direkte Zusammenarbeit zwischen Mensch und Roboter ermöglichen. Gerade auch bei dieser Mensch-Roboter-Kollaboration wird es damit notwendig, dass der Mensch die Daten und Aktionen des Roboters leicht verstehen kann. Aufgrund der gestiegenen Anforderungen müssen somit auch die Bedienerschnittstellen dieser Systeme verbessert werden. Als Grundlage für diese neuen Benutzerschnittstellen bietet sich Augmented Reality (AR) als eine Technologie an, mit der sich komplexe räumliche Daten für den Bediener leicht verständlich darstellen lassen. Komplexe Informationen werden dabei in der Arbeitsumgebung der Nutzer visualisiert und als virtuelle Einblendungen sichtbar gemacht, und so auf einen Blick verständlich. Die diversen existierenden AR-Anzeigetechniken sind für verschiedene Anwendungsfelder unterschiedlich gut geeignet, und sollten daher flexibel kombinier- und einsetzbar sein. Auch sollen diese AR-Systeme schnell und einfach auf verschiedenartiger Hardware in den unterschiedlichen Arbeitsumgebungen in Betrieb genommen werden können. In dieser Arbeit wird ein Framework für Augmented Reality Systeme vorgestellt, mit dem sich die genannten Anforderungen umsetzen lassen, ohne dass dafür spezialisierte AR-Hardware notwendig wird. Das Flexible AR-Framework kombiniert und bündelt dafür verschiedene Softwarefunktionen für die grundlegenden AR-Anzeigeberechnungen, für die Kalibrierung der notwendigen Hardware, Algorithmen zur Umgebungserfassung mittels Structured Light sowie generische ARVisualisierungen und erlaubt es dadurch, verschiedene AR-Anzeigesysteme schnell und flexibel in Betrieb zu nehmen und parallel zu betreiben. Im ersten Teil der Arbeit werden Standard-Hardware für verschiedene AR-Visualisierungsformen sowie die notwendigen Algorithmen vorgestellt, um diese flexibel zu einem AR-System zu kombinieren. Dabei müssen die einzelnen verwendeten Geräte präzise kalibriert werden; hierfür werden verschiedene Möglichkeiten vorgestellt, und die mit ihnen dann erreichbaren typischen Anzeige- Genauigkeiten in einer Evaluation charakterisiert. Nach der Vorstellung der grundlegenden ARSysteme des Flexiblen AR-Frameworks wird dann eine Reihe von Anwendungen vorgestellt, bei denen das entwickelte System in konkreten Praxis-Realisierungen als AR-Benutzerschnittstelle zum Einsatz kam, unter anderem zur Überwachung von, Zusammenarbeit mit und einfachen Programmierung von Industrierobotern, aber auch zur Visualisierung von komplexen Sensordaten oder zur Fernwartung. Im Verlauf der Arbeit werden dadurch die Vorteile, die sich durch Verwendung der AR-Technologie in komplexen Produktionssystemen ergeben, herausgearbeitet und in Nutzerstudien belegt. / During recent years, production environments involving industrial robots have moved away from static, shielded production lines towards a more open, flexible and adaptable setup, where human and robot are working in close proximity or even collaborating on the same workpiece. This change necessitates improving existing user interfaces for these robots, to allow for an easier understanding of the complex robot data as well as simplifying their handling and programming. Augmented Reality (AR) is a technology that allows for realizing that: it enables the user to simply grasp complex spatial data by seeing it - appropriately visualized - in his natural work environment. This thesis introduces the Flexible Augmented Reality framework, an AR framework that allows for quick and easy realization of multiple monitor- or projection-based AR displays in the work environment of industrial robots, greatly simplifying and improving their handling without the use of specialized AR hardware. The developed framework combines and bundles all the necessary software functions and algorithms, among others for realizing the fundamental AR visualizations, calibrating the necessary hardware, capturing the display environment utilizing Structured Light and easily creating generic AR visualizations, to allow for fast deployment and parallel operation of multiple AR interfaces in different production and application fields. Among describing the developed algorithms as well as properties of the employed hardware, a thorough evaluation of the achievable display accuracy with standard hardware is given in this thesis. Finally, the framework was tested and evaluated in a number of different practical application scenarios involving industrial robot programming, remote surveillance and control, as well as intuitive sensor data display or remote maintenance. The developed solutions are presented in detail together with performed evaluations and user studies, exemplifying the framework's improvement of traditional industrial robot interfaces.

Immersive Technologien, wie Augmented und Virtual Reality, können bestehende Geschäftsmodelle entweder verbessern oder gefährden. Jedoch kann sich das förderliche Potential nur entfalten, wenn die Anwender:innen die Technologien akzeptieren und letztendlich auch nutzen. In dieser Arbeit wird beschrieben, was Akzeptanz ist und welche Einflussgrößen (Faktoren) für die Akzeptanz von Virtual Reality besonders relevant sind. Anschließend ist, basierend auf der diskutierten Fachliteratur, ein neuartiges, holistisches Akzeptanzmodell für Virtual Reality entworfen und mit drei Studien überprüft worden. In der ersten Studie wurden 129 Personen gebeten entweder in Augmented oder Virtual Reality ein Schulungsszenario oder ein Mini-Spiel auszuprobieren (2x2-Design). In beiden Anwendungen sollten Flaschen von einem virtuellen Fließband entfernt werden. Im Fokus der Untersuchung stand die Immersion, die Nützlichkeit, das empfundene Vergnügen (Hedonismus) und die Zufriedenheit. Die Ergebnisse ergaben zum einen, dass sich die Immersion zwischen Augmented und Virtual Reality unterscheidet, und zum anderen, dass das empfundene Vergnügen und die Nützlichkeit signifikante Prädiktoren für die Zufriedenheit darstellen. An der zweiten Studie nahmen 62 Personen teil. Sie wurden gebeten das Schulungsszenario erneut zu absolvieren, wobei dieses mit auditiven Inhalten und animierten Figuren angereicht wurde, sowie über eine etwas bessere Grafikqualität verfügte. Die Daten wurden mit den Virtual Reality Szenarien aus der ersten Studie verglichen, um den Einfluss der Präsenz auf den Hedonismus zu untersuchen. Obwohl kein relevanter Unterschied zwischen den Gruppen festgestellt wurde, konnte nachgewiesen werden, dass Präsenz Hedonismus signifikant vorhersagt. An der dritten Studie beteiligten sich insgesamt 35 Personen. Untersuchungsgegenstand der Studie war die virtuelle Darstellung der eigenen Person in der virtuellen Realität (Verkörperung) und dessen Einfluss auf den Hedonismus. Die Versuchspersonen wurden gebeten das Schulungsszenario erneut zu durch-laufen, wobei sie diesmal das Eingabegerät (Controller) der Visieranzeige (head-mounted display) zur Steuerung benutzen. In der ersten Studie erfolgte die Bedienung über eine Gestensteuerung. Die Analyse dieser Manipulation offenbarte keinerlei Auswirkungen auf die Verkörperung. Allerdings stellte die Verkörperung einen signifikanten Prädiktor für den Hedonismus dar. Im Anschluss an die Studien ist das Modell mit den Daten aus den Virtual Reality Gruppen der ersten Studie beurteilt worden, wobei es sich weitgehend bestätigt hat. Abschließend werden die Befunde in Bezug auf die Fachliteratur eingeordnet, mögliche Ursachen für die Ergebnisse diskutiert und weitere Forschungsbedarfe aufgezeigt. / Immersive technologies, such as augmented and virtual reality, can either improve or endanger existing business models. However, the beneficial potential can only unfold if users accept the technologies and ultimately use them. This paper describes what acceptance is and which influencing variables (factors) are particularly relevant for the acceptance of virtual reality. Subsequently, a novel, holistic acceptance model for virtual reality was designed based on the discussed literature and tested with three studies. In the first study, 129 subjects were asked to try out either a training scenario or a mini-game in augmented or virtual reality (2x2 design). In both applications bottles should be removed from a virtual assembly line. The study investigated immersion, usefulness, pleasure (hedonism) and satisfaction. The results revealed that immersion differs between augmented and virtual reality, plus that perceived pleasure and usefulness are significant predictors of satisfaction. In the second study, 62 persons participated. They were asked to complete the training scenario again, which was enriched with auditory content, animated figures and with slightly better graphics quality. The data were compared to the virtual reality scenarios from the first study to examine the impact of presence on hedonism. Although no relevant difference was found between the groups, presence was shown to significantly predict hedonism. A total of 35 subjects took part in the third study. The object of the study was the virtual representation of oneself (embodiment) in virtual reality and its influence on hedonism. The subjects were asked to go through the training scenario again, this time using the input device (controller) of the head-mounted display for control. In the first study, gesture control was used to operate the device instead. The analysis of this manipulation revealed no effects on embodiment. However, embodiment predicted hedonism significantly. Following the studies, the model has been assessed with the data from the virtual reality groups of the first study and has been largely confirmed. Finally, the findings are classified in relation to the literature, possible causes for the results are discussed, and further research needs are identified.

Software frameworks for Realtime Interactive Systems (RIS), e.g., in the areas of Virtual, Augmented, and Mixed Reality (VR, AR, and MR) or computer games, facilitate a multitude of functionalities by coupling diverse software modules. In this context, no uniform methodology for coupling these modules does exist; instead various purpose-built solutions have been proposed. As a consequence, important software qualities, such as maintainability, reusability, and adaptability, are impeded. Many modern systems provide additional support for the integration of Artificial Intelligence (AI) methods to create so called intelligent virtual environments. These methods exacerbate the above-mentioned problem of coupling software modules in the thus created Intelligent Realtime Interactive Systems (IRIS) even more. This, on the one hand, is due to the commonly applied specialized data structures and asynchronous execution schemes, and the requirement for high consistency regarding content-wise coupled but functionally decoupled forms of data representation on the other. This work proposes an approach to decoupling software modules in IRIS, which is based on the abstraction of architecture elements using a semantic Knowledge Representation Layer (KRL). The layer facilitates decoupling the required modules, provides a means for ensuring interface compatibility and consistency, and in the end constitutes an interface for symbolic AI methods. / Software Frameworks zur Entwicklung Echtzeit-interaktiver Systeme (engl. Realtime Interactive Systems, RIS), z.B. mit Anwendungen in der Virtual, Augmented und Mixed Reality (VR, AR und MR) sowie in Computerspielen, integrieren vielfältige Funktionalitäten durch die Kopplung verschiedener Softwaremodule. Eine einheitliche Methodik einer Kopplung in diesen Systemen besteht dabei nicht, stattdessen existieren mannigfaltige individuelle Lösungen. Als Resultat sinken wichtige Softwarequalitätsfaktoren wie Wartbarkeit, Wiederverwendbarkeit und Anpassbarkeit. Viele moderne Systeme setzen zusätzlich unterschiedliche Methoden der Künstlichen Intelligenz (KI) ein, um so intelligente virtuelle Umgebungen zu generieren. Diese KI-Methoden verschärfen in solchen Intelligenten Echtzeit-interaktiven Systemen (engl. Intelligent Realtime Interactive Systems, IRIS) das eingangs genannte Kopplungsproblem signifikant durch ihre spezialisierten Datenstrukturen und häufig asynchronen Prozessflüssen bei gleichzeitig hohen Konsistenzanforderungen bzgl. inhaltlich assoziierter, aber funktional entkoppelter Datenrepräsentationen in anderen Modulen. Die vorliegende Arbeit beschreibt einen Lösungsansatz für das Entkopplungsproblem mittels Abstraktion maßgeblicher Softwarearchitekturelemente basierend auf einer erweiterbaren semantischen Wissensrepräsentationsschicht. Diese semantische Abstraktionsschicht erlaubt die Entkopplung benötigter Module, ermöglicht eine automatische Überprüfung von Schnittstellenkompatibiltät und Konsistenz und stellt darüber hinaus eine generische Schnittstelle zu symbolischen KI-Methoden bereit.

Werkzeugmaschinen besitzen als Produktionsmittel einen wesentlichen Anteil an der Gesamtheit der industriellen Produktion. Als Investitionsgut muss eine hohe Verfügbarkeit und lange Lebensdauer erzielt werden, die durch einen optimalen Instandhaltungsprozess abgesichert werden muss. Durch die immer höheren Anforderungen an die Produktion neuer Produkte werden Werkzeugmaschinen jedoch komplexer und individueller, das zu aufwendigeren und komplizierteren Instandhaltungsprozessen führt. Dazu muss der Instandhalter komplexere Tätigkeiten ausführen, die Spezialwissen verlangen und höheres Potenzial für Fehler besitzen. Zur Verbesserung des Instandhaltungsprozesses werden neben der technischen Dokumentation der Werkzeugmaschine neue digitale Methoden, wie die Augmented Reality (AR), eingesetzt. Dabei entstehen neue Problemfelder, da entsprechend viel Fachwissen des Instandhaltungsplaners erforderlich ist, der Einsatz der neuen Technologie eine hohe Komplexität aufweist und der Planungsprozess einen erheblichen Aufwand zur individuellen Anpassung an die jeweilige Werkzeugmaschine erfordert. In dieser Arbeit werden der Instandhaltungsplanungsprozess von Werkzeugmaschinen unter Nutzung der AR-Technologie analysiert und neue Methoden und Konzepte zur Integration verschiedener AR-Komponenten sowie Unternehmenssysteme und -daten in den Planungsprozess entwickelt, die anhand verschiedener Instandhaltungsszenarien verifiziert werden.:Abkürzungsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis 1 Einleitung 1.1 Motivation zur Anwendung der Augmented Reality bei der Instandhaltung von Werkzeugmaschinen 1.2 Problemstellung des Einsatzes der Augmented Reality bei der Instandhaltung von Werkzeugmaschinen 2 Stand der Technik 2.1 Instandhaltung von Werkzeugmaschinen 2.1.1 Die Werkzeugmaschine als Instandhaltungsobjekt 2.1.2 Begriff der Instandhaltung 2.1.3 Maßnahmen zur Instandhaltung 2.1.4 Technische Dokumentation für die Instandhaltung 2.1.5 Diskussion bestehender technischer Dokumentationsformen 2.2 Augmented Reality 2.2.1 Entwicklung der Augmented Reality 2.2.2 Merkmale der Augmented Reality 2.2.3 Hard- und Software-Komponenten der Augmented Reality 2.2.4 Technische Anwendungsgebiete der Augmented Reality 2.2.5 Frameworks für Augmented-Reality-Anwendungen 2.2.6 Erstellungskonzepte für Augmented-Reality-Anwendungen 2.3 Augmented Reality in der Instandhaltung von Werkzeugmaschinen 2.3.1 Vorteile der Nutzung von Augmented Reality in der Instandhaltung 2.3.2 Augmented-Reality-Nutzungskonzepte für die Instandhaltung 2.3.3 Augmented-Reality-Erstellungskonzepte für die Instandhaltung 2.3.4 Diskussion bestehender Augmented-Reality-Erstellungskonzepte 2.4 Zusammenfassung Stand der Technik 3 Zielsetzung und Vorgehensweise 3.1 Zielsetzung 3.2 Vorgehensweise 4 Methode zur Integration der Augmented Reality in die Instandhaltung 4.1 Anforderungen an die Augmented-Reality-basierte Instandhaltung 4.1.1 Anforderungen an die Augmented-Reality-Anwendung 4.1.2 Anforderungen an die Augmented-Reality-Komponenten 4.1.3 Anforderungen an die Instandhaltungsdokumentation 4.1.4 Anforderungen an den Instandhaltungsplanungsprozess 4.2 Konzept des Augmented-Reality-Systems zur Instandhaltung 4.2.1 Konzept des Instandhaltungsplanungsprozesses 4.2.2 Konzept des Augmented-Reality-Gesamtsystems 4.3 Integration von Augmented-Reality-Komponenten 4.3.1 Kamerabild 4.3.2 Tracking 4.3.3 Visualisierung 4.3.4 Interaktion 4.4 Integration von Produktionsdaten 4.4.1 CAD-Anwendung 4.4.2 Dokumentationsanwendung für die Instandhaltung 4.4.3 PDM-System 4.5 Integration von Maschinendaten 4.5.1 Manufacturing Execution System 4.5.2 Maschinensteuerung 5 Verifikation der Methode 5.1 Vorgehensweise der Verifikation 5.2 Definition der Instandhaltungsszenarien 5.2.1 Instandhaltungsszenario A: Dreh-Fräs-Bearbeitungszentrum 5.2.2 Instandhaltungsszenario B: Drahtziehmaschine 5.3 Anwendung der Methode auf die Instandhaltungsszenarien 5.3.1 Instandhaltungsszenario A: Dreh-Fräs-Bearbeitungszentrum 5.3.2 Instandhaltungsszenario B: Drahtziehmaschine 5.4 Auswertung der Methode 6 Zusammenfassung und Ausblick 6.1 Zusammenfassung 6.2 Ausblick Literaturverzeichnis

Traditionelle 3D-Anwendungsentwicklung für VR/AR verläuft in heterogenen Entwicklerteams unstrukturiert, ad hoc und ist fehlerbehaftet. Der präsentierte Roundtrip3D Entwicklungsprozess ermöglicht die iterativ inkrementelle 3D-Anwendungsentwicklung, wechselseitig auf Softwaremodell- und Implementierungsebene. Modelle fördern das gemeinsame Verständnis unter Projektbeteiligten und sichern durch generierte Schnittstellen gleichzeitiges Programmieren und 3D-Modellieren zu. Das Roundtrip3D Werkzeug ermittelt Inkonsistenzen zwischen vervollständigten 3D-Inhalten und Quelltexten auch für verschiedene Plattformen und visualisiert sie auf abstrakter Modellebene. Die gesamte Implementierung wird nicht simultan, sondern nach codegetriebener Entwicklung kontrolliert mit Softwaremodellen abgeglichen. Inkremente aus aktualisierten Softwaremodellen fließen in dann wieder zueinander konsistente Quelltexte und 3D-Inhalte ein. Der Roundtrip3D Entwicklungsprozess vereint dauerhaft Vorteile codegetriebener mit modellgetriebener 3D-Anwendungsentwicklung und fördert strukturiertes Vorgehen im agilen Umfeld.

Logistikmitarbeiter können mit Augmented-Reality-Datenbrillen ausgerüstet werden, um relevante Daten in ihr Sichtfeld einblenden zu lassen. Mithilfe moderner Datenbrillen können Visualisierungen dabei aufgrund der Brennweitendifferenz zwischen dem menschlichen Auge und der Datenbrillenoptik meist nur auf definierte Entfernungen scharf dargestellt werden. Ein Angleich der Brennweite der Optik an die Brennweite des Auges ermöglicht eine scharfe Darstellung der Inhalte innerhalb des Griffbereiches des Mitarbeiters. Zur Realisierung dieses Ansatzes wird in dieser Arbeit ein multikamerabasiertes Verfahren zur automatischen Adaptierung der Optikbrennweite vorgeschlagen. Für die Brennweitenadaptierung wird ein Ansatz zur Pupillendetektion in Kombination mit einer 3D-Umgebungskamera vorgestellt. Da geläufige Algorithmen zur Pupillendetektion nicht für die Verwendung auf eingebetteten Systemen optimiert sind, wird der Schwerpunkt auf die Entwicklung eines geeigneten ressourcenarmen Algorithmus gelegt. Die nötige Relation zwischen dem menschlichen Auge und der 3D-Kamera wird dabei über einen Ansatz der mehrstufigen Ebenenkalibrierung realisiert. Die gewonnenen 3D-Tiefeninformationen werden anschließend mithilfe einer adaptiven Flüssiglinse zur Brennweitenjustierung der Optik genutzt. Da aktuell keine Datenbrillen mit den genannten Komponenten erhältlich sind, wurde eine eigenes Konzept realisiert. Die später beabsichtigte Anwendung soll dem Nutzer dabei Informationen zur Umsetzung aktueller Aufgaben anzeigen und diese direkt auf die Brennweite des Auges anpassen, um dessen kognitive Belastung zu reduzieren.:1 Einleitung 1 1.1 Aktueller Stand der Technik 2 1.2 Systemübersicht 6 1.3 Inhaltliche Gliederung 8 1.4 Wissenschaftlicher Beitrag 9 2 Theoretische Vorbetrachtungen 11 2.1 Augmentierte Realität 11 2.1.1 Übersicht 11 2.1.2 Videoaufnahme in Echtzeit 13 2.1.3 Tracking 13 2.1.4 Registrierung 15 2.1.5 Visuelle Ausgabemöglichkeiten 16 2.1.6 Eye-Tracking in AR 17 2.2 Das menschliche Auge 18 2.2.1 Anatomie 19 2.2.2 Das Auge als dioptrischer Apparat 22 2.2.3 Die Pupille 25 2.2.4 Verhaltensanalyse des Auges 26 2.2.5 Die retinale Signalverarbeitung 27 2.3 3D-Umgebungen 29 2.3.1 Kameramodell 29 2.3.2 Stereoskopie 32 2.3.3 Strukturiertes Licht 37 2.3.4 Time of Flight 39 3 Entwurf einer AR-Datenbrille mit blickpunktabhängiger Brennweitenadaptierung 42 3.1 Gesamtsystem 42 3.2 Infrarotbeleuchtung für die Eye-Tracking-Kamera 44 3.2.1 Gefährdung der Kornea durch IR-A Strahlen 47 3.2.2 Thermische Netzhautgefährdung – schwacher visueller Reiz 48 3.2.3 Überprüfung der Einhaltung der Grenzwerte der selektierten IR-LED 50 3.3 Optisches System 53 3.4 Adaptive Linse 55 3.5 3D-Umgebungskamera 56 3.6 Recheneinheit 58 4 Eye-Tracking 59 4.1 Einleitung 59 4.2 Voruntersuchungen 64 4.3 Eye-Tracking-Algorithmus „Fast Ellipse Fitting “(FEF) 67 4.3.1 Stand der Forschung 67 4.3.2 Übersicht 69 4.3.3 Schwellwertapproximation 70 4.3.4 ROI-Findung / hochaufgelöste Schwellwertsuche 72 4.3.5 Pupillendetektion 75 4.3.6 Anfälligkeiten 76 4.4 Validierung 81 4.5 Zusammenfassung 85 4.6 Diskussion 86 5 Blickpunktschätzung 87 5.1 Einleitung 87 5.2 2D-Blickpunktschätzung 89 5.2.1 Einleitung 89 5.2.2 Evaluierung 92 5.3 3D-Blickpunktschätzung 100 5.3.1 Stand der Technik 100 5.3.2 Aufnahme von Kalibrierungspunkten im 3D-Raum 103 5.3.3 Algorithmen zur 3D-Blickpunktschätzung 104 5.3.4 Evaluierung 108 5.4 Zusammenfassung 111 5.5 Diskussion 111 6 Blickpunktanalyse 113 6.1 Filterung der Augenbewegungen/Glint-Vektoren 113 6.1.1 Stand der Forschung 113 6.1.2 Glättung der Glint-Vektoren 116 6.2 Blickpunktauswertung 117 6.2.1 Display-Steuerung 119 6.2.2 Eye-Tracking zur Informationsergänzung 125 6.2.3 Validierung der 3D-Blickpunktschätzung 131 6.3 Zusammenfassung 135 6.4 Diskussion 136 7 Zusammenfassung 138 8 Ausblick 140 9 Literaturverzeichnis 142 A Anhang 151

Herzinfarkt und Tod stellen häufige Folgen der koronaren Herzerkrankung dar, die durch eine rechtzeitige aortokoronare Bypassoperation vermieden werden können. Im Gegensatz zur klassischen offenen Operation bieten minimal invasive Verfahren entscheidende Vorteile. Die erschwerte Orientierung stellt jedoch eine große Herausforderung in der minimal invasiven Herzchirurgie dar, insbesondere bei der Verwendung telemanipulatorischer Systeme, wie bei der total endoskopischen Bypassoperation (TECAB). Die Entwicklung des „Surgical Cartographic Navigation System“ (SCNS) verspricht eine deutliche Verbesserung der Orientierung des Chirurgen mithilfe der Nutzung modernster Techniken der Augmentierten Realität. Hierbei wird auf der Basis von CT-Datensätzen ein virtuelles Herzmodell geschaffen, welches als Grundlage der assistierten Navigation dient. Im Speziellen wird bei der durch das SCNS unterstützten TECAB Operation die aufzufindende Koronararterie in das Sichtfeld des Endoskopes projiziert („augmentiert“). Ziel dieses Dissertationsvorhabens war die Evaluation der klinischen Anwendbarkeit des SCNS während einer Simulation einer Inzision mit dem da Vinci™-System auf fünf individuell angefertigten Herzphantomen. Es sollte überprüft werden, ob der Chirurg mit Hilfe der Unterstützung durch die SCNS Sicht mit eingeblendeter Koronararterie einen direkten Kontakt zur LAD (Left Anterior Descending), der häufigsten Zielarterie der TECAB, herstellen kann. In einem Studienkollektiv, bestehend aus zehn medizinisch unerfahrenen Personen und zehn Herzchirurgen, wurde die Treffergenauigkeit der SCNS-gestützten Auffindung der LAD in insgesamt 300 Testversuchen überprüft. Insgesamt konnte die Arterie in 58 % der Fälle korrekt identifiziert werden. Dabei lag kein signifikanter Unterschied zwischen den beiden Gruppen vor. Hiermit konnte die klinische Anwendbarkeit des SCNS für die TECAB erstmals gezeigt werden. Des Weiteren wurden zwei Faktoren als vordringliche Ziele für zukünftige Fortentwicklungen identifiziert: Die Optimierung von Landmarken für die Registrierung des Herzens sowie die verbesserte optische Darstellung der Augmentierten Realität im Endoskopiesichtfeld. Zusammengefasst konnte in diesem Dissertationsvorhaben in einer umfassenden Studie gezeigt werden, dass das SCNS einen erfolgversprechenden Lösungsansatz für die Behebung kritischer Orientierungsprobleme der minimal invasiven Herzchirurgie bei der TECAB bietet. Die hier gewonnenen Erkenntnisse stellen die Grundlage für weitergehende Studien zur Fortentwicklung des SCNS dar, die vor einem klinischen Ersteinsatz erfolgen müssen. / In the therapy of coronary heart disease minimally invasive and endoscopic methods offer considerable benefits to the patient, while for the surgeon difficult orientation and missing haptic feedback are still the leading problems in Endoscopic Bypass Grafting with telemanipulative systems. To support the surgeon with improved vision, a three dimensional model of the coronary artery tree based on CT scans is integrated into the view of the endoscope. The “Surgical Cartographic Navigation System” (SCNS) is a tool which provides this feature called Augmented Reality (AR). Aim of this study was the first technical analysis of the SCNS during a simulation of an incision with the da Vinci™ surgical system on an electronic heart phantom. The hypotheses was that with the guidance of the SCNS augmented reality view, the surgeon can perform a direct contact to the Left Anterior Descending Coronary Artery (LAD). Five anatomically correct heart phantoms were created using the rapid prototyping technology. The heart models were covered with an electrical conducting layer for the detection of the contact with the coronary artery or with the surrounding tissue. A 3D model of the coronary artery tree based on a CT scan was registered to the heart phantom and overlaid into the video screen of the da Vinci™ robot master console. Ten inexperienced medical students and ten experienced heart surgeons used the SCNS in a surgery simulation with the goal of finding the LAD artery and contacting the LAD with robot instruments. In 300 test runs 58 % of both groups hit the LAD correctly. The overlaid information created with the SCNS enables the surgeon to correctly identify the coronary artery. The clinical applicability of the SCNS for the TECAB Operation is hereby demonstrated. These findings are the basis for further studies on the further development of the SCNS, that is necessary before a clinical first-use.

Herzinfarkt und Tod stellen häufige Folgen der koronaren Herzerkrankung dar, die durch eine rechtzeitige aortokoronare Bypassoperation vermieden werden können. Im Gegensatz zur klassischen offenen Operation bieten minimal invasive Verfahren entscheidende Vorteile. Die erschwerte Orientierung stellt jedoch eine große Herausforderung in der minimal invasiven Herzchirurgie dar, insbesondere bei der Verwendung telemanipulatorischer Systeme, wie bei der total endoskopischen Bypassoperation (TECAB). Die Entwicklung des „Surgical Cartographic Navigation System“ (SCNS) verspricht eine deutliche Verbesserung der Orientierung des Chirurgen mithilfe der Nutzung modernster Techniken der Augmentierten Realität. Hierbei wird auf der Basis von CT-Datensätzen ein virtuelles Herzmodell geschaffen, welches als Grundlage der assistierten Navigation dient. Im Speziellen wird bei der durch das SCNS unterstützten TECAB Operation die aufzufindende Koronararterie in das Sichtfeld des Endoskopes projiziert („augmentiert“). Ziel dieses Dissertationsvorhabens war die Evaluation der klinischen Anwendbarkeit des SCNS während einer Simulation einer Inzision mit dem da Vinci™-System auf fünf individuell angefertigten Herzphantomen. Es sollte überprüft werden, ob der Chirurg mit Hilfe der Unterstützung durch die SCNS Sicht mit eingeblendeter Koronararterie einen direkten Kontakt zur LAD (Left Anterior Descending), der häufigsten Zielarterie der TECAB, herstellen kann. In einem Studienkollektiv, bestehend aus zehn medizinisch unerfahrenen Personen und zehn Herzchirurgen, wurde die Treffergenauigkeit der SCNS-gestützten Auffindung der LAD in insgesamt 300 Testversuchen überprüft. Insgesamt konnte die Arterie in 58 % der Fälle korrekt identifiziert werden. Dabei lag kein signifikanter Unterschied zwischen den beiden Gruppen vor. Hiermit konnte die klinische Anwendbarkeit des SCNS für die TECAB erstmals gezeigt werden. Des Weiteren wurden zwei Faktoren als vordringliche Ziele für zukünftige Fortentwicklungen identifiziert: Die Optimierung von Landmarken für die Registrierung des Herzens sowie die verbesserte optische Darstellung der Augmentierten Realität im Endoskopiesichtfeld. Zusammengefasst konnte in diesem Dissertationsvorhaben in einer umfassenden Studie gezeigt werden, dass das SCNS einen erfolgversprechenden Lösungsansatz für die Behebung kritischer Orientierungsprobleme der minimal invasiven Herzchirurgie bei der TECAB bietet. Die hier gewonnenen Erkenntnisse stellen die Grundlage für weitergehende Studien zur Fortentwicklung des SCNS dar, die vor einem klinischen Ersteinsatz erfolgen müssen.:1 Bibliographische Beschreibung 2 2 Inhaltsverzeichnis 3 3 Einleitung und theoretischer Hintergrund 7 3.1 Entwicklung der Herzchirurgie 8 3.2 Behandlungskonzepte der koronaren Herzerkrankung 8 3.3 Minimal invasive operative Verfahren 10 3.3.1 OPCAB 10 3.3.2 MIDCAB 11 3.3.3 TECAB 12 3.3.3.1 Entwicklung der telemanipulatorischen Verfahren 12 3.3.3.2 Das da Vinci™-System 13 3.3.3.3 Operationstechnik der TECAB 15 3.3.3.4 Aktueller Stand 16 3.4 Orientierungsprobleme während der TECAB Operation 17 3.5 Augmentierte Realität als Orientierungshilfe 17 3.6 SCNS (Surgical Cartographic Navigation System) 19 4 Material und Methoden 21 4.1 Materialliste 21 4.2 Methoden 22 4.2.1 Modellentstehung 22 4.2.1.1 Segmentierung 22 4.2.1.2 Landmarken 26 4.2.1.3 Rapid Prototyping 27 4.2.1.4 Elektronisches Herzphantom 28 4.2.2 Versuchsaufbau 30 4.2.2.1 Intrinsische Kalibrierung 30 4.2.2.2 Tracking 31 4.2.2.3 Extrinsische Kalibrierung 32 4.2.2.4 Registrierung 33 4.2.2.5 Overlay 34 4.2.2.6 Testpersonen 37 4.2.2.7 Das da Vinci™ Telemanipulationssystem 37 4.2.3 Das Experiment 37 5 Ergebnisse 41 5.1 Herstellung der Herzphantome 41 5.2 Korrekte Identifikation der LAD 43 5.3 Einfluss der Herzmodelle auf die LAD-Identifikation 47 6 Diskussion 49 7 Zusammenfassung der Arbeit 56 8 Literaturverzeichnis 59 9 Anhang 64 9.1 Abbildungsverzeichnis 64 9.2 Tabellenverzeichnis 66 9.3 Abkürzungsverzeichnis 67 9.4 Ergebnistabellen 68 9.5 Danksagung 70 9.6 Erklärung über die eigenständige Abfassung der Arbeit 71 9.7 Lebenslauf 72 / In the therapy of coronary heart disease minimally invasive and endoscopic methods offer considerable benefits to the patient, while for the surgeon difficult orientation and missing haptic feedback are still the leading problems in Endoscopic Bypass Grafting with telemanipulative systems. To support the surgeon with improved vision, a three dimensional model of the coronary artery tree based on CT scans is integrated into the view of the endoscope. The “Surgical Cartographic Navigation System” (SCNS) is a tool which provides this feature called Augmented Reality (AR). Aim of this study was the first technical analysis of the SCNS during a simulation of an incision with the da Vinci™ surgical system on an electronic heart phantom. The hypotheses was that with the guidance of the SCNS augmented reality view, the surgeon can perform a direct contact to the Left Anterior Descending Coronary Artery (LAD). Five anatomically correct heart phantoms were created using the rapid prototyping technology. The heart models were covered with an electrical conducting layer for the detection of the contact with the coronary artery or with the surrounding tissue. A 3D model of the coronary artery tree based on a CT scan was registered to the heart phantom and overlaid into the video screen of the da Vinci™ robot master console. Ten inexperienced medical students and ten experienced heart surgeons used the SCNS in a surgery simulation with the goal of finding the LAD artery and contacting the LAD with robot instruments. In 300 test runs 58 % of both groups hit the LAD correctly. The overlaid information created with the SCNS enables the surgeon to correctly identify the coronary artery. The clinical applicability of the SCNS for the TECAB Operation is hereby demonstrated. These findings are the basis for further studies on the further development of the SCNS, that is necessary before a clinical first-use.:1 Bibliographische Beschreibung 2 2 Inhaltsverzeichnis 3 3 Einleitung und theoretischer Hintergrund 7 3.1 Entwicklung der Herzchirurgie 8 3.2 Behandlungskonzepte der koronaren Herzerkrankung 8 3.3 Minimal invasive operative Verfahren 10 3.3.1 OPCAB 10 3.3.2 MIDCAB 11 3.3.3 TECAB 12 3.3.3.1 Entwicklung der telemanipulatorischen Verfahren 12 3.3.3.2 Das da Vinci™-System 13 3.3.3.3 Operationstechnik der TECAB 15 3.3.3.4 Aktueller Stand 16 3.4 Orientierungsprobleme während der TECAB Operation 17 3.5 Augmentierte Realität als Orientierungshilfe 17 3.6 SCNS (Surgical Cartographic Navigation System) 19 4 Material und Methoden 21 4.1 Materialliste 21 4.2 Methoden 22 4.2.1 Modellentstehung 22 4.2.1.1 Segmentierung 22 4.2.1.2 Landmarken 26 4.2.1.3 Rapid Prototyping 27 4.2.1.4 Elektronisches Herzphantom 28 4.2.2 Versuchsaufbau 30 4.2.2.1 Intrinsische Kalibrierung 30 4.2.2.2 Tracking 31 4.2.2.3 Extrinsische Kalibrierung 32 4.2.2.4 Registrierung 33 4.2.2.5 Overlay 34 4.2.2.6 Testpersonen 37 4.2.2.7 Das da Vinci™ Telemanipulationssystem 37 4.2.3 Das Experiment 37 5 Ergebnisse 41 5.1 Herstellung der Herzphantome 41 5.2 Korrekte Identifikation der LAD 43 5.3 Einfluss der Herzmodelle auf die LAD-Identifikation 47 6 Diskussion 49 7 Zusammenfassung der Arbeit 56 8 Literaturverzeichnis 59 9 Anhang 64 9.1 Abbildungsverzeichnis 64 9.2 Tabellenverzeichnis 66 9.3 Abkürzungsverzeichnis 67 9.4 Ergebnistabellen 68 9.5 Danksagung 70 9.6 Erklärung über die eigenständige Abfassung der Arbeit 71 9.7 Lebenslauf 72

Traditionelle 3D-Anwendungsentwicklung für VR/AR verläuft in heterogenen Entwicklerteams unstrukturiert, ad hoc und ist fehlerbehaftet. Der präsentierte Roundtrip3D Entwicklungsprozess ermöglicht die iterativ inkrementelle 3D-Anwendungsentwicklung, wechselseitig auf Softwaremodell- und Implementierungsebene. Modelle fördern das gemeinsame Verständnis unter Projektbeteiligten und sichern durch generierte Schnittstellen gleichzeitiges Programmieren und 3D-Modellieren zu. Das Roundtrip3D Werkzeug ermittelt Inkonsistenzen zwischen vervollständigten 3D-Inhalten und Quelltexten auch für verschiedene Plattformen und visualisiert sie auf abstrakter Modellebene. Die gesamte Implementierung wird nicht simultan, sondern nach codegetriebener Entwicklung kontrolliert mit Softwaremodellen abgeglichen. Inkremente aus aktualisierten Softwaremodellen fließen in dann wieder zueinander konsistente Quelltexte und 3D-Inhalte ein. Der Roundtrip3D Entwicklungsprozess vereint dauerhaft Vorteile codegetriebener mit modellgetriebener 3D-Anwendungsentwicklung und fördert strukturiertes Vorgehen im agilen Umfeld.

Visual Simultaneous Localisation and Mapping (SLAM) is concerned with simultaneously estimating the pose of a camera and a map of the environment from a sequence of images. Traditionally, sparse maps comprising isolated point features have been employed, which facilitate robust localisation but are not well suited to advanced applications. In this thesis, we present map representations that allow a more dense description of the environment. In one approach, planar features are used to represent textured planar surfaces in the scene. This model is applied within a visual SLAM framework based on the Extended Kalman Filter. We presents solutions to several challenges which arise from this approach.