Im Rahmen des DFG-Graduiertenkollegs „CrossWorlds“ (http://www.crossworlds.info) wird im Teilbereich Kommunikation ein autonomer mobiler Roboter aufgebaut. Das Anwendungsszenario ist das Industriemuseum Chemnitz. Mithilfe von technischen Mitteln werden die Exponate des Industriemuseums durch die Informationen und Darstellungen der virtuellen Welt erweitert. Der Roboter CLUES (Cross worLds autonomoUs mobilE robot hoSt) tritt dabei als Mittler zwischen der realen Museumswelt und virtuellen Informationswelt auf. Er bietet den Besuchern die Möglichkeit zur Interaktion mit den bereitgestellten Inhalten und nimmt gleichzeitig als Gastgeber des Museums die Besucher wahr. Dieser erste Bericht beinhaltet die Grundidee des Projektes und die Hardwareausrüstung. Er schildert die Auswahl und Abstimmung der eingesetzten technischen Geräte. Mit Blick auf das Anwendungsszenario und die technischen Möglichkeiten werden die auftretenden Probleme und Lösungen diskutiert.

Future connected vehicles will be able to warn about hidden dangers already before they are visible for the driver. With sight obstructions as one of the most common factors of accident causation, there is a huge potential to improve traffic safety. However, it is unclear how to design the human-machine-interface of such systems to effectively warn drivers about invisible dangers. Especially the expectation that such warnings will be comparably unreliable lead to conflicting demands on amount and coding of warning information. Earlier work shows that warnings that contain more specific information about a hazard can improve drivers understanding of and responses to warnings but they can also raise processing costs and delay reactions or even distract drivers. Psychological theories as well as related research indicates that augmented reality (AR) has the potential to improve warning effectiveness through optimized coding of additional information. AR warnings can inherently transmit the location of a hazard and – due to the corresponding approach of the referenced display towards the driver – could increases the salience of a warning. The general aim of this work is to understand the human factors of future communication-based collision warnings. Based on a theoretical analysis revealing the most relevant questions within that context, we conducted three driving simulator studies to understand the impact of AR warning design on the effectiveness of unreliable warnings about sight obstructed dangers. To consider not only short-term effectiveness, all studies contained several necessary as well as unnecessary warnings that were analyzed in detail. The first study with 88 participants investigated the benefit of prototypical AR warnings over unspecific warnings of different modalities (visual vs. auditory). Visual AR warnings showed advantages over the other warning designs in gaze and brake reaction times, passing speeds, collision rates and subjective evaluation. Auditory AR warnings did not reveal comparable effects. The second test with 80 participants examined the contribution of different design aspects of visual AR warnings. Adding specific warning symbols or scaling animations to the warnings showed some positive but rather inconsistent effects. In contrast, spatial referencing even of an unspecific warning symbol with AR consistently improved driver’s reactions and evaluations. A third experiment with 36 participants observed the differential effects of the spatial information per se and the coding of the information with AR. The warnings had either no spatial information, symbolically encrypted spatial information or AR encrypted spatial information. A higher amount of information consistently led to stronger brake reactions, higher trust and better subjective evaluation. Additionally, with AR encryption we observed faster fixations as well as brake reactions. The present research emphasizes the importance of specificity for warnings about hidden hazards and the potential of AR especially for in-vehicle warnings of future collision avoidance systems. The systematic analysis of psychological factors of warning design and the corresponding findings on their relative contribution to driver’s behavior might also be transferred to other domains and applications of warning and information design. / In naher Zukunft werden vernetzte Fahrzeuge bereits vor sichtverdeckten Gefahren warnen können, noch bevor diese für den Fahrer sichtbar sind. Da Sichtverdeckungen bei einem Großteil schwerer Verkehrsunfälle eine Rolle spielen, stellt dies ein großes Potenzial zur Erhöhung der Verkehrssicherheit dar. Unklar ist jedoch, wie die Mensch-Maschine- Schnittstelle solcher Systeme gestaltet werden sollte, um Autofahrer möglichst effektiv vor noch nicht sichtbaren Gefahren zu warnen. Insbesondere die Vorhersage, dass solche Systeme nur eine begrenzte Zuverlässigkeit haben werden, führt zu teilweise widersprüchlichen Anforderungen an Informationsmenge und Kodierung der Warnungen. Frühere Arbeiten haben gezeigt, dass Warnungen mit spezifischen Informationen über eine Gefahr einerseits Verständnis und Reaktionen der Fahrer auf die Warnungen verbessern, andererseits aber auch kognitiven Verarbeitungsaufwand und Reaktionszeiten erhöhen und ablenken können. Sowohl kognitionspsychologische Theorien als auch Studien aus unserem Forschungsgebiet deuten darauf hin, dass die Darstellungsprinzipien der erweiterten Realität (AR, für engl. augmented reality) das Potenzial bieten, die Effizienz solcher Warnungen durch eine optimierte Kodierung von Zusatzinformationen zu steigern. AR-Warnungen können inhärent die Position einer Gefahr übermitteln, ohne dass der Fahrer dazu eine abstrakte Repräsentation der Information auf die reale Umwelt übertragen muss. Das grundlegende Ziel der vorliegenden Arbeit besteht darin, die psychologischen Faktoren zukünftiger vernetzter Kollisionswarnungen zu verstehen. Ausgehend von der theoretischen Analyse relevanter psychologischer Theorien wurden wesentliche Implikationen und offene Fragestellungen abgeleitet. Zur Beantwortung dieser Fragen wurden drei Fahrsimulator- Studien durchgeführt, in denen der Einfluss von AR als Darstellungsprinzip auf die Effizienz begrenzt zuverlässiger Warnungen über sichtverdeckte Gefahren untersucht wurden. Um valide Aussagen über die längerfristige Wirksamkeit treffen zu können, wurden in den Versuchen sowohl notwendige als auch unnötige Warnungen betrachtet. Eine erste Studie mit 88 Teilnehmern untersuchte den Mehrwert prototypischer AR-Warnungen unterschiedlicher Modalität (visuell vs. auditiv) gegenüber unspezifischen Warnungen. Visuelle AR-Warnungen zeigten klare Vorteile bezüglich Blick- und Bremsreaktionen, Geschwindigkeiten, Kollisionszahlen und subjektiven Bewertungen. Auditive AR-Warnungen hingegen führten zu einzelnen positiven, jedoch auch einigen negativen Effekten. In der zweiten Studie mit 80 Teilnehmern wurden die Auswirkungen gestalterischer Teilaspekte visueller AR-Warnungen verglichen. Das Hinzufügen von spezifischen Warnsymbolen über Bewegungsrichtung und Typ der Gefahr oder einer Vergrößerungs-Animation mit gleicher zeitlicher Veränderung wie bei der AR-Warnung führte zu einzelnen positiven aber nicht konsistenten Effekten. Im Gegensatz dazu führten räumlich verortete AR-Warnungen erneut sowohl zu schnelleren und stärkeren Fahrerreaktionen als auch zu besseren subjektiven Bewertungen. In der dritten Studie mit 36 Teilnehmern wurden schließlich die individuellen Effekte der räumlichen Information an sich und der Codierung dieser Information mittels AR analysiert. Dazu wurden Warnungen ohne Information über die Position der Gefahr, mit symbolisch kodierter Information, sowie mit AR-kodierter Information verglichen. Der höhere Informationsgehalt führte zu durchgehend stärkeren Bremsungen, höherem Systemvertrauen und besseren subjektiven Bewertungen. Darüber hinaus ermöglichte die AR-Kodierung desselben Informationsgehalts der Warnungen sowohl schnellere Gefahrenentdeckung als auch kürzere Bremsreaktionszeiten. Insgesamt bestätigen die Ergebnisse der vorliegenden Arbeit einen deutlichen Mehrwert von spezifischen Informationen bei Warnungen vor sichtverdeckten Gefahren sowie das hohe Potenzial von AR als Darstellungsprinzip, insbesondere für Warnungen zukünftiger Kollisionsvermeidungssysteme. Die systematische Analyse der bei der Gestaltung von Warnungen relevanten psychologischen Faktoren sowie unsere empirischen Erkenntnisse zu deren relativen Einfluss auf das Nutzerverhalten können zudem auf Warnungen anderer Anwendungen und Domänen übertragen werden, und somit einen generellen Beitrag zur Vermeidung von Unfällen in Mensch-Maschine-Systemen liefern.

Logistikmitarbeiter können mit Augmented-Reality-Datenbrillen ausgerüstet werden, um relevante Daten in ihr Sichtfeld einblenden zu lassen. Mithilfe moderner Datenbrillen können Visualisierungen dabei aufgrund der Brennweitendifferenz zwischen dem menschlichen Auge und der Datenbrillenoptik meist nur auf definierte Entfernungen scharf dargestellt werden. Ein Angleich der Brennweite der Optik an die Brennweite des Auges ermöglicht eine scharfe Darstellung der Inhalte innerhalb des Griffbereiches des Mitarbeiters. Zur Realisierung dieses Ansatzes wird in dieser Arbeit ein multikamerabasiertes Verfahren zur automatischen Adaptierung der Optikbrennweite vorgeschlagen. Für die Brennweitenadaptierung wird ein Ansatz zur Pupillendetektion in Kombination mit einer 3D-Umgebungskamera vorgestellt. Da geläufige Algorithmen zur Pupillendetektion nicht für die Verwendung auf eingebetteten Systemen optimiert sind, wird der Schwerpunkt auf die Entwicklung eines geeigneten ressourcenarmen Algorithmus gelegt. Die nötige Relation zwischen dem menschlichen Auge und der 3D-Kamera wird dabei über einen Ansatz der mehrstufigen Ebenenkalibrierung realisiert. Die gewonnenen 3D-Tiefeninformationen werden anschließend mithilfe einer adaptiven Flüssiglinse zur Brennweitenjustierung der Optik genutzt. Da aktuell keine Datenbrillen mit den genannten Komponenten erhältlich sind, wurde eine eigenes Konzept realisiert. Die später beabsichtigte Anwendung soll dem Nutzer dabei Informationen zur Umsetzung aktueller Aufgaben anzeigen und diese direkt auf die Brennweite des Auges anpassen, um dessen kognitive Belastung zu reduzieren.:1 Einleitung 1 1.1 Aktueller Stand der Technik 2 1.2 Systemübersicht 6 1.3 Inhaltliche Gliederung 8 1.4 Wissenschaftlicher Beitrag 9 2 Theoretische Vorbetrachtungen 11 2.1 Augmentierte Realität 11 2.1.1 Übersicht 11 2.1.2 Videoaufnahme in Echtzeit 13 2.1.3 Tracking 13 2.1.4 Registrierung 15 2.1.5 Visuelle Ausgabemöglichkeiten 16 2.1.6 Eye-Tracking in AR 17 2.2 Das menschliche Auge 18 2.2.1 Anatomie 19 2.2.2 Das Auge als dioptrischer Apparat 22 2.2.3 Die Pupille 25 2.2.4 Verhaltensanalyse des Auges 26 2.2.5 Die retinale Signalverarbeitung 27 2.3 3D-Umgebungen 29 2.3.1 Kameramodell 29 2.3.2 Stereoskopie 32 2.3.3 Strukturiertes Licht 37 2.3.4 Time of Flight 39 3 Entwurf einer AR-Datenbrille mit blickpunktabhängiger Brennweitenadaptierung 42 3.1 Gesamtsystem 42 3.2 Infrarotbeleuchtung für die Eye-Tracking-Kamera 44 3.2.1 Gefährdung der Kornea durch IR-A Strahlen 47 3.2.2 Thermische Netzhautgefährdung – schwacher visueller Reiz 48 3.2.3 Überprüfung der Einhaltung der Grenzwerte der selektierten IR-LED 50 3.3 Optisches System 53 3.4 Adaptive Linse 55 3.5 3D-Umgebungskamera 56 3.6 Recheneinheit 58 4 Eye-Tracking 59 4.1 Einleitung 59 4.2 Voruntersuchungen 64 4.3 Eye-Tracking-Algorithmus „Fast Ellipse Fitting “(FEF) 67 4.3.1 Stand der Forschung 67 4.3.2 Übersicht 69 4.3.3 Schwellwertapproximation 70 4.3.4 ROI-Findung / hochaufgelöste Schwellwertsuche 72 4.3.5 Pupillendetektion 75 4.3.6 Anfälligkeiten 76 4.4 Validierung 81 4.5 Zusammenfassung 85 4.6 Diskussion 86 5 Blickpunktschätzung 87 5.1 Einleitung 87 5.2 2D-Blickpunktschätzung 89 5.2.1 Einleitung 89 5.2.2 Evaluierung 92 5.3 3D-Blickpunktschätzung 100 5.3.1 Stand der Technik 100 5.3.2 Aufnahme von Kalibrierungspunkten im 3D-Raum 103 5.3.3 Algorithmen zur 3D-Blickpunktschätzung 104 5.3.4 Evaluierung 108 5.4 Zusammenfassung 111 5.5 Diskussion 111 6 Blickpunktanalyse 113 6.1 Filterung der Augenbewegungen/Glint-Vektoren 113 6.1.1 Stand der Forschung 113 6.1.2 Glättung der Glint-Vektoren 116 6.2 Blickpunktauswertung 117 6.2.1 Display-Steuerung 119 6.2.2 Eye-Tracking zur Informationsergänzung 125 6.2.3 Validierung der 3D-Blickpunktschätzung 131 6.3 Zusammenfassung 135 6.4 Diskussion 136 7 Zusammenfassung 138 8 Ausblick 140 9 Literaturverzeichnis 142 A Anhang 151

Der Beitrag gibt einerseits eine Übersicht über die Möglichkeiten von virtuellen Produktdarstellungen durch Virtual Reality (VR), Augmented Reality (AR) und 360° Medien und vergleicht diese hinsichtlich geeigneter Kriterien um eine gezielte Kommunikation zu erreichen. [... aus der Einleitung]

Visual Simultaneous Localisation and Mapping (SLAM) is concerned with simultaneously estimating the pose of a camera and a map of the environment from a sequence of images. Traditionally, sparse maps comprising isolated point features have been employed, which facilitate robust localisation but are not well suited to advanced applications. In this thesis, we present map representations that allow a more dense description of the environment. In one approach, planar features are used to represent textured planar surfaces in the scene. This model is applied within a visual SLAM framework based on the Extended Kalman Filter. We presents solutions to several challenges which arise from this approach.

Visual Simultaneous Localisation and Mapping (SLAM) is concerned with simultaneously estimating the pose of a camera and a map of the environment from a sequence of images. Traditionally, sparse maps comprising isolated point features have been employed, which facilitate robust localisation but are not well suited to advanced applications. In this thesis, we present map representations that allow a more dense description of the environment. In one approach, planar features are used to represent textured planar surfaces in the scene. This model is applied within a visual SLAM framework based on the Extended Kalman Filter. We presents solutions to several challenges which arise from this approach.

To improve the performance and capabilities of athletes, augmented reality could play an important role in exercise training. During training, these technologies support athletes in analyzing their training over all phases. Regardless of all potential advantages, the vergence-accommodation-conflict (VAC) could affect the effectiveness of training and performance. This work is aimed to evaluate the effect of VAC in different conditions. / Um die Leistungen und Fähigkeiten von Sportlern zu verbessern, könnte Augmented Reality eine wichtige Rolle im Training spielen. Während des Trainings unterstützen diese Technologien die Sportler bei der Analyse ihres Trainings in allen Phasen. Ungeachtet aller potenziellen Vorteile könnte der Vergenz-Akommodations-Konflikt (VAC) die Effektivität des Trainings und der Leistung beeinträchtigen. Ziel dieser Arbeit ist es, die Wirkung des VAC unter verschiedenen Bedingungen zu bewerten.

Herzinfarkt und Tod stellen häufige Folgen der koronaren Herzerkrankung dar, die durch eine rechtzeitige aortokoronare Bypassoperation vermieden werden können. Im Gegensatz zur klassischen offenen Operation bieten minimal invasive Verfahren entscheidende Vorteile. Die erschwerte Orientierung stellt jedoch eine große Herausforderung in der minimal invasiven Herzchirurgie dar, insbesondere bei der Verwendung telemanipulatorischer Systeme, wie bei der total endoskopischen Bypassoperation (TECAB). Die Entwicklung des „Surgical Cartographic Navigation System“ (SCNS) verspricht eine deutliche Verbesserung der Orientierung des Chirurgen mithilfe der Nutzung modernster Techniken der Augmentierten Realität. Hierbei wird auf der Basis von CT-Datensätzen ein virtuelles Herzmodell geschaffen, welches als Grundlage der assistierten Navigation dient. Im Speziellen wird bei der durch das SCNS unterstützten TECAB Operation die aufzufindende Koronararterie in das Sichtfeld des Endoskopes projiziert („augmentiert“). Ziel dieses Dissertationsvorhabens war die Evaluation der klinischen Anwendbarkeit des SCNS während einer Simulation einer Inzision mit dem da Vinci™-System auf fünf individuell angefertigten Herzphantomen. Es sollte überprüft werden, ob der Chirurg mit Hilfe der Unterstützung durch die SCNS Sicht mit eingeblendeter Koronararterie einen direkten Kontakt zur LAD (Left Anterior Descending), der häufigsten Zielarterie der TECAB, herstellen kann. In einem Studienkollektiv, bestehend aus zehn medizinisch unerfahrenen Personen und zehn Herzchirurgen, wurde die Treffergenauigkeit der SCNS-gestützten Auffindung der LAD in insgesamt 300 Testversuchen überprüft. Insgesamt konnte die Arterie in 58 % der Fälle korrekt identifiziert werden. Dabei lag kein signifikanter Unterschied zwischen den beiden Gruppen vor. Hiermit konnte die klinische Anwendbarkeit des SCNS für die TECAB erstmals gezeigt werden. Des Weiteren wurden zwei Faktoren als vordringliche Ziele für zukünftige Fortentwicklungen identifiziert: Die Optimierung von Landmarken für die Registrierung des Herzens sowie die verbesserte optische Darstellung der Augmentierten Realität im Endoskopiesichtfeld. Zusammengefasst konnte in diesem Dissertationsvorhaben in einer umfassenden Studie gezeigt werden, dass das SCNS einen erfolgversprechenden Lösungsansatz für die Behebung kritischer Orientierungsprobleme der minimal invasiven Herzchirurgie bei der TECAB bietet. Die hier gewonnenen Erkenntnisse stellen die Grundlage für weitergehende Studien zur Fortentwicklung des SCNS dar, die vor einem klinischen Ersteinsatz erfolgen müssen. / In the therapy of coronary heart disease minimally invasive and endoscopic methods offer considerable benefits to the patient, while for the surgeon difficult orientation and missing haptic feedback are still the leading problems in Endoscopic Bypass Grafting with telemanipulative systems. To support the surgeon with improved vision, a three dimensional model of the coronary artery tree based on CT scans is integrated into the view of the endoscope. The “Surgical Cartographic Navigation System” (SCNS) is a tool which provides this feature called Augmented Reality (AR). Aim of this study was the first technical analysis of the SCNS during a simulation of an incision with the da Vinci™ surgical system on an electronic heart phantom. The hypotheses was that with the guidance of the SCNS augmented reality view, the surgeon can perform a direct contact to the Left Anterior Descending Coronary Artery (LAD). Five anatomically correct heart phantoms were created using the rapid prototyping technology. The heart models were covered with an electrical conducting layer for the detection of the contact with the coronary artery or with the surrounding tissue. A 3D model of the coronary artery tree based on a CT scan was registered to the heart phantom and overlaid into the video screen of the da Vinci™ robot master console. Ten inexperienced medical students and ten experienced heart surgeons used the SCNS in a surgery simulation with the goal of finding the LAD artery and contacting the LAD with robot instruments. In 300 test runs 58 % of both groups hit the LAD correctly. The overlaid information created with the SCNS enables the surgeon to correctly identify the coronary artery. The clinical applicability of the SCNS for the TECAB Operation is hereby demonstrated. These findings are the basis for further studies on the further development of the SCNS, that is necessary before a clinical first-use.

Herzinfarkt und Tod stellen häufige Folgen der koronaren Herzerkrankung dar, die durch eine rechtzeitige aortokoronare Bypassoperation vermieden werden können. Im Gegensatz zur klassischen offenen Operation bieten minimal invasive Verfahren entscheidende Vorteile. Die erschwerte Orientierung stellt jedoch eine große Herausforderung in der minimal invasiven Herzchirurgie dar, insbesondere bei der Verwendung telemanipulatorischer Systeme, wie bei der total endoskopischen Bypassoperation (TECAB). Die Entwicklung des „Surgical Cartographic Navigation System“ (SCNS) verspricht eine deutliche Verbesserung der Orientierung des Chirurgen mithilfe der Nutzung modernster Techniken der Augmentierten Realität. Hierbei wird auf der Basis von CT-Datensätzen ein virtuelles Herzmodell geschaffen, welches als Grundlage der assistierten Navigation dient. Im Speziellen wird bei der durch das SCNS unterstützten TECAB Operation die aufzufindende Koronararterie in das Sichtfeld des Endoskopes projiziert („augmentiert“). Ziel dieses Dissertationsvorhabens war die Evaluation der klinischen Anwendbarkeit des SCNS während einer Simulation einer Inzision mit dem da Vinci™-System auf fünf individuell angefertigten Herzphantomen. Es sollte überprüft werden, ob der Chirurg mit Hilfe der Unterstützung durch die SCNS Sicht mit eingeblendeter Koronararterie einen direkten Kontakt zur LAD (Left Anterior Descending), der häufigsten Zielarterie der TECAB, herstellen kann. In einem Studienkollektiv, bestehend aus zehn medizinisch unerfahrenen Personen und zehn Herzchirurgen, wurde die Treffergenauigkeit der SCNS-gestützten Auffindung der LAD in insgesamt 300 Testversuchen überprüft. Insgesamt konnte die Arterie in 58 % der Fälle korrekt identifiziert werden. Dabei lag kein signifikanter Unterschied zwischen den beiden Gruppen vor. Hiermit konnte die klinische Anwendbarkeit des SCNS für die TECAB erstmals gezeigt werden. Des Weiteren wurden zwei Faktoren als vordringliche Ziele für zukünftige Fortentwicklungen identifiziert: Die Optimierung von Landmarken für die Registrierung des Herzens sowie die verbesserte optische Darstellung der Augmentierten Realität im Endoskopiesichtfeld. Zusammengefasst konnte in diesem Dissertationsvorhaben in einer umfassenden Studie gezeigt werden, dass das SCNS einen erfolgversprechenden Lösungsansatz für die Behebung kritischer Orientierungsprobleme der minimal invasiven Herzchirurgie bei der TECAB bietet. Die hier gewonnenen Erkenntnisse stellen die Grundlage für weitergehende Studien zur Fortentwicklung des SCNS dar, die vor einem klinischen Ersteinsatz erfolgen müssen.:1 Bibliographische Beschreibung 2 2 Inhaltsverzeichnis 3 3 Einleitung und theoretischer Hintergrund 7 3.1 Entwicklung der Herzchirurgie 8 3.2 Behandlungskonzepte der koronaren Herzerkrankung 8 3.3 Minimal invasive operative Verfahren 10 3.3.1 OPCAB 10 3.3.2 MIDCAB 11 3.3.3 TECAB 12 3.3.3.1 Entwicklung der telemanipulatorischen Verfahren 12 3.3.3.2 Das da Vinci™-System 13 3.3.3.3 Operationstechnik der TECAB 15 3.3.3.4 Aktueller Stand 16 3.4 Orientierungsprobleme während der TECAB Operation 17 3.5 Augmentierte Realität als Orientierungshilfe 17 3.6 SCNS (Surgical Cartographic Navigation System) 19 4 Material und Methoden 21 4.1 Materialliste 21 4.2 Methoden 22 4.2.1 Modellentstehung 22 4.2.1.1 Segmentierung 22 4.2.1.2 Landmarken 26 4.2.1.3 Rapid Prototyping 27 4.2.1.4 Elektronisches Herzphantom 28 4.2.2 Versuchsaufbau 30 4.2.2.1 Intrinsische Kalibrierung 30 4.2.2.2 Tracking 31 4.2.2.3 Extrinsische Kalibrierung 32 4.2.2.4 Registrierung 33 4.2.2.5 Overlay 34 4.2.2.6 Testpersonen 37 4.2.2.7 Das da Vinci™ Telemanipulationssystem 37 4.2.3 Das Experiment 37 5 Ergebnisse 41 5.1 Herstellung der Herzphantome 41 5.2 Korrekte Identifikation der LAD 43 5.3 Einfluss der Herzmodelle auf die LAD-Identifikation 47 6 Diskussion 49 7 Zusammenfassung der Arbeit 56 8 Literaturverzeichnis 59 9 Anhang 64 9.1 Abbildungsverzeichnis 64 9.2 Tabellenverzeichnis 66 9.3 Abkürzungsverzeichnis 67 9.4 Ergebnistabellen 68 9.5 Danksagung 70 9.6 Erklärung über die eigenständige Abfassung der Arbeit 71 9.7 Lebenslauf 72 / In the therapy of coronary heart disease minimally invasive and endoscopic methods offer considerable benefits to the patient, while for the surgeon difficult orientation and missing haptic feedback are still the leading problems in Endoscopic Bypass Grafting with telemanipulative systems. To support the surgeon with improved vision, a three dimensional model of the coronary artery tree based on CT scans is integrated into the view of the endoscope. The “Surgical Cartographic Navigation System” (SCNS) is a tool which provides this feature called Augmented Reality (AR). Aim of this study was the first technical analysis of the SCNS during a simulation of an incision with the da Vinci™ surgical system on an electronic heart phantom. The hypotheses was that with the guidance of the SCNS augmented reality view, the surgeon can perform a direct contact to the Left Anterior Descending Coronary Artery (LAD). Five anatomically correct heart phantoms were created using the rapid prototyping technology. The heart models were covered with an electrical conducting layer for the detection of the contact with the coronary artery or with the surrounding tissue. A 3D model of the coronary artery tree based on a CT scan was registered to the heart phantom and overlaid into the video screen of the da Vinci™ robot master console. Ten inexperienced medical students and ten experienced heart surgeons used the SCNS in a surgery simulation with the goal of finding the LAD artery and contacting the LAD with robot instruments. In 300 test runs 58 % of both groups hit the LAD correctly. The overlaid information created with the SCNS enables the surgeon to correctly identify the coronary artery. The clinical applicability of the SCNS for the TECAB Operation is hereby demonstrated. These findings are the basis for further studies on the further development of the SCNS, that is necessary before a clinical first-use.:1 Bibliographische Beschreibung 2 2 Inhaltsverzeichnis 3 3 Einleitung und theoretischer Hintergrund 7 3.1 Entwicklung der Herzchirurgie 8 3.2 Behandlungskonzepte der koronaren Herzerkrankung 8 3.3 Minimal invasive operative Verfahren 10 3.3.1 OPCAB 10 3.3.2 MIDCAB 11 3.3.3 TECAB 12 3.3.3.1 Entwicklung der telemanipulatorischen Verfahren 12 3.3.3.2 Das da Vinci™-System 13 3.3.3.3 Operationstechnik der TECAB 15 3.3.3.4 Aktueller Stand 16 3.4 Orientierungsprobleme während der TECAB Operation 17 3.5 Augmentierte Realität als Orientierungshilfe 17 3.6 SCNS (Surgical Cartographic Navigation System) 19 4 Material und Methoden 21 4.1 Materialliste 21 4.2 Methoden 22 4.2.1 Modellentstehung 22 4.2.1.1 Segmentierung 22 4.2.1.2 Landmarken 26 4.2.1.3 Rapid Prototyping 27 4.2.1.4 Elektronisches Herzphantom 28 4.2.2 Versuchsaufbau 30 4.2.2.1 Intrinsische Kalibrierung 30 4.2.2.2 Tracking 31 4.2.2.3 Extrinsische Kalibrierung 32 4.2.2.4 Registrierung 33 4.2.2.5 Overlay 34 4.2.2.6 Testpersonen 37 4.2.2.7 Das da Vinci™ Telemanipulationssystem 37 4.2.3 Das Experiment 37 5 Ergebnisse 41 5.1 Herstellung der Herzphantome 41 5.2 Korrekte Identifikation der LAD 43 5.3 Einfluss der Herzmodelle auf die LAD-Identifikation 47 6 Diskussion 49 7 Zusammenfassung der Arbeit 56 8 Literaturverzeichnis 59 9 Anhang 64 9.1 Abbildungsverzeichnis 64 9.2 Tabellenverzeichnis 66 9.3 Abkürzungsverzeichnis 67 9.4 Ergebnistabellen 68 9.5 Danksagung 70 9.6 Erklärung über die eigenständige Abfassung der Arbeit 71 9.7 Lebenslauf 72