Das Arbeitsumfeld und die Arbeitsabläufe im Operationssaal werden durch die Einführung neuer technischer Systeme zunehmend komplexer. Dies resultiert in einem erhöhten Aufwand für Konfiguration und Informationssuche und kann den Arbeitsprozess des Chirurgen langwieriger und fehleranfälliger gestalten. Ein situationsangepasstes Verhalten der technischen Systeme kann zur Reduktion dieses zusätzlichen Arbeitsaufwands führen. Chirurgische Arbeitsprozesse sind jedoch durch eine hohe Varianz und schwer quantifizierbare Einflüsse, wie z.B. Patientenanatomie und -pathologie, gekennzeichnet. Im Rahmen der Dissertation werden die Workflowmanagementkonzepte auf die Anforderungen in der Chirurgie angepasst und damit ein Beitrag zur Weiterentwicklung des Operationssaals zu einer kooperativen technischen Arbeitsumgebung geleistet. Informationen über den aktuellen Verwendungskontext eines Medizingerätes, insbesondere über den chirurgischen Arbeitsprozess, sind für die Implementierung von intelligentem Verhalten technischer Systeme erforderlich. Im Fokus der Dissertation stehen dabei drei relevante Aufgabenbereiche für die Umsetzung situationsbezogener Konfiguration der technischen OP-Umgebung: Die formale Modellierung chirurgischer Arbeitsabläufe und ihrer Varianz, die intraoperative Verarbeitung von Prozessinformationen und, basierend darauf, die Implementierung geeigneter Assistenzfunktionen für den Chirurgen und das OP-Personal. Zur Umsetzung eines situationsangepassten Systemverhaltens von Medizingeräten wird ein Workflowinformationssystem (WIS) konzipiert und implementiert. Das WIS stellt prozessbezogene Informationen taxonomisch strukturiert im OP-Netzwerk bereit. Im Rahmen der Arbeit werden basierend darauf Implementierungsstrategien für eine regelbasierte Adaption von Medizingeräten vorgeschlagen. Die entwickel\ten Modellformen und Algorithmen werden anhand klinischer Anwendungsfälle aus der Augen-, der HNO- und der Neurochirurgie mit insgesamt rund zweihundert Aufzeichnungen chirurgischer Prozesse evaluiert. Außerdem werden exemplarische Anwendungen der entwickelten Technologien in Szenarien aus der HNO-Chirurgie im Rahmen eines realitätsnahen Demonstrators umgesetzt. Die Dissertation kombiniert und adaptiert Methoden aus den Bereichen maschinelles Lernen, Workflowmanagement und wissensbasierte Systeme, um Strategien zur Implementierung von workflow-gestützten Mehrwertfunktionen in vernetzten Operationssälen aufzuzeigen. Der Fokus liegt dabei insbesondere auf der formalen Repräsentation chirurgischer Abläufe und ihrer Varianzen sowie der Realisierung von regelbasiertem, situationsabhängigem Systemverhalten unter Berücksichtigung des erforderlichen Risiko\-managements für Medizingeräte.:1 Introduction 1 1.1 Scopes and aims . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 Background 7 2.1 Today's operating rooms . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 Digital operating rooms and integration infrastructures . . . . . . . . . . 10 2.3 Workflows and process modeling . . . . . . . . . . . . . . . . . . . . . . 13 2.3.1 Terms and definitions . . . . . . . . . . . . . . . . . . . . . . . . 13 2.3.2 Business process modeling approaches . . . . . . . . . . . . . . . 15 2.3.3 Workflows in the surgical domain . . . . . . . . . . . . . . . . . . 16 2.3.4 Surgical workflow recognition . . . . . . . . . . . . . . . . . . . . 18 2.4 Knowledge-based systems and context-awareness . . . . . . . . . . . . . 20 2.5 Clinical use cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.5.1 Eye cataract surgery . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.5.2 Functional Endoscopic Sinus Surgery . . . . . . . . . . . . . . . . 25 2.5.3 Lumbar discectomy . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.5.4 Intracranial tumor removal procedures . . . . . . . . . . . . . . . 27 2.6 Positioning of the thesis . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3 Modeling of surgical procedures 31 3.1 General modeling approach . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.1.1 Requirements of modeling and intraoperative tracking of surgical procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.1.2 Multi-perspective workflow modeling . . . . . . . . . . . . . . . . 34 3.2 Process instance models . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.3 Generalized surgical process models . . . . . . . . . . . . . . . . . . . . . 35 3.3.1 State-transition models . . . . . . . . . . . . . . . . . . . . . . . 36 3.3.2 Surgical Workflow Trace Models . . . . . . . . . . . . . . . . . . 38 3.3.3 Adaptive Trace Models . . . . . . . . . . . . . . . . . . . . . . . . 42 3.4 Abstract surgical process models . . . . . . . . . . . . . . . . . . . . . . 46 3.4.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.4.2 Modeling method . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.4.3 Technical resource usage modeling . . . . . . . . . . . . . . . . . 53 3.5 Discussion on modeling of surgical procedures . . . . . . . . . . . . . . . 54 4 Intraoperative processing and contextual information 57 4.1 Modeling of surgical situations . . . . . . . . . . . . . . . . . . . . . . . 57 4.1.1 Model network processing . . . . . . . . . . . . . . . . . . . . . . 57 4.1.2 Evaluation of the situation classification . . . . . . . . . . . . . . 59 4.1.3 Discussion of situation classification . . . . . . . . . . . . . . . . 66 4.2 Prediction of forthcoming work steps . . . . . . . . . . . . . . . . . . . . 68 4.2.1 Process projection in graph-based models . . . . . . . . . . . . . 68 4.2.2 Evaluation of projection results . . . . . . . . . . . . . . . . . . . 69 4.3 Additional information entities . . . . . . . . . . . . . . . . . . . . . . . 75 4.3.1 Surgical procedure meta information . . . . . . . . . . . . . . . . 75 4.3.2 Prediction of remaining intervention time . . . . . . . . . . . . . 77 4.4 Surgical process context . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 5 Framework for workflow-driven surgical assistance 91 5.1 Design of workflow-driven assistance . . . . . . . . . . . . . . . . . . . . 91 5.1.1 System environment and requirements . . . . . . . . . . . . . . . 91 5.1.2 Risk management considerations . . . . . . . . . . . . . . . . . . 93 5.1.3 Distributed assistance functionalities . . . . . . . . . . . . . . . . 94 5.2 Workflow Information System . . . . . . . . . . . . . . . . . . . . . . . . 96 5.2.1 Conceptualization of a Workflow Information System . . . . . . . 96 5.2.2 System design and implementation . . . . . . . . . . . . . . . . . 97 5.2.3 Discussion of the Workflow Information System concept . . . . . 101 5.3 Rule-based automation of OR configuration . . . . . . . . . . . . . . . . 102 5.3.1 Infrastructure and interaction patterns . . . . . . . . . . . . . . . 103 5.3.2 Representation of rules . . . . . . . . . . . . . . . . . . . . . . . . 104 5.3.3 OR configuration profiles . . . . . . . . . . . . . . . . . . . . . . 107 6 Demonstration applications 109 6.1 Process-related data analysis tool . . . . . . . . . . . . . . . . . . . . . . 109 6.2 Example clinical use case . . . . . . . . . . . . . . . . . . . . . . . . . . 110 6.2.1 Simulated procedures in the demonstrator . . . . . . . . . . . . . 111 6.2.2 Demonstration setup . . . . . . . . . . . . . . . . . . . . . . . . . 111 6.3 Workflow recognition under laboratory conditions . . . . . . . . . . . . . 113 6.4 Implemented assistance functionalities . . . . . . . . . . . . . . . . . . . 117 6.4.1 Information presentation and documentation support . . . . . . . 118 6.4.2 Context-aware adaptation of OR equipment . . . . . . . . . . . . 125 6.5 Distributed context-aware automation in an integrated surgical working environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 6.5.1 Validation of the context-aware applications . . . . . . . . . . . . 131 6.5.2 Example assisted surgical procedure . . . . . . . . . . . . . . . . 139 7 Conclusion and Outlook 143 7.1 Modeling of surgical procedures . . . . . . . . . . . . . . . . . . . . . . . 143 7.2 Intraoperative processing and contextual information . . . . . . . . . . . 145 7.3 Context-aware assistance technology . . . . . . . . . . . . . . . . . . . . 147

Development of image-guided interventional systems is growing up rapidly in the recent years. These new systems become an essential part of the modern minimally invasive surgical procedures, especially for the cardiac surgery. Transcatheter aortic valve implantation (TAVI) is a recently developed surgical technique to treat severe aortic valve stenosis in elderly and high-risk patients. The placement of stented aortic valve prosthesis is crucial and typically performed under live 2D fluoroscopy guidance. To assist the placement of the prosthesis during the surgical procedure, a new fluoroscopy-based TAVI assistance system has been developed. The developed assistance system integrates a 3D geometrical aortic mesh model and anatomical valve landmarks with live 2D fluoroscopic images. The 3D aortic mesh model and landmarks are reconstructed from interventional angiographic and fluoroscopic C-arm CT system, and a target area of valve implantation is automatically estimated using these aortic mesh models. Based on template-based tracking approach, the overlay of visualized 3D aortic mesh model, landmarks and target area of implantation onto fluoroscopic images is updated by approximating the aortic root motion from a pigtail catheter motion without contrast agent. A rigid intensity-based registration method is also used to track continuously the aortic root motion in the presence of contrast agent. Moreover, the aortic valve prosthesis is tracked in fluoroscopic images to guide the surgeon to perform the appropriate placement of prosthesis into the estimated target area of implantation. An interactive graphical user interface for the surgeon is developed to initialize the system algorithms, control the visualization view of the guidance results, and correct manually overlay errors if needed. Retrospective experiments were carried out on several patient datasets from the clinical routine of the TAVI in a hybrid operating room. The maximum displacement errors were small for both the dynamic overlay of aortic mesh models and tracking the prosthesis, and within the clinically accepted ranges. High success rates of the developed assistance system were obtained for all tested patient datasets. The results show that the developed surgical assistance system provides a helpful tool for the surgeon by automatically defining the desired placement position of the prosthesis during the surgical procedure of the TAVI. / Die Entwicklung bildgeführter interventioneller Systeme wächst rasant in den letzten Jahren. Diese neuen Systeme werden zunehmend ein wesentlicher Bestandteil der technischen Ausstattung bei modernen minimal-invasiven chirurgischen Eingriffen. Diese Entwicklung gilt besonders für die Herzchirurgie. Transkatheter Aortenklappen-Implantation (TAKI) ist eine neue entwickelte Operationstechnik zur Behandlung der schweren Aortenklappen-Stenose bei alten und Hochrisiko-Patienten. Die Platzierung der Aortenklappenprothese ist entscheidend und wird in der Regel unter live-2D-fluoroskopischen Bildgebung durchgeführt. Zur Unterstützung der Platzierung der Prothese während des chirurgischen Eingriffs wurde in dieser Arbeit ein neues Fluoroskopie-basiertes TAKI Assistenzsystem entwickelt. Das entwickelte Assistenzsystem überlagert eine 3D-Geometrie des Aorten-Netzmodells und anatomischen Landmarken auf live-2D-fluoroskopische Bilder. Das 3D-Aorten-Netzmodell und die Landmarken werden auf Basis der interventionellen Angiographie und Fluoroskopie mittels eines C-Arm-CT-Systems rekonstruiert. Unter Verwendung dieser Aorten-Netzmodelle wird das Zielgebiet der Klappen-Implantation automatisch geschätzt. Mit Hilfe eines auf Template Matching basierenden Tracking-Ansatzes wird die Überlagerung des visualisierten 3D-Aorten-Netzmodells, der berechneten Landmarken und der Zielbereich der Implantation auf fluoroskopischen Bildern korrekt überlagert. Eine kompensation der Aortenwurzelbewegung erfolgt durch Bewegungsverfolgung eines Pigtail-Katheters in Bildsequenzen ohne Kontrastmittel. Eine starrere Intensitätsbasierte Registrierungsmethode wurde verwendet, um kontinuierlich die Aortenwurzelbewegung in Bildsequenzen mit Kontrastmittelgabe zu detektieren. Die Aortenklappenprothese wird in die fluoroskopischen Bilder eingeblendet und dient dem Chirurg als Leitfaden für die richtige Platzierung der realen Prothese. Eine interaktive Benutzerschnittstelle für den Chirurg wurde zur Initialisierung der Systemsalgorithmen, zur Steuerung der Visualisierung und für manuelle Korrektur eventueller Überlagerungsfehler entwickelt. Retrospektive Experimente wurden an mehreren Patienten-Datensätze aus der klinischen Routine der TAKI in einem Hybrid-OP durchgeführt. Hohe Erfolgsraten des entwickelten Assistenzsystems wurden für alle getesteten Patienten-Datensätze erzielt. Die Ergebnisse zeigen, dass das entwickelte chirurgische Assistenzsystem ein hilfreiches Werkzeug für den Chirurg bei der Platzierung Position der Prothese während des chirurgischen Eingriffs der TAKI bietet.

Development of image-guided interventional systems is growing up rapidly in the recent years. These new systems become an essential part of the modern minimally invasive surgical procedures, especially for the cardiac surgery. Transcatheter aortic valve implantation (TAVI) is a recently developed surgical technique to treat severe aortic valve stenosis in elderly and high-risk patients. The placement of stented aortic valve prosthesis is crucial and typically performed under live 2D fluoroscopy guidance. To assist the placement of the prosthesis during the surgical procedure, a new fluoroscopy-based TAVI assistance system has been developed. The developed assistance system integrates a 3D geometrical aortic mesh model and anatomical valve landmarks with live 2D fluoroscopic images. The 3D aortic mesh model and landmarks are reconstructed from interventional angiographic and fluoroscopic C-arm CT system, and a target area of valve implantation is automatically estimated using these aortic mesh models. Based on template-based tracking approach, the overlay of visualized 3D aortic mesh model, landmarks and target area of implantation onto fluoroscopic images is updated by approximating the aortic root motion from a pigtail catheter motion without contrast agent. A rigid intensity-based registration method is also used to track continuously the aortic root motion in the presence of contrast agent. Moreover, the aortic valve prosthesis is tracked in fluoroscopic images to guide the surgeon to perform the appropriate placement of prosthesis into the estimated target area of implantation. An interactive graphical user interface for the surgeon is developed to initialize the system algorithms, control the visualization view of the guidance results, and correct manually overlay errors if needed. Retrospective experiments were carried out on several patient datasets from the clinical routine of the TAVI in a hybrid operating room. The maximum displacement errors were small for both the dynamic overlay of aortic mesh models and tracking the prosthesis, and within the clinically accepted ranges. High success rates of the developed assistance system were obtained for all tested patient datasets. The results show that the developed surgical assistance system provides a helpful tool for the surgeon by automatically defining the desired placement position of the prosthesis during the surgical procedure of the TAVI. / Die Entwicklung bildgeführter interventioneller Systeme wächst rasant in den letzten Jahren. Diese neuen Systeme werden zunehmend ein wesentlicher Bestandteil der technischen Ausstattung bei modernen minimal-invasiven chirurgischen Eingriffen. Diese Entwicklung gilt besonders für die Herzchirurgie. Transkatheter Aortenklappen-Implantation (TAKI) ist eine neue entwickelte Operationstechnik zur Behandlung der schweren Aortenklappen-Stenose bei alten und Hochrisiko-Patienten. Die Platzierung der Aortenklappenprothese ist entscheidend und wird in der Regel unter live-2D-fluoroskopischen Bildgebung durchgeführt. Zur Unterstützung der Platzierung der Prothese während des chirurgischen Eingriffs wurde in dieser Arbeit ein neues Fluoroskopie-basiertes TAKI Assistenzsystem entwickelt. Das entwickelte Assistenzsystem überlagert eine 3D-Geometrie des Aorten-Netzmodells und anatomischen Landmarken auf live-2D-fluoroskopische Bilder. Das 3D-Aorten-Netzmodell und die Landmarken werden auf Basis der interventionellen Angiographie und Fluoroskopie mittels eines C-Arm-CT-Systems rekonstruiert. Unter Verwendung dieser Aorten-Netzmodelle wird das Zielgebiet der Klappen-Implantation automatisch geschätzt. Mit Hilfe eines auf Template Matching basierenden Tracking-Ansatzes wird die Überlagerung des visualisierten 3D-Aorten-Netzmodells, der berechneten Landmarken und der Zielbereich der Implantation auf fluoroskopischen Bildern korrekt überlagert. Eine kompensation der Aortenwurzelbewegung erfolgt durch Bewegungsverfolgung eines Pigtail-Katheters in Bildsequenzen ohne Kontrastmittel. Eine starrere Intensitätsbasierte Registrierungsmethode wurde verwendet, um kontinuierlich die Aortenwurzelbewegung in Bildsequenzen mit Kontrastmittelgabe zu detektieren. Die Aortenklappenprothese wird in die fluoroskopischen Bilder eingeblendet und dient dem Chirurg als Leitfaden für die richtige Platzierung der realen Prothese. Eine interaktive Benutzerschnittstelle für den Chirurg wurde zur Initialisierung der Systemsalgorithmen, zur Steuerung der Visualisierung und für manuelle Korrektur eventueller Überlagerungsfehler entwickelt. Retrospektive Experimente wurden an mehreren Patienten-Datensätze aus der klinischen Routine der TAKI in einem Hybrid-OP durchgeführt. Hohe Erfolgsraten des entwickelten Assistenzsystems wurden für alle getesteten Patienten-Datensätze erzielt. Die Ergebnisse zeigen, dass das entwickelte chirurgische Assistenzsystem ein hilfreiches Werkzeug für den Chirurg bei der Platzierung Position der Prothese während des chirurgischen Eingriffs der TAKI bietet.

Die Ruptur des vorderen Kreuzbandes (VKB) zählt zu den häufigsten Bandverletzungen des Menschen und wird vor allem bei jungen, aktiven Menschen primär operativ versorgt. Obwohl sich das Verständnis der Anatomie, Funktion und die Operationstechniken stetig verbessert haben ist heute die Revisionsrate nach VKB - Operation hoch. Die optimale Platzierung der Insertionspunkte ist unter arthroskopischen Bedingungen einer der kritischsten Schritte der Operation. Das Ziel der Studie war, ein Bildwandler (BV) basiertes Navigationsverfahren zu entwickeln und zu evaluieren, mit dem der femorale Bohrkanal anhand etablierter geometrischer Schablonen präzise navigiert angelegt werden kann. Die Anlage des tibialen Bohrkanals sollte in Relation zur Anatomie des Patienten auf BV-Bildern dargestellt werden können. Zur Ermittlung der Präzision des Systems wurden Insertionspunktlagen anhand abgewandelter geometrischer Schablonen mit dem Navigationssystem bestimmt, deren Lage am Modell radiologisch ausgewertet und mit den geplanten Sollwerten statistisch verglichen wurde. Außerdem wurden der Einfluss von Projektionsfehlern des BV-Bildes durch Rotation der Modelle um die Quer- und Längsachse und der Einfluss von Planungsungenauigkeiten untersucht. Das am Modell entwickelte System wurde anschließend im klinischen Einsatz auf Praktikabilität validiert. Es hat sich gezeigt, dass die femoralen Insertionspunkte am Modell unabhängig von der verwendeten Schablone mit einer hohen Präzision bestimmt werden können. Die medianen Abweichungen vom Sollwert in proximal-distaler (PD) - Richtung und in anterior-posteriorer (AP) - Richtung lagen bei allen Schablonen unter 1,00 mm. In PD-Richtung zeigte die Schablone nach Hertel et al. eine signifikant geringere Abweichung vom Sollwert als die Schablone nach Klos et al.. In AP-Richtung wurden mit der Schablone nach Hertel et al. signifikant geringere Abweichungen als mit den beiden anderen Schablonen erreicht. Bei Bestimmung des Projektionsfehlers durch Rotation lag die mediane Abweichung pro 1°-Rotation um die Längsachse in proximal-distaler (PD) - Richtung bei 0,31 % bzw. 0,07 mm und in anterior-posteriorer (AP) - Richtung bei 0,36 % bzw. 0,17 mm. Bei Quer-Rotation lag die mediane Abweichung pro 1°-Rotation in PD-Richtung bei 0,25 % bzw. 0,06 mm und in AP-Richtung bei 0,64 % bzw. 0,30 mm. Bei den Untersuchungen zur Abweichung durch Planungsungenauigkeit hat sich gezeigt, dass bei allen drei Schablonen Planungsfehler in anterior-posteriorer Richtung entlang der Blumensaat-Linie (BSL) die geringsten Auswirkungen auf die Lage des femoralen Insertionspunktes haben. Abweichungen bei der Planung in Richtung DISTAL / BSL(post.) und PROXIMAL / BSL(post.) haben die größten Fehler erbracht. / The Anterior Cruciate Ligament (ACL) is one of the most often torn ligaments of the musculoskeletal system. Especially in young and active people torn ACL are mainly treated surgically. Despite an increasing knowledge of the anatomical, functional and operative aspects about the ACL, there is still a high rate of long-time failures. Optimal positioning of the ACL-graft during arthroscopic reconstruction is of paramount importance in order to get good results. The aim of this project was to develop and evaluate a fluoroscopically based navigation system which could be used to precisely place the femoral drill hole with help of geometrical templates. The placement and orientation of the tibial tunnel was intended to be displayed on x-rays in relation to the patient’s anatomy. To determine the system’s precision, insertion sites where defined at the fluoroscopic image using geometrical templates and marked on plastic femur models with the help of navigation. The position of the insertion sites on the model was radiologically identified and statistically compared with the aimed ones. Additionally the influence of fluoroscopic projection errors due to axial and planar rotation of the models was tested. Following the model tests, the developed system was clinically tested in the OR to test its feasibility. The model tests revealed a high precision in femoral placement of the insertion sites independent from the three used templates (Hertel et al. / Klos et al. / Cazenave et al.). The median deviations from the aimed positions were in proximal-distal (PD) and in anterior-posterior (AP) direction both below 1.00 mm. In PD-direction the template by Hertel et al. showed a significantly lower deviation from the aimed position than the template developed by Klos et al.. In AP-direction the template by Hertel et al. showed a significantly lower deviation than the two others. The mean projection error due to longitudinal rotation per 1° was for PD-direction 0.31 % (0.07 mm) and in AP-direction 0.36% (0.17 mm). For planar rotation the median projection error per 1° was 0.25% (0.006 mm) for PD-direction and 0,64% (0.30 mm) for AP. The tests for deviation from the aimed position due to imprecise planning revealed for all templates least deviation along the Blumensaat-line (BSL) and most deviation in direction DISTAL / BSL(post.) and PROXIMAL / BSL (post.).