Wenn ein Chirurg heutzutage während der Operation Informationen aus der Patientenakte benötigt, ist er gezwungen, sich entweder unsteril zu machen oder Personal anzuweisen, ihm die entspre-chenden Informationen zugänglich zu machen. Aus technischer Sicht ist ein System zur intraoperati-ven Bedienung und Darstellung sehr einfach zu realisieren. Grundlage dafür ist eine elektronische Patientenakte (EPA), welche beispielsweise softwaregenerierten oder eingescannten Dokumenten verwaltet. Die vorliegende Arbeit widmet sich den folgenden Fragen: Wird ein solches System im Operationssaal sinnvoll genutzt? Welche Methoden zur sterilen Bedienung kommen infrage? Wie muss die grafische Darstellung auf den Operationssaal abgestimmt werden? Kann durch das Imple-mentieren aktueller Kommunikationsstandards auf alle verfügbaren Patientendaten zugegriffen werden? Dazu wurden in einer ambulanten HNO-Klinik zwei Pilotstudien durchgeführt. In der ersten Studie wurde das erste auf dem Markt befindliche kommerzielle Produkt „MI-Report“ der Firma Karl Storz evaluiert, welches per Gestenerkennung bedient wird. Für die zweite Studie wurde ein EPA-System entwickelt (Doc-O-R), welches eine Vorauswahl der angezeigten Dokumente in Abhängigkeit des Eingriffs traf und mit einem Fußschalter bedient werden konnte. Pro System wurden ca. 50 Eingriffe dokumentiert. Dabei wurde jedes angesehene Dokument und der Nutzungsgrund protokolliert. Die Systeme wurden durchschnittlich mehr als einmal pro Eingriff genutzt. Die automatische Vorauswahl der Dokumente zur Reduzierung der Interaktionen zeigte sehr gute Ergebnisse. Da das behandelte Thema noch in den Anfängen steckt, wird in der Arbeit am Ende auf die Vielzahl von Möglichkeiten eingegangen, welche bezüglich neuartiger Darstellungsmethoden, Bedienvorrich-tungen und aktueller Standardisierungsaktivitäten noch realisiert werden können. Dadurch werden zukünftig auch die Abläufe in der Chirurgie beeinflusst werden.

Gesten sind ein Kommunikationsweg, der einem Betrachter Informationen oder Absichten übermittelt. Daher können sie effektiv in der Mensch-Roboter-Interaktion, oder in der Mensch-Maschine-Interaktion allgemein, verwendet werden. Sie stellen eine Möglichkeit für einen Roboter oder eine Maschine dar, um eine Bedeutung abzuleiten. Um Gesten intuitiv benutzen zukönnen und Gesten, die von Robotern ausgeführt werden, zu verstehen, ist es notwendig, Zuordnungen zwischen Gesten und den damit verbundenen Bedeutungen zu definieren -- ein Gestenvokabular. Ein Menschgestenvokabular definiert welche Gesten ein Personenkreis intuitiv verwendet, um Informationen zu übermitteln. Ein Robotergestenvokabular zeigt welche Robotergesten zu welcher Bedeutung passen. Ihre effektive und intuitive Benutzung hängt von Gestenerkennung ab, das heißt von der Klassifizierung der Körperbewegung in diskrete Gestenklassen durch die Verwendung von Mustererkennung und maschinellem Lernen. Die vorliegende Dissertation befasst sich mit beiden Forschungsbereichen. Als eine Voraussetzung für die intuitive Mensch-Roboter-Interaktion wird zunächst ein Aufmerksamkeitsmodell für humanoide Roboter entwickelt. Danach wird ein Verfahren für die Festlegung von Gestenvokabulare vorgelegt, das auf Beobachtungen von Benutzern und Umfragen beruht. Anschliessend werden experimentelle Ergebnisse vorgestellt. Eine Methode zur Verfeinerung der Robotergesten wird entwickelt, die auf interaktiven genetischen Algorithmen basiert. Ein robuster und performanter Gestenerkennungsalgorithmus wird entwickelt, der auf Dynamic Time Warping basiert, und sich durch die Verwendung von One-Shot-Learning auszeichnet, das heißt durch die Verwendung einer geringen Anzahl von Trainingsgesten. Der Algorithmus kann in realen Szenarien verwendet werden, womit er den Einfluss von Umweltbedingungen und Gesteneigenschaften, senkt. Schließlich wird eine Methode für das Lernen der Beziehungen zwischen Selbstbewegung und Zeigegesten vorgestellt. / Gestures consist of movements of body parts and are a mean of communication that conveys information or intentions to an observer. Therefore, they can be effectively used in human-robot interaction, or in general in human-machine interaction, as a way for a robot or a machine to infer a meaning. In order for people to intuitively use gestures and understand robot gestures, it is necessary to define mappings between gestures and their associated meanings -- a gesture vocabulary. Human gesture vocabulary defines which gestures a group of people would intuitively use to convey information, while robot gesture vocabulary displays which robot gestures are deemed as fitting for a particular meaning. Effective use of vocabularies depends on techniques for gesture recognition, which considers classification of body motion into discrete gesture classes, relying on pattern recognition and machine learning. This thesis addresses both research areas, presenting development of gesture vocabularies as well as gesture recognition techniques, focusing on hand and arm gestures. Attentional models for humanoid robots were developed as a prerequisite for human-robot interaction and a precursor to gesture recognition. A method for defining gesture vocabularies for humans and robots, based on user observations and surveys, is explained and experimental results are presented. As a result of the robot gesture vocabulary experiment, an evolutionary-based approach for refinement of robot gestures is introduced, based on interactive genetic algorithms. A robust and well-performing gesture recognition algorithm based on dynamic time warping has been developed. Most importantly, it employs one-shot learning, meaning that it can be trained using a low number of training samples and employed in real-life scenarios, lowering the effect of environmental constraints and gesture features. Finally, an approach for learning a relation between self-motion and pointing gestures is presented.

Wenn ein Chirurg heutzutage während der Operation Informationen aus der Patientenakte benötigt, ist er gezwungen, sich entweder unsteril zu machen oder Personal anzuweisen, ihm die entspre-chenden Informationen zugänglich zu machen. Aus technischer Sicht ist ein System zur intraoperati-ven Bedienung und Darstellung sehr einfach zu realisieren. Grundlage dafür ist eine elektronische Patientenakte (EPA), welche beispielsweise softwaregenerierten oder eingescannten Dokumenten verwaltet. Die vorliegende Arbeit widmet sich den folgenden Fragen: Wird ein solches System im Operationssaal sinnvoll genutzt? Welche Methoden zur sterilen Bedienung kommen infrage? Wie muss die grafische Darstellung auf den Operationssaal abgestimmt werden? Kann durch das Imple-mentieren aktueller Kommunikationsstandards auf alle verfügbaren Patientendaten zugegriffen werden? Dazu wurden in einer ambulanten HNO-Klinik zwei Pilotstudien durchgeführt. In der ersten Studie wurde das erste auf dem Markt befindliche kommerzielle Produkt „MI-Report“ der Firma Karl Storz evaluiert, welches per Gestenerkennung bedient wird. Für die zweite Studie wurde ein EPA-System entwickelt (Doc-O-R), welches eine Vorauswahl der angezeigten Dokumente in Abhängigkeit des Eingriffs traf und mit einem Fußschalter bedient werden konnte. Pro System wurden ca. 50 Eingriffe dokumentiert. Dabei wurde jedes angesehene Dokument und der Nutzungsgrund protokolliert. Die Systeme wurden durchschnittlich mehr als einmal pro Eingriff genutzt. Die automatische Vorauswahl der Dokumente zur Reduzierung der Interaktionen zeigte sehr gute Ergebnisse. Da das behandelte Thema noch in den Anfängen steckt, wird in der Arbeit am Ende auf die Vielzahl von Möglichkeiten eingegangen, welche bezüglich neuartiger Darstellungsmethoden, Bedienvorrich-tungen und aktueller Standardisierungsaktivitäten noch realisiert werden können. Dadurch werden zukünftig auch die Abläufe in der Chirurgie beeinflusst werden.:1 Einführung 13 1.1 Problemstellung 14 1.2 Stand der Wissenschaft und Technik 14 1.2.1 Überblick 15 1.2.2 Digitalisierung des Operationssaals 16 1.2.3 Verbreitung Elektronischer Datenverarbeitungssysteme im Krankenhaus 16 1.2.4 Definitionen zum Begriff der elektronischen Patientenakte 17 1.2.5 Aufbau eines EPA-Systems 20 1.2.6 Sterile Bedienkonzepte 20 1.2.7 Darstellung 27 1.2.8 Standardisierung 33 2 Aufgabenstellung 39 3 Materialien und Methoden 41 3.1 Klinik 41 3.1.1 Technischer Stand 41 3.1.2 Abläufe im IRDC 41 3.2 Protokollierung 43 3.3 Verwendete Dokumente 44 3.3.1 KIS-Übersicht 44 3.3.2 Audiogramm 45 3.3.3 Tympanogramm 46 3.3.4 Blutwerte 47 3.3.5 OP-Bericht 48 3.3.6 Rhinomanometrie 50 3.3.7 Computertomographie 50 3.3.8 Bilder vorangegangener Untersuchungen und Operationen 51 3.3.9 Radiologische Gutachten 52 3.3.10 Anamnese 53 3.3.11 Überweisung 54 3.3.12 Stimmbefund 55 3.4 Statistische Auswertung 55 3.4.1 Abhängigkeit des betrachteten Dokuments von der Art des Eingriffs 55 3.4.2 Bewertung des Algorithmus zur automatischen Vorauswahl der Dokumente 56 3.5 Vorbereitung 57 3.6 Studie „MI-Report“ 57 3.6.1 Anzeige 58 3.6.2 Sensor und Bedienung 59 3.6.3 Personen 59 3.6.4 Vorbereitung 60 3.6.5 Protokollierung 60 3.7 Studie „Doc-O-R“ 62 3.7.1 Klinik 63 3.7.2 Vorbereitung 64 3.7.3 Protokollierung 64 3.7.4 Metadaten 65 3.7.5 Softwareentwicklung 65 4 Ergebnisse 69 4.1.1 Statistische Auswertung 71 4.2 Studie „MI-Report“ 71 4.2.1 Aktivierung 72 4.2.2 Nutzung 72 4.3 Studie „Doc-O-R“ 75 4.3.1 Datenlage 75 4.3.2 Algorithmus 75 4.3.3 Nutzung 77 4.3.4 Phasen 78 4.3.5 Operateure 79 4.3.6 Revisionen 79 5 Diskussion 81 5.1 Nutzung 81 5.2 Schwächen des Studienaufbaus 82 5.3 Statistische Auswertung 83 5.4 Darstellung 83 5.5 Standards 83 5.5.1 Technische Faktoren 84 5.5.2 Emotionale Faktoren 84 5.5.3 Strategische Faktoren 84 5.5.4 Ökonomische Faktoren 85 5.5.5 Rechtliche Faktoren 85 5.5.6 Machtpolitische Faktoren 85 5.6 Studie „MI-Report“ 85 5.6.1 Grafische Oberfläche 85 5.6.2 Aktivierung 86 5.6.3 Nutzung 86 5.6.4 Schwächen des Studienaufbaus 87 5.7 Studie „Doc-O-R“ 88 5.7.1 Schwächen der Studie 88 5.7.2 Algorithmus 88 5.7.3 Darstellung 88 5.7.4 Bedienung 89 5.7.5 Phasen 89 5.7.6 Nutzung 89 5.7.7 Revisionen 90 6 Schlussfolgerung 91 6.1 Bedienung 91 6.2 Standardisierung 92 6.3 Darstellung 93 6.4 Nutzungsverhalten 94 7 Ausblick 97 7.1 Bedienung 98 7.2 Standardisierung 100 7.3 Darstellung 102 7.4 Nutzungsverhalten 104 8 Zusammenfassung der Arbeit 105 9 Abbildungsverzeichnis 109 10 Quellenangaben 112 Anhang A Anatomische und physiologische Grundlagen 119 Anhang B Ambulante Eingriffe in der HNO-Chirurgie 121 Anhang C Schematischer Aufbau des Operationstraktes 123

Die Interaktion zwischen Mensch und Computer ist zu einem Teil unseres täglichen Lebens geworden. Radarsensoren sind aufgrund ihrer geringen Größe, ihres niedrigen Stromverbrauchs und ihrer Erschwinglichkeit sehr vielversprechend. Im Vergleich zu anderen Sensoren wie Kameras und LIDAR kann RADAR in einer Vielzahl von Umgebungen eingesetzt werden, und wird dabei nicht durch Licht beeinträchtigt. Vor allem aber besteht keine Gefahr, dass die Privatsphäre des Benutzers verletzt wird. Unter den vielen Radararten wird das FMCW-Radar für die Gestenerkennung genutzt, da es mehrere Ziele beobachten, Reichweite, Geschwindigkeit und Winkel messen kann und die Hardware und Signalverarbeitung relativ einfach sind. Die radargestützte Gestenerkennung kann in einer Vielzahl von Bereichen eingesetzt werden. So kann z. B. bei Gesundheits- und Sicherheitsaspekten durch den Einsatz radargestützter Gestenerkennungssysteme Körperkontakt vermieden und die Möglichkeit einer Kontamination verringert werden. Auch in der Automobilbranche kann die berührungslose Steuerung bestimmter Funktionen, wie z. B. das Einschalten der Klimaanlage, das Benutzererlebnis verbessern und zu einem sichereren Fahrverhalten beitragen. Bei der Implementierung eines auf künstlicher Intelligenz basierenden Gestenerkennungssystems unter Verwendung von RADAR gibt es noch viele Herausforderungen, wie z. B. die Interpretation von Daten, das Sammeln von Trainingsdaten, die Optimierung der Berechnungskomplexität und die Verbesserung der Systemrobustheit. Diese Arbeit konzentriert sich auf die Bewältigung dieser Herausforderungen. Diese Arbeit befasst sich mit wichtigen Aspekten von Gestenerkennungssystemen. Von der Radarsignalverarbeitung, über maschinelle Lernmodelle, Datenerweiterung bis hin zu Multisensorsystemen werden die Herausforderungen der realen Welt angegangen. Damit wird der Grundstein für den umfassenden Einsatz von Gestenerkennungssystemen in der Praxis gelegt. / Human-computer interaction has become part of our daily lives. RADAR stands out as a very promising sensor, with its small size, low power consumption, and affordability. Compared to other sensors, such as cameras and LIDAR, RADAR can work in a variety of environments, and it is not affected by light. Most importantly, there is no risk of infringing on user's privacy. Among the many types of RADAR, FMCW RADAR is utilised for gesture recognition due to its ability to observe multiple targets and to measure range, velocity and angle, as well as its relatively simple hardware and signal processing. RADAR-based gesture recognition can be applied in a variety of domains. For example, for health and safety considerations, the use of RADAR-based gesture recognition systems can avoid physical contact and reduce the possibility of contamination. Similarly, in automotive applications, contactless control of certain functions, such as turning on the air conditioning, can improve the user experience and contribute to safer driving. There are still many challenges in implementing an artificial intelligence-based gesture recognition system using RADAR, such as interpreting data, collecting training data, optimising computational complexity and improving system robustness. This work will focus on addressing these challenges. This thesis addresses key aspects of gesture recognition systems. From RADAR signal processing, machine learning models, data augmentation to multi-sensor systems, the challenges posed by real-world scenarios are tackled. This lays the foundation for a comprehensive deployment of gesture recognition systems for many practical applications.

This work aims to introduce a methodology for the virtual assessment of inertial measurement unit (IMU)-based Body-Attached Sensor Networks (BASNs) for gesture recognition. This design framework consists of three main parts: (i) multibody modelling of the human upper body, (ii) simulation of human gestures along with data acquisition from modelled IMUs, and (iii) determination of the optimal number of sensors to include in the network along with their placements on the body. By using simulation, the boundary conditions of BASNs can be assessed in a short time without the need for costly and time-consuming user studies.