Mit der Interaktionstechnik der "direkten Objektmanipulation" für virtuelle Umgebungen wird angestrebt, virtuelle Objekte genauso realistisch und flexibel handhaben zu können, wie das bei realen Objekten der Fall ist. Das bedeutet, virtuelle Objekte können mittels eines Handmodells direkt berührt, ergriffen, getragen, gedrückt und gezogen werden. Diese Interaktionstechnik findet vor allem dort Anwendung, wo Objektmanipulationen möglichst realistisch simuliert und erfasst werden sollen, z.B. bei Ergonomieuntersuchungen, virtuellem Prototyping, Trainingssimulationen usw. Neben einigen Ansätzen zur technischen Umsetzung von direkten Objektmanipulationen werden in dieser Arbeit vor allem Konzepte und Verfahren entwickelt und vorgestellt, die eine Erfassung und Analyse von Benutzerinteraktionen unter Verwendung dieser Interaktionstechnik ermöglichen. Eine wichtige Rolle spielt dabei die Untersuchung von Greifvorgängen, insbesondere die automatische Erkennung von Greifarten. Dazu wurden mehrere ausführliche empirische Studien mit einer neuartigen systematischen Methodik durchgeführt, woraus sich Empfehlungen für die Wahl von Klassifikationsverfahren und die Zusammensetzung der Merkmale ergeben. Ein weiteres Ergebnis ist eine neue Taxonomie von Greifarten, die speziell auf den Einsatz in virtueller Realität zugeschnitten ist und sich durch die Integration nicht-prehensiler Greifarten auszeichnet. Als weiterer wesentlicher Beitrag wird ein Analyseverfahren vorgestellt, mit dem der kontinuierliche Strom von Bewegungs- und Interaktionsdaten in Sequenzen von diskreten sinntragenden Basisinteraktionen zerlegt werden kann. Diese Sequenzen können anschließend manuell ausgewertet oder im Rahmen des "Action Capture"-Verfahrens in eine abstrakte Aktionsrepräsentation überführt und durch unterschiedliche virtuelle Figuren wiedergegeben werden.

Remote communication methods have been changing these years and becoming even more important due to the global pandemic. Holographic communication, often represented by volumetric video, is one of the emerging communication methods. Unfortunately, there are few researches on combining 3D objects with volumetric videos. Based on a review of 3D object manipulation methods, two input modalities including laptop trackpad and mobile touchscreen are selected to combine with the volumetric video production. This study aims to explore human factors in volumetric video production and determines the differences between different 3D object input modalities in volumetric video production. A prototype of a volumetric video production tool is built and refined. NASA-TLX, SUS sub-scale, and semi-structured interview are performed in a pilot study and the main study, in order to measure the perceived workload and learnability of the prototype. Analysis of the subjective data demonstrates that there are no significant differences between those two input modalities. Several implications for the design and research gap of combining 3D object manipulation with volumetric video production have been brought up based on the results of this study. / Metoder för fjärrkommunikation har förändrats under dessa år och blivit ännu viktigare på grund av den globala pandemin. Holografisk kommunikation, ofta representerad av volymetrisk video, är en av de framväxande kommunikationsmetoderna. Tyvärr finns det få undersökningar om att kombinera 3D-objekt med volymetriska videor. Baserat på en genomgång av 3D-objektmanipulationsmetoder, väljs två inmatningsmodaliteter inklusive styrplatta för bärbar dator och mobil pekskärm för att kombineras med den volymetriska videoproduktionen. Denna studie syftar till att utforska mänskliga faktorer i volymetrisk videoproduktion och fastställa skillnaderna mellan olika 3D-objektinmatningsmodaliteter i volymetrisk videoproduktion. En prototyp av ett volymetriskt videoproduktionsverktyg byggs och förfinas. NASA-TLX, SUS sub-scale och semi-strukturerad intervju utförs i en pilotstudie och huvudstudien, för att mäta den upplevda arbetsbelastningen och inlärbarheten av prototypen. Analys av subjektiva data visar att det inte finns några signifikanta skillnader mellan dessa två inmatningsmodaliteter. Flera implikationer för design- och forskningsgapet av att kombinera 3D-objektmanipulation med volymetrisk videoproduktion har tagits upp baserat på resultaten av denna studie.

Mit der Interaktionstechnik der "direkten Objektmanipulation" für virtuelle Umgebungen wird angestrebt, virtuelle Objekte genauso realistisch und flexibel handhaben zu können, wie das bei realen Objekten der Fall ist. Das bedeutet, virtuelle Objekte können mittels eines Handmodells direkt berührt, ergriffen, getragen, gedrückt und gezogen werden. Diese Interaktionstechnik findet vor allem dort Anwendung, wo Objektmanipulationen möglichst realistisch simuliert und erfasst werden sollen, z.B. bei Ergonomieuntersuchungen, virtuellem Prototyping, Trainingssimulationen usw. Neben einigen Ansätzen zur technischen Umsetzung von direkten Objektmanipulationen werden in dieser Arbeit vor allem Konzepte und Verfahren entwickelt und vorgestellt, die eine Erfassung und Analyse von Benutzerinteraktionen unter Verwendung dieser Interaktionstechnik ermöglichen. Eine wichtige Rolle spielt dabei die Untersuchung von Greifvorgängen, insbesondere die automatische Erkennung von Greifarten. Dazu wurden mehrere ausführliche empirische Studien mit einer neuartigen systematischen Methodik durchgeführt, woraus sich Empfehlungen für die Wahl von Klassifikationsverfahren und die Zusammensetzung der Merkmale ergeben. Ein weiteres Ergebnis ist eine neue Taxonomie von Greifarten, die speziell auf den Einsatz in virtueller Realität zugeschnitten ist und sich durch die Integration nicht-prehensiler Greifarten auszeichnet. Als weiterer wesentlicher Beitrag wird ein Analyseverfahren vorgestellt, mit dem der kontinuierliche Strom von Bewegungs- und Interaktionsdaten in Sequenzen von diskreten sinntragenden Basisinteraktionen zerlegt werden kann. Diese Sequenzen können anschließend manuell ausgewertet oder im Rahmen des "Action Capture"-Verfahrens in eine abstrakte Aktionsrepräsentation überführt und durch unterschiedliche virtuelle Figuren wiedergegeben werden.:Abbildungsverzeichnis ix Tabellenverzeichnis xiii Verzeichnis der Listings xv 1. Einleitung 1 1.1. Wissenschaftlicher Kontext und Abgrenzung 2 1.2. Zielsetzung und Beitrag 3 1.3. Aufbau der Arbeit 5 2. Interaktion in virtuellen Umgebungen 7 2.1. Grundbegriffe 7 2.2. Techniken der Interaktion in virtuellen Umgebungen 10 2.2.1. Zeigerbasierte Interaktion 10 2.2.2. Multimodale Interaktion 11 2.2.3. Direkte Objektmanipulation 12 2.3. Eingabegeräte 14 2.3.1. Positionstracker 14 2.3.2. Datenhandschuh (Cyberglove) 15 2.3.3. Fingertracker 18 2.4. Virtuelle Objekte 20 2.4.1. Funktionale Komponenten virtueller Umgebungen 20 2.4.2. Artikulierte Objekte und Stellteile 21 2.4.3. Die Industrienorm EN 894-3 für Stellteile 23 2.5. Zusammenfassung 24 3. Direkte Objektmanipulation in der Realität 25 3.1. Menschliches Greifen 25 3.1.1. Anatomische Grundbegriffe der menschlichen Hand 26 3.1.2. Eigenschaften von Greifvorgängen 28 3.2. Taxonomien von Greifarten 31 3.2.1. Greifarten nach Schlesinger 32 3.2.2. Griffkategorien nach Napier 34 3.2.3. Taxonomie von Greifarten nach Cutkosky 37 3.2.4. Taxonomie von Greifarten nach Kamakura 38 3.3. Eine spezielle Grifftaxonomie für Objektmanipulationen in VR 41 3.3.1. Anforderungen an eine Grifftaxonomie 41 3.3.2. Erfüllung dieser Anforderungen durch bestehende Taxonomien 43 3.3.3. Entwurfsprozess der Taxonomie 44 3.3.4. Detailbeschreibung der neuen Taxonomie 46 3.4. Zusammenfassung 51 4. Umsetzung direkter Objektmanipulation in virtuellen Umgebungen 53 4.1. Annotierte Objekte 53 4.1.1. Deklaration annotierter Objekte 55 4.1.2. Szenende?nitionen 58 4.1.3. Implementierung annotierter Objekte 60 4.2. Virtuelle Stellteile 62 4.2.1. Implementierung virtueller Stellteile 62 4.2.2. Stellteilereignisse 66 4.3. Virtuelles Handmodell 67 4.3.1. Deklaration des Handmodells 69 4.3.2. Implementierung des Handmodells 70 4.3.3. Physikalisches Handmodell 72 4.4. Simulation des Greifens 72 4.4.1. Implementierung der Geometrie-basierten Simulation 74 4.4.2. Implementierung der Sensor-Kräfte-basierten Simulation 75 4.4.3. Implementierung der Dynamik-basierten Simulation 76 4.5. Zusammenfassung 77 5. Automatische Erkennung von Greifarten 79 5.1. Verwandte Arbeiten 80 5.2. Methodik 81 5.3. Erkennung basierend auf Rohdaten des Cyberglove 82 5.3.1. Erste Studie (CG-S-R): Cyberglove-Rohdaten, Schlesinger-Taxonomie, reale Objekte 83 5.3.2. Anschlussstudie zur Verbesserung der Generalisierungsfähigkeit 97 5.3.3. Zweite Studie (CG-H-R): Cyberglove-Rohdaten, neue Taxonomie, reale Objekte 108 5.4. Erkennung basierend auf Gelenkwinkeln des Fingertrackings 119 5.4.1. Dritte Studie (FT3-S-R): Fingertracking, Schlesinger-Taxonomie, reale Objekte 119 5.4.2. Vierte Studie (FT5-S-V): Fingertracking, Schlesinger-Taxonomie, virtuelle Objekte 130 5.5. Vergleichende Diskussion aller Studien 143 5.6. Zusammenfassung 146 6. Erfassung und Analyse von direkten Objektmanipulationen in virtuellen Umgebungen 149 6.1. Erfassung und Aufzeichnung von Interaktionen 149 6.1.1. Ebene 0 - Rohdaten der Eingabegeräte 150 6.1.2. Ebene 1 - Bewegungsdaten der Körpermodells 151 6.1.3. Ebene 2 - Interaktionsdaten 152 6.2. Basisinteraktionen 153 6.2.1. Taxonomie von Basisinteraktionen 153 6.2.2. Detailbeschreibung der Basisinteraktionen 154 6.3. Erkennung von Basisinteraktionen 157 6.3.1. Segmentierung der Bewegungen 158 6.3.2. Verarbeitung von Kontaktinformationen 160 6.3.3. Verarbeitung von Stellteilereignissen 161 6.3.4. Weiterverarbeitung von Basisinteraktionen 162 6.4. Interaktionsereignisse 162 6.4.1. Typen von Interaktionsereignissen 163 6.4.2. XML-Format 164 6.4.3. Typabhängige Inhalte 166 6.4.4. Sequenzen von Interaktionsereignissen 171 6.4.5. Visualisierung von Interaktionsereignissen 171 6.5. Interaktionsdatenbank 172 6.5.1. Interaktionskanäle 173 6.5.2. Aufzeichnungssitzungen 174 6.6. Zusammenfassung 176 7. Beispielszenarien 179 7.1. Objekt an andere Position tragen (pick and place) 180 7.1.1. Die Werkbank-Szene 180 7.1.2. Interaktionssequenz im Detail 181 7.2. Stellteilbedienung 191 7.2.1. Die Pult-Szene 191 7.2.2. Die Interaktionssequenz mit dem Stellteil im Detail 192 7.3. Beispiel eines virtuellen Prototyps 200 7.3.1. Die Autocockpit-Szene 200 7.3.2. Aufgezeichnete Aktionssequenz 201 7.4. Zusammenfassung 203 8. Zusammenfassung und Ausblick 205 8.1. Ergebnisse 205 8.2. Einbettung der Arbeit in das „Action Capture“-Verfahren 209 8.2.1. Automatische Generierung von Aktionsbeschreibungen 209 8.2.2. Erzeugung von Animationen 211 8.3. Diskussion: Limitierungen und Anwendbarkeit des vorgestellten Ansatzes 213 8.4. Ausblick 215 A. Schemata der XML-Formate 219 A.1. Interaktionsereignisse 219 A.2. Handsensoren 223 A.3. Annotierte Objekte 224 A.4. Szenenbeschreibung 226 B. Abkürzungsverzeichnis 227 Literaturverzeichnis 229