Mit der Interaktionstechnik der "direkten Objektmanipulation" für virtuelle Umgebungen wird angestrebt, virtuelle Objekte genauso realistisch und flexibel handhaben zu können, wie das bei realen Objekten der Fall ist. Das bedeutet, virtuelle Objekte können mittels eines Handmodells direkt berührt, ergriffen, getragen, gedrückt und gezogen werden. Diese Interaktionstechnik findet vor allem dort Anwendung, wo Objektmanipulationen möglichst realistisch simuliert und erfasst werden sollen, z.B. bei Ergonomieuntersuchungen, virtuellem Prototyping, Trainingssimulationen usw. Neben einigen Ansätzen zur technischen Umsetzung von direkten Objektmanipulationen werden in dieser Arbeit vor allem Konzepte und Verfahren entwickelt und vorgestellt, die eine Erfassung und Analyse von Benutzerinteraktionen unter Verwendung dieser Interaktionstechnik ermöglichen. Eine wichtige Rolle spielt dabei die Untersuchung von Greifvorgängen, insbesondere die automatische Erkennung von Greifarten. Dazu wurden mehrere ausführliche empirische Studien mit einer neuartigen systematischen Methodik durchgeführt, woraus sich Empfehlungen für die Wahl von Klassifikationsverfahren und die Zusammensetzung der Merkmale ergeben. Ein weiteres Ergebnis ist eine neue Taxonomie von Greifarten, die speziell auf den Einsatz in virtueller Realität zugeschnitten ist und sich durch die Integration nicht-prehensiler Greifarten auszeichnet. Als weiterer wesentlicher Beitrag wird ein Analyseverfahren vorgestellt, mit dem der kontinuierliche Strom von Bewegungs- und Interaktionsdaten in Sequenzen von diskreten sinntragenden Basisinteraktionen zerlegt werden kann. Diese Sequenzen können anschließend manuell ausgewertet oder im Rahmen des "Action Capture"-Verfahrens in eine abstrakte Aktionsrepräsentation überführt und durch unterschiedliche virtuelle Figuren wiedergegeben werden.

La réalisation de tâches de manipulation dextres requiert une complexité aussi bien dans la conception de préhenseur robotique que dans la synthèse de leurs lois de commande. Une optimisation de la mécatronique de ces systèmes permet de répondre aux contraintes d'intégration fonctionnelle en se passant de capteurs de force terminaux. L'utilisation de mécanismes réversibles rend alors possible la détermination du positionnement du système dans l'espace libre et la détection de son interaction avec les objets manipulés, grâce aux mesures proprioceptives inhérentes aux actionneurs électriques. L'objectif de cette thèse est de parvenir synthétiser, dans le contexte articulaire (un degré-de-liberté), une commande adaptée à la manipulation en tenant compte de ces particularités mécaniques. La méthode proposée est basée sur une commande robuste par rapport aux non-linéarités structurelles dues aux effets gravitationnels et aux frottements secs d'une part et par rapport aux rigidités variables des objets manipulés. L'approche choisie nécessite la connaissance précise de la configuration du système étudié à chaque instant. Une représentation dynamique de son comportement permet de synthétiser un capteur logiciel pour l'estimation des grandeurs indispensables à la commande. Ces différentes étapes sont validées par des essais expérimentaux pour justifier la démarche choisie menant à une commande adaptée à la manipulation d'objets. / The realization of dexterous manipulation tasks requires a complexity in robotic hands design as well as in their control laws synthesis. A mecatronical optimization of these systems helps to answer for functional integration constraints by avoiding external force sensors. Back-drivable mechanics allows the free-space positioning determination of such system as far as the detection of its interaction with a manipulated object thanks to proprioceptives measures at electric actuator level. The objective of this thesis is to synthesize a control law adapted to object manipulation by taking into account these mechanical properties in a one degree-of-freedom case. The proposed method is based on a robust control according to structural non-linearities due to gravitational effects and dry frictions on the one hand and with regard to a variable rigidity of manipulated objects on the other hand. The chosen approach requires a precise knowledge of the system configuration at all time. A dynamic representation of its behavior enables a software sensor synthesis for the exteroceptives variables estimation in a control law application purpose. The different steps are experimentally validated in order to justify the chosen approach leading to object manipulation.

Remote communication methods have been changing these years and becoming even more important due to the global pandemic. Holographic communication, often represented by volumetric video, is one of the emerging communication methods. Unfortunately, there are few researches on combining 3D objects with volumetric videos. Based on a review of 3D object manipulation methods, two input modalities including laptop trackpad and mobile touchscreen are selected to combine with the volumetric video production. This study aims to explore human factors in volumetric video production and determines the differences between different 3D object input modalities in volumetric video production. A prototype of a volumetric video production tool is built and refined. NASA-TLX, SUS sub-scale, and semi-structured interview are performed in a pilot study and the main study, in order to measure the perceived workload and learnability of the prototype. Analysis of the subjective data demonstrates that there are no significant differences between those two input modalities. Several implications for the design and research gap of combining 3D object manipulation with volumetric video production have been brought up based on the results of this study. / Metoder för fjärrkommunikation har förändrats under dessa år och blivit ännu viktigare på grund av den globala pandemin. Holografisk kommunikation, ofta representerad av volymetrisk video, är en av de framväxande kommunikationsmetoderna. Tyvärr finns det få undersökningar om att kombinera 3D-objekt med volymetriska videor. Baserat på en genomgång av 3D-objektmanipulationsmetoder, väljs två inmatningsmodaliteter inklusive styrplatta för bärbar dator och mobil pekskärm för att kombineras med den volymetriska videoproduktionen. Denna studie syftar till att utforska mänskliga faktorer i volymetrisk videoproduktion och fastställa skillnaderna mellan olika 3D-objektinmatningsmodaliteter i volymetrisk videoproduktion. En prototyp av ett volymetriskt videoproduktionsverktyg byggs och förfinas. NASA-TLX, SUS sub-scale och semi-strukturerad intervju utförs i en pilotstudie och huvudstudien, för att mäta den upplevda arbetsbelastningen och inlärbarheten av prototypen. Analys av subjektiva data visar att det inte finns några signifikanta skillnader mellan dessa två inmatningsmodaliteter. Flera implikationer för design- och forskningsgapet av att kombinera 3D-objektmanipulation med volymetrisk videoproduktion har tagits upp baserat på resultaten av denna studie.

Le système perceptif d’un chirurgien doit s’adapter aux contraintes multisensorielles liées à la chirurgie guidée par l’image. Trois expériences sont conçues pour explorer ces contraintes visuelles et haptiques pour l’apprentissage guidé par l’image. Les résultats montrent que les sujets sont plus rapides et plus précis avec une vision directe. La stéréoscopie 3D n’améliore pas les performances des débutants complets. En réalité virtuelle, la variation de la longueur, largeur, position et complexité de l'objet affecte les performances motrices. La force de préhension appliquée sur un système robotique chirurgical dépend de l'expérience de l'utilisateur. En conclusion, le temps et la précision sont importants, mais la précision doit rester une priorité pour un apprenti. L'homogénéité des groupes d'étude est important pour la recherche sur la formation chirurgicale. Les résultats ont un impact direct sur le suivi des compétences individuelles pour les applications guidées par l'image. / Perceptual system of a surgeon must adapt to conditions of multisensorial constrains regard to planning, control, and execution of the image-guided surgical operations. Three experimental setups are designed to explore these visual and haptic constraints in the image-guided training. Results show that subjects are faster and more precise with direct vision compared to image guidance. Stereoscopic 3D viewing does not represent a performance advantage for complete beginners. In virtual reality, variation in object length, width, position, and complexity affect the motor performance. Applied grip force on a surgical robot system depends on the user experience level. In conclusion, both time and precision matter critically, but trainee gets as precise as possible before getting faster should be a priority. Study group homogeneity and background play key role in surgical training research. The findings have direct implications for individual skill monitoring for image-guided applications.

Mit der Interaktionstechnik der "direkten Objektmanipulation" für virtuelle Umgebungen wird angestrebt, virtuelle Objekte genauso realistisch und flexibel handhaben zu können, wie das bei realen Objekten der Fall ist. Das bedeutet, virtuelle Objekte können mittels eines Handmodells direkt berührt, ergriffen, getragen, gedrückt und gezogen werden. Diese Interaktionstechnik findet vor allem dort Anwendung, wo Objektmanipulationen möglichst realistisch simuliert und erfasst werden sollen, z.B. bei Ergonomieuntersuchungen, virtuellem Prototyping, Trainingssimulationen usw. Neben einigen Ansätzen zur technischen Umsetzung von direkten Objektmanipulationen werden in dieser Arbeit vor allem Konzepte und Verfahren entwickelt und vorgestellt, die eine Erfassung und Analyse von Benutzerinteraktionen unter Verwendung dieser Interaktionstechnik ermöglichen. Eine wichtige Rolle spielt dabei die Untersuchung von Greifvorgängen, insbesondere die automatische Erkennung von Greifarten. Dazu wurden mehrere ausführliche empirische Studien mit einer neuartigen systematischen Methodik durchgeführt, woraus sich Empfehlungen für die Wahl von Klassifikationsverfahren und die Zusammensetzung der Merkmale ergeben. Ein weiteres Ergebnis ist eine neue Taxonomie von Greifarten, die speziell auf den Einsatz in virtueller Realität zugeschnitten ist und sich durch die Integration nicht-prehensiler Greifarten auszeichnet. Als weiterer wesentlicher Beitrag wird ein Analyseverfahren vorgestellt, mit dem der kontinuierliche Strom von Bewegungs- und Interaktionsdaten in Sequenzen von diskreten sinntragenden Basisinteraktionen zerlegt werden kann. Diese Sequenzen können anschließend manuell ausgewertet oder im Rahmen des "Action Capture"-Verfahrens in eine abstrakte Aktionsrepräsentation überführt und durch unterschiedliche virtuelle Figuren wiedergegeben werden.:Abbildungsverzeichnis ix Tabellenverzeichnis xiii Verzeichnis der Listings xv 1. Einleitung 1 1.1. Wissenschaftlicher Kontext und Abgrenzung 2 1.2. Zielsetzung und Beitrag 3 1.3. Aufbau der Arbeit 5 2. Interaktion in virtuellen Umgebungen 7 2.1. Grundbegriffe 7 2.2. Techniken der Interaktion in virtuellen Umgebungen 10 2.2.1. Zeigerbasierte Interaktion 10 2.2.2. Multimodale Interaktion 11 2.2.3. Direkte Objektmanipulation 12 2.3. Eingabegeräte 14 2.3.1. Positionstracker 14 2.3.2. Datenhandschuh (Cyberglove) 15 2.3.3. Fingertracker 18 2.4. Virtuelle Objekte 20 2.4.1. Funktionale Komponenten virtueller Umgebungen 20 2.4.2. Artikulierte Objekte und Stellteile 21 2.4.3. Die Industrienorm EN 894-3 für Stellteile 23 2.5. Zusammenfassung 24 3. Direkte Objektmanipulation in der Realität 25 3.1. Menschliches Greifen 25 3.1.1. Anatomische Grundbegriffe der menschlichen Hand 26 3.1.2. Eigenschaften von Greifvorgängen 28 3.2. Taxonomien von Greifarten 31 3.2.1. Greifarten nach Schlesinger 32 3.2.2. Griffkategorien nach Napier 34 3.2.3. Taxonomie von Greifarten nach Cutkosky 37 3.2.4. Taxonomie von Greifarten nach Kamakura 38 3.3. Eine spezielle Grifftaxonomie für Objektmanipulationen in VR 41 3.3.1. Anforderungen an eine Grifftaxonomie 41 3.3.2. Erfüllung dieser Anforderungen durch bestehende Taxonomien 43 3.3.3. Entwurfsprozess der Taxonomie 44 3.3.4. Detailbeschreibung der neuen Taxonomie 46 3.4. Zusammenfassung 51 4. Umsetzung direkter Objektmanipulation in virtuellen Umgebungen 53 4.1. Annotierte Objekte 53 4.1.1. Deklaration annotierter Objekte 55 4.1.2. Szenende?nitionen 58 4.1.3. Implementierung annotierter Objekte 60 4.2. Virtuelle Stellteile 62 4.2.1. Implementierung virtueller Stellteile 62 4.2.2. Stellteilereignisse 66 4.3. Virtuelles Handmodell 67 4.3.1. Deklaration des Handmodells 69 4.3.2. Implementierung des Handmodells 70 4.3.3. Physikalisches Handmodell 72 4.4. Simulation des Greifens 72 4.4.1. Implementierung der Geometrie-basierten Simulation 74 4.4.2. Implementierung der Sensor-Kräfte-basierten Simulation 75 4.4.3. Implementierung der Dynamik-basierten Simulation 76 4.5. Zusammenfassung 77 5. Automatische Erkennung von Greifarten 79 5.1. Verwandte Arbeiten 80 5.2. Methodik 81 5.3. Erkennung basierend auf Rohdaten des Cyberglove 82 5.3.1. Erste Studie (CG-S-R): Cyberglove-Rohdaten, Schlesinger-Taxonomie, reale Objekte 83 5.3.2. Anschlussstudie zur Verbesserung der Generalisierungsfähigkeit 97 5.3.3. Zweite Studie (CG-H-R): Cyberglove-Rohdaten, neue Taxonomie, reale Objekte 108 5.4. Erkennung basierend auf Gelenkwinkeln des Fingertrackings 119 5.4.1. Dritte Studie (FT3-S-R): Fingertracking, Schlesinger-Taxonomie, reale Objekte 119 5.4.2. Vierte Studie (FT5-S-V): Fingertracking, Schlesinger-Taxonomie, virtuelle Objekte 130 5.5. Vergleichende Diskussion aller Studien 143 5.6. Zusammenfassung 146 6. Erfassung und Analyse von direkten Objektmanipulationen in virtuellen Umgebungen 149 6.1. Erfassung und Aufzeichnung von Interaktionen 149 6.1.1. Ebene 0 - Rohdaten der Eingabegeräte 150 6.1.2. Ebene 1 - Bewegungsdaten der Körpermodells 151 6.1.3. Ebene 2 - Interaktionsdaten 152 6.2. Basisinteraktionen 153 6.2.1. Taxonomie von Basisinteraktionen 153 6.2.2. Detailbeschreibung der Basisinteraktionen 154 6.3. Erkennung von Basisinteraktionen 157 6.3.1. Segmentierung der Bewegungen 158 6.3.2. Verarbeitung von Kontaktinformationen 160 6.3.3. Verarbeitung von Stellteilereignissen 161 6.3.4. Weiterverarbeitung von Basisinteraktionen 162 6.4. Interaktionsereignisse 162 6.4.1. Typen von Interaktionsereignissen 163 6.4.2. XML-Format 164 6.4.3. Typabhängige Inhalte 166 6.4.4. Sequenzen von Interaktionsereignissen 171 6.4.5. Visualisierung von Interaktionsereignissen 171 6.5. Interaktionsdatenbank 172 6.5.1. Interaktionskanäle 173 6.5.2. Aufzeichnungssitzungen 174 6.6. Zusammenfassung 176 7. Beispielszenarien 179 7.1. Objekt an andere Position tragen (pick and place) 180 7.1.1. Die Werkbank-Szene 180 7.1.2. Interaktionssequenz im Detail 181 7.2. Stellteilbedienung 191 7.2.1. Die Pult-Szene 191 7.2.2. Die Interaktionssequenz mit dem Stellteil im Detail 192 7.3. Beispiel eines virtuellen Prototyps 200 7.3.1. Die Autocockpit-Szene 200 7.3.2. Aufgezeichnete Aktionssequenz 201 7.4. Zusammenfassung 203 8. Zusammenfassung und Ausblick 205 8.1. Ergebnisse 205 8.2. Einbettung der Arbeit in das „Action Capture“-Verfahren 209 8.2.1. Automatische Generierung von Aktionsbeschreibungen 209 8.2.2. Erzeugung von Animationen 211 8.3. Diskussion: Limitierungen und Anwendbarkeit des vorgestellten Ansatzes 213 8.4. Ausblick 215 A. Schemata der XML-Formate 219 A.1. Interaktionsereignisse 219 A.2. Handsensoren 223 A.3. Annotierte Objekte 224 A.4. Szenenbeschreibung 226 B. Abkürzungsverzeichnis 227 Literaturverzeichnis 229