Today, most robots used in the industry are preprogrammed and require a welldefined and controlled environment. Reprogramming such robots is often a costly process requiring an expert. By enabling robots to learn tasks from human demonstration, robot installation and task reprogramming are simplified. In a longer time perspective, the vision is that robots will move out of factories into our homes and offices. Robots should be able to learn how to set a table or how to fill the dishwasher. Clearly, robot learning mechanisms are required to enable robots to adapt and operate in a dynamic environment, in contrast to the well defined factory assembly line. This thesis presents contributions in the field of robot task learning. A distinction is made between direct and indirect learning. Using direct learning, the robot learns tasks while being directly controlled by a human, for example in a teleoperative setting. Indirect learning, however, allows the robot to learn tasks by observing a human performing them. A challenging and realistic assumption that is decisive for the indirect learning approach is that the task relevant objects are not necessarily at the same location at execution time as when the learning took place. Thus, it is not sufficient to learn movement trajectories and absolute coordinates. Different methods are required for a robot that is to learn tasks in a dynamic home or office environment. This thesis presents contributions to several of these enabling technologies. Object detection and recognition are used together with pose estimation in a Programming by Demonstration scenario. The vision system is integrated with a localization module which enables the robot to learn mobile tasks. The robot is able to recognize human grasp types, map human grasps to its own hand and also evaluate suitable grasps before grasping an object. The robot can learn tasks from a single demonstration, but it also has the ability to adapt and refine its knowledge as more demonstrations are given. Here, the ability to generalize over multiple demonstrations is important and we investigate a method for automatically identifying the underlying constraints of the tasks. The majority of the methods have been implemented on a real, mobile robot, featuring a camera, an arm for manipulation and a parallel-jaw gripper. The experiments were conducted in an everyday environment with real, textured objects of various shape, size and color. / QC 20100706

Mit der Interaktionstechnik der "direkten Objektmanipulation" für virtuelle Umgebungen wird angestrebt, virtuelle Objekte genauso realistisch und flexibel handhaben zu können, wie das bei realen Objekten der Fall ist. Das bedeutet, virtuelle Objekte können mittels eines Handmodells direkt berührt, ergriffen, getragen, gedrückt und gezogen werden. Diese Interaktionstechnik findet vor allem dort Anwendung, wo Objektmanipulationen möglichst realistisch simuliert und erfasst werden sollen, z.B. bei Ergonomieuntersuchungen, virtuellem Prototyping, Trainingssimulationen usw. Neben einigen Ansätzen zur technischen Umsetzung von direkten Objektmanipulationen werden in dieser Arbeit vor allem Konzepte und Verfahren entwickelt und vorgestellt, die eine Erfassung und Analyse von Benutzerinteraktionen unter Verwendung dieser Interaktionstechnik ermöglichen. Eine wichtige Rolle spielt dabei die Untersuchung von Greifvorgängen, insbesondere die automatische Erkennung von Greifarten. Dazu wurden mehrere ausführliche empirische Studien mit einer neuartigen systematischen Methodik durchgeführt, woraus sich Empfehlungen für die Wahl von Klassifikationsverfahren und die Zusammensetzung der Merkmale ergeben. Ein weiteres Ergebnis ist eine neue Taxonomie von Greifarten, die speziell auf den Einsatz in virtueller Realität zugeschnitten ist und sich durch die Integration nicht-prehensiler Greifarten auszeichnet. Als weiterer wesentlicher Beitrag wird ein Analyseverfahren vorgestellt, mit dem der kontinuierliche Strom von Bewegungs- und Interaktionsdaten in Sequenzen von diskreten sinntragenden Basisinteraktionen zerlegt werden kann. Diese Sequenzen können anschließend manuell ausgewertet oder im Rahmen des "Action Capture"-Verfahrens in eine abstrakte Aktionsrepräsentation überführt und durch unterschiedliche virtuelle Figuren wiedergegeben werden.

Mit der Interaktionstechnik der "direkten Objektmanipulation" für virtuelle Umgebungen wird angestrebt, virtuelle Objekte genauso realistisch und flexibel handhaben zu können, wie das bei realen Objekten der Fall ist. Das bedeutet, virtuelle Objekte können mittels eines Handmodells direkt berührt, ergriffen, getragen, gedrückt und gezogen werden. Diese Interaktionstechnik findet vor allem dort Anwendung, wo Objektmanipulationen möglichst realistisch simuliert und erfasst werden sollen, z.B. bei Ergonomieuntersuchungen, virtuellem Prototyping, Trainingssimulationen usw. Neben einigen Ansätzen zur technischen Umsetzung von direkten Objektmanipulationen werden in dieser Arbeit vor allem Konzepte und Verfahren entwickelt und vorgestellt, die eine Erfassung und Analyse von Benutzerinteraktionen unter Verwendung dieser Interaktionstechnik ermöglichen. Eine wichtige Rolle spielt dabei die Untersuchung von Greifvorgängen, insbesondere die automatische Erkennung von Greifarten. Dazu wurden mehrere ausführliche empirische Studien mit einer neuartigen systematischen Methodik durchgeführt, woraus sich Empfehlungen für die Wahl von Klassifikationsverfahren und die Zusammensetzung der Merkmale ergeben. Ein weiteres Ergebnis ist eine neue Taxonomie von Greifarten, die speziell auf den Einsatz in virtueller Realität zugeschnitten ist und sich durch die Integration nicht-prehensiler Greifarten auszeichnet. Als weiterer wesentlicher Beitrag wird ein Analyseverfahren vorgestellt, mit dem der kontinuierliche Strom von Bewegungs- und Interaktionsdaten in Sequenzen von diskreten sinntragenden Basisinteraktionen zerlegt werden kann. Diese Sequenzen können anschließend manuell ausgewertet oder im Rahmen des "Action Capture"-Verfahrens in eine abstrakte Aktionsrepräsentation überführt und durch unterschiedliche virtuelle Figuren wiedergegeben werden.:Abbildungsverzeichnis ix Tabellenverzeichnis xiii Verzeichnis der Listings xv 1. Einleitung 1 1.1. Wissenschaftlicher Kontext und Abgrenzung 2 1.2. Zielsetzung und Beitrag 3 1.3. Aufbau der Arbeit 5 2. Interaktion in virtuellen Umgebungen 7 2.1. Grundbegriffe 7 2.2. Techniken der Interaktion in virtuellen Umgebungen 10 2.2.1. Zeigerbasierte Interaktion 10 2.2.2. Multimodale Interaktion 11 2.2.3. Direkte Objektmanipulation 12 2.3. Eingabegeräte 14 2.3.1. Positionstracker 14 2.3.2. Datenhandschuh (Cyberglove) 15 2.3.3. Fingertracker 18 2.4. Virtuelle Objekte 20 2.4.1. Funktionale Komponenten virtueller Umgebungen 20 2.4.2. Artikulierte Objekte und Stellteile 21 2.4.3. Die Industrienorm EN 894-3 für Stellteile 23 2.5. Zusammenfassung 24 3. Direkte Objektmanipulation in der Realität 25 3.1. Menschliches Greifen 25 3.1.1. Anatomische Grundbegriffe der menschlichen Hand 26 3.1.2. Eigenschaften von Greifvorgängen 28 3.2. Taxonomien von Greifarten 31 3.2.1. Greifarten nach Schlesinger 32 3.2.2. Griffkategorien nach Napier 34 3.2.3. Taxonomie von Greifarten nach Cutkosky 37 3.2.4. Taxonomie von Greifarten nach Kamakura 38 3.3. Eine spezielle Grifftaxonomie für Objektmanipulationen in VR 41 3.3.1. Anforderungen an eine Grifftaxonomie 41 3.3.2. Erfüllung dieser Anforderungen durch bestehende Taxonomien 43 3.3.3. Entwurfsprozess der Taxonomie 44 3.3.4. Detailbeschreibung der neuen Taxonomie 46 3.4. Zusammenfassung 51 4. Umsetzung direkter Objektmanipulation in virtuellen Umgebungen 53 4.1. Annotierte Objekte 53 4.1.1. Deklaration annotierter Objekte 55 4.1.2. Szenende?nitionen 58 4.1.3. Implementierung annotierter Objekte 60 4.2. Virtuelle Stellteile 62 4.2.1. Implementierung virtueller Stellteile 62 4.2.2. Stellteilereignisse 66 4.3. Virtuelles Handmodell 67 4.3.1. Deklaration des Handmodells 69 4.3.2. Implementierung des Handmodells 70 4.3.3. Physikalisches Handmodell 72 4.4. Simulation des Greifens 72 4.4.1. Implementierung der Geometrie-basierten Simulation 74 4.4.2. Implementierung der Sensor-Kräfte-basierten Simulation 75 4.4.3. Implementierung der Dynamik-basierten Simulation 76 4.5. Zusammenfassung 77 5. Automatische Erkennung von Greifarten 79 5.1. Verwandte Arbeiten 80 5.2. Methodik 81 5.3. Erkennung basierend auf Rohdaten des Cyberglove 82 5.3.1. Erste Studie (CG-S-R): Cyberglove-Rohdaten, Schlesinger-Taxonomie, reale Objekte 83 5.3.2. Anschlussstudie zur Verbesserung der Generalisierungsfähigkeit 97 5.3.3. Zweite Studie (CG-H-R): Cyberglove-Rohdaten, neue Taxonomie, reale Objekte 108 5.4. Erkennung basierend auf Gelenkwinkeln des Fingertrackings 119 5.4.1. Dritte Studie (FT3-S-R): Fingertracking, Schlesinger-Taxonomie, reale Objekte 119 5.4.2. Vierte Studie (FT5-S-V): Fingertracking, Schlesinger-Taxonomie, virtuelle Objekte 130 5.5. Vergleichende Diskussion aller Studien 143 5.6. Zusammenfassung 146 6. Erfassung und Analyse von direkten Objektmanipulationen in virtuellen Umgebungen 149 6.1. Erfassung und Aufzeichnung von Interaktionen 149 6.1.1. Ebene 0 - Rohdaten der Eingabegeräte 150 6.1.2. Ebene 1 - Bewegungsdaten der Körpermodells 151 6.1.3. Ebene 2 - Interaktionsdaten 152 6.2. Basisinteraktionen 153 6.2.1. Taxonomie von Basisinteraktionen 153 6.2.2. Detailbeschreibung der Basisinteraktionen 154 6.3. Erkennung von Basisinteraktionen 157 6.3.1. Segmentierung der Bewegungen 158 6.3.2. Verarbeitung von Kontaktinformationen 160 6.3.3. Verarbeitung von Stellteilereignissen 161 6.3.4. Weiterverarbeitung von Basisinteraktionen 162 6.4. Interaktionsereignisse 162 6.4.1. Typen von Interaktionsereignissen 163 6.4.2. XML-Format 164 6.4.3. Typabhängige Inhalte 166 6.4.4. Sequenzen von Interaktionsereignissen 171 6.4.5. Visualisierung von Interaktionsereignissen 171 6.5. Interaktionsdatenbank 172 6.5.1. Interaktionskanäle 173 6.5.2. Aufzeichnungssitzungen 174 6.6. Zusammenfassung 176 7. Beispielszenarien 179 7.1. Objekt an andere Position tragen (pick and place) 180 7.1.1. Die Werkbank-Szene 180 7.1.2. Interaktionssequenz im Detail 181 7.2. Stellteilbedienung 191 7.2.1. Die Pult-Szene 191 7.2.2. Die Interaktionssequenz mit dem Stellteil im Detail 192 7.3. Beispiel eines virtuellen Prototyps 200 7.3.1. Die Autocockpit-Szene 200 7.3.2. Aufgezeichnete Aktionssequenz 201 7.4. Zusammenfassung 203 8. Zusammenfassung und Ausblick 205 8.1. Ergebnisse 205 8.2. Einbettung der Arbeit in das „Action Capture“-Verfahren 209 8.2.1. Automatische Generierung von Aktionsbeschreibungen 209 8.2.2. Erzeugung von Animationen 211 8.3. Diskussion: Limitierungen und Anwendbarkeit des vorgestellten Ansatzes 213 8.4. Ausblick 215 A. Schemata der XML-Formate 219 A.1. Interaktionsereignisse 219 A.2. Handsensoren 223 A.3. Annotierte Objekte 224 A.4. Szenenbeschreibung 226 B. Abkürzungsverzeichnis 227 Literaturverzeichnis 229