The following thesis highlights intercultural misunderstandings that can occur due to different semantic values of emblems, a gesture generally defined as having an accepted verbal translation in a certain culture or community. To illustrate such problems, the semantic meanings of sixteen emblems in Colombia and Germany are analyzed. Misunderstandings caused by the use of these emblems are then explained from a communicative point of view, using Austin’s speech-act theory.

Diese Arbeit untersucht auf Basis der aktuellen Forschung Möglichkeiten, die Interaktion mit humanoiden Robotern variabler und somit attraktiver zu gestalten. Hierzu werden Möglichkeiten betrachtet, Emotionen und Absichten dynamisch mittels parametrisierter Gesten auszudrücken. Zunächst werden Gesten und mögliche Parameter analysiert, die zur Generierung eines Whole-Body-Gestensets notwendig sind, um anschließend diese auf Grund ihrer Auswirkungen auf die Gestenphasen in Intra- und Interphasenparameter zu unterteilen. Dadurch werden die innere und äußere Expressivität einer Geste definiert, die zur Bildung der Single Gesture Expression und der Multi Gesture Expression führen. Diese stellen das Steigerungspotential von Gesten beziehungsweise Absichten dar. Gesten werden anschließend nach Feedback-Arten untergliedert und in Abhängigkeit der Expressivität miteinander in Beziehung gesetzt. Somit entsteht ein Gestenset, das durch die Parameter „Feedback-Art“ und „Expressivität“ bestimmt wird. Besagtes Gestenset wurde daraufhin zur Verwendung durch den humanoiden Roboter Nao innerhalb der Entwicklungsumgebung Choregraphe umgesetzt. Zudem wurde eine Verhaltensbibliothek entwickelt, die sämtliche, implementierte Gesten zur Wiederverwendung enthält. Als Ergebnis entstand ein parametrisiertes Gestenset in Theorie und Praxis, das für die ausdrucksstarke Verwendung durch einen humanoiden Roboter geeignet ist und die Kommunikation und Interaktion zwischen Mensch und Roboter erweitert, verfeinert und verbessert.:1 Einleitung 9 2 Theoretische Hintergründe 11 2.1 Überblick über Gesten 11 2.2 Verwendung von Gesten in der Mensch-Roboter-Interaktion 13 2.2.1 Erkennung von Gesten einer Person durch einen Roboter 13 2.2.2 Verwendung von Gesten durch einen Roboter 15 2.3 Generierung und Parametrisierung von Gesten 17 2.4 Anwendungen von Gesten unter Verwendung des Nao 19 3 Entwurf eines parametrisierten Gestensets 23 3.1 Gestenanalyse 23 3.1.1 Entstehung und Entwicklung von Gesten 23 3.1.2 Analyse alltäglicher Gesten 26 3.1.3 Analyse von Gesten zur Feedback-Gestaltung 29 3.2 Parametrisierung von Gesten 33 3.2.1 Analyse und Bewertung möglicher Parameter 33 3.2.2 Auswahl und Kategorisierung der Parameter 35 3.2.3 Zuordnung der Parametern zu den Gesten 40 3.3 Kategorisierung und Auswahl relevanter Feedback-Gesten 41 3.3.1 Arten des expressiven Ausdrucks 41 3.3.2 Kategorisierung der Gesten anhand von Expressivitätsspannen 43 4 Implementierung des Gestensets für einen humanoiden Roboter 51 4.1 Technische Grundlagen 51 4.2 Grundüberlegungen zur Umsetzung 53 4.2.1 Umsetzung der Gestenerzeugung 53 4.2.2 Umsetzung der Multi Gesture Expression 54 4.3 Implementierung in Choregraphe 56 5 Abschließende Bem 61 5.1 Zusammenfassung 61 5.2 Fazit 62 5.3 Ausblick 63 Literaturverzeichnis 65 Abbildungsverzeichnis 69 Tabellenverzeichnis 71 Anhang 73 A Auswirkungen der Steigerung der Parameter auf die Gesten 73 B Anpassung der Expressivitätsspannen an den Nao und Unterteilung der Gesten in Stufen 79 C Aufbau der implementierten Gestenerzeugung in der Entwicklungsumgebung Choregraphe 83 / This work investigates the possibilities of developing a more variable, and thus attractive, interaction with humanoid robots based on current research. For this purpose possibilities of dynamically expressing emotions and intentions associated with parametrised gestures are contemplated. First, gestures and possible parameters, which are necessary for the generation of a whole-body gesture set, are analysed. Afterwards, these are classified into intraphaseparameters and interphase-parameters depending on their impact on gesture phases. A gesture’s inner and outer expressivity are thereby defined which leads to the establishment of the single gesture expression and the multi gesture expression. These constitute the gesture’s and the intention’s potential for increase. Gestures are subsequently classified by feedback types and are related depending on their expressivity. Hence, a gesture set which is defined by the parameters “feedback type” and “expressivity” is developed. As a result, the aforementioned gesture set has been implemented with the development environment Choregraphe to be used by humanoid robots. Additionally a behaviour library is generated for reusability which contains every implemented gesture. The result reveals a parametrised gesture set in theory and practice which is suitable to be expressively used by a humanoid robot and enhances, refines and improves the human-robot-interaction.:1 Einleitung 9 2 Theoretische Hintergründe 11 2.1 Überblick über Gesten 11 2.2 Verwendung von Gesten in der Mensch-Roboter-Interaktion 13 2.2.1 Erkennung von Gesten einer Person durch einen Roboter 13 2.2.2 Verwendung von Gesten durch einen Roboter 15 2.3 Generierung und Parametrisierung von Gesten 17 2.4 Anwendungen von Gesten unter Verwendung des Nao 19 3 Entwurf eines parametrisierten Gestensets 23 3.1 Gestenanalyse 23 3.1.1 Entstehung und Entwicklung von Gesten 23 3.1.2 Analyse alltäglicher Gesten 26 3.1.3 Analyse von Gesten zur Feedback-Gestaltung 29 3.2 Parametrisierung von Gesten 33 3.2.1 Analyse und Bewertung möglicher Parameter 33 3.2.2 Auswahl und Kategorisierung der Parameter 35 3.2.3 Zuordnung der Parametern zu den Gesten 40 3.3 Kategorisierung und Auswahl relevanter Feedback-Gesten 41 3.3.1 Arten des expressiven Ausdrucks 41 3.3.2 Kategorisierung der Gesten anhand von Expressivitätsspannen 43 4 Implementierung des Gestensets für einen humanoiden Roboter 51 4.1 Technische Grundlagen 51 4.2 Grundüberlegungen zur Umsetzung 53 4.2.1 Umsetzung der Gestenerzeugung 53 4.2.2 Umsetzung der Multi Gesture Expression 54 4.3 Implementierung in Choregraphe 56 5 Abschließende Bem 61 5.1 Zusammenfassung 61 5.2 Fazit 62 5.3 Ausblick 63 Literaturverzeichnis 65 Abbildungsverzeichnis 69 Tabellenverzeichnis 71 Anhang 73 A Auswirkungen der Steigerung der Parameter auf die Gesten 73 B Anpassung der Expressivitätsspannen an den Nao und Unterteilung der Gesten in Stufen 79 C Aufbau der implementierten Gestenerzeugung in der Entwicklungsumgebung Choregraphe 83

Das Ziel der Dissertation war, zu untersuchen, welche Aspekte bei Design und Implementierung von Gestensteuerung im Bereich Mensch-Maschine Interaktion wichtig sind. Der Schwerpunkt des ersten Teiles richtet sich auf Aspekte eines Gestenvokabulars und die Frage eines zusätzlichen Feedbacks unter Bezugnahme auf Usability, mentale Belastung und Nutzerzufriedenheit. Der Schwerpunkt des zweiten Teils liegt auf den Auswirkungen von Gestensteuerung auf das Fahrverhalten. In der vorliegenden Dissertation wurden drei relevante Aspekte von Gestensteuerung herausgestellt. Experiment 1 und 2 der Vorstudie untersuchten, wie ein Gestenvokabular aussehen sollte im Hinblick auf die Form der Gesten und die Anzahl verschiedener Gesten, die in einem System implementiert werden. Als Ergebnis schnitt die höchste Anzahl an Gesten (6) in Bezug auf User Experience und Akzeptanz am besten ab. Ebenso das Gestenset, das an die menschliche Kommunikation angelehnt war. Im Unterschied zur Bedienung eines Touchscreens gibt es bei Gestensteuerung kein direktes haptisches Feedback. Aus diesem Grund wurde in Experiment 3 der Vorstudie untersucht, ob es einen Ersatz für das fehlende direkte Feedback geben sollte. Als Ergebnis kann festgehalten werden, dass alle genutzten Feedback-Varianten nicht signifikant besser abschnitten als die Variante mit keinem zusätzlichen Feedback. Die Simulator- und die VIL-Studie untersuchten den Einfluss von Gestensteuerung auf das Blickverhalten und die Reaktion auf kritische Ereignisse im Straßenverkehr. Für diesen Zweck wurde das Gestensteuerungs-Setup in einen Simulator beziehungsweise das Vehicle in the Loop (VIL) übertragen. Die Simulator-Studie konnte zeigen, dass die Fahrer weniger häufig auf das Display im Fahrzeuginneren schauten wenn sie Gestensteuerung benutzten im Vergleich zu Touchsteuerung. Außerdem fühlten sie sich sicherer und die Gebrauchstauglichkeit wurde als gut beschrieben. Die VIL-Studie konnte einen positiven Einfluss auf Reaktionszeiten auf kritische Ereignisse zeigen. Insgesamt kann damit Gestensteuerung als sichere Alternative für Interaktion im Fahrzeug bezeichnet werden, die darüber hinaus auch beliebt bei den Fahrern zu sein scheint. / This thesis investigates aspects of designing and implementing gestures in human-machine interaction (HMI). The first part focuses on aspects of a gesture set and additional feedback with regard to usability, workload, and user satisfaction. The second part focuses on the impact of gesture-based interaction (GBI) on driving behavior. More specifically, this thesis identifies three elementary aspects of designing a GBI. Pre-study experiments 1 and 2 examine how a gesture set should appear in terms of the shape and number of gestures used. The results indicate that the highest number of gestures, six, performs best in terms of user experience and acceptance. However, a gesture set borrowed from human communication performs equally well. In contrast to touch-based interaction (TBI), direct haptic feedback for mid-air gestures is not present. Therefore, pre-study experiment 3 is conducted in order to determine whether a surrogate is necessary. The results of this experiment suggest that implemented forms of feedback are not rated significantly higher than special feedback. The simulator-study and VIL-study investigate the real-world impact of GBI on driver behavior in terms of gaze behavior and reaction to critical events. For this purpose, the GBI setup is transferred into a simulator environment with a Vehicle in the Loop (VIL) to evaluate GBI for IVIS use. The simulator-study demonstrates that drivers look less to the display when using GBI compared to TBI. Moreover, they feel safer, and the user experience is better rated. Therefore, GBI has a positive impact on driver distraction. The VIL-study reveals a positive impact on reaction times to critical events. In conclusion, gestures can be a safe alternative for in-car interaction, an alternative which is popular among drivers.

This paper demonstrates the relevance of Vilém Flusser’s concept of post-industrial (programmed) apparatus in contemporary programmed media theory, as represented in the paper by software studies. Examples of software art projects that investigate the limits of apparatus programmability are introduced as examples of artistic gestures of freedom. The interpretation is supported by references to the general theory of gesture proposed by Flusser. The paper suggests that this new interpretative method, described by the author as a discipline for the ‘new people’ of the future can serve alongside software studies as an appropriate theory of software art, understood as gestures of freedom within the apparatus of programmed media.

Of the plethora of observations and contextualizations that Vilém Flusser puts forward in his book Gestures (Flusser 2014), I am interested here, and with respect to current research on archival processes relating to performative arts, in his approach to media theory in particular. This is manifest in the section of the book titled “Beyond Machines” and in the three chapters devoted to the gestures that produce “techno-images”, as Flusser himself dubbed them in a previous work (Flusser 1998b: 9-234): the gestures of photographing, filming and video.

Although Flusser speaks about a ‘theory of gestures’, presented in the volume Gestures, his approach can hardly be called a theory. It defines neither subject matter — his examples range from movements of hands to revolutionary movements — nor method. Flusser's approach is however close to media philosophy. The gesture is not an ‘object’ that can be observed as independent from the act of observation. Flusser’s gestures are essentially performative — performing gestures of thinking, which are in the world, and not standing “above”, looking at the world from an objective viewpoint. Flusser’s questions refer to a long philosophical tradition with a specific twist: thinking about and interfering with a technical world.

Denna studie undersöker huruvida kartan har potential som verktyg för bildpedagogik och subversion, det vill säga motstånd. Vidare undersöks hur multiplicitet, en helhet av skillnader, kan framträda genom kartläggning. Dessa frågor behandlas mot bakgrunden av kartans historiska, och samtida, roll i att reproducera makt, identiteter och sanningsanspråk. Studien genomförs genom två separata workshops där deltagarna antar rollen som kartläggare. De två grupper som deltar i studien består av gymnasielever respektive bildlärarstudenter. Kartläggarnas uppdrag är att utforska, dokumentera och gestalta en plats med utgångspunkt i deras egna, sinnliga erfarenheter. Studien utgår ifrån idén om situerade kunskaper, alltså att kunskap måste förstås i relation till specifika subjektspositioner. Studien utgår även ifrån immanens, en världsbild som i motsats till transcendens menar att vår kunskap om världen är begränsad till det som ryms i medvetandet. Genom en fenomenologisk forskningsmetod används kartläggning för att få syn på kartläggarnas upplevelse av platser. Med utgångspunkt i de kartläggningar som studiens deltagare skapar genomförs en diffraktiv analys. En diffraktiv analys studerar och kartlägger de mönster som uppstår som ett resultat av skillnader. På så sätt kan kartläggarnas skilda upplevelser av platserna framträda. I undersökningen finner jag att kartan öppnar upp för flera möjliga ingångar i bildpedagogik. Det framgår även att kartans förmåga att vara ett verktyg för subversion huvudsakligen handlar om att göra motstånd mot den specifika kontext den existerar i. Inom denna studie framgår det därför att subversion handlar om att göra motstånd mot den pedagogiska gesten, alltså den pedagogiska uppmaning eller avgränsning som uppmärksammar världen för ett subjekt. På liknande sätt finner jag att hur kartläggningens multiplicitet framträder beror på den pedagogiska gesten och mina situerade kunskaper som forskare. Med utgångspunkt i detta bearbetas och ifrågasätts begreppet multiplicitet som slutligen omformuleras till att syfta till en världsbild. Studiens resultat pekar därför på hur motstånd sker i relation till gränsdragningar i en gemensam kontext, både historisk och pedagogisk. Resultatet gestaltas vid examinationen i form av en egen karta av Konstfack samt en handout som delas ut för att uppmana till att skapa egna kartor. Kartan målades i akryl på canvas och består av flera fragment i form av bilder från mitt hem under utbildningen, ett Word-dokument, mosaik från en tunnelbanestation samt olika delar av Konstfack. Min tid på Konstfack innefattar mer än vad som ryms inom byggnadens väggar. Jag har därför avgränsat Konstfack på ett sätt som inkluderar platser som jag inte kan separera från skolan, som tunnelbanan eller mitt hem.

The following thesis highlights intercultural misunderstandings that can occur due to different semantic values of emblems, a gesture generally defined as having an accepted verbal translation in a certain culture or community. To illustrate such problems, the semantic meanings of sixteen emblems in Colombia and Germany are analyzed. Misunderstandings caused by the use of these emblems are then explained from a communicative point of view, using Austin’s speech-act theory.

Das Bibliothekswesen steht vor der Herausforderung, die rasant wachsende und umfassende Verbreitung digitaler Medien in neue Nutzungskonzepte einzubinden, beispielsweise durch eine Steigerung der Aufenthaltsqualität. (vgl. Bonte, 2011) Begriffe wie digital library, hybrid library oder blended library versuchen, die Rolle der Bibliotheken im digitalen Zeitalter neu zu definieren. (vgl. Gläser, 2008) Die Sächsische Landes- und Universitätsbibliothek (SLUB) begegnet dieser Herausforderung unter anderem mit dem verstärkten Aufbau digitaler Bestände. Sie verfügt daher über umfangreiche digitale Kollektionen, die mit Hilfe eines geplanten öffentlichen interaktiven Systems für die Bibliotheksbesucher auf ansprechende Weise erfahrbar gemacht werden sollen. Die Exploration der digitalen Sammlungen steht dabei im Vordergrund, bereits existierende Katalogfunktionalität soll nicht ersetzt, sondern ergänzt werden. Zu diesem Zweck wird untersucht, wie durch öffentliche Interaktion das Interesse an digitalen Inhalten am Beispiel der Sammlung „Deutsche Fotothek“ gesteigert werden kann. Dabei wird besonders betrachtet, wie durch Embodied Interaction in Verbindung mit der Visualisierung des komplexen Informationsraumes der digitalen Sammlungen eine leicht erlernbare gestenbasierte Steuerung erreicht werden kann. (Dourish, 2004) Der Hauptbeitrag dieser Arbeit liegt in der Konzeption und Umsetzung eines Anwendungsprototypen, der im öffentlichen Bereich der SLUB installiert wird.

Das Bibliothekswesen steht vor der Herausforderung, die rasant wachsende und umfassende Verbreitung digitaler Medien in neue Nutzungskonzepte einzubinden, beispielsweise durch eine Steigerung der Aufenthaltsqualität. (vgl. Bonte, 2011) Begriffe wie digital library, hybrid library oder blended library versuchen, die Rolle der Bibliotheken im digitalen Zeitalter neu zu definieren. (vgl. Gläser, 2008) Die Sächsische Landes- und Universitätsbibliothek (SLUB) begegnet dieser Herausforderung unter anderem mit dem verstärkten Aufbau digitaler Bestände. Sie verfügt daher über umfangreiche digitale Kollektionen, die mit Hilfe eines geplanten öffentlichen interaktiven Systems für die Bibliotheksbesucher auf ansprechende Weise erfahrbar gemacht werden sollen. Die Exploration der digitalen Sammlungen steht dabei im Vordergrund, bereits existierende Katalogfunktionalität soll nicht ersetzt, sondern ergänzt werden. Zu diesem Zweck wird untersucht, wie durch öffentliche Interaktion das Interesse an digitalen Inhalten am Beispiel der Sammlung „Deutsche Fotothek“ gesteigert werden kann. Dabei wird besonders betrachtet, wie durch Embodied Interaction in Verbindung mit der Visualisierung des komplexen Informationsraumes der digitalen Sammlungen eine leicht erlernbare gestenbasierte Steuerung erreicht werden kann. (Dourish, 2004) Der Hauptbeitrag dieser Arbeit liegt in der Konzeption und Umsetzung eines Anwendungsprototypen, der im öffentlichen Bereich der SLUB installiert wird.:1 EINFÜHRUNG 6 1.1 MOTIVATION 6 1.2 ZIELSTELLUNG 7 1.3 GLIEDERUNG 7 2 GRUNDLAGEN 9 2.1 KOGNITION UND RAUMWAHRNEHMUNG 9 2.2 CHARAKTERISTIKEN DES ÖFFENTLICHEN RAUMES IN BIBLIOTHEKEN 9 2.2.1 Öffentlichkeit in der Bibliothek 10 2.2.2 Bühnenmetapher 10 2.2.3 Zusammenfassung 10 2.3 INTERAKTION IM RAUM 10 2.3.1 Begriffsdefinition 10 2.3.2 Räumliche Interaktion 11 2.3.3 Zusammenfassung 12 2.4 INFORMATIONSVISUALISIERUNG 12 2.4.1 Begriffsklärung 12 2.4.2 Datenbild und Navigationsbild 13 2.4.3 Darstellung von Relationen in Baum und Netz 15 2.4.4 Information Visualization Framework 18 2.4.5 Zusammenfassung 18 2.5 EXPLORATION KOMPLEXER DATENRÄUME 19 2.5.1 Exploration 19 2.5.2 Immersion 21 2.5.3 Emersion 21 2.5.4 Zusammenfassung 22 2.6 PERSONENTRACKING MIT MICROSOFT KINECT® 23 2.7 GESTENERKENNUNG 25 3 VERWANDTE ARBEITEN 27 3.1 AMBIENTE DISPLAYS 27 3.2 GESTISCHE INTERAKTION 28 3.3 EXPLORATIONSTECHNIKEN FÜR INFORMATIONSRÄUME 30 4 SYNTHESE UND KONZEPTION 32 4.1 ZIELVISION 32 4.2 INFORMATIONSKONZEPT 34 4.2.1 Initiale Auswahl und Analyse der Bestandsdaten 35 4.2.2 Verfeinerung der selektierten Bestände 36 4.2.3 Organisation der relevanten Daten 38 4.3 DARSTELLUNGSKONZEPT 40 4.3.1 Interface 40 4.3.2 Graphkomponente 41 4.3.3 Galeriekomponente 45 4.4 RAUMSITUATION UND INTERAKTIONSKONZEPT 49 4.4.1 Raumsituation 49 4.4.2 Aufmerksamkeit und Nutzerverhalten 53 4.4.3 Interaktionskonzept 54 5 UMSETZUNG 61 5.1 BACKEND 61 5.1.1 Verarbeitung der Bestandsdaten 62 5.1.2 Tracking und Gestenerkennung 63 5.2 MIDDLEWARE 65 5.2.1 Zugriff auf Bestandsdaten 65 5.2.2 Zugriff auf Trackingdaten 67 5.3 FRONTEND 68 5.3.1 Verarbeitung der Nutzereingaben 68 5.3.2 Galeriekomponente 71 5.3.3 Graphkomponente 77 6 ZUSAMMENFASSUNG 84 6.1 FAZIT 84 6.2 AUSBLICK 85 6.2.1 Verbesserungsvorschläge 85 6.2.2 Konzeptionelle Beschränkungen 86 6.2.3 Erweiterte Zielvision 87 7 ANHANG 89 A LITERATURVERZEICHNIS 89 B ABBILDUNGSVERZEICHNIS 94 C TABELLENVERZEICHNIS 97 D QUELLKODEVERZEICHNIS 98 E LISTE DER KOLLEKTIONSTITEL IN DEN DIGITALEN SAMMLUNGEN 99 F METAINFORMATIONEN FÜR DATENSÄTZE DER DEUTSCHEN FOTOTHEK 100 G ÜBERSICHT DER AUSGEWÄHLTEN KNOTENHIERARCHIE UND UNTERKNOTEN 103 H DEPLOYMENT-ANLEITUNG 104