Le sens de l’olfaction joue un rôle important dans la vie de tous les jours. Dans le monde physique (« réel »), les odeurs peuvent affecter l’humain de diverses manières. Bien que les avantages potentiels à intégrer des stimuli olfactifs dans des environnements virtuels (EV) aient été soulignés dans divers articles, ils sont rarement intégrés dans des applications de réalité virtuelle (RV). Les utilisations existantes et potentielles intégrant des stimuli olfactifs en RV incluent des applications cliniques tels le traitement des états de stress post-traumatique et le traitement d’addictions, des applications de formation telles que les réponses aux urgences et la relaxation, ainsi que des applications destinées à la recherche concernant les intégrations multisensorielles. Cependant, très peu d’études empiriques ont examiné les effets d’odeurs sur la qualité de l’expérience en RV. C’était l’objectif de ce projet. De façon plus précise, le but de ce projet était d’évaluer l’effet que peut avoir l’exposition à des odeurs agréable et désagréable sur les sentiments de présence (mesure principale), réalité et réalisme (mesures exploratoires) en RV. Cette relation a été mise à l’épreuve dans le cadre de trois études complémentaires, chacune faisant appel à une condition contrôle (exposition à l’air ambiant) et deux conditions expérimentales (exposition à une odeur agréable de tarte aux pommes/cannelle ou une odeur désagréable d’urine). Alors que les trois études ont suivi le même protocole, la scène visuelle des EVs variait d’une étude à l’autre. Pour l’Étude 1, il n’y avait pas de concordance entre la scène visuelle et les odeurs, pour l’Étude 2, il y avait concordance entre la scène visuelle et l’odeur désagréable et pour l’Étude 3, il y avait concordance entre la scène visuelle et l’odeur agréable. La variation des EVs avait pour visée de vérifier l’effet de l’exposition aux odeurs sur la présence dans différentes conditions de concordance entre la scène visuelle et l’odeur. L’ensemble des résultats révèle que, dans une situation sans concordance entre la scène visuelle et l’odeur, ainsi que dans une situation de concordance entre la scène visuelle et l’odeur désagréable, l’exposition à une odeur désagréable augmente le sentiment de présence de manière statistiquement significative. Lors d’une concordance visuelle avec une odeur désagréable, l’exposition à une odeur désagréable augmentait également la perception de réalité et réalisme de l’EV de manière statistiquement significative. De plus, dans un EV dont la scène visuelle est concordante avec une odeur agréable, l’exposition à une odeur agréable augmente le sens de la réalité de manière significative. Cependant, l’exposition à l’odeur agréable n’a pas eu d’effet sur le sentiment de présence, quel que soit le degré de concordance entre l’odeur et l’EV. Des résultats secondaires intéressants relatifs aux taux de détection consciente des odeurs ainsi que l’impact potentiel de ce taux sur l’effet des stimuli olfactifs ont été obtenus. Quelle que soit la concordance entre la scène visuelle et l’odeur, le taux de détection consciente de l’odeur désagréable n’était jamais en dessous de celui de l’odeur agréable. De plus, le taux de détection de chacune des odeurs était plus élevé lorsque la scène visuelle était concordante avec cette même odeur. Un regard sur l’ensemble des trois études indique que l’effet de l’exposition aux stimuli olfactifs sur les sentiments de présence et de réalité s’est manifesté uniquement lorsque le taux de détection consciente était supérieur à 59%. Lorsque, dans un EV concordant avec l’odeur désagréable, le taux de détection consciente de l’odeur atteignait 95% et l’exposition au stimulus olfactif augmentait les sentiments de présence, réalité et réalisme. L’ensemble des résultats suggère que l’exposition à un stimulus olfactif peut augmenter les sentiments de présence, réalité et réalisme, mais que la détection consciente de l’odeur joue un rôle important dans cette relation. Les retombées théoriques et pratiques de ces résultats sont discutées et des pistes de recherche future sont sugggérées.

Gazes are of central relevance for people. They are crucial for navigating the world and communicating with others. Nevertheless, research in recent years shows that many findings from experimental research on gaze behavior cannot be transferred from the laboratory to everyday behavior. For example, the frequency with which conspecifics are looked at is considerably higher in experimental contexts than what can be observed in daily behavior. In short: findings from laboratories cannot be generalized into general statements. This thesis is dedicated to this matter. The dissertation describes and documents the current state of research on social attention through a literature review, including a meta-analysis on the /gaze cueing/ paradigm and an empirical study on the robustness of gaze following behavior. In addition, virtual reality was used in one of the first studies in this research field. Virtual reality has the potential to significantly improve the transferability of experimental laboratory studies to everyday behavior. This is because the technology enables a high degree of experimental control in naturalistic research designs. As such, it has the potential to transform empirical research in the same way that the introduction of computers to psychological research did some 50 years ago. The general literature review on social attention is extended to the classic /gaze cueing/ paradigm through a systematic review of publications and a meta-analytic evaluation (Study 1). The cumulative evidence supported the findings of primary studies: Covert spatial attention is directed by faces. However, the experimental factors included do not explain the surprisingly large variance in the published results. Thus, there seem to be further, not well-understood variables influencing these social processes. Moreover, classic /gaze cueing/ studies have limited ecological validity. This is discussed as a central reason for the lack of generalisability. Ecological validity describes the correspondence between experimental factors and realistic situations. A stimulus or an experimental design can have high and low ecological validity on different dimensions and have different influences on behavior. Empirical research on gaze following behavior showed that the /gaze cueing/ effect also occurs with contextually embedded stimuli (Study 2). The contextual integration of the directional cue contrasted classical /gaze cueing/ studies, which usually show heads in isolation. The research results can thus be transferred /within/ laboratory studies to higher ecologically valid research paradigms. However, research shows that the lack of ecological validity in experimental designs significantly limits the transferability of experimental findings to complex situations /outside/ the laboratory. This seems to be particularly the case when social interactions and norms are investigated. However, ecological validity is also often limited in these studies for other factors, such as contextual embedding /of participants/, free exploration behavior (and, thus, attentional control), or multimodality. In a first study, such high ecological validity was achieved for these factors with virtual reality, which could not be achieved in the laboratory so far (Study 3). Notably, the observed fixation patterns showed differences even under /most similar/ conditions in the laboratory and natural environments. Interestingly, these were similar to findings also derived from comparisons of eye movement in the laboratory and field investigations. These findings, which previously came from hardly comparable groups, were thus confirmed by the present Study 3 (which did not have this limitation). Overall, /virtual reality/ is a new technical approach to contemporary social attention research that pushes the boundaries of previous experimental research. The traditional trade-off between ecological validity and experimental control thus becomes obsolete, and laboratory studies can closely inherit an excellent approximation of reality. Finally, the present work describes and discusses the possibilities of this technology and its practical implementation. Within this context, the extent to which this development can still guarantee a constructive classification of different laboratory tests in the future is examined. / Blicke sind für Menschen von zentraler Relevanz. Sie sind entscheidend für die Navigation in der Welt und für die Kommunikation mit Mitmenschen. Dennoch zeigt die Forschung der letzten Jahre, dass sich Erkenntnisse aus der experimentellen Forschung zu Blickverhalten vom Labor nicht in alltägliches Verhalten übertragen lassen. So ist beispielsweise die Häufigkeit, mit der Mitmenschen angeschaut werden, erheblich höher in experimentellen Kontexten als das beobachtbare alltägliche Verhalten. Kurz: Erkenntnisse aus Laboren lassen sich nicht zu allgemeinen Aussagen generalisieren. Diesem Spannungsfeld ist die hier vorliegende Arbeit gewidmet. Diese Doktorarbeit beschreibt und dokumentiert den aktuellen Forschungsstand zur sozialen Aufmerksamkeit anhand einer Literaturübersicht inklusive einer Metaanalyse zum /gaze cueing/ Paradigma sowie einer empirischen Untersuchung zur Robustheit des Blickfolgeverhaltens. Zudem wird in einer der ersten Studien in diesem Forschungsfeld virtuelle Realität eingesetzt. Virtuelle Realität hat das Potenzial, die Übertragbarkeit zwischen experimentellen Laboruntersuchungen auf alltägliches Verhalten deutlich zu verbessern. Denn die Technologie ermöglicht eine hohe experimentelle Kontrolle in naturalistischen Forschungdesigns. Damit kann sie die empirische Forschung ebenso stark verändern wie die Einführung des Computers für psychologische Forschung vor rund 50 Jahren. Die Literaturübersicht über soziale Aufmerksamkeit wurde durch eine systematische Begutachtung der Publikationen und einer meta-analystische Auswertung zum klassischen /gaze cueing/ Paradigma erweitert (Studie 1). Die kumulierte Evidenz unterstützt die Befunde primärer Studien: Verdeckte räumliche Aufmerksamkeit wird durch Gesichter gelenkt. Allerdings zeigte sich eine überraschend große Varianz in den publizierten Ergebnissen, die durch die untersuchten experimentellen Faktoren nicht erklärt werden konnte. Es scheint also noch Weitere, nicht gut verstandene Einflussgrößen auf diesen sozial-kognitiven Prozess zugeben. Klassische /gaze cueing/ Studien besitzen zudem eine eingeschränkte ökologische Validität. Diese wird als ein zentraler Grund für die fehlende Generalisierbarkeit diskutiert. Ökologische Validität beschreibt die Übereinstimmung von experimentellen Faktoren mit realistischen Situationen. Ein Stimulus oder ein experimentelles Design kann auf verschiedenen Dimensionen hohe und niedrige ökologische Validität aufweisen. Dies kann auf verschiedene Verhaltensbereiche unterschiedlichen Einfluss haben. Die empirischen Untersuchungen zum Blickfolgeverhalten zeigten, dass der /gaze cueing/ Effekt auch bei kontextuell eingebundenen Stimuli auftritt (Studie 2). Die kontextuelle Einbindung des Richtungscues stellte dabei einen Kontrast zu klassichen /gaze cueing/ Studien dar, die in der Regel Köpfe in Isolation zeigen. Die Forschungsergebnisse lassen sich also /innerhalb/ von kontrollierten Laboruntersuchungen auch auf ökologisch validere Forschungsparadigmen übertragen. Forschungsarbeiten zeigen allerdings, dass die mangelnde ökologische Validität in experimentellen Designs die Übertragbarkeit von experimentellen Befunden auf komplexe Situationen /außerhalb/ des Labors erheblich einschränken. Dies scheint insbesondere der Fall zu sein, wenn soziale Interaktionen und Normen untersucht werden. Die ökologische Validität ist in diesen Studien aber auch für weitere Faktoren häufig eingeschränkt, wie beispielsweise die kontextuelle Einbettung /von Versuchspersonen/, freies Explorationsverhalten (und damit Aufmerksamkeitssteuerung) oder Multimodalität. In einer ersten Arbeit in diesem Forschungsfeld wurde für diese Faktoren mit virtueller Realität eine hohe ökologische Validität erreicht, die so bisher nicht im Labor zu erreichen war (Studie 3). Spannenderweise zeigten sich selbst unter /ähnlichsten/ Bedingungen im Labor und in der natürlichen Umgebung Unterschiede in den beobachteten Fixationsmustern. Interessanterweise sind diese ähnlich zu Befunden, die ebenfalls aus Vergleichen von Augenbewegung im Labor und Felduntersuchung stammten. Diese Befunde, die bisher auf wenig vergleichbare Untersuchungsgruppen beruhen, wurden durch die vorliegende Studie 3 (die diese Einschränkung nicht besitzt) bestätigt. Insgesamt steht der heutigen sozialen Aufmerksamkeitsforschung mit /virtueller Realität/ ein neuer technischer Ansatz zur Verfügung, der die Grenzen bisheriger experimenteller Forschung verschiebt. Die traditionelle Abwägung zwischen ökologische Validität und experimenteller Kontrolle wird damit hinfällig und in Laboruntersuchungen kann die Realität extrem nah nachgebildet werden. Abschließend werden in dieser Arbeit die Möglichkeiten und die praktische Umsetzung dieser Technologie beschrieben und diskutiert. Dabei wird auch kritisch beleuchtet, inwiefern mit dieser Entwicklung auch in Zukunft noch eine konstruktive Einordnung von verschiedenen Laboruntersuchungen gewährleistet werden kann.

Virtual reality and related media and communication technologies have a growing impact on professional application fields and our daily life. Virtual environments have the potential to change the way we perceive ourselves and how we interact with others. In comparison to other technologies, virtual reality allows for the convincing display of a virtual self-representation, an avatar, to oneself and also to others. This is referred to as user embodiment. Avatars can be of varying realism and abstraction in their appearance and in the behaviors they convey. Such userembodying interfaces, in turn, can impact the perception of the self as well as the perception of interactions. For researchers, designers, and developers it is of particular interest to understand these perceptual impacts, to apply them to therapy, assistive applications, social platforms, or games, for example. The present thesis investigates and relates these impacts with regard to three areas: intrapersonal effects, interpersonal effects, and effects of social augmentations provided by the simulation. With regard to intrapersonal effects, we specifically explore which simulation properties impact the illusion of owning and controlling a virtual body, as well as a perceived change in body schema. Our studies lead to the construction of an instrument to measure these dimensions and our results indicate that these dimensions are especially affected by the level of immersion, the simulation latency, as well as the level of personalization of the avatar. With regard to interpersonal effects we compare physical and user-embodied social interactions, as well as different degrees of freedom in the replication of nonverbal behavior. Our results suggest that functional levels of interaction are maintained, whereas aspects of presence can be affected by avatar-mediated interactions, and collaborative motor coordination can be disturbed by immersive simulations. Social interaction is composed of many unknown symbols and harmonic patterns that define our understanding and interpersonal rapport. For successful virtual social interactions, a mere replication of physical world behaviors to virtual environments may seem feasible. However, the potential of mediated social interactions goes beyond this mere replication. In a third vein of research, we propose and evaluate alternative concepts on how computers can be used to actively engage in mediating social interactions, namely hybrid avatar-agent technologies. Specifically, we investigated the possibilities to augment social behaviors by modifying and transforming user input according to social phenomena and behavior, such as nonverbal mimicry, directed gaze, joint attention, and grouping. Based on our results we argue that such technologies could be beneficial for computer-mediated social interactions such as to compensate for lacking sensory input and disturbances in data transmission or to increase aspects of social presence by visual substitution or amplification of social behaviors. Based on related work and presented findings, the present thesis proposes the perspective of considering computers as social mediators. Concluding from prototypes and empirical studies, the potential of technology to be an active mediator of social perception with regard to the perception of the self, as well as the perception of social interactions may benefit our society by enabling further methods for diagnosis, treatment, and training, as well as the inclusion of individuals with social disorders. To this regard, we discuss implications for our society and ethical aspects. This thesis extends previous empirical work and further presents novel instruments, concepts, and implications to open up new perspectives for the development of virtual reality, mixed reality, and augmented reality applications. / Virtual Reality und weitere Medien- und Kommunikationstechnologien haben einen wachsenden Einfluss auf professionelle Anwendungsbereiche und unseren Alltag. Virtuelle Umgebungen haben das Potenzial, Einfluss darauf zu nehmen, wie Mensche sich selbst wahrnehmen und wie sie mit anderen umgehen. Im Vergleich zu anderen Technologien ermöglicht Virtual Reality die überzeugende Visualisierung einer virtuellen Selbstdarstellung, eines Avatars, sichtbar für den Nutzer/die Nutzerin selbst aber auch für andere. Dies bezeichnet man als Nutzerverk¨orperung. Avatare können von unterschiedlichem Realismus und Abstraktion in Bezug auf ihr Aussehen sowie der Darstellung von Verhaltensweisen geprägt sein. Solche nutzerverkörpernde Schnittstellen wiederum können die Wahrnehmung des Selbst sowie die Wahrnehmung von Interaktionen beeinflussen. Für Forscher/-innen, Designer/-innen und Entwickler/-innen ist es von besonderem Interesse, diese Wahrnehmungseffekte zu verstehen, um sie beispielsweise auf Therapie, assistive Anwendungen, soziale Plattformen oder Spiele anzuwenden. Die vorliegende Arbeit untersucht und bezieht sich auf diese Auswirkungen in drei Bereichen: intrapersonelle Effekte, zwischenmenschliche Effekte sowie Effekte durch soziale Augmentierungen, die durch die Simulation bereitgestellt werden. Im Hinblick auf intrapersonelle Effekte widmet sich die vorliegende Arbeit insbesondere der Frage, welche Simulationseigenschaften die Illusion des Besitzens/Innehabens und der Kontrolle eines virtuellen Körpers sowie eine wahrgenommene Veränderung des Körperschemas beeinflussen. Die vorgestellten Studien führen zur Konstruktion eines Instruments zur Erfassung dieser Dimensionen und die Ergebnisse zeigen, dass die empfundene Verkörperung besonders von dem Grad der Immersion, der Simulationslatenz sowie dem Grad der Personalisierung des Avatars abhängt. Im Hinblick auf zwischenmenschliche Effekte vergleicht diese Dissertation physische (realweltliche) und virtuelle soziale Interaktionen sowie unterschiedliche Freiheitsgrade in der Replikation nonverbalen Verhaltens. Die Ergebnisse deuten darauf hin, dass die funktionalen Ebenen der Interaktion aufrechterhalten werden, während Aspekte der Präsenz durch avatarvermittelte Interaktionen beeinflusst werden und die kollaborative motorische Koordination durch immersive Simulationen gestört werden kann. Die soziale Interaktion besteht aus vielen unbekannten Symbolen und harmonischen Mustern, die das menschliche Verst¨andnis und zwischenmenschliche Beziehungen definieren. Für erfolgreiche virtuelle soziale Interaktionen mag eine bloße Replikation von physikalischenWeltverhaltensweisen auf virtuelle Umgebungen m¨oglich erscheinen. Das Potenzial computervermittelter sozialer Interaktionen geht jedoch über diese bloße Replikation hinaus. Im dritten Bereich dieser Arbeit werden alternative Konzepte vorgeschlagen und evaluiert, wie Computer genutzt werden können, um eine aktive Rolle in sozialen Interaktionen einzunehmen. Diese Technologien werden als hybride Avatar-Agenten-Technologien definiert. Insbesondere wird untersucht, welche Möglichkeiten das soziale Verhalten zu erweitern emtstehen, indem die Verhaltensweisen der Benutzer/-innen entsprechend sozialer Ph¨anomene und Verhaltensweisen modifiziert und transformiert werden. Beispiele sind die nonverbale Spiegelung, der Fokus des Blicks, eine gemeinsame Aufmerksamkeit und die Gruppenbildung. Basierend auf den Ergebnissen argumentiert diese Arbeit, dass solche Technologien für computervermittelte soziale Interaktionen von Vorteil sein könnten, beispielsweise zum Ausgleich fehlender Sensorik, Störungen bei der Datenübertragung oder zur Verbesserung sozialer Präsenz durch visuelle Substitution oder Verstärkung des sozialen Verhaltens. Basierend auf verwandten Arbeiten und präsentierten Ergebnissen wird abgeleitet, dass Computer als soziale Mediatoren fungieren können. Ausgehend von Prototypen und empirischen Studien kann das Potenzial der Technologie, ein aktiver Vermittler in Bezug auf dieWahrnehmung des Selbst sowie dieWahrnehmung sozialer Interaktionen zu sein, unserer Gesellschaft zugutekommen. Dadurch können beispielsweise weitere Methoden zur Diagnose, der Behandlung und Ausbildung sowie der Inklusion von Menschen mit sozialen Störungen ermöglicht werden. In diesem Zusammenhang werden die Auswirkungen auf unsere Gesellschaft und ethische Aspekte diskutiert. Diese Arbeit erweitert frühere empirische Arbeiten und präasentiert darüber hinaus neue Instrumente, Konzepte und Implikationen, um neue Perspektiven für die Entwicklung von Virtual Reality, Mixed Reality und Augmented Reality Anwendungen zu beleuchten.

The use of digital media by children and young people offers opportunities for communication, collaboration, and participation. However, to prepare them for the risks and challenges of media usage, promoting digital competencies of students and teachers is an indispensable goal for educational institutions. To meet this requirement, teacher education must be opened to innovative pedagogical concepts for initial teacher education that considers new technologies in a reflective, action-oriented way to promote competencies. Therefore, this work aims to promote the technological pedagogical content knowledge (TPACK) of prospective teachers that enables the purposeful integration of social virtual reality (social VR) into the classroom. Consequently, a pedagogical concept is developed and evaluated in an iterative research and development process following the design- based research approach (DBR) through four consecutive studies. The first study involved an analysis of the requirements of teachers and students for the effective use of social VR in the classroom. The second study examined how prospective teachers perceive teaching and learning activities within two theory-driven scenarios in social VR. The third study investigated the development of Technological Pedagogical Content Knowledge (TPACK) among students in social VR compared to video-based communication. Finally, the fourth study measured the development of TPACK in social VR using epistemic network analysis, finding that social VR can be an effective tool for teacher education, emphasizing the importance of authentic contexts and practical experiences for effective teaching in social VR. In the concluding chapter, appropriate implications for teacher education research and practice are derived from findings. For example, that a deeper understanding of TPACK as metacognitive awareness could enhance teacher education for media integration. It also highlights the need for digital literacy in seminars that address new technologies, emphasizing the importance of considering moral values and sustainability when using VR. / Die tägliche und mittlerweile selbstverständliche Nutzung digitaler Medien durch Kinder und Jugendliche bietet neue Möglichkeiten für Partizipation, Kommunikation und Kollaboration. Um dieses Potenzial jedoch voll ausschöpfen zu können und junge Menschen auf die Risiken und Herausforderungen der Mediennutzung vorzubereiten, ist es eine wichtige Aufgabe, die digitalisierungsbezogenen Kompetenzen von Schülern und Lehrern gezielt zu fördern. Um dieser Aufgabe nachkommen zu können, besteht die Notwendigkeit der Öffnung der Lehrerbildung für innovative pädagogische Konzepte für die Hochschullehre, die neue Technologien reflektieren und handlungsorientiert für eine Kompetenzförderung berücksichtigen. Ziel dieser Arbeit ist es daher, das Professionswissen TPACK zukünftiger Lehrkräfte zu fördern, damit diese social Virtual Reality (social VR) handlungsorientiert in den Schulunterricht integrieren können. Dazu werden im Rahmen von vier konsekutiven Studien, einem Design-Based Research Ansatz folgend, ein Lehrkonzept für die Lehrerbildung entwickelt und in einem iterativen Forschungs- und Entwicklungsprozess evaluiert. In der ersten Studie werden die Anforderungen von Lehrern und Schülern für den effektiven Einsatz von Social VR im Unterricht analysiert. Die zweite Studie untersucht, wie angehende Lehrer das Lehren und Lernen in zwei theoriebasierten Szenarien in Social VR wahrnehmen. Die dritte Studie untersucht die Entwicklung des Technologisch-Pädagogischen Content-Knowledge (TPACK) bei Schülern in Social VR im Vergleich zur Video-basierten Kommunikation. Schließlich wird in der vierten Studie die Entwicklung von TPACK in social VR unter Verwendung von epistemischer Netzwerkanalyse gemessen. Es zeigt sich, dass social VR ein effektives Werkzeug für die Lehrerausbildung sein kann und betont die Bedeutung authentischer Kontexte und praktischer Erfahrungen für effektives Lehren in social VR. Im Schlusskapitel werden aus den Erkenntnissen relevante Implikationen für Forschung und Praxis in der Lehrerbildung abgeleitet. Beispielsweise könnte ein tieferes Verständnis von TPACK als metakognitives Bewusstsein die Lehrerausbildung für die Integration von Medien verbessern. Es betont auch die Notwendigkeit digitaler Kompetenz in Seminaren, die sich mit neuen Technologien befassen, und betont die Bedeutung der Berücksichtigung von moralischen Werten und Nachhaltigkeit bei der Verwendung von VR.

E-Sport, Gaming, AV-Entertainment – diese Bereiche des Lebens sind oft für Menschen, die von Sehbehinderungen und Blindheit betroffen sind (PVI), nicht zugänglich. Das Barrierefreiheitsstärkungsgesetz soll 2025 für mehr digitale Barrierefreiheit sorgen, doch Betroffene bleiben skeptisch, ob die Veränderungen tatsächlich zur Schließung der digitalen Kluft beitragen. Um zu analysieren, wie PVI mit VR interagieren und wie man praxisnah Entwicklung der VR-Gaming Branche beitragen kann, wurde iterativ an der Entwicklung eines Prototypen mit dem Unternehmen Inclusive Gaming gearbeitet. Der Prototyp, eine kosteneffiziente Version von dem Spiel Dreamtrip, wurde in einer nicht-repräsentativen Feldstudie mit Betroffenen getestet und anhand des Immersionsfragebogen von Jennett et al. (2008) auf Orientierungs- und Navigationsleichtigkeit untersucht. Die Studie zeigte eine Tendenz zu tieferer Immersion bei Anwendung des Prototypen, jedoch konnte die Orientierungsleichtigkeit nicht signifikant gesteigert werden. Die Möglichkeit der Netzwerkinteraktion zwischen Head-Mounted-VR-Devices und Computerspielen wird zukünftig von Relevanz für das Unternehmen bleiben. Weiterführende Forschung im Bereich der Orientierungsverbesserung für PVI in VR-Systemen ist notwendig, um das Produkt Launch-Fähig zu machen. Der aufgestellte Kriterienkatalog für VR-Spiele kann zukünftig als Richtlinie zur Entwicklung von zugänglichen VR-Erfahrungen genutzt werden.:I. Einleitung 1.1 Motivation 1.2 Ziel der Arbeit 1.3 Ablauf der Arbeit II. Theorie 2.1 Sehbehinderungen 2.2 Barrierefreiheit in digitalen Medien 2.2.1 Barrierefreiheit in Computerspielen 2.2.1.1 Audio Games und GVI 2.2.2 Game Accessibility Guidelines 2.3. Virtual Reality 2.4 Game Development aus Design-Sicht 2.4.1 MDA Rahmenwerk 2.4.1.1 Ästhetik 2.4.1.2 Mechanik 2.4.2 APX Dreieck 2.3.3 Zusammenfassung 2.5 Interface 2.6 Iteratives Design 2.6.1 Iteratives Design mit Personen denen besonderen Schutz gebührt 2.6.2 Bewertung von Immersion III. Durchführung 3.1 Kriterienkatalog 3.2 Dreamtrip 3.3 Phase 1 3.3.1 Cardboard VR 3.3.2 SeeingVR und UI Accessibility Plugin 3.4 Phase 2 3.4.1 Hypothese 2 3.4.2 Hypothese 1 3.4.2.1 Unity 3.4.2.2 Evaluierung der Usecases 3.5 Phase 3 3.5.1 Fragerunde 1 3.5.2 Fragenkatalog 3.5.3 Fragerunde 2 IV. Diskussion 4.1 Darstellung der Ergebnisse Phase 3 4.1.1 Fragerunde 1 4.1.2 Fragenkatalog 4.1.3 Fragerunde 2 4.1.3.1 Prototyp Dreamtrip 4.1.3.2 Originalversion Dreamtrip 4.2 Diskussion Phase 3 V. Reflexion 5.1 Zusammenfassung der Ergebnisse und Erfüllung der Zielsetzung 5.2 Limitationen 5.3 Zukunftsausblick

Une majorité de mondes virtuels (MVs) existants mettent l'accent sur la qualité graphique, les capacités réseaux ou sur la qualité de la modélisation. Toutefois, ces MVs manquent souvent agilité t tant au niveau de leur conception que de leur exécution. Il en résulte des MVs monolithiques avec peu de réutilisabilité. Cette thèse propose une architecture appelée "Architecture Propriété Interaction Acteur" (APIA) qui a pour objectif d'améliorer Yagilité des MVs en se concentrant sur les caractéristiques sous-jacentes : la composabilité, la réutilisabilité, la modifiabilité, l'extensibilité et une grande liberté d'action. La solution proposée consiste en une architecture générique basée sur un méta-modèle conceptuel comprenant cinq éléments de base, supportés par un processus et des algorithmes de gestion. Comparativement aux autres approches qui sont centrées sur l'entité, le métamodèle conceptuel propose un paradigme centré sur l'interaction entre les entités. Ce paradigme permet de regrouper les protocoles entre les entités et les aspects de l'interaction dans un élément du MV nommé interaction. Plusieurs exemples, dont des applications de cryochirurgie et d'inspection de barrages, viennent démontrer que les entités et les interactions sont moins interdépendantes avec cette approche. De plus, des exemples montrent que l'émergence de comportements est facilitée due à la meilleure composabilité de cette approche. Ensuite, le processus développé avec APIA définit trois groupes d'actions qui influencent à différents niveaux Yagilité future du MV. Finalement, APIA définit des algorithmes de gestion de ces actions afin de maintenir le MV cohérent tout au long des modifications, des extensions ou des compositions en cours d'exécution. Les gestionnaires qui appliquent ces algorithmes maintiennent automatiquement la cohérent du MV lors d'opérations de modification, d'extension et de composition. Ces caractéristiques sont désormais possibles en cours d'exécution sans l'intervention humaine.

Plusieurs recherches ont démontré les avantages de la réadaptation physique assistée par la robotique ainsi que la réadaptation en environnement virtuel. Les exercices de réadaptation sont fréquemment effectués sur un système coûteux de capture de mouvement basé sur le suivi de marqueurs fixés sur le patient. L'utilisation de ce type de système nécessite du temps et l'expertise d'un clinicien. Le projet que nous proposons a pour but de supporter de tels exercices de réadaptation en plus de pallier aux problèmes des systèmes de capture de mouvement conventionnels très coûteux. Le système développé comprend un mécanisme à câbles intégré en environnement virtuel procurant un retour haptique et visuel au patient. L'estimation de la pose humaine sans marqueur est effectuée en temps réel pour permettre l'analyse du mouvement, l'affichage de l'avatar du patient ainsi que son interaction avec l'environnement virtuel. Le système de vision fait usage de capteurs 3D peu coûteux afin d'offrir un dispositif abordable pour la plupart des cliniques de réadaptation. Un tel système permet une reconfigurabilité importante afin d'optimiser les exercices de réadaptation aux besoins du patient. Ce mémoire couvre les étapes du développement du système, notamment l'approche de fusion de pose selon des points de vue multiples basée sur le filtrage particulaire. L'analyse des résultats présentés est prometteuse à différents niveaux sachant que le système est aussi très flexible et adaptable à différents contextes autres que la réadaptation, comme le milieu du divertissement. / Several works have shown the benefits of robotic assisted physical rehabilitation as well as rehabilitation in a virtual environment. Rehabilitation exercises are often performed using an expensive motion capture system based on markers attached to the patient. The use of this type of system requires time and expertise from a clinician. The project we are introducing aims to support such rehabilitation exercises in addition to avoid some of the problems of an expensive conventional motion capture systems. The developed system includes a cable mechanism integrated into a virtual environment providing haptic and visual feedback to the patient. The estimation of the human pose without marker is carried out in real-time to allow the analysis of the movement, the display of the patient avatar as well as its interaction with the virtual environment. The vision system exploit inexpensive 3D sensors to provide an affordable device for most rehabilitation clinics. That system allows enough reconfigurability to optimize the rehabilitation exercises to the needs of the patient. This thesis covers the stages of the system development, including the fusion approach based on multiple views based on particle filtering. The analysis of the results presented is promising, knowing that the system is also very flexible and adaptable to different contexts other than rehabilitation, such as the entertainment industry.

La grande distribution affiche une politique anti-gaspillage et a ainsi proposé dès 2014des Fruits et Légumes (F&Ls) « moches » [109] à la vente. Mais ces ventes sont temporaires et locales,et ont des effets peu étudiés sur le comportement des consommateurs. Nous proposons ici d'étudier si un magasin virtuel immersif (dans lequel nous contrôlons les F&Ls) peut être utilisé pour étudier le comportement des consommateurs confronté à des F&Ls « moches ». Afin d'avoir assez de F&Ls pour remplir le magasin virtuel, nous avons généré des F&Ls d'apparences variables de manière semi-procédurale comme suit :(1) nous générons le maillage avec des Cylindres Généralisés (CGs) [6] ; puis (2) gêneront les couleurs avec un système de particule.Nous avons réalisé 2 études comparatives (resp.N=142 et N=196). L'une portant sur le comportement consommateur lorsque les F&Ls sont plus ou moins anormaux (8F&Ls séparés en 4 groupes : sans déformation,légèrement déformés, déformés et fortement déformés). Ces différences n'avaient pas d'incidences sur le comportement. L'autre portait sur le comportement consommateur lorsque l'environnement est plus ou moins immersif (8 F&Ls sans déformation et 8 F&Ls déformés, séparés en 3groupes : magasin laboratoire, magasin virtuel non immersif et magasin virtuel immersif). Il existe des différences entre ces environnements sur le comportement. Enfin, nous avons étudié si la représentation virtuelle du consommateur avait un effet lors de l'achat des produits (incluant, mais ne se limitant pas aux F&Ls) nous avons donc réalisé une étude (N=29) avec 2 groupes : avatar obèse et avatar non-obèse. Il existe des différences localisées entre ces représentations sur le comportement consommateur. / The retail sector has an anti-waste policyand has therefore offered “ugly” FaVs (Fruits and Vegetables) for sale as early as 2014 [109]. But these sales remain temporary and local and have little studied effects on consumer behavior. We propose here to study if an immersive virtual store (in which we control the FaVs) can be used to study consumer behavior confronted to “ugly” FaVs To have enough “ugly” FaVs to fill the virtual store, we developed a method capable of generatings emiprocedural FaVs. To do so we: (1) generate the mesh with Generalized Cylinders (GCs) [6]; then (2) generate the colors with a particle system.We conducted 2 comparative studies (N=142 andN=196 respectively). The first study focused on consumer behavior when the FaVs are abnormal (8 FaVs separated into 4groups: no deformation, slightly deformed, deformed and strongly deformed). These differences had no impact on consumer behavior. The other study focused on consumer behavior when the environment is more or less immersive (8 FaVs without deformation and 8 FaVs with deformation, separated into 3 groups: laboratory store, non immersive virtual store and immersive virtual store).There are differences between these environments on consumer behavior. Finally, we studied if the virtual representation of the consumer had an impact during the purchase of products (including, but not limited to, FaVs). To do so we carried out a third consumer study (N=29) (2groups: obese avatar and non-obese avatar). There are very localized differences between these representations on consumer behavior.

Une interface haptique est développée pour fournir le retour d'effort d'interaction dans un environnement virtuel à échelle humaine. L'interface est composée d'une plate-forme à câbles et d'un exosquelette de préhension. La plate-forme comprend 8 câbles qui sont actionnés par 8 blocs d'actionnement. Chaque bloc contient un moteur électrique, un encodeur rotatif et un capteur de force. Le moteur tire sur le câble, pendant que le capteur de force mesure la tension du câble et l'encodeur détermine sa longueur. Les blocs d'actionnement sont d'une conception novatrice qui augmente la force maximale et la précision de l'interface. L'exosquelette est connecté et actionné par les câbles et permet aux 5 doigts d'une main de l'utilisateur d'accomplir le geste de préhension. L'interface fournit au total 7 degrés d'action pour l'utilisateur en interaction avec les objets virtuels : 3 degrés de translation, 3 degrés de rotation et 1 degré de préhension. L'interface à retour d'effort a été modélisée pour déterminer précisément la distribution des tensions dans les câbles en fonctions des forces et des couples désirés. Les blocs d'actionnement peuvent se déplacer sur un cadre cubique autour de l'environnement virtuel. Une configuration optimale est alors trouvée pour les positions des blocs afin de maximiser l'espace de travail de l'interface. Une méthode de commande hybride basée sur les tensions des câbles, mesurées par les capteurs, est également proposée. Cette méthode mène à résoudre les problèmes classiques des interfaces à câbles. L'application considérée pour cette interface est l'interaction haptique avec l'espace intérieur simulé d'une automobile. Une scène virtuelle correspondante à cette application a été développée et l'interface a été testée dans différents cas de retour d'effort. Les résultats des tests démontrent la performance de l'interface pour fournir des efforts appropriés avec une transparence de mouvement pour l'utilisateur.

Le but du projet consiste à construire une communauté virtuelle en ligne 3D pour tester la problématique suivante; est-ce qu'une communauté virtuelle 3D en ligne peut favoriser l'interaction sociale, le divertissement et les rencontres réelles entre individus? Ce projet s'adresse à tous les amateurs de sites de rencontres, de messageries instantanées ainsi qu'aux amateurs de jeux en ligne grand public. Les sujets traités sont le rêve de devenir populaire, de trouver le grand amour ou simplement l'amitié d'une vie. Pour les méthodes utilisées, nous avons d'abord exploré les différents sites internet qui ont inspiré ce projet. Ensuite nous avons développé le projet à l'aide des logiciels Quest 3D et de 3Dstudio Max. Enfin pour terminer, nous avons procédé à l'analyse des résultats des tests ayant été faits sur une vingtaine d'utilisateurs. Les principaux résultats sont les suivants. Un de nos premiers buts était de créer un contexte virtuel qui favorise la communication et la découverte entre les individus par le biais de jeux et d'activités. Nous n'avons pas pu développer cet aspect suffisamment. Les jeux et les activités demandent énormément de temps de développement. Nous avons préféré nous concentrer sur les règles d'interaction sociale plutôt que le divertissement et je ne crois pas que le projet en ait souffert pour autant. Jusqu'à présent, tout le monde est d'accord pour dire qu'il s'agit de l'avenir du 'Dating' en ligne. Les conclusions auxquelles nous sommes arrivés sont les suivantes. Nous croyons avoir très bien réussi à favoriser l'interaction entre les individus dans un environnement virtuel 3d. Les réponses que nous avons obtenues des utilisateurs ont grandement servi à répondre à la problématique que nous avons soulevée au début du projet. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Réalité Virtuelle, Quest3D, Evironnement virtuel, Jeux en ligne, Site de rencontre.