Cette thèse de maîtrise propose une analyse discursive du stéréotype et de sa participation dans la rupture entre la réalité et la simulation tel qu’il apparaît dans deux romans et une nouvelle québécoises : Kuessipan de Naomi Fontaine, Le pavillon des miroirs de Sergio Kokis et « Base de négociation » de Jean Dion. Ses objectifs principaux sont d’abord la mise en place d’une base théorique alliant la compréhension du stéréotype en tant que phénomène diaphragmatique de Daniel Castillo Durante et les principales théories sur la relation entre le sujet et le réel/la réalité, puis la mise en application de ces théories sur les récits étudiés. Notre cadre théorique comprend l’étude de la relation ontologique de Buber, les recherches sur la simulation et le simulacre de Baudrillard, celle portant sur l’image de Serge Gruzinski ainsi que de multiples études sur le réel, autant d’un point de vue sensoriel (Palo Alto) que social (Guy Debord, Walter Lippmann). Cette thèse veut montrer l’étendue de la mainmise du stéréotype dans le discours des figures de l’« Indienne » et de l’Immigrant pour ensuite présenter les techniques utilisées par les altérités discursives afin de remettre en question ladite mainmise.

Cette thèse s’inscrit dans le cadre de l’analyse des besoins de personnes malvoyantes dans le but de développer de nouvelles solutions d’assistance visuelle en utilisant le principe de réalité augmentée. Le principal objectif de ces travaux était le développement d’un dispositif d’assistance visuelle pour faciliter la mobilité de personnes malvoyantes grâce à un algorithme qui en temps réel adapte sa réponse en fonction des besoins de l’utilisateur et de la situation dans laquelle il évolue. Le premier postulat de cette thèse est d’utiliser l’acuité résiduelle fonctionnelle des malvoyants afin de leur permettre de percevoir un certain nombre d’informations. Le second postulat est d’utiliser les seules informations pertinentes, utiles à un malvoyant, afin d’améliorer sa perception du monde dans lequel il évolue. Le premier axe de recherche a consisté à analyser les besoins des malvoyants afin de recenser, les indices visuels utiles à rehausser afin d’améliorer la perception des malvoyants. Cette étude a été réalisée en immersion et une enquête précise a été menée auprès de malvoyants. Cette étude permet de mieux comprendre les besoins des malvoyants, les méthodes qu’ils utilisent ainsi que leurs usages des dispositifs actuels. Le deuxième axe de recherche a consisté à concevoir et à mettre en oeuvre un algorithme de traitement d’images répondant aux besoins identifiés. Un outil interactif a été développé qui permet de sélectionner la quantité de contours en fonction de la situation. Ce détecteur de contour optimise sa détection afin d’obtenir des contours plus exploitables pour les malvoyants, comparés aux résultats des autres méthodes de l’état de l’art. Cet outil a été testé et validé auprès d’une population donnée de personnes malvoyantes. Ces tests réalisés sur écran ont démontré que les contours constituent des indices visuels très importants qui peuvent être d’une grande aide dans l’analyse d’une scène. Le troisième axe de travail a consisté au développement d’un système de réalité augmentée permettant d’utiliser ce détecteur de contours dans un contexte de mobilité. L’analyse des besoins des malvoyants vis-à-vis d’un tel dispositif nous a permis de définir les caractéristiques indispensables pour le système de calcul, la caméra et le dispositif d’affichage. Concernant le système d’affichage, l’analyse des besoins des malvoyants en termes de profil, de couleur, de largeur des contours, nous a permis de définir les paramètres nécessaires pour un affichage qui répond à ces besoins. Il a également été pris en compte dans les développements les paramètres physiologiques de chaque observateur afin que les images affichées soient visuellement confortables / This thesis was done in the context of visual impaired needs analysis with the goal of new augmented reality visual assistance device development. The main goal of this work was the development of assistive device for mobility of visual impaired people by the use real-time image processing algorithm which take into account user needs and the context. The first postulate is the use of residual visual acuity of visual impaired people to allow them to see more information. The second postulate is the use only most useful information for visual impaired people for the understanding of the situation where are they. The first research axis was an analysis of needs of visual impaired to identify visual cues, which one we need to enhance to help them. To do this, I have done an immersive stage into a re-adaptation clinic for visually impaired. I have also done a questionnaire to identify and understand how current products answers partially to their needs. The second research axis was the development of a new image processing to answer identified needs. I have developed an interactive tools that allow the user to select the amount of edges for each situation, context. This detector optimizes its result to provide better results than others state of the art evaluated methods. This tool was evaluated and validated during visual test by visual impaired people. We have demonstrated that edges are one of the most important visual cues for visual impaired people to analyze a scene. The third research axis was the development of the augmented reality system to use my tool in a context of mobility. To do this, I have analyzed the needs of visual impaired people for this type of devices. I have also defined main requirements of the desired device for the processing unit, the camera and the display module. For display module, I have analyzed physiologic needs of visually impaired, in terms of profile, colors, and thickness to answer their needs. I have also developed an image generation model which takes into account many physiologic parameters of each observer to create visually comfortable images

Nous présentons une refondation théorique de la réalité virtuelle. Celle-ci est marquée par la conviction profonde de définir la réalité virtuelle comme une expérience médiatisée capable de susciter un sentiment de présence. Ce dernier est défini comme le sentiment authentique d’exister dans un monde autre que le monde physique où le corps se trouve. Nous proposons un éclairage nouveau et global sur le sentiment de présence. Cet éclairage consiste en une approche unifiée de la présence prenant en compte des considérations technologiques, psychologiques et écologiques. Nous avons élaboré un modèle qui identifie les processus menant au sentiment de présence. Selon notre modèle, deux phases inconscientes de jugement conditionnent l’émergence de la présence. Le premier jugement concerne la crédibilité de l’environnement, celle-ci dépend de la satisfaction des attentes intellectuelles et perceptives de l’utilisateur. Le deuxième jugement vise la crédibilité de l’expérience. Nous considérons que ce jugement est positif si un maximum des affordances perçues dans l’environnement est assumé, c’est-à-dire réalisable par l’intermédiaire des schémas d’interaction proposés à l’utilisateur. Nous avons mené une phase d’expérimentations pour valider la pertinence et la cohérence de notre modèle. Notre modèle a de multiples implications. Nous considérons par exemple qu’il peut constituer une grille d’analyse intéressante pour les jeux vidéo. De plus, il incite les concepteurs d’applications en réalité virtuelle à penser en terme d’affordances. Ce dernier point implique donc de faire entrer l’utilisateur très tôt dans la boucle de conception de l’application. Notre vision globale de la réalité virtuelle et de la présence a été mise en pratique notamment lors de la conception de dispositifs de réalité virtuelle transportables et à bas coûts. Sur la base de ce cadre théorique nous présentons un framework de conception d’applications en réalité virtuelle. Puisque l’objectif est la crédibilité et non le réalisme, nous nous intéressons à la réalité perçue de l’environnement et non pas à sa réalité physique. C’est pourquoi, le point de départ de notre framework consiste en un socle de connaissances sur la cognition humaine. Cette base de connaissances sert de vivier d’idées pour les quatre piliers sur lesquels peut s’appuyer le concepteur d’applications en réalité virtuelle. Ces piliers sont l’immersion, l’interaction, les émotions et un quatrième regroupant la boucle sensori-motrice et la multimodalité. Concernant le pilier immersion nous proposons un nouvel algorithme pour le calcul de la réverbération sonore dans un environnement complexe et dynamique. Notre méthode repose sur l’algorithme existant du lancer de frustum mais propose deux optimisations. La première exploite le socle de connaissances sur la cognition humaine pour déterminer une sphère d’acuité sonore. Celle-ci nous sert de cadre pour lancer les frusta depuis l’auditeur et non depuis les sources sonores. Cette deuxième optimisation réduit le nombre de calculs / We present a new theoretical context for virtual reality: virtual reality is defined as a mediated experience which is able to generate a feeling of presence. The latter is delimited as the genuine feeling to exist in a different world than the physical world where the body is located. We propose a new and comprehensive light on the feeling of presence through a unified approach of presence with technological, psychological and ecological considerations. We have developed a model which explains the processes leading to presence. According to our model, two unconscious stages of judgment govern the emergence of presence. The first judgment refers to the credibility of the virtual environment. The latter depends on the satisfaction of intellectual and perceptual user’s expectation. The second judgment deals with the credibility of the experience and is positive if most affordances perceived in the virtual environment are taken up, that means achievable with the interaction schemes offered to the user. We have conducted a study to assess the relevance and the consistency of our model. This model has some interesting repercussions like to be an analytical grid for video games. Moreover, it suggests to virtual reality developers that they should think in terms of affordances. This last idea involves to take into consideration the user very early in the design loop of the virtual reality experience. Our whole conception of virtual reality and presence has been put in practice during the design of low-cost ans easily transportable virtual reality systems. Based on this theoretical content we introduce a virtual reality application framework. Since the objective is the credibility, and not the realism of the environment and of the experience, we take an interest in the perceptual reality and not in its physical reality. This is why the starting point of our framework is a knowledge base on human cognition. The latter act as an idea pool for the four inter-related technical and psychological pillars upon which virtual reality developers can lean on. These pillars are immersion, interaction, emotions and a fourth one including the sensori-motor loop and the multimodality. Concerning the immersion pillar we introduce a new algorithm to compute sound reverberation in complex and dynamic virtual environment. Our method relies on the existing algorithm called frustum tracing but we provide two optimizations. The first one makes the most of the knowledge base on human cognition in order to work out a sphere of sound acuity. This information acts as a template in order to shoot the frusta from the listener and not from sound sources. This second optimization reduces the number of computations

Avec cette génération d'appareils, la réalité virtuelle (RV) s'est réellement installée dans les salons des utilisateurs finaux. Ces appareils disposent de 6 degrés de liberté de suivi, ce qui leur permet de se déplacer naturellement dans les mondes virtuels. Cependant, pour une locomotion naturelle dans le virtuel, il faut un espace libre correspondant dans l'environnement réel. L'espace disponible est souvent limité. Les objets de la vie quotidienne peuvent rapidement devenir des obstacles pour les utilisateurs de RV s'ils ne sont pas éliminés. Les systèmes actuellement disponibles n'offrent qu'une aide rudimentaire pour résoudre ce problème. Il n'y a pas de détection d'objets potentiellement dangereux. Cette thèse montre comment les obstacles peuvent être détectés automatiquement avec des caméras d'imagerie à distance et comment les utilisateurs peuvent être avertis efficacement de leur présence dans l'environnement virtuel. 4 métaphores visuelles ont été évaluées à l'aide d'une étude des utilisateurs. / With this generation of devices, virtual reality (VR) has actually made it into the living rooms of end-users. These devices feature 6 degrees of freedom tracking, allowing them to move naturally in virtual worlds. However, for a natural locomotion in the virtual, one needs a corresponding free space in the real environment. The available space is often limited. Objects of daily life can quickly become obstacles for VR users if they are not cleared away. The currently available systems offer only rudimentary assistance for this problem. There is no detection of potentially dangerous objects. This thesis shows how obstacles can be detected automatically with range imaging cameras and how users can be effectively warned about them in the virtual environment. 4 visual metaphors were evaluated with the help of a user study.

Les technologies issues du domaine du jeu vidéo intègrent de nouveaux traitements en santé mentale. La complexité de ces innovations connectées bouleverse le rôle des patients et des thérapeutes et induit la mise en place de nouveaux processus dans les épisodes de soin. Le conflit opposant les notions de protection et de contrôle au concept du développement du pouvoir d’agir des patients situe la problématique au cœur de la thérapie par avatar (TA). Sous le prisme de l’approche systémique et plus spécifiquement de l’approche du design participatif, ce mémoire pose la question des effets du design de la TA sur ses deux catégories d’utilisateurs; les patients et les cliniciens. Les difficultés d’accès au terrain ont limité la cueillette au seul point de vue des cliniciens, et non pas à celui des designers impliqués dans la TA. L’étude de cas de la recherche du Dr Dumais (2018) a mis en lumière la différence de perception épistémologique des cliniciens à propos du concept d’une approche de design autre que technologique. L’analyse des données résultant de la revue de littérature et la comparaison entre les impacts du design technologique et l’approche de design participatif ont montré le niveau d’efficacité de la réalité virtuelle comme moyen thérapeutique. La modélisation du fonctionnement de la TA a fait émerger la dynamique du levier qui module favorablement le pouvoir d’agir du patient participant, ce processus s’apparentant au design participatif. Les propriétés actuelles de la TA ouvrent à des recherches futures où l’intégration d’une approche participative à toutes les étapes du processus de la TA en vérifieraient la pertinence à plus grande échelle. D’autant plus que les directives institutionnelles, dont le plan d’action en santé mentale, demandent la reconnaissance du patient comme partenaire des soignants et acteur de son rétablissement. / Technologies from the video game field are integrating new mental health treatments. The complexity of these connected innovations changes the role of patients and therapists and induces the implementation of new processes in episodes of care. The conflict between the concepts of protection and control and the concept of the development of patients' power to act places the problem at the heart of AT. Under the prism of the systemic approach and more specifically of the participative design approach, this dissertation raises the question of the effects of avatar therapy (AT) design on its two categories of users; patients and clinicians. Difficulties in accessing the field limited the collection to the clinicians' point of view only, and not to that of the designers involved in AT. Dr Dumais' research case study (2018) highlighted the difference in epistemological perception by clinicians about the concept of a design approach other than technological. The analysis of the data resulting from the literature review and the comparison between the impacts of technological design and the participatory design approach showed the level of effectiveness of virtual reality as a therapeutic means. Modeling the functioning of AT has brought to light the dynamic of the lever which favorably modulates the acting power of the participating patient, this process being akin to participatory design. The current properties of AT open to future research where the integration of a participatory approach at all stages of the AT process would verify its relevance on a larger scale. Especially since the institutional guidelines, including the mental health action plan, require recognition of the patient as a partner of caregivers and actor of his recovery.

Mémoire en recherche-création / Le dispositif connu du public sous l'appellation "réalité virtuelle" propose une expérience multisensorielle qui encourage à repenser nos habitudes de perception spectatorielle. Avec le volet recherche, j’élabore une réflexion sur la représentation du réel au cinéma pour mieux cerner le rapport qu’entretient le spectateur avec l’image. Menée dans un souci d’envisager conjointement « récit » et « dispositif », la perspective qui est la nôtre consiste à se pencher sur le processus de collaboration du spectateur et à examiner comment, avec la réalité virtuelle, le « pacte de représentation » et le « cognitivisme spectatoriel » se voient bouleversés. Pour cela, nous élargirons notre étude en nous appuyant sur les aspects techniques de la réalité virtuelle relatifs au photoréalisme et à l’immersion sensorimotrice. Le volet création — qui prend la forme d’un court-métrage en réalité-virtuelle — explore le thème de l’art de la mémoire à partir de l’étude de certains lieux réels qui l’abrite. L’histoire se déroule dix ans après qu’un événement d’origine inconnu ait décimé la population mondiale. Estéban, qui a survécu au mal mystérieux alors qu’il était enfant, entame une exploration des paysages architecturaux désormais en ruine, il parviendra à trouver une passion dans la photographie. Le procédé narratologique de « mise en abyme » utilisé dans ce court-métrage nous fournira une première clé pour ouvrir des pistes vers une réflexion sur la fictionnalisation dans son rapport avec d’autres phénomènes artistiques et représentationnels, notamment la pratique contemporaine appelé « urbex ». / The device known to the public as "virtual reality" offers a multisensory experience that encourages rethinking our habits of spectator perception. With the research component, I develop a reflection on the representation of reality in the cinema to better understand the relationship between the viewer and the image. Conducted with a view to jointly considering "narrative" and "device" our perspective is to look at the process of collaboration of the viewer, and to examine how with virtual reality, the "pact of representation" and the "spectatorial cognitivism" are upset. To do this, we will expand our study by relying on the technical aspects of virtual reality related to photorealism and sensorimotor immersion. The creation component, which takes the form of a short film in virtual reality, will explore the theme of the art of memory from the study of some real places that shelters it. The story takes place 10 years after an event of unknown origin decimated the world's population. Estéban, who survived the mysterious evil as a child, begins an exploration of architectural landscapes now in ruins, he will find a passion in photography. The narratological process of "mise en abyme" used in this short film will provide us with a first key to open avenues towards a reflection on fictionalization in its relationship with other artistic and representational phenomena, notably the contemporary practice called "urbex". .

Cette thèse développe de nouvelles approches pour l'effacement et la révélation de la présence humaine en utilisant des techniques de réalité augmentée. Elle se concentre sur les systèmes projecteur-caméra (ProCams) et leur application dans les «projections intelligentes», où le contenu virtuel projeté est adapté en fonction de l'environnement. Nous nous appuyons sur les travaux antérieurs sur la compensation photométrique pour projeter sur une surface colorée fixe qui permet au spectateur d'observer la même image telle qu'elle apparaîtrait sur une surface blanche. Malgré les différentes méthodes de compensation des couleurs qui ont été proposées au cours de décennie, la compensation appliquée à monde réel avec des couleurs saturées et vives est encore une question ouverte. L'objectif principal de ce travail est la compensation photométrique sur un objet 3D en mouvement en utilisant un ProCam, ce qui est un scénario considérablement plus difficile. Une nouvelle méthode pour la compensation de couleur à l'aide d'une image d'entrée unique est proposée. Elle consiste à estimer la réflectance spectrale de la surface afin de compenser celle-ci en supposant que les réponses du projecteur sont connues ou mesurées précédemment. Cette méthode a été entièrement développée sur GPU pour permettre une compensation en temps réel. Les méthodes antérieures sur la compensation couleur sont discutées et comparées afin d'évaluer la performance de notre technique. L'étalonnage photométrique et géométrique précis d'un ProCam est essentiel pour une compensation précise. Une nouvelle technique de calibration géométrique entre un capteur de profondeur et un ProCam est présentée dans le but de réaliser la projection sur un objet en mouvement. Une calibration photométrique est décrite pour la transformation des valeurs RGB de la caméra et du projecteur (dépendantes du périphérique) vers l'espace couleur CIE XYZ 1931 (indépendantes du périphérique). Le potentiel artistique des techniques de réalité augmentée proposées est en outre exploré à travers l'installation interactive artistique “Gardien du Temple”. La révélation et l'effacement ont toujours été un terrain d'expérimentation commun aux artistes et aux scientifiques. Cette installation audiovisuelle utilise la réalité augmentée pour effacer la présence d'un poème écrit sur un tapis invitant le spectateur à le révéler. Dans de telles applications, la précision et la robustesse des méthodes utilisées sont cruciales. Cette installation artistique a donc permis de tester et d'évaluer les travaux de cette thèse dans un contexte collaboratif et exigeant. / This thesis develops new approaches for human presence concealment and revelation using augmented reality techniques. It focuses on projector-camera systems (ProCams) and their application in “smart projections”, where the projected virtual content is adapted according to the environment. One previously-studied problem is the photometric compensation for projecting on a colored fixed surface that allows the viewer to observe the same image as it would appear on a white surface. Despite the various methods for color compensation that have been proposed the last decade, compensation on a real-world surface with saturated colors and sharp color boundaries is still an open issue. The main objective of this work is the color compensation on a moving 3D object using a ProCam, which is a dramatically more challenging scenario. A novel method for color compensation using a single input frame is proposed. It consists in estimating the spectral reflectance of the surface in order to compensate for it under the assumption that the projector responses are known or previously measured. This method was fully developed on GPU to enable real-time compensation. Previous methods on color compensation are discussed and compared in order to evaluate the performance of our technique. The accurate photometric and geometric calibration of a ProCam is essential for precise compensation. A new geometric calibration technique between a depth sensor and a ProCam is presented in order to make the projection on a moving object feasible. A photometric calibration is described for the transformation of the device-dependent camera and projector values to the device-independent CIE XYZ 1931 color space. The artistic potential of the proposed augmented reality techniques is further explored through the interactive art installation “Gardien du Temple”. Revelation and concealment has always been a common experimentation ground for both artists and scientists. This audio visual installation uses augmented reality to hide the presence of a written poem on a carpet inviting the spectator to reveal it. In such applications, the accuracy and robust performance of the methods employed is crucial and, thus, it offered a challenging ground for testing and evaluation.

Au cours des dernières décennies, la présence des auralisations dans l’acoustique architecturale et la réalité virtuelle est devenue de plus en plus importante. De nombreuses applications en découlent, telles que les explorations de la réalité virtuelle multimodale ou les études de l’influence acoustique des rénovations et la recherche historique. Malgré ces nombreux cas d’utilisation, peu d’études scientifiques ont été réalisées sur le sujet. L’objectif de cette thèse était donc d’examiner l’utilisation d’auralisations acoustiques de salles, basées sur l’acoustique géométrique (GA) comme outil scientifique et visant à aider à la création d’auralisations historiquement exactes plus écologiquement valables. Déjà dans les années 1930 les premières tentatives ont été entreprises pour rendre audible (de manière imaginaire) les champs sonores. Les développements au cours des 80 dernières années ont conduit à des améliorations significatives des auralisations. Aujourd’hui, si l’on veut créer des auralisations, l’enregistrement anéchoïque réalisé préalablement doit être convolué avec une réponse impulsionnelle ambiante, mesurée ou simulée (RIR). Les logiciels GA sont souvent utilisés pour calculer numériquement la RIR de géométries compliquées. Les méthodes basées sur les ondes sont gourmandes en calcul, nécessitant des modèles géométriques complexes et des données d’entrée complexes. Cette thèse vise à améliorer la qualité des auralisations entièrement calculées. À cette fin, on a étudié l’étalonnage des modèles acoustiques des salles et l’inclusion de la directivité vocale dynamique. Des mesures acoustiques de la pièce ont été réalisées dans quatre salles et des modèles d’acoustique géométrique ont été créés des mêmes espaces. Une procédure méthodique de calibration du modèle a été proposée, réalisée dans les quatre salles, et validée au préalable par comparaison d’estimation de paramètres. Des tests d’écoute subjectifs comparant des auralisations mesurée set simulées pour trois espaces différents ont révélé que les auralisations étaient également perçues pour huit attributs acoustiques évalués. Par la suite, un cadre permettant d’inclure la directivité vocale dynamique a été présenté. Les résultats des tests d’écoute ont montré des différences perceptuelles entre la directivité vocale dynamique et la directivité de source statique pour la plausibilité, l’enveloppement de l’auralisation ainsi que la largeur perçue de la source. L’amélioration de la validité écologique des auralisations a permis d’étudier l’influence des visualisations sur l’expérience acoustique, avec un degré de confiance raisonnable que les effets perçus sont également applicables dans des situations réelles. À cet effet, un cadre a été établi qui a permis des évaluations multimodales de pièces de théâtre et de concerts. Les résultats d’un test d’écoute multi-modal présentant une scène cohérente visuelle-sonore ont confirmé les différences perceptuelles entre les auralisations de directivité vocale dynamique et statique. Dans ce même cadre, un second test d’écoute comparant des scènes visuelles/sonores incohérentes è cohérentes, indiquait qu’avec une distance source-récepteur accrue, les auralisations sont perçues acoustiquement plus éloignées et plus élevée. / Over recent decades, auralizations have become more prevalent in architectural acoustics and virtual reality. Auralizations have numerous use-cases such as multi-modal virtual reality explorations, studies of the acoustical influence of renovations, and historic research. Despite their numerous use-cases, they rarely have been part of scientific studies. Therefore, the goal of this thesis was to examine the use of room acoustical auralizations based on geometrical acoustics (GA) as a scientific tool and aimed to aid in the creation of more ecologically valid historically accurate auralizations. Already in the 1930s first attempts were undertaken to render audible (imaginary) sound fields. Developments over the last 80 years have led to significant improvements of auralizations. Today, if one wishes to create auralizations, generally anechoic recording need to be convolved with either a measured or simulated room impulse response (RIR). GA software are often employed to numerically compute the RIR of complicated geometries. Wave-based methods are computationally intensive, requiring complex geometrical models and complex input data. This thesis aims to enhance the quality of fully computed auralizations. For this purpose the calibration of room acoustical models and the inclusion of dynamic voice directivity were studied. Room acoustical measurements were carried out in four rooms and geometrical acoustics models were created of the same spaces. A methodical calibration procedure was proposed, carried out in the four rooms, and first validated by means of parameter estimation comparison. Subjective listening tests which compared measured and simulated auralizations for three spaces found that the auralizations were equally perceived for 8 tested acoustical attributes. Subsequently, a framework was presented which enabled the inclusion of dynamic voice directivity. The results of listening tests indicated that perceptual differences between dynamic voice directivity and regular static source ordinations in plausibility and envelopment of the auralization as well as perceived width of the source. With the improved ecological validity of the auralizations it was possible to study the influence of visualizations on the acoustical experience, with a reasonable degree of confidence that perceived effects are also applicable in real-life situations. For this purpose, a framework was established which enabled multi-model assessments of theater plays and concerts. Results of a visual-aural coherent multi-modal listening test confirmed the perceptual differences between dynamic and static voice directivity auralizations. A second listening test employing this framework which compared incoherent to coherent aural-visual cues indicated that with increased visual source-receiver distance auralizations are perceived acoustically more distant and louder.

Malgré des développements récents dans la conception des casques électroencéphalographiques (EEG) et dans l'analyse du signal cérébrale, les interfaces cerveau-machine (ICM) sont toujours restreintes au contexte de la recherche scientifique. Toutefois, les ICM gagneraient à intégrer la réalité virtuelle (VR) car elles diminuent la distance entre l'utilisateur et son avatar en remplaçant les commandes mécaniques, et donc améliorent le sentiment d'immersion. De plus, les ICM fournissent également des informations sur l'état mental de l'utilisateur comme sa concentration, son attention ou ses points d'intérêts dans l'environnement virtuel. Dans cette thèse, nous étudions l'interaction entre ICM et VR, qui constituent une interface homme-machine dont les applications nous semblent prometteuses pour le grand public, particulièrement dans le domaine du divertissement. Nous nous concentrons sur l'utilisation d’une ICM basée sur l'EEG et sur une stimulation visuelle occasionnelle, autrement-dit une ICM basée sur la détection du P300, un potentiel évoqué positif apparaissant dans l’EEG 250 à 600 ms après l’apparition d’un stimulus. Nous étudions l’usage de cette ICM pour interagir avec un environnement simulé grâce à un casque de VR mobile utilisant un smartphone ordinaire, c’est-à-dire un matériel de VR approprié pour une utilisation grand public.Toutefois, l’intégration des ICM dans la VR pour le grand public rencontre aujourd’hui des défis d’ordre technique, expérimental et conceptuel. En effet, l’utilisation d’un matériel mobile pose des contraintes techniques considérables, et une telle technologie n’a pas encore fait l’objet d’une validation. Les facteurs influençant la performance des ICM en VR par rapport à une utilisation sur PC restent flous. Également, les caractéristiques physiologiques de la réponse du cerveau à des stimuli en VR par rapport aux mêmes stimuli présentés sous PC sont inconnues. Finalement, les ICM et la VR admettent des limites considérables, parfois incompatibles. Par exemple, l’utilisateur interagit avec la VR en bougeant, ce qui perturbe le signal EEG et diminue la performance de l’ICM. Il y a donc une nécessité d’adapter le design de l’application pour une technologie mixte ICM+VR.Dans ce travail, nous présentons une contribution dans chacun de ces domaines : une réalisation technique vers une ICM grand public en VR ; une analyse expérimentale de sa performance et une analyse des différences physiologies produites par des stimuli présentés dans un casque de VR par rapport aux mêmes stimuli sous PC - analyses menées à bien grâce à deux campagnes expérimentales portant sur 33 sujets ; une synthèse des recommandations pour un design adapté à la fois aux ICM et à la VR. / In spite of ongoing developments in the conception of electroencephalographic (EEG) headsets and brain signal analysis, the actual use of an EEG-based brain-computer interfaces (BCI) is still restricted to research settings. On the other hand, BCI technology candidates as a good complement to virtual reality as it may diminish the distance between the user and his/her avatar. A BCI can accomplish this by circumventing the usual muscular pathway between the brain and the machine, thus enhancing the immersion feeling in VR applications. Moreover, a BCI provides valuable information on the mental state of the user, such as concentration and attention for the task at hand and for the virtual objects of interest. In this thesis, we study the coupling of BCI and VR technology, a human-machine interface that is potentially ubiquitous, in particular for gaming. We focus on the use of EEG-based BCI with occasional visual stimulation, i.e., BCIs based on the detection of the P300, a positive evoked potential appearing in the EEG 250 to 600 ms after the presentation of a stimulus. We investigate the use of such a BCI to interact with VR environments obtained using a mobile head-mounted display based on an ordinary smartphone, material suiting well the general public.The fusion of BCI technology with VR faces technical, experimental and conceptual limitations. Indeed, the integration of BCI with a mobile head-mounted display is technically burdensome and has not been fully validated. The factors impacting the performance of the BCI in VR remains still unknown. Also, unknown are the physiological characteristics of the brain responses to VR stimuli as compared to the same stimuli displayed on a PC screen. Finally, both BCI and VR technologies are limited, and these limitations sometimes appears contradictory. For example, the EEG is perturbed by the user’s movements while s/he is interacting with the virtual environment, but this movement may be an essential aspect of the VR experience. Thus, it is necessary to operate a synthesis of the existing design recommendations for BCI and VR technologies from the perspective of a mixed BCI+VR application.In this work, we presents three contributions: a technical implementation of a BCI+VR system, paving the way for a general public use; an analysis of its performance and an analysis of the physiological differences produced by VR stimuli as compared to the same stimuli on a PC by means of two experimental campaigns carried out on 33 subjects; a synthesis of the recommendations to adapt the application design to BCI and VR.

Les simulateurs de conduite permettent d’étudier le comportement humain dans différentes conditions fixées expérimentalement. Un avantage majeur de la simulation est de ne pas exposer le sujet à un risque objectif et que les conditions de test sont "facilement" mises en œuvre et manipulées. Le recours à la simulation pose néanmoins la question de la généralisation et transposition des comportements observés en simulation à la situation réelle de conduite. En effet, il est nécessaire de s’assurer que le simulateur mesure précisément l’objet d’étude sans le modifier ou l’influencer. L’évaluation du degré de validité est donc cruciale dans toute étude sur simulateur qui cherche à susciter des comportements réalistes de conducteurs. Le postulat de notre travail repose donc sur l’idée que la présence est un concept clé pour évaluer la représentativité des comportements de conduite observés en simulation. Toutefois plusieurs difficultés seront à résoudre. Une des plus cruciales repose sur le fait que la présence est difficilement mesurable en temps réel puisque le fait même de chercher à la mesurer peut rompre l’état de présence plus ou moins existant. Ainsi obtenir des indicateurs comportementaux de la présence constitue un véritable enjeu pour caractériser la nature d’un phénomène qui à l’heure actuelle est davantage fantasmé à l’aide de mesures post-expérimentation que concrètement démontré par la mise en évidence de comportements spécifiques reproductibles. / Driving simulators make it possible to study human behavior in different experimentally determined conditions. A major benefit of simulation is that it does not expose the subject to an objective risk and that test conditions are "easily" implemented and manipulated. The use of simulation nevertheless raises the question of the generalization and transposition of the behaviors observed in simulation to the actual driving situation. Indeed, it is necessary to ensure that the simulator accurately measures the object of study without modifying or influencing it. Assessing the degree of validity is therefore crucial in any simulator study that seeks to create realistic driver behaviors. The postulate of our work is therefore based on the idea that presence is a key concept for assessing the representativeness of driving behaviors observed in simulation. However, several difficulties will have to be solved. One of the most crucial is the fact that presence is difficult to measure in real time because the very fact of trying to measure it can break the more or less existing presence state. Thus, to obtain behavioral indicators of presence is a real challenge to characterize the nature of a phenomenon which at present is more fantasized by post-experimental measures than concretely demonstrated by the demonstration of specific reproducible behaviors.