Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

L’arrivée de la technologie de la RV a permis l’émergence de nouvelles expériences immersives. Celles-ci, basées sur l’utilisation des sens et du corps, emportent l’utilisateur dans une nouvelle réalité, une réalité virtuelle. Ce mémoire porte sur les discours entourant l’expérience au sein de la RV autant du point de vue des créateurs que des utilisateurs, et ce, en analysant le processus de création d’univers virtuel et de la mise en place d’une expérience immersive. Plus précisément, c’est l’utilisation des sens lors du processus d’immersion qui sera étudiée. Cette étude vise à mieux comprendre ce que sont les sens virtuels, comment ils sont utilisés et mis en place au sein des environnements virtuels. Elle permet également de démontrer l’objectif de l’utilisation de ceux-ci dans le processus de création d’une immersion sensorielle virtuelle convaincante. / The arrival of VR technology has enabled the emergence of new immersive experiences. These , based on the use of the senses and the body , take the user into a new reality , a virtual reality. This thesis addresses the discourses surrounding the experience of VR from both designer and user perspectives by analyzing the process of creating a virtual universe and the implementation of an immersive experience. Most specifically , I will examine the mobilization of the senses during the immersion process. This study aims to better understand virtual senses and how they are used and implemented within virtual environments to produce a convincing virtual sensory immersion.

Nous présentons une refondation théorique de la réalité virtuelle. Celle-ci est marquée par la conviction profonde de définir la réalité virtuelle comme une expérience médiatisée capable de susciter un sentiment de présence. Ce dernier est défini comme le sentiment authentique d'exister dans un monde autre que le monde physique où le corps se trouve. Nous proposons un éclairage nouveau et global sur le sentiment de présence. Cet éclairage consiste en une approche unifiée de la présence prenant en compte des considérations technologiques, psychologiques et écologiques. Nous avons élaboré un modèle qui identifie les processus menant au sentiment de présence. Selon notre modèle, deux phases inconscientes de jugement conditionnent l'émergence de la présence. Le premier jugement concerne la crédibilité de l'environnement, celle-ci dépend de la satisfaction des attentes intellectuelles et perceptives de l'utilisateur. Le deuxième jugement vise la crédibilité de l'expérience. Nous considérons que ce jugement est positif si un maximum des affordances perçues dans l'environnement est assumé, c'est-à-dire réalisable par l'intermédiaire des schémas d'interaction proposés à l'utilisateur. Nous avons mené une phase d'expérimentations pour valider la pertinence et la cohérence de notre modèle. Notre modèle a de multiples implications. Nous considérons par exemple qu'il peut constituer une grille d'analyse intéressante pour les jeux vidéo. De plus, il incite les concepteurs d'applications en réalité virtuelle à penser en terme d'affordances. Ce dernier point implique donc de faire entrer l'utilisateur très tôt dans la boucle de conception de l'application. Notre vision globale de la réalité virtuelle et de la présence a été mise en pratique notamment lors de la conception de dispositifs de réalité virtuelle transportables et à bas coûts. Sur la base de ce cadre théorique nous présentons un framework de conception d'applications en réalité virtuelle. Puisque l'objectif est la crédibilité et non le réalisme, nous nous intéressons à la réalité perçue de l'environnement et non pas à sa réalité physique. C'est pourquoi, le point de départ de notre framework consiste en un socle de connaissances sur la cognition humaine. Cette base de connaissances sert de vivier d'idées pour les quatre piliers sur lesquels peut s'appuyer le concepteur d'applications en réalité virtuelle. Ces piliers sont l'immersion, l'interaction, les émotions et un quatrième regroupant la boucle sensori-motrice et la multimodalité. Concernant le pilier immersion nous proposons un nouvel algorithme pour le calcul de la réverbération sonore dans un environnement complexe et dynamique. Notre méthode repose sur l'algorithme existant du lancer de frustum mais propose deux optimisations. La première exploite le socle de connaissances sur la cognition humaine pour déterminer une sphère d'acuité sonore. Celle-ci nous sert de cadre pour lancer les frusta depuis l'auditeur et non depuis les sources sonores. Cette deuxième optimisation réduit le nombre de calculs

Nous présentons une refondation théorique de la réalité virtuelle. Celle-ci est marquée par la conviction profonde de définir la réalité virtuelle comme une expérience médiatisée capable de susciter un sentiment de présence. Ce dernier est défini comme le sentiment authentique d’exister dans un monde autre que le monde physique où le corps se trouve. Nous proposons un éclairage nouveau et global sur le sentiment de présence. Cet éclairage consiste en une approche unifiée de la présence prenant en compte des considérations technologiques, psychologiques et écologiques. Nous avons élaboré un modèle qui identifie les processus menant au sentiment de présence. Selon notre modèle, deux phases inconscientes de jugement conditionnent l’émergence de la présence. Le premier jugement concerne la crédibilité de l’environnement, celle-ci dépend de la satisfaction des attentes intellectuelles et perceptives de l’utilisateur. Le deuxième jugement vise la crédibilité de l’expérience. Nous considérons que ce jugement est positif si un maximum des affordances perçues dans l’environnement est assumé, c’est-à-dire réalisable par l’intermédiaire des schémas d’interaction proposés à l’utilisateur. Nous avons mené une phase d’expérimentations pour valider la pertinence et la cohérence de notre modèle. Notre modèle a de multiples implications. Nous considérons par exemple qu’il peut constituer une grille d’analyse intéressante pour les jeux vidéo. De plus, il incite les concepteurs d’applications en réalité virtuelle à penser en terme d’affordances. Ce dernier point implique donc de faire entrer l’utilisateur très tôt dans la boucle de conception de l’application. Notre vision globale de la réalité virtuelle et de la présence a été mise en pratique notamment lors de la conception de dispositifs de réalité virtuelle transportables et à bas coûts. Sur la base de ce cadre théorique nous présentons un framework de conception d’applications en réalité virtuelle. Puisque l’objectif est la crédibilité et non le réalisme, nous nous intéressons à la réalité perçue de l’environnement et non pas à sa réalité physique. C’est pourquoi, le point de départ de notre framework consiste en un socle de connaissances sur la cognition humaine. Cette base de connaissances sert de vivier d’idées pour les quatre piliers sur lesquels peut s’appuyer le concepteur d’applications en réalité virtuelle. Ces piliers sont l’immersion, l’interaction, les émotions et un quatrième regroupant la boucle sensori-motrice et la multimodalité. Concernant le pilier immersion nous proposons un nouvel algorithme pour le calcul de la réverbération sonore dans un environnement complexe et dynamique. Notre méthode repose sur l’algorithme existant du lancer de frustum mais propose deux optimisations. La première exploite le socle de connaissances sur la cognition humaine pour déterminer une sphère d’acuité sonore. Celle-ci nous sert de cadre pour lancer les frusta depuis l’auditeur et non depuis les sources sonores. Cette deuxième optimisation réduit le nombre de calculs / We present a new theoretical context for virtual reality: virtual reality is defined as a mediated experience which is able to generate a feeling of presence. The latter is delimited as the genuine feeling to exist in a different world than the physical world where the body is located. We propose a new and comprehensive light on the feeling of presence through a unified approach of presence with technological, psychological and ecological considerations. We have developed a model which explains the processes leading to presence. According to our model, two unconscious stages of judgment govern the emergence of presence. The first judgment refers to the credibility of the virtual environment. The latter depends on the satisfaction of intellectual and perceptual user’s expectation. The second judgment deals with the credibility of the experience and is positive if most affordances perceived in the virtual environment are taken up, that means achievable with the interaction schemes offered to the user. We have conducted a study to assess the relevance and the consistency of our model. This model has some interesting repercussions like to be an analytical grid for video games. Moreover, it suggests to virtual reality developers that they should think in terms of affordances. This last idea involves to take into consideration the user very early in the design loop of the virtual reality experience. Our whole conception of virtual reality and presence has been put in practice during the design of low-cost ans easily transportable virtual reality systems. Based on this theoretical content we introduce a virtual reality application framework. Since the objective is the credibility, and not the realism of the environment and of the experience, we take an interest in the perceptual reality and not in its physical reality. This is why the starting point of our framework is a knowledge base on human cognition. The latter act as an idea pool for the four inter-related technical and psychological pillars upon which virtual reality developers can lean on. These pillars are immersion, interaction, emotions and a fourth one including the sensori-motor loop and the multimodality. Concerning the immersion pillar we introduce a new algorithm to compute sound reverberation in complex and dynamic virtual environment. Our method relies on the existing algorithm called frustum tracing but we provide two optimizations. The first one makes the most of the knowledge base on human cognition in order to work out a sphere of sound acuity. This information acts as a template in order to shoot the frusta from the listener and not from sound sources. This second optimization reduces the number of computations

La Thérapie Avatar (TA) est une nouvelle psychothérapie en réalité virtuelle. Celle-ci a été développée pour traiter les hallucinations auditives verbales (HAV) chez les patients atteints de schizophrénie résistante au traitement (SRT). Diverses composantes psychothérapeutiques, telles que les émotions et le sentiment de présence, pourraient contribuer à la réponse clinique dans le cadre de thérapies psychologiques. De plus, dans le contexte des interventions basées en réalité virtuelle, le sentiment de présence pourrait être associé à la réponse émotionnelle. Néanmoins, ces éléments ont été peu explorés dans le contexte de la TA. Ainsi, ce mémoire visait à explorer les liens entre le sentiment de présence, les émotions et la réponse clinique dans la TA. Pour mener cette étude, les données d’essais de TA antérieurs et en cours ont été utilisées. Au total, les données de 123 participants atteints de SRT ou d’un trouble schizoaffectif résistant au traitement ont été utilisées. Cet échantillon comprenait 84 individus de sexe masculin et 39 individus de sexe féminin, dont l’âge moyen était de 41,9 ans. À la fin de chaque séance de TA, le sentiment de présence et les émotions ressenties lors des séances de réalité virtuelle immersive ont été évalués à l’aide de questionnaires standardisés. Une échelle d’évaluation graphique et le questionnaire de présence Igroup Presence Questionnaire (IPQ) ont été utilisés pour évaluer le sentiment de présence. Une échelle d’évaluation graphique a également été utilisée pour évaluer la réponse émotionnelle. La variation au niveau de la sévérité des HAV a été évaluée à l’aide de la sous-échelle des hallucinations auditives du Psychotic Symptom Rating Scales (PSYRATS-AH). Des corrélations de Spearman ont été utilisées pour évaluer les associations entre le sentiment de présence et les émotions. Les corrélations entre le sentiment de présence et la variation de sévérité des HAV après la TA ont également été évaluées. Un test U de Mann-Whitney a été utilisé pour comparer les scores de sentiment de présence (IPQ et échelle d’évaluation graphique) entre les participants ayant une réduction de 20% ou plus du score au PSYRATS-AH (répondeurs) et les participants ayant eu une réduction de moins de 20 % du score au PSYRATS-AH (non-répondeurs). Les résultats obtenus montraient que le sentiment de présence était positivement corrélé avec le sentiment de contrôle (échelle d’évaluation graphique : rs = 0,337, p < 0,01 ; IPQ : rs = 0,225, p < 0,05). Le même résultat a été observé pour le sentiment de sérénité, mais uniquement avec l’échelle d’évaluation graphique (rs = 0,242, p < 0,05). Aucune association significative n’a été observée entre le sentiment de présence et les émotions négatives (anxiété, colère, peur et tristesse). De plus, un sentiment de présence plus élevé, mesuré à l’aide de l’échelle d’évaluation graphique, était associé à une diminution plus importante des HAV (rs = −0,384, p < 0,01), mais aucune association significative n’a été trouvée avec l’IPQ (rs = −0,257, p = 0,15). Enfin, des scores plus élevés de sentiment de présence étaient associés à une réponse clinique optimale (réduction de 20% ou plus du score au PSYRATS-AH), mais uniquement en utilisant l’échelle d’évaluation graphique (d de Cohen = 0,543, p = 0,047). En conclusion, les émotions positives semblent être associées au sentiment de présence dans la TA, alors que les émotions négatives pourraient ne pas l’être. Le sentiment de présence semble également être impliqué dans la réponse thérapeutique, ce qui suggère que celui-ci pourrait être une composante importante de la réponse clinique. Des résultats différents ont été obtenus pour l’échelle d’évaluation graphique et l’IPQ, ce qui semble indiquer que ces questionnaires pourraient mesurer différents aspects du sentiment de présence. D’autres études seront nécessaires pour confirmer ces observations et pour évaluer l’uniformité des méthodes de mesure du sentiment de présence dans le cadre des interventions en réalité virtuelle. / Avatar therapy (AT) is a novel virtual reality-based psychotherapy that has been developed to treat auditory verbal hallucinations (AVH) in treatment-resistant schizophrenia patients. Studies have shown that various psychotherapeutic components, such as emotions and sense of presence, could contribute to clinical outcomes in psychological interventions. Moreover, in the context of virtual reality-based interventions, sense of presence may be associated with emotional response. Nevertheless, these aspects have seldom been investigated in the context of AT. Therefore, this thesis aimed to explore the interplay between sense of presence, emotions, and clinical outcomes in AT. To conduct this investigation, data from previous and ongoing AT trials were used. Data from a total of 123 participants with treatment-resistant schizophrenia or schizoaffective disorder were used. This sample included 84 individuals of the male sex and 39 individuals of the female sex, with a mean age of 41,9 years. After each AT session, the sense of presence and the emotions that were felt during immersive virtual reality sessions were assessed using standardized questionnaires. A graphic rating scale and the Igroup Presence Questionnaire (IPQ) were used to evaluate the sense of presence. A graphic rating scale was also used to evaluate emotional response. Change in the main clinical outcome, AVH, was evaluated using the auditory hallucinations subscale of the Psychotic Symptom Rating Scales (PSYRATS-AH). Spearman correlations were used to assess the associations between sense of presence and emotions. Correlations between sense of presence and change in AVH after AT were also evaluated. A Mann-Whitney U test was used to compare sense of presence scores (IPQ and graphic rating scale) between participants with a reduction of 20% or more in PSYRATS-AH score (responders) and participants who had a reduction of less than 20% in PSYRATS-AH score (non-responders). Sense of presence was found to be positively correlated with feelings of control (graphic rating scale: rs = 0,337, p <0,01; IPQ: rs = 0,225, p < 0,05). The same was observed for serenity, but only with the graphic rating scale (rs = 0,242, p < 0,05). No significant associations were observed between presence and negative emotions (anxiety, anger, fear and sadness), regardless of the scale. Moreover, a higher sense of presence, measured with the graphic rating scale, was associated with a bigger decrease in AVH (rs = −0,384, p < 0,01), but no significant association was found with the IPQ (rs = −0,257, p = 0,15). Finally, higher levels of sense of presence were associated with a positive clinical outcome (reduction of 20% or more in PSYRATS-AH score) but only when using the graphic rating scale (Cohen’s d = 0,543, p = 0,047). In conclusion, positive emotions seem to be associated with sense of presence in AT, whereas negative emotions might not be. Sense of presence also seems to be involved in the therapeutic outcome, thereby suggesting that this could be an important component related to clinical response. Results differed between the graphic rating scale and the IPQ, which seems to indicate that these questionnaires may measure different aspects of presence. More studies will be needed to confirm these trends, which could be generalized to other psychotherapeutic interventions using virtual reality. Moreover, further studies will be needed to assess the consistency of methods used to measure sense of presence in virtual reality interventions.

La modélisation de l’expérience de jeu présente un intérêt considérable pour la conception de jeux vidéo adaptatifs. Les jeux vidéo adaptatifs utilisent l’information émotionnelle contenue dans les signaux physiologiques et les indices comportementaux pour personnaliser l’expérience de jeu vidéo, et ce dans le but de générer une expérience optimale de jeu. Afin de modéliser l’expérience de jeu, le présent projet de recherche s’est penché sur la détection du plaisir d’un joueur à partir de signaux physiologiques (électrocardiogramme, activité électrodermale, activité respiratoire et électromyogramme) et d’indices comportementaux (expressions faciales, mouvements de la tête et entrées d’un contrôleur Xbox). Dans ce travail, des modèles supervisés(SVM, Forêt d’arbres décisionnels et kNN) ont été entrainés sur un jeu de données construit à partir de la base de données FUNii, qui contient les données physio-comportementales de 219 joueurs réparties sur 362 séances de jeu de la franchise Assassin’s Creed. Une méthode pour la création de classes de plaisir à partir du facteur-fun, un outil d’annotation continue du plaisir, à également été proposée. Le meilleur modèle entrainé a permis de distinguer trois classes de plaisir avec un taux de classement de 53, 5% sur un jeu de test, une amélioration de 12,5% par rapport au meilleur résultat obtenu dans des travaux antérieurs. / Modeling the gaming experience is of considerable interest for designing adaptive video games. Adaptive video games use the emotional information contained in physiological signals and behavioral cues to personalize the video game experience,in order to generate an optimal gaming experience. With the purpose of modeling the gaming experience, this research project has focused on the detection of a player’s fun using physiological signals (electrocardiogram, electrodermal activity, respiratory activity and electromyogram) and behavioral cues (facial expressions,head movements and facial expressions and inputs from an Xbox controller). In this work, supervised machine learning models (SVM, Random Forest and kNN) were trained on a dataset built from the FUNii database, which contains the physiobehavioral data of 219 players spread over 362 game sessions of the Assassin’s Creed franchise. A method for creating fun classes from the fun factor, a tool for continuous annotation of fun, has also been proposed. The best model trained allowed to distinguish three classes of pleasure with an accuracy of 53, 5% on a test dataset, an improvement of 12, 5% compared to the best result obtained in previous works.