À l’heure où le numérique s’est totalement imposé dans notre quotidien, nous pouvons nous demander comment évolue notre bien-être. La réalité virtuelle hautement immersive permet de développer des environnements propices à la relaxation qui peuvent améliorer les capacités cognitives et la qualité de vie de nombreuses personnes. Le premier objectif de cette étude est de réduire les émotions négatives et améliorer les capacités cognitives des personnes souffrant de déclin cognitif subjectif (DCS). À cette fin, nous avons développé un environnement de réalité virtuelle appelé Savannah VR, où les participants ont suivi un avatar à travers une savane. Nous avons recruté dix-neuf personnes atteintes de DCS pour participer à l’expérience virtuelle de la savane. Le casque Emotiv Epoc a capturé les émotions des participants pendant toute l’expérience virtuelle. Les résultats montrent que l’immersion dans la savane virtuelle a réduit les émotions négatives des participants et que les effets positifs ont continué par la suite. Les participants ont également amélioré leur performance cognitive. La confusion se manifeste souvent au cours de l’apprentissage lorsque les élèves ne comprennent pas de nouvelles connaissances. C’est un état qui est également très présent chez les personnes atteintes de démence à cause du déclin de leurs capacités cognitives. Détecter et surmonter la confusion pourrait ainsi améliorer le bien-être et les performances cognitives des personnes atteintes de troubles cognitifs. Le deuxième objectif de ce mémoire est donc de développer un outil pour détecter la confusion. Nous avons mené deux expérimentations et obtenu un modèle d’apprentissage automatique basé sur les signaux du cerveau pour reconnaître quatre niveaux de confusion (90% de précision). De plus, nous avons créé un autre modèle pour reconnaître la fonction cognitive liée à la confusion (82 % de précision). / At a time when digital technology has become an integral part of our daily lives, we can ask ourselves how our well-being is evolving. Highly immersive virtual reality allows the development of environments that promote relaxation and can improve the cognitive abilities and quality of life of many people. The first aim of this study is to reduce the negative emotions and improve the cognitive abilities of people suffering from subjective cognitive decline (SCD). To this end, we have developed a virtual reality environment called Savannah VR, where participants followed an avatar across a savannah. We recruited nineteen people with SCD to participate in the virtual savannah experience. The Emotiv Epoc headset captured their emotions for the entire virtual experience. The results show that immersion in the virtual savannah reduced the negative emotions of the participants and that the positive effects continued afterward. Participants also improved their cognitive performance. Confusion often occurs during learning when students do not understand new knowledge. It is a state that is also very present in people with dementia because of the decline in their cognitive abilities. Detecting and overcoming confusion could thus improve the well-being and cognitive performance of people with cognitive impairment. The second objective of this paper is, therefore, to develop a tool to detect confusion. We conducted two experiments and obtained a machine learning model based on brain signals to recognize four levels of confusion (90% accuracy). In addition, we created another model to recognize the cognitive function related to the confusion (82% accuracy).

Des études soutiennent que l’entraînement cognitif est une méthode efficace pour ralentirle déclin cognitif chez les personnes âgées. Les jeux sérieux basés sur la réalité virtuelle(RV) ont trouvé une application dans ce domaine en raison du haut niveau d’immersionet d’interactivité offert par les environnements virtuels (EV). Ce projet implémente unjeu d’orientation 3D en réalité virtuelle entièrement immersif avec un système pour guiderl’utilisateur en temps réel. Le jeu d’orientation 3D est utilisé comme exercice pour entraînerles capacités cognitives des utilisateurs. Les effets immédiats du jeu d’orientation sur lescapacités de mémoire et d’attention ont été étudiés sur quinze personnes âgées présentant undéclin cognitif subjectif (DCS). Il a été observé que bien qu’il n’y ait pas eu d’améliorationsignificative des résultats pour les exercices d’attention, les participants ont obtenu demeilleurs résultats aux exercices de mémoire spécifiques après avoir joué au jeu d’orientation. Le manque de succès dans la réalisation de l’objectif requis peut parfois augmenter lesémotions négatives chez les êtres humains, et plus particulièrement chez les personnes quisouffrent de déclin cognitif. C’est pourquoi le jeu a été équipé d’un système de guidageavec indices de localisation en temps réel pour contrôler les émotions négatives et aiderles participants à accomplir leurs tâches. Le système de guidage est basé sur des règleslogiques; chaque indice est délivré si une condition spécifique est remplie. Le changement desémotions des participants a montré que les indices sont efficaces pour réduire la frustration,étant donné qu’ils sont facilement compréhensibles et conçus pour donner un retour positif. La dernière partie du projet se concentre sur le système de guidage et met en oeuvre unmoyen pour l’activer entièrement selon les émotions d’une personne. Le problème consisteà identifier l’état des émotions qui devraient déclencher l’activation du système de guidage.Ce problème prend la forme d’un processus de décision markovien (PDM), qui peut êtrerésolu via l’apprentissage par renforcement (AR). Le réseau profond Q (RPQ) avec relectured’expérience (ER), qui est l’un des algorithmes d’apprentissage par renforcement les plusavancés pour la prédiction d’actions dans un espace d’action discret, a été utilisé dans cecontexte. L’algorithme a été formé sur des données d’émotions simulées, et testé sur les données de quinze personnes âgées acquises lors d’expériences menées dans la première partiedu projet. On observe que la méthode basée sur l’AR est plus performante que la méthodebasée sur les règles pour identifier l’état mental d’une personne afin de lui fournir des indices. / Studies support cognitive training as an efficient method to slow the cognitive declinein older adults. Virtual reality (VR) based serious games have found application in thisfield due to the high level of immersion and interactivity offered by virtual environments(VE). This project implements a fully immersive 3D virtual reality orientation game with areal-time guidance system to be used as an exercise for cognitive training. The immediateaftereffects of playing the orientation game on memory and attention abilities were studiedon fifteen older adults with subjective cognitive decline (SCD). It was observed that whilethere was no significant improvement in attention exercises, the participants performedbetter in specific memory exercises after playing the orientation game. Sometimes lack of success in achieving the required objective may increase the negativeemotions in humans and more so in people who suffer from cognitive decline. Hence, thegame was equipped with a real-time guidance system with location hints to control negativeemotions and help participants to complete the tasks. The guidance system is based onlogical rules; each hint is delivered if a specific condition is met. Change in emotions ofparticipants showed that hints are effective in reducing frustration, given that the hints areeasily comprehensible and designed to give positive feedback. The final part of the project focuses on the guidance system and implements a way toactivate it entirely based on a person’s emotions. The problem calls for identifying the stateof the emotions that should trigger the guidance system’s activation. This problem takes theform of a Markov decision process (MDP), which can be solved by setting it in a reinforcementlearning framework. Deep Q-Learning network (DQN) with experience replay (ER),which is one of the state-of-the-art reinforcement learning algorithms for predicting actionsin discrete action space, was used in this context. The algorithm was trained on simulateddata of emotions and tested on the data of fifteen older adults acquired in experimentsconducted in the first part of the project. It is observed that the RL based method performsbetter than the rule-based method in identifying the mental state of a person to provide hints.

Des efforts importants ont été faits pour améliorer la précision de la détection des actions humaines à l’aide des articulations du squelette. Déterminer les actions dans un environnement bruyant reste une tâche difficile, car les coordonnées cartésiennes des articulations du squelette fournies par la caméra de détection à profondeur dépendent de la position de la caméra et de la position du squelette. Dans certaines applications d’interaction homme-machine, la position du squelette et la position de la caméra ne cessent de changer. La méthode proposée recommande d’utiliser des valeurs de position relatives plutôt que des valeurs de coordonnées cartésiennes réelles. Les récents progrès des réseaux de neurones à convolution (RNC) nous aident à obtenir une plus grande précision de prédiction en utilisant des entrées sous forme d’images. Pour représenter les articulations du squelette sous forme d’image, nous devons représenter les informations du squelette sous forme de matrice avec une hauteur et une largeur égale. Le nombre d’articulations du squelette fournit par certaines caméras de détection à profondeur est limité, et nous devons dépendre des valeurs de position relatives pour avoir une représentation matricielle des articulations du squelette. Avec la nouvelle représentation des articulations du squelette et le jeu de données MSR, nous pouvons obtenir des performances semblables à celles de l’état de l’art. Nous avons utilisé le décalage d’image au lieu de l’interpolation entre les images, ce qui nous aide également à obtenir des performances similaires à celle de l’état de l’art. / There have been significant efforts in the direction of improving accuracy in detecting human action using skeleton joints. Recognizing human activities in a noisy environment is still challenging since the cartesian coordinate of the skeleton joints provided by depth camera depends on camera position and skeleton position. In a few of the human-computer interaction applications, skeleton position, and camera position keep changing. The proposed method recommends using relative positional values instead of actual cartesian coordinate values. Recent advancements in CNN help us to achieve higher prediction accuracy using input in image format. To represent skeleton joints in image format, we need to represent skeleton information in matrix form with equal height and width. With some depth cameras, the number of skeleton joints provided is limited, and we need to depend on relative positional values to have a matrix representation of skeleton joints. We can show the state-of-the-art prediction accuracy on MSR data with the help of the new representation of skeleton joints. We have used frames shifting instead of interpolation between frames, which helps us achieve state-of-the-art performance.

Brain-computer interfaces (BCI) have been used to control the gait of a virtual self-avatar with the aim of being used in gait rehabilitation. A BCI decodes the brain signals representing a desire to do something and transforms them into a control command for controlling external devices. The feelings described by the participants when they control a self-avatar in an immersive virtual environment (VE) demonstrate that humans can be embodied in the surrogate body of an avatar (ownership illusion). It has recently been shown that inducing the ownership illusion and then manipulating the movements of one’s self-avatar can lead to compensatory motor control strategies. In order to maximize this effect, there is a need for a method that measures and monitors embodiment levels of participants immersed in virtual reality (VR) to induce and maintain a strong ownership illusion. This is particularly true given that reaching a high level of both BCI performance and embodiment are inter-connected. To reach one of them, the second must be reached as well. Some limitations of many existing systems hinder their adoption for neurorehabilitation: 1- some use motor imagery (MI) of movements other than gait; 2- most systems allow the user to take single steps or to walk but do not allow both, which prevents users from progressing from steps to gait; 3- most of them function in a single BCI mode (cue-paced or self-paced), which prevents users from progressing from machine-dependent to machine-independent walking. Overcoming the aforementioned limitations can be done by combining different control modes and options in one single system. However, this would have a negative impact on BCI performance, therefore diminishing its usefulness as a potential rehabilitation tool. In this case, there will be a need to enhance BCI performance. For such purpose, many techniques have been used in the literature, such as providing modified feedback (whereby the presented feedback is not consistent with the user’s MI), sequential training (recalibrating the classifier as more data becomes available). This thesis was developed over 3 studies. The objective in study 1 was to investigate the possibility of measuring the level of embodiment of an immersive self-avatar, during the performing, observing and imagining of gait, using electroencephalogram (EEG) techniques, by presenting visual feedback that conflicts with the desired movement of embodied participants. The objective of study 2 was to develop and validate a BCI to control single steps and forward walking of an immersive virtual reality (VR) self-avatar, using mental imagery of these actions, in cue-paced and self-paced modes. Different performance enhancement strategies were implemented to increase BCI performance. The data of these two studies were then used in study 3 to construct a generic classifier that could eliminate offline calibration for future users and shorten training time. Twenty different healthy participants took part in studies 1 and 2. In study 1, participants wore an EEG cap and motion capture markers, with an avatar displayed in a head-mounted display (HMD) from a first-person perspective (1PP). They were cued to either perform, watch or imagine a single step forward or to initiate walking on a treadmill. For some of the trials, the avatar took a step with the contralateral limb or stopped walking before the participant stopped (modified feedback). In study 2, participants completed a 4-day sequential training to control the gait of an avatar in both BCI modes. In cue-paced mode, they were cued to imagine a single step forward, using their right or left foot, or to walk forward. In the self-paced mode, they were instructed to reach a target using the MI of multiple steps (switch control mode) or maintaining the MI of forward walking (continuous control mode). The avatar moved as a response to two calibrated regularized linear discriminant analysis (RLDA) classifiers that used the μ power spectral density (PSD) over the foot area of the motor cortex as features. The classifiers were retrained after every session. During the training, and for some of the trials, positive modified feedback was presented to half of the participants, where the avatar moved correctly regardless of the participant’s real performance. In both studies, the participants’ subjective experience was analyzed using a questionnaire. Results of study 1 show that subjective levels of embodiment correlate strongly with the power differences of the event-related synchronization (ERS) within the μ frequency band, and over the motor and pre-motor cortices between the modified and regular feedback trials. Results of study 2 show that all participants were able to operate the cued-paced BCI and the selfpaced BCI in both modes. For the cue-paced BCI, the average offline performance (classification rate) on day 1 was 67±6.1% and 86±6.1% on day 3, showing that the recalibration of the classifiers enhanced the offline performance of the BCI (p < 0.01). The average online performance was 85.9±8.4% for the modified feedback group (77-97%) versus 75% for the non-modified feedback group. For self-paced BCI, the average performance was 83% at switch control and 92% at continuous control mode, with a maximum of 12 seconds of control. Modified feedback enhanced BCI performances (p =0.001). Finally, results of study 3 show that the constructed generic models performed as well as models obtained from participant-specific offline data. The results show that there it is possible to design a participant-independent zero-training BCI. / Les interfaces cerveau-ordinateur (ICO) ont été utilisées pour contrôler la marche d'un égo-avatar virtuel dans le but d'être utilisées dans la réadaptation de la marche. Une ICO décode les signaux du cerveau représentant un désir de faire produire un mouvement et les transforme en une commande de contrôle pour contrôler des appareils externes. Les sentiments décrits par les participants lorsqu'ils contrôlent un égo-avatar dans un environnement virtuel immersif démontrent que les humains peuvent être incarnés dans un corps d'un avatar (illusion de propriété). Il a été récemment démontré que provoquer l’illusion de propriété puis manipuler les mouvements de l’égo-avatar peut conduire à des stratégies de contrôle moteur compensatoire. Afin de maximiser cet effet, il existe un besoin d'une méthode qui mesure et surveille les niveaux d’incarnation des participants immergés dans la réalité virtuelle (RV) pour induire et maintenir une forte illusion de propriété. D'autre part, atteindre un niveau élevé de performances (taux de classification) ICO et d’incarnation est interconnecté. Pour atteindre l'un d'eux, le second doit également être atteint. Certaines limitations de plusieurs de ces systèmes entravent leur adoption pour la neuroréhabilitation: 1- certains utilisent l'imagerie motrice (IM) des mouvements autres que la marche; 2- la plupart des systèmes permettent à l'utilisateur de faire des pas simples ou de marcher mais pas les deux, ce qui ne permet pas à un utilisateur de passer des pas à la marche; 3- la plupart fonctionnent en un seul mode d’ICO, rythmé (cue-paced) ou auto-rythmé (self-paced). Surmonter les limitations susmentionnées peut être fait en combinant différents modes et options de commande dans un seul système. Cependant, cela aurait un impact négatif sur les performances de l’ICO, diminuant ainsi son utilité en tant qu'outil potentiel de réhabilitation. Dans ce cas, il sera nécessaire d'améliorer les performances des ICO. À cette fin, de nombreuses techniques ont été utilisées dans la littérature, telles que la rétroaction modifiée, le recalibrage du classificateur et l'utilisation d'un classificateur générique. Le projet de cette thèse a été réalisé en 3 études, avec objectif d'étudier dans l'étude 1, la possibilité de mesurer le niveau d'incarnation d'un égo-avatar immersif, lors de l'exécution, de l'observation et de l'imagination de la marche, à l'aide des techniques encéphalogramme (EEG), en présentant une rétroaction visuelle qui entre en conflit avec la commande du contrôle moteur des sujets incarnés. L'objectif de l'étude 2 était de développer un BCI pour contrôler les pas et la marche vers l’avant d'un égo-avatar dans la réalité virtuelle immersive, en utilisant l'imagerie motrice de ces actions, dans des modes rythmés et auto-rythmés. Différentes stratégies d'amélioration des performances ont été mises en œuvre pour augmenter la performance (taux de classification) de l’ICO. Les données de ces deux études ont ensuite été utilisées dans l'étude 3 pour construire des classificateurs génériques qui pourraient éliminer la calibration hors ligne pour les futurs utilisateurs et raccourcir le temps de formation. Vingt participants sains différents ont participé aux études 1 et 2. Dans l'étude 1, les participants portaient un casque EEG et des marqueurs de capture de mouvement, avec un avatar affiché dans un casque de RV du point de vue de la première personne (1PP). Ils ont été invités à performer, à regarder ou à imaginer un seul pas en avant ou la marche vers l’avant (pour quelques secondes) sur le tapis roulant. Pour certains essais, l'avatar a fait un pas avec le membre controlatéral ou a arrêté de marcher avant que le participant ne s'arrête (rétroaction modifiée). Dans l'étude 2, les participants ont participé à un entrainement séquentiel de 4 jours pour contrôler la marche d'un avatar dans les deux modes de l’ICO. En mode rythmé, ils ont imaginé un seul pas en avant, en utilisant leur pied droit ou gauche, ou la marche vers l’avant . En mode auto-rythmé, il leur a été demandé d'atteindre une cible en utilisant l'imagerie motrice (IM) de plusieurs pas (mode de contrôle intermittent) ou en maintenir l'IM de marche vers l’avant (mode de contrôle continu). L'avatar s'est déplacé en réponse à deux classificateurs ‘Regularized Linear Discriminant Analysis’ (RLDA) calibrés qui utilisaient comme caractéristiques la densité spectrale de puissance (Power Spectral Density; PSD) des bandes de fréquences µ (8-12 Hz) sur la zone du pied du cortex moteur. Les classificateurs ont été recalibrés après chaque session. Au cours de l’entrainement et pour certains des essais, une rétroaction modifiée positive a été présentée à la moitié des participants, où l'avatar s'est déplacé correctement quelle que soit la performance réelle du participant. Dans les deux études, l'expérience subjective des participants a été analysée à l'aide d'un questionnaire. Les résultats de l'étude 1 montrent que les niveaux subjectifs d’incarnation sont fortement corrélés à la différence de la puissance de la synchronisation liée à l’événement (Event-Related Synchronization; ERS) sur la bande de fréquence μ et sur le cortex moteur et prémoteur entre les essais de rétroaction modifiés et réguliers. L'étude 2 a montré que tous les participants étaient capables d’utiliser le BCI rythmé et auto-rythmé dans les deux modes. Pour le BCI rythmé, la performance hors ligne moyenne au jour 1 était de 67±6,1% et 86±6,1% au jour 3, ce qui montre que le recalibrage des classificateurs a amélioré la performance hors ligne du BCI (p <0,01). La performance en ligne moyenne était de 85,9±8,4% pour le groupe de rétroaction modifié (77-97%) contre 75% pour le groupe de rétroaction non modifié. Pour le BCI auto-rythmé, la performance moyenne était de 83% en commande de commutateur et de 92% en mode de commande continue, avec un maximum de 12 secondes de commande. Les performances de l’ICO ont été améliorées par la rétroaction modifiée (p = 0,001). Enfin, les résultats de l'étude 3 montrent que pour la classification des initialisations des pas et de la marche, il a été possible de construire des modèles génériques à partir de données hors ligne spécifiques aux participants. Les résultats montrent la possibilité de concevoir une ICO ne nécessitant aucun entraînement spécifique au participant.

La mémoire épisodique est la fonction neurocognitive humaine permettant de se souvenir des événements passés situés dans leur contexte spatio-temporel ainsi que de se rappeler d'exécuter des actions futures spécifiques et d'imaginer des événements futurs variés. Comme d'autres capacités complexes, son développement est lié à d'autres fonctions telles que les fonctions exécutives et la théorie de l'esprit. Elle peut être évaluée avec du matériel de laboratoire nécessitant une mémorisation de nouvelles informations et d'actions futures à réaliser plus tard (mémoires rétrospective et prospective, respectivement), ainsi que via des événements personnels (rappel du passé et imagination du futur ou mémoire autobiographique passée et future, respectivement). L'objectif de cette thèse était, d'une part, de comparer les aspects passé et futur de la mémoire épisodique dans une approche développementale de l'enfant d'âge scolaire au jeune adulte, tout en explorant les mécanismes sous-jacents. D'autre part, le but était également de comparer des tâches autobiographiques et des tâches de laboratoire plus écologiques en réalité virtuelle.Les résultats suggèrent un développement plus progressif de l'aspect futur de la mémoire épisodique (plus de différences chez les enfants), tandis que l'aspect passé semble être bien développé à l'adolescence. Concernant les mécanismes, les performances aux tâches autobiographique et en réalité virtuelle (corrélées entre elles) sont liées aux fonctions exécutives et aux capacités narratives ; de plus, les capacités de rappel lors du test de réalité virtuelle dépendent des fonctions exécutives, la mémoire autobiographique passée et future et la théorie de l'esprit (seulement pour le futur), tandis que les capacités de mémoire autobiographique dépendent de la mémoire du futur en réalité virtuelle en plus des fonctions exécutives et de l'âge.Ces données démontrent que malgré un développement plus progressif de l'aspect futur que passé de la mémoire épisodique, le fonctionnement mnésique dans des environnements virtuels est comparable à la mémoire au quotidien, compte tenu de leurs inter-corrélations et de leurs mécanismes au moins en partie communs. Par ailleurs, les tâches de réalité virtuelle peuvent trouver toute leur utilité dans l'évaluation des patients pédiatriques neurologiques dont les déficits mnésiques peuvent être plus ou moins subtils et se refléter plus aux contextes quotidiens qu'aux contextes des évaluations de type papier-crayon. / Episodic memory is the uniquely human neurocognitive function that enables us to recall past events situated in their spatio-temporal context and to remember to carry out specific future actions as well as imagine various personal future events. As all complex abilities, its functioning is linked to other cognitive capacities such as executive functions and theory of mind. It can be assessed with laboratory-based materials requiring the memorization of information and future actions to be recalled later (retrospective and prospective memory, respectively) and via personal events (recalling past ones and imagining future ones or past and future autobiographical memory, respectively). The aim of this thesis was, on the one hand, to compare both past and future aspects of episodic memory functioning in a wide developmental age span (from young schoolchildren to young adults), and to explore underlying developmental mechanisms. On the other hand, we also aimed to compare personal events¿ (autobiographical) tasks with more ecological laboratory tasks using virtual reality. Results suggest a more progressive development of the future aspect of episodic memory (more differences between children), whereas both retrospective and past autobiographical memory seem to be quite functional by adolescence. Regarding mechanisms, both autobiographical and virtual reality performance, in addition to correlating with each other, are linked to executive functions and narrative abilities; also, memory abilities assessed via virtual reality depend on executive functions, past and future autobiographical memory and (only future memory) on theory of mind performance, whereas autobiographical memory abilities depend on virtual reality-based future memory in addition to executive functions and age. Our data demonstrate that despite a more progressive development of the future aspect of episodic memory than of its past aspect, memory functioning in virtual environments is indeed comparable to daily life memory, as these abilities are strongly inter-linked and have at least partly common mechanisms. Also, virtual reality tasks can be used for memory assessments in pediatric neurological patients whose potential memory deficits can be more or less subtle and thus more detectable in daily life contexts as opposed to paper-and-pencil types of contexts.

La maladie d'Alzheimer (MA) est une maladie cérébrale dégénérative qui entraîne une perte progressive de la mémoire, un déclin cognitif et une détérioration graduelle de la capacité d'une personne à faire face à la complexité et à l'exigence des tâches quotidiennes nécessaires pour vivre en autonomie dans notre société actuelle. Les traitements pharmacologiques actuels peuvent ralentir le processus de dégradation attribué à la maladie, mais ces traitements peuvent également provoquer certains effets secondaires indésirables. L'un des traitements non pharmacologiques qui peut soulager efficacement les symptômes est la thérapie assistée par l'animal (T.A.A.). Mais en raison de certaines limitations telles que le prix des animaux et des problèmes d'hygiène, des animaux virtuels sont utilisés dans ce domaine. Cependant, les animaux virtuels animés, la qualité d'image approximative et le mode d'interaction unidirectionnel des animaux qui attendent passivement les instructions de l’utilisateur, peuvent difficilement stimuler le retour émotionnel entre l'utilisateur et les animaux virtuels, ce qui affaiblit considérablement l'effet thérapeutique. Cette étude vise à explorer l'efficacité de l'utilisation d'animaux virtuels à la place d’animaux vivants et leur impact sur la réduction des émotions négatives chez le patient. Cet objectif a été gardé à l'esprit lors de la conception du projet Zoo Therapy, qui présente un environnement immersif d'animaux virtuels en 3D, où l'impact sur l'émotion du patient est mesuré en temps réel par électroencéphalographie (EEG). Les objets statiques et les animaux virtuels de Zoo Therapy sont tous présentés à l'aide de modèles 3D réels. Les mouvements des animaux, les sons et les systèmes de repérage spécialement développés prennent en charge le comportement interactif simulé des animaux virtuels. De plus, pour que l'expérience d'interaction de l'utilisateur soit plus réelle, Zoo Therapy propose un mécanisme de communication novateur qui met en œuvre une interaction bidirectionnelle homme-machine soutenue par 3 méthodes d'interaction : le menu sur les panneaux, les instructions vocales et le Neurofeedback. La manière la plus directe d'interagir avec l'environnement de réalité virtuelle (RV) est le menu sur les panneaux, c'est-à-dire une interaction en cliquant sur les boutons des panneaux par le contrôleur de RV. Cependant, il était difficile pour certains utilisateurs ayant la MA d'utiliser le contrôleur de RV. Pour accommoder ceux qui ne sont pas bien adaptés ou compatibles avec le contrôleur de RV, un système d'instructions vocales peut être utilisé comme interface. Ce système a été reçu positivement par les 5 participants qui l'ont essayé. Même si l'utilisateur choisit de ne pas interagir activement avec l'animal virtuel dans les deux méthodes ci-dessus, le système de Neurofeedback guidera l'animal pour qu'il interagisse activement avec l'utilisateur en fonction des émotions de ce dernier. Le système de Neurofeedback classique utilise un système de règles pour donner des instructions. Les limites de cette méthode sont la rigidité et l'impossibilité de prendre en compte la relation entre les différentes émotions du participant. Pour résoudre ces problèmes, ce mémoire présente une méthode basée sur l'apprentissage par renforcement (AR) qui donne des instructions à différentes personnes en fonction des différentes émotions. Dans l'expérience de simulation des données émotionnelles synthétiques de la MD, la méthode basée sur l’AR est plus sensible aux changements émotionnels que la méthode basée sur les règles et peut apprendre automatiquement des règles potentielles pour maximiser les émotions positives de l'utilisateur. En raison de l'épidémie de Covid-19, nous n'avons pas été en mesure de mener des expériences à grande échelle. Cependant, un projet de suivi a combiné la thérapie de RV Zoo avec la reconnaissance des gestes et a prouvé son efficacité en évaluant les valeurs d'émotion EEG des participants. / Alzheimer’s disease (AD) is a degenerative brain disease that causes progressive memory loss, cognitive decline, and gradually impairs one’s ability to cope with the complexity and requirement of the daily routine tasks necessary to live in autonomy in our current society. Actual pharmacological treatments can slow down the degradation process attributed to the disease, but such treatments may also cause some undesirable side effects. One of the non-pharmacological treatments that can effectively relieve symptoms is animal-assisted treatment (AAT). But due to some limitations such as animal cost and hygiene issues, virtual animals are used in this field. However, the animated virtual animals, the rough picture quality presentation, and the one-direction interaction mode of animals passively waiting for the user's instructions can hardly stimulate the emotional feedback background between the user and the virtual animals, which greatly weakens the therapeutic effect. This study aims to explore the effectiveness of using virtual animals in place of their living counterpart and their impact on the reduction of negative emotions in the patient. This approach has been implemented in the Zoo Therapy project, which presents an immersive 3D virtual reality animal environment, where the impact on the patient’s emotion is measured in real-time by using electroencephalography (EEG). The static objects and virtual animals in Zoo Therapy are all presented using real 3D models. The specially developed animal movements, sounds, and pathfinding systems support the simulated interactive behavior of virtual animals. In addition, for the user's interaction experience to be more real, the innovation of this approach is also in its communication mechanism as it implements a bidirectional human-computer interaction supported by 3 interaction methods: Menu panel, Speech instruction, and Neurofeedback. The most straightforward way to interact with the VR environment is through Menu panel, i.e., interaction by clicking buttons on panels by the VR controller. However, it was difficult for some AD users to use the VR controller. To accommodate those who are not well suited or compatible with VR controllers, a speech instruction system can be used as an interface, which was received positively by the 5 participants who tried it. Even if the user chooses not to actively interact with the virtual animal in the above two methods, the Neurofeedback system will guide the animal to actively interact with the user according to the user's emotions. The mainstream Neurofeedback system has been using artificial rules to give instructions. The limitation of this method is inflexibility and cannot take into account the relationship between the various emotions of the participant. To solve these problems, this thesis presents a reinforcement learning (RL)-based method that gives instructions to different people based on multiple emotions accordingly. In the synthetic AD emotional data simulation experiment, the RL-based method is more sensitive to emotional changes than the rule-based method and can automatically learn potential rules to maximize the user's positive emotions. Due to the Covid-19 epidemic, we were unable to conduct large-scale experiments. However, a follow-up project combined VR Zoo Therapy with gesture recognition and proved the effectiveness by evaluating participant's EEG emotion values.

L’engouement pour la mise en valeur du patrimoine par la modélisation virtuelle en 3D ramène les reconstitutions historiques à l’avant-plan des études muséales. Pourtant, le musée utilise depuis longtemps ce dispositif comme stratégie expographique. Nous assistons désormais à une véritable transformation, induite par les technologies, au sein du dispositif et des savoir-faire des expographes. Ayant été utilisée en continu par le musée, la reconstitution historique constitue un indicateur pour mesurer l’impact de la progression des technologies dans l’expographie. À partir d’une grille typologique, une revue de seize dispositifs de reconstitution a été effectuée. On remarque alors que l’introduction de la non-linéarité crée un changement de situation en imposant le parcours comme maître d’œuvre de l’expérience muséale au lieu du discours en tant que récit patrimonial. Trois terrains d’enquête viennent corroborer cette idée : l’exposition permanente de la Maison Chapais à Saint-Denis-De La Bouteillerie (Québec), la visite autonome avec tablette numérique de la même Maison Chapais et le modèle virtuel interactif en 3D du Monastère des Ursulines de Québec (Canada). Le premier terrain révèle que le parcours est le résultat du déplacement du visiteur et du traitement de l’espace et qu’il induit le discours. Dans le deuxième cas, la reconstitution mixte, les technologies s’ajoutent à cette équation comme une parenthèse bien articulée, tandis que dans le troisième cas, la reconstitution virtuelle, les technologies ont tellement envahi le dispositif que toutes les composantes sont régies par elles. En effet, on remarque que les composantes du dispositif se transforment, certaines gagnent en importance, mais également que ces mutations s’opèrent dans la gestion de projet. Ces bouleversements favorisent une nouvelle approche conceptuelle expographique que nous nommons « la muséologie d’espace ». Néanmoins, cette pratique émergente n’est pas encore maîtrisée par les professionnels. Toutefois, elle témoigne de l’adaptation nécessaire dont le musée doit faire preuve dans la société actuelle. MOTS CLÉS : Expographie, reconstitution historique, conceptualisation, muséologie d’espace, intégration technologique. / Enthusiasm for cultural heritage through virtual 3D modelling brings historical reconstitution back to the forefront of museum studies. Yet, museums have been using this technique as an exhibition strategy for a long time. We are currently experiencing a real transformation, driven by technology, of the manner in which exhibition project managers work. Having been used extensively by museums, historical reconstitutions are good indicators for measuring the impact of technological advances in exhibitions. To this end, using a typological grid, a review of sixteen historical reconstitutions was conducted. The review revealed that when non-linearity was incorporated into exhibition delivery, a shift occurred; the museum visit focused on the journey as experience rather than as an account of a heritage story. Three study cases support this finding: the permanent exhibition at Maison Chapais in Saint-Denis-De La Bouteillerie (Québec), the self-guided tour using a digital tablet of the same Maison Chapais and the interactive virtual 3D model of the Québec Ursuline Convent (Canada). The first case reveals that the journey, a combination of the visitor’s movements and the treatment of the space, creates the account. In the second case, mixed reconstitution, technology is added to the equation as a well-articulated supplement and thirdly, a full virtual reconstitution, technology has so overtaken the display that it governs all components. Indeed, not only are all the elements of the display transformed - with some aspects increasing in importance - but that these changes also occur in the conception and management of projects. These upheavals nurture a new exhibition approach that can be described as “spatial museology”. Nevertheless, professionals have not yet mastered this emerging practice; however, it signals a critical way in which museums must adapt in today’s society. KEYWORDS: Exhibition, historical reconstitution, conceptualization, spatial museology, technological integration

De quoi la révolution numérique est-elle la révolution ? Le premier niveau d’analyse s’inscrit sur le plan de l’histoire. Il vise à dégager la structure historique de la révolution numérique, en délimitant d’abord son périmètre diachronique et en dégageant sa place particulière au sein de l’histoire générale des techniques. L’hypothèse, c’est que la révolution numérique n’est pas un changement d’outillage mais un événement d’histoire, qui s’inscrit dans le long processus de la machinisation de l’Occident et de la succession des systèmes techniques pour aboutir à l’émergence d’un nouveau « système technique » : la révolution numérique, c’est la révolution de notre infrastructure technique systémique, c’est-à-dire l’avènement du « système technique numérique ». Dans cette partie, nous privilégions le terrain historique et les données empiriques qu’il fournit, au nom d’une philosophie de la technologie fermement opposée à toute métaphysique misotechnique. Le second niveau d’analyse s’inscrit sur le plan de la perception. Au-delà de la seule révolution numérique, il vise à dégager la structure phénoménologique de toute révolution technique, en remontant aux conditions techniques de toute perception en général. L’hypothèse, c’est qu’une révolution technique est toujours une révolution ontophanique, c’est-à-dire un ébranlement du processus par lequel l’être (ontos) nous apparaît (phaïnô) et, par suite, un bouleversement de l’idée même que nous nous faisons de la réalité. Nous nous appuyons ici sur la notion de « phénoménotechnique » empruntée à Gaston Bachelard, qui nous conduit à défendre un constructivisme phénoménologique selon lequel toute technique est une matrice ontophanique, dans laquelle se coule notre expérience-du-monde possible. Comme les précédentes, la révolution numérique apparaît alors comme une révolution de nos structures perceptives, dont la violence phénoménologique permet au passage d’expliquer le succès et le déclin de la notion de virtuel. De cette dernière, nous proposons une généalogie critique et nous montrons qu’elle n’a été jusqu’ici qu’une tentative ratée d’élucider la phénoménalité numérique, en raison de la rêverie de l’irréel qu’elle induit. Le troisième niveau d’analyse s’inscrit sur le plan de la phénoménalité numérique enfin abordée dans sa positivité. Il vise à saisir la structure ontophanique de la révolution numérique, c’est-à-dire la nature de l’être des êtres numériques. L’hypothèse, c’est que l’ontophanie numérique résulte de onze caractéristiques phénoménologiques propres à la matière calculée, qui sont présentées dans un ordre didactique favorisant la compréhension globale du phénomène numérique. Il s’agit de la nouménalité, l’idéalité, l’interactivité, la virtualité, la versatilité, la réticularité, la reproductibilité instantanée, la réversibilité, la destructibilité, la fluidité et la ludogénéité. Nous terminons alors en analysant la responsabilité des activités de conception-création dans la genèse phénoménotechnique du réel et en particulier le rôle du design dans la constitution créative de l’ontophanie numérique. En tant qu’activité phénoménotechnique, le design est non seulement une activité créatrice d’ontophanie, mais encore une activité intentionnellement factitive, c’est-à-dire qui vise à faire-être autant qu’à faire-faire, en vue de projeter l’enchantement du monde. C’est pourquoi le design numérique, parce qu’il a la capacité d’engendrer de nouveaux régimes d’expériences interactives, joue un rôle essentiel dans le modelage de la révolution numérique. La révolution numérique, c’est aussi quelque chose qui se sculpte et se façonne, se coule et se moule dans les projets des designers. C’est une révolution de notre capacité à faire le monde, c’est-à-dire à créer de l’être. / What is the digital revolution the revolution of ? What is turned upside down and disturbed, reformed and transformed, in the so-called ‘digital revolution’ ? To answer this, digital revolution is approached here from the point of view of a philosophy of technology which assumes that our being-in-the-world is fundamentally conditioned by technique and always has been. The first level of this approach focuses on the historical structure of the digital revolution. The hypothesis is that the digital revolution is an event in history that is part of the long process of mechanization in the West and consists in the advent of a ‘digital technical system’. The second level concerns the phenomenological structure of the digital revolution. The hypothesis is that a technical revolution is always ontophanic, that is to say a shaking of the structures of perception and of the process through which the being appears to us. This results in phenomenological constructivism, based on the notion of phenomenotechnique, which ultimately condemns the notion of ‘virtual’. The third and final level of analysis focuses on the ontophanic structure of the digital revolution. The hypothesis is that digital ontophany consists of eleven fundamental characteristics : noumenality, ideality, interactivity, virtuality, versatility, reticularity, instant reproducibility, reversibility, destructibility, fluidity and ludogeneity. The role of design as a phenomenotechnical activity that shapes the world is therefore essential in the creative development of the digital ontophany.

L’instabilité posturale est fréquente chez les séniors et peut entrainer la chute. La chute chez les séniors est un problème majeur de santé publique. Les chiffres épidémiologiques sont éloquents : une personne sur trois âgées de plus de 70 ans fera une chute dans l’année. Les causes sont multifactorielles : ostéo-articulaire, visuelle, cognitive, vestibulaire…. Dans cette étude, nous nous sommes intéressés à l’évolution de la fonction des récepteurs vestibulaires périphériques avec l’âge et à la perception de rotation à partir des entrées canalaires horizontales (système vestibulaire central et projections vestibulaires corticales). Notre but est d’essayer de comprendre l’implication du vieillissement du système vestibulaire dans l’instabilité posturale des séniors. Au niveau périphérique, nous avons quantifié la fonction des canaux semi-circulaires horizontaux par le test calorique et le vidéo-head impulse test. La fonction des récepteurs otolithiques (utriculaire et sacculaire) a été évaluée par les potentiels évoqués myogéniques recueillis au niveau cervical (voies sacculo-spinales) et oculaire (voies utriculo-oculaires). Au niveau central, la perception de l’entrée vestibulaire canalaire horizontale a été appréciée après irrigation à l’eau chaude du conduit auditif externe en appliquant un score de perception (présence ou absence de sensation rotatoire). Finalement, l’équilibre a été quantifié grâce au test d’organisation sensorielle sur l’Equitest et grâce à un système que nous avons récemment mis au point en collaboration avec le Professeur Curthoys à Sydney, comprenant une Wii Balance Board, un tapis mousse et un masque de réalité virtuelle (Oculus Rift). Les résultats ont montré une diminution des réponses oculaires au test calorique après 70 ans mais une absence de baisse du gain du réflexe vestibulo-oculaire horizontal au vidéo-head impulse test. La fonction otolithique, sacculaire et utriculaire, est altérée avec l’âge quelle que soit la stimulation utilisée (aérienne ou osseuse). La perception de l’entrée vestibulaire canalaire horizontale induite par une stimulation calorique nous a permis de montrer pour la première fois que certains séniors ne percevaient pas la sensation de rotation malgré une réponse oculaire normale (vitesse maximale de la phase lente du nystagmus oculaire supérieure à 15°/s). Dans notre population, nous avons pu ainsi définir deux types de séniors : un groupe présentant une perception de vertige rotatoire et un groupe « négligeant » ne pouvant pas reconstruire une sensation rotatoire à partir des entrées vestibulaires canalaires horizontales. La comparaison de ces deux groupes de séniors appariés sur l’âge ne montre aucune différence de la fonction canalaire horizontale ni de la fonction otolithique sacculaire et utriculaire. Néanmoins, les séniors négligents présentent en majorité des performances anormales (chute ou score diminué) à l’Equitest notamment en conditions 5 et 6. De plus, leur score au DHI est plus élevé relevant ainsi le handicape ressenti par ces séniors à cause de leur instabilité. En conclusion, les troubles de l’équilibre chez certains seniors pourraient résulter en partie d’une dysfonction vestibulaire centrale. Des études ultérieures permettront de déterminer si l’augmentation du seuil de perception rotatoire est un bon facteur prédictif du risque de chute. / Postural instability is common in seniors and can lead to falls which seniors are a major problem for Public Health. Epidemiological studies clearly show the magnitude of this problem: one in three people aged than more 70 years will fall in a year. This is caused by multiple factors including: musculoskeletal, visual, cognition, vestibular… The present study concerns the effect of age on the vestibular peripheral receptors function and on the perception of rotation from horizontal canal inputs (central vestibular processing and vestibular cortical projection). The aim is to try to understand the vestibular mechanisms involved in postural instability and mobility with age. At the peripheral level, the horizontal canal function was assessed using caloric test and video-Head Impulse Test. Otolith function (saccular and utricular) was assessed using vestibular evoked myogenic potentials recorded at cervical level (sacculo-spinal pathways) and at ocular level (utriculo-ocular pathways). At the central level, perception of motion from vestibular horizontal canal inputs was studied after caloric stimulation with warm water using a subjective perceptual score (presence or absence of rotatory vertigo). Finally, postural equilibrium was assessed with the Sensory Organization Test on the Equitest machine and also with a new system developed in collaboration with Prof. Curthoys (Sydney) using a Wii Balance Board, a foam rubber pad and a virtual reality headset (Oculus Rift DK2). Results showed decreased ocular responses induced by caloric stimulation after 70 years of age but healthy horizontal gain of the vestibulo-ocular reflex assessed by video-head impulse testing. The otolithic (saccular and utricular) function is impaired with age for all the stimuli used (air or bone conducted). Perception of motion induced by caloric stimulation (vestibular horizontal canal inputs) allowed us to show for the first time that some seniors are unable to feel the induced rotatory vertigo even with normal ocular responses (peak of the slow phase eye velocity higher than 15°/s). We defined two types of seniors: one senior group having a normal feeling of vertigo and one senior ‘neglect’ group who did not feel any sensation of rotation from horizontal canal inputs. The comparison of these two age-matched groups showed no difference in horizontal canal function, or otolithic function. The majority of the ‘neglect’ seniors with an absence of perception exhibited falls or a decreased score in conditions 5 and 6 during the Equitest. Moreover, their DHI scores were higher, showing the handicap induced by postural instability in these seniors. In conclusion, postural instability and falls in seniors may result from central vestibular impairment (inadequate central processing). A prospective study is needed to determine whether the increase perceptual threshold of rotation could be a good predictor of fall risk in seniors.