L’objectif de cette thèse est d’étudier l’utilisation d’Interfaces Cerveau-Ordinateur (ICOs) au sein de la Réalité Virtuelle (RV) et de la Réalité Augmentée (RA). Notre but est d’évaluer la compatibilité entre les systèmes basés sur une ICO et la RV/RA, de concevoir de nouveaux outils pour la visualisation de l’activité cérébrale basée sur la RV/RA, et finalement de proposer de nouveaux usages pour les ICOs, plus particulièrement en combinaison avec des vêtements intelligents. Afin de réaliser ces objectifs, nous avons tout d’abord réalisé une étude de faisabilité concernant l’association entre une ICO et la RV. Notre objectif était d’étudier l’influence de l’activité motrice sur une ICO. Nous avons conçu un système similaire à un jeu vidéo, servant comme support à une étude utilisateur montrant que l’ICO peut être utilisée avec succès, même lorsque les participants exécutent une activité musculaire exigeante. Dans un second temps, nous avons également proposé des outils de visualisation de l’activité cérébrale basés sur la RV/RA. Notre premier système nommé «Mind-Mirror» superpose un cerveau virtuel représentant l’activité cérébrale d’un utilisateur à l’image de celui-ci dans un miroir. Une étude utilisateur a montré qu’aucune perte significative de performance de l’ICO n’a été constatée, même avec une complexité additionnelle due à l’affichage basé sur la RA. Notre seconde contribution se nomme «Mind-Window» et étend les possibilités du Mind-Mirror en permettant plusieurs points de vue sur un même enregistrement d’activité cérébrale en utilisant des tablettes. Notre dernière contribution se nomme «Mind-Inside» et permet aux utilisateurs de visualiser en RV leur activité cérébrale en temps réel tout en étant immergés dans un cerveau virtuel. Enfin, nous avons étudié comment les ICOs et la RV/RA peuvent être appliquées au domaine des vêtements intelligents. Nous avons mis en place une plateforme d’expérimentation consistant en une cabine d’essayage virtuelle intégrant une ICO et permettant aux utilisateurs de porter des vêtements intelligents virtuels en RA. Poursuivant ces travaux, nous avons également conçu une «cape d’invisibilité» inspirée par l’univers de Harry Potter. Cette cape virtuelle permet aux utilisateurs de se camoufler en RA en utilisant leur état mental. Une étude utilisateur sur le contrôle de l’effet a mis en avant l’amélioration de l’expérience utilisateur et «l’impression d’avoir un superpouvoir». / The objective of this PhD thesis is to study the use of Brain- Computer Interfaces (BCIs) within Virtual Reality (VR) and Augmented Reality (AR). Our goal is to evaluate the compatibility between systems based on a BCI and VR/AR, to design new tools for the visualization of the brain activity based on VR/AR, and finally to propose new uses for the BCIs, and especially in combination with smart clothes. In order to fulfil these objectives, we have first designed and performed a feasibility study concerning the combination of a BCI and VR. Our objective was to study the influence of motor activity on a BCI. We have designed a system similar to a video game, serving as a base for a user study showing that this BCI can be successfully used, even when participants are performing a demanding muscular activity. We have also proposed three visualization tools for the brain activity based on VR/AR. Our first system called the «Mind- Mirror» which enables the visualization of our own brain activity «inside our own head» by superimposition. A user study has shown that no significant drop in BCI performance occurred, even with the additional complexity due to our AR-based display. Our second contribution is called «Mind- Window» and extends the Mind-Mirror’s possibilities by enabling one or multiple users to visualize the brain activity of another person as if her skull was transparent. Our last contribution is called «Mind-Inside» and allows users to visualize their brain activity in real-time while being immersed in a virtual brain. Finally, we have studied how BCIs and the VR/AR can be applied to smart clothes. We have designed an experimental platform comprising a dressing room integrating a BCI. Following this work, we proposed an «invisibility cloak» inspired by the Harry Potter universe. This virtual cloak allows users to camouflage themselves in AR using their mental state. Results from a preliminary study based on a simple videogame inspired by the Harry Potter universe could notably show that, compared to a standard control made with a keyboard, controlling the optical camouflage directly with the BCI could enhance the user experience and the feeling of «having a super-power».
| Identifer | oai:union.ndltd.org:theses.fr/2015ISAR0018 |
| Date | 12 October 2015 |
| Creators | Mercier, Jonathan |
| Contributors | Rennes, INSA, Lécuyer, Anatole |
| Source Sets | Dépôt national des thèses électroniques françaises |
| Language | English |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation, Text |
Page generated in 0.0023 seconds