Cette thèse décrit la plate-forme EVI3d, dont le but premier est d'intégrer tous les résultats récents de la communication humain-machine pour améliorer les interactions en Réalité Virtuelle (RV). En termes d'architecture logicielle, le modèle proposé consiste à gérer des événements qui transitent d'un module interactif vers un autre au travers d'un serveur distribué. Afin de soulager les calculateurs 3d de certaines charges de traitement liées à l'interaction, plusieurs périphériques et modules sont ainsi exportés sur d'autres machines. Les systèmes logiciels actuels de RV ne permettent pas cette gestion distribuée des interactions immersives. Dans ce contexte, la plate-forme EVI3d intègre également un ensemble logiciel pour le développement d'applications sur divers dispositifs immersifs. Ce module permet entre autre de gérer dynamiquement la configuration géométrique et le degré d'immersion de l'application en accord avec celle du dispositif. L'une des fonctionnalités originales de cet ensemble logiciel vise à libérer la main de tout autre périphérique que ceux associés à la manipulation des objets. Pour gérer le déplacement de l'utilisateur au sein de scènes virtuels, nous proposons une extension du concept de véhicule. En analysant les mouvements de la tête de l'utilisateur par rapport à un référentiel neutre préalablement calibré, le principe consiste à utiliser cet écart pour paramétrer le déplacement du véhicule dans le monde virtuel. Cette thèse prouve enfin la faisabilité d'une approche multimodale des interactions en RV. Un démonstrateur présente notamment des interactions immersives qui utilisent une synchronisation temporelle des machines pour fusionner des événements interactifs issus de systèmes de reconnaissance à forte latence (geste, voix). Notons que la plate-forme EVI3d est entre autre validée par son utilisation dans trois applications à caractère scientifique : Mécanique des Fluides, Visualisation d'ADN et CAO en environnement immersif.

Afin de répondre au besoin croissant de puissance de calcul qui intéresse les applications scientifiques, des architectures de calculateurs de plus en plus parallèles se répandent, de type cluster, MPP, ou autre, avec de plus en plus d’unités de calcul. Les codes de calcul, en s’adaptant à ce parallélisme, produisent de fait des résultats de plus en plus volumineux. Dans le domaine plus spécifique de la dynamique moléculaire appliquée à la physique des matériaux, le nombre de particules d’un système étudié est aujourd’hui de l’ordre de quelques millions à quelques centaines de millions, ce qui pose d’importants problèmes d’exploitation des données produites. Les solutions de visualisation utilisées auparavant ne sont plus capables de traiter une telle quantité d’information de façon interactive. Le but de cette thèse est de concevoir et d’implémenter une solution de manipulation de données composées d’un très grand nombre de particules, formant un ensemble .dense. ( par exemple, une simulation en dynamique moléculaire de quelques dizaines de millions d’atomes ). Cette solution devra être adaptative pour pouvoir fonctionner non seulement sur un poste de bureau de type .desktop., mais aussi dans des environnements collaboratifs et immersifs simples, par exemple de type mur d’image, avec éventuellement des éléments de réalité virtuelle (écrans stéréo, périphériques 3D). De plus, elle devra augmenter l’interactivité, c’est-à-dire rendre le système plus apte à réagir avec l’utilisateur, afin d’effectuer des phases d’exploration des données plus efficaces. Nous proposons une solution répondant à ces besoins de visualisation particulaire dense, en apportant des améliorations : – à l’interaction, par un système permettant une exploration simple et efficace d’une simulation scientifique. A cette fin, nous avons conçu, développé, et testé le .FlowMenu3D., une extension tridimensionnelle du .FlowMenu., un menu octogonal utilisé en environnement 2D. – à l’interactivité, par une architecture optimisée pour le rendu de systèmes particulaires denses. Cette dernière, intégrée au framework de visualisation VTK, est conçue sur le principe d’un rendu parallèle hybride sort-first/sort-last, dans lequel le système sort-last Ice-T est couplé à des extensions de partitionnement spatial des données, d’occlusion statistique par une méthode de Monte-Carlo, mais aussi de programmation GPU à base de shaders pour améliorer la performance et la qualité du rendu des sphères représentant les données. / The need for more computing power for scientific applications leads supercomputer manufacturers to rely on more and more parallel architectures, such as cluster or MPP systems, increasing the number of processing units. The correlative adjustment of computing software - simulation codes - to massive parallelism leads to larger and larger datasets. More specifically, in molecular dynamics simulations applied to material physics, particle sets are typically composed of millions to hundreds of millions of particles, which raises important postprocessing issues. Most current visualization solutions do not scale up to interactively handle such an amount of information. The goal of this thesis is to design and implement a post-processing solution which is able to handle .dense. sets with a very large number of particles (for example, a molecular dynamics simulation result with several millions of atoms). This solution will have to be adaptive enough to run either on a desktop environment, or on a simple collaborative and immersive configuration, such as a tiled display, possibly with some virtual reality devices (such as stereo displays and 3D interaction peripherals). Moreover, this solution will have to maximize the interactivity, i.e. to increase the reactivity of the system against the user commands, to improve data exploration stages. We propose a solution optimized for dense particle systems visualization, improving both interaction and interactivity : – regarding interaction, a new simple and efficient way of exploring a scientific simulation is proposed. We developed and tested .FlowMenu3D., a 3D extension of the .FlowMenu. concept, an octagonal menu previously designed for 2D environments. – regarding interactivity, we propose an optimized architecture for dense particle systems rendering. The system relies on VTK visualization framework and a parallel hydrid sort-first/sort-last renderer. The existing Ice-T component is augmented with spatial data partitioning as well as statistical (Monte Carlo) occlusion mechanisms. GPU shaders eventually improve the performance and quality of rendering, using spheres as basic primitives.

Afin de répondre au besoin croissant de puissance de calcul qui intéresse les applications scientifiques, des architectures de calculateurs de plus en plus parallèles se répandent, de type cluster, MPP, ou autre, avec de plus en plus d'unités de calcul. Les codes de calcul, en s'adaptant à ce parallélisme, produisent de fait des résultats de plus en plus volumineux. Dans le domaine plus spécifique de la dynamique moléculaire appliquée à la physique des matériaux, le nombre de particules d'un système étudié est aujourd'hui de l'ordre de quelques millions à quelques centaines de millions, ce qui pose d'importants problèmes d'exploitation des données produites. Les solutions de visualisation utilisées auparavant ne sont plus capables de traiter une telle quantité d'information de façon interactive. Le but de cette thèse est de concevoir et d'implémenter une solution de manipulation de données composées d'un très grand nombre de particules, formant un ensemble .dense. ( par exemple, une simulation en dynamique moléculaire de quelques dizaines de millions d'atomes ). Cette solution devra être adaptative pour pouvoir fonctionner non seulement sur un poste de bureau de type .desktop., mais aussi dans des environnements collaboratifs et immersifs simples, par exemple de type mur d'image, avec éventuellement des éléments de réalité virtuelle (écrans stéréo, périphériques 3D). De plus, elle devra augmenter l'interactivité, c'est-à-dire rendre le système plus apte à réagir avec l'utilisateur, afin d'effectuer des phases d'exploration des données plus efficaces. Nous proposons une solution répondant à ces besoins de visualisation particulaire dense, en apportant des améliorations : - à l'interaction, par un système permettant une exploration simple et efficace d'une simulation scientifique. A cette fin, nous avons conçu, développé, et testé le .FlowMenu3D., une extension tridimensionnelle du .FlowMenu., un menu octogonal utilisé en environnement 2D. - à l'interactivité, par une architecture optimisée pour le rendu de systèmes particulaires denses. Cette dernière, intégrée au framework de visualisation VTK, est conçue sur le principe d'un rendu parallèle hybride sort-first/sort-last, dans lequel le système sort-last Ice-T est couplé à des extensions de partitionnement spatial des données, d'occlusion statistique par une méthode de Monte-Carlo, mais aussi de programmation GPU à base de shaders pour améliorer la performance et la qualité du rendu des sphères représentant les données.

Ces travaux se placent dans le cadre de l'utilisation de la réalité virtuelle pour la conception et le développement de produits. Les revues d'intégration virtuelles utilisées, au niveau industriel, sont actuellement limitées à la revue de projet statique, sans possibilité de modification de la conception initiale. Nous proposons une méthode destinée à la revue de projet virtuelle, dont le but est de permettre à l'utilisateur de modifier le plus naturellement possible la maquette numérique depuis l'environnement virtuel. Cette méthode appelée D3 est basée sur trois étapes : une étape de sélection par dessin, une étape de déformation par manipulation de la zone sélectionnée et une étape de reprise qui permet aux ingénieurs de reprendre les modifications. Afin que la méthode soit un support de communication, elle se doit d'être simple, intuitive et utilisable par tous. Une expérimentation a été menée dans le but d'évaluer la méthode au niveau de la facilité d'apprentissage et des erreurs commises par les sujets lors d'une tâche de modification. Enfin, dans le but de faciliter le travail de reprise, cette méthode offre plusieurs moyens permettant aux ingénieurs de répliquer les modifications sur la maquette CAO.

La maladie d'Alzheimer (MA) est une maladie cérébrale dégénérative qui entraîne une perte progressive de la mémoire, un déclin cognitif et une détérioration graduelle de la capacité d'une personne à faire face à la complexité et à l'exigence des tâches quotidiennes nécessaires pour vivre en autonomie dans notre société actuelle. Les traitements pharmacologiques actuels peuvent ralentir le processus de dégradation attribué à la maladie, mais ces traitements peuvent également provoquer certains effets secondaires indésirables. L'un des traitements non pharmacologiques qui peut soulager efficacement les symptômes est la thérapie assistée par l'animal (T.A.A.). Mais en raison de certaines limitations telles que le prix des animaux et des problèmes d'hygiène, des animaux virtuels sont utilisés dans ce domaine. Cependant, les animaux virtuels animés, la qualité d'image approximative et le mode d'interaction unidirectionnel des animaux qui attendent passivement les instructions de l’utilisateur, peuvent difficilement stimuler le retour émotionnel entre l'utilisateur et les animaux virtuels, ce qui affaiblit considérablement l'effet thérapeutique. Cette étude vise à explorer l'efficacité de l'utilisation d'animaux virtuels à la place d’animaux vivants et leur impact sur la réduction des émotions négatives chez le patient. Cet objectif a été gardé à l'esprit lors de la conception du projet Zoo Therapy, qui présente un environnement immersif d'animaux virtuels en 3D, où l'impact sur l'émotion du patient est mesuré en temps réel par électroencéphalographie (EEG). Les objets statiques et les animaux virtuels de Zoo Therapy sont tous présentés à l'aide de modèles 3D réels. Les mouvements des animaux, les sons et les systèmes de repérage spécialement développés prennent en charge le comportement interactif simulé des animaux virtuels. De plus, pour que l'expérience d'interaction de l'utilisateur soit plus réelle, Zoo Therapy propose un mécanisme de communication novateur qui met en œuvre une interaction bidirectionnelle homme-machine soutenue par 3 méthodes d'interaction : le menu sur les panneaux, les instructions vocales et le Neurofeedback. La manière la plus directe d'interagir avec l'environnement de réalité virtuelle (RV) est le menu sur les panneaux, c'est-à-dire une interaction en cliquant sur les boutons des panneaux par le contrôleur de RV. Cependant, il était difficile pour certains utilisateurs ayant la MA d'utiliser le contrôleur de RV. Pour accommoder ceux qui ne sont pas bien adaptés ou compatibles avec le contrôleur de RV, un système d'instructions vocales peut être utilisé comme interface. Ce système a été reçu positivement par les 5 participants qui l'ont essayé. Même si l'utilisateur choisit de ne pas interagir activement avec l'animal virtuel dans les deux méthodes ci-dessus, le système de Neurofeedback guidera l'animal pour qu'il interagisse activement avec l'utilisateur en fonction des émotions de ce dernier. Le système de Neurofeedback classique utilise un système de règles pour donner des instructions. Les limites de cette méthode sont la rigidité et l'impossibilité de prendre en compte la relation entre les différentes émotions du participant. Pour résoudre ces problèmes, ce mémoire présente une méthode basée sur l'apprentissage par renforcement (AR) qui donne des instructions à différentes personnes en fonction des différentes émotions. Dans l'expérience de simulation des données émotionnelles synthétiques de la MD, la méthode basée sur l’AR est plus sensible aux changements émotionnels que la méthode basée sur les règles et peut apprendre automatiquement des règles potentielles pour maximiser les émotions positives de l'utilisateur. En raison de l'épidémie de Covid-19, nous n'avons pas été en mesure de mener des expériences à grande échelle. Cependant, un projet de suivi a combiné la thérapie de RV Zoo avec la reconnaissance des gestes et a prouvé son efficacité en évaluant les valeurs d'émotion EEG des participants. / Alzheimer’s disease (AD) is a degenerative brain disease that causes progressive memory loss, cognitive decline, and gradually impairs one’s ability to cope with the complexity and requirement of the daily routine tasks necessary to live in autonomy in our current society. Actual pharmacological treatments can slow down the degradation process attributed to the disease, but such treatments may also cause some undesirable side effects. One of the non-pharmacological treatments that can effectively relieve symptoms is animal-assisted treatment (AAT). But due to some limitations such as animal cost and hygiene issues, virtual animals are used in this field. However, the animated virtual animals, the rough picture quality presentation, and the one-direction interaction mode of animals passively waiting for the user's instructions can hardly stimulate the emotional feedback background between the user and the virtual animals, which greatly weakens the therapeutic effect. This study aims to explore the effectiveness of using virtual animals in place of their living counterpart and their impact on the reduction of negative emotions in the patient. This approach has been implemented in the Zoo Therapy project, which presents an immersive 3D virtual reality animal environment, where the impact on the patient’s emotion is measured in real-time by using electroencephalography (EEG). The static objects and virtual animals in Zoo Therapy are all presented using real 3D models. The specially developed animal movements, sounds, and pathfinding systems support the simulated interactive behavior of virtual animals. In addition, for the user's interaction experience to be more real, the innovation of this approach is also in its communication mechanism as it implements a bidirectional human-computer interaction supported by 3 interaction methods: Menu panel, Speech instruction, and Neurofeedback. The most straightforward way to interact with the VR environment is through Menu panel, i.e., interaction by clicking buttons on panels by the VR controller. However, it was difficult for some AD users to use the VR controller. To accommodate those who are not well suited or compatible with VR controllers, a speech instruction system can be used as an interface, which was received positively by the 5 participants who tried it. Even if the user chooses not to actively interact with the virtual animal in the above two methods, the Neurofeedback system will guide the animal to actively interact with the user according to the user's emotions. The mainstream Neurofeedback system has been using artificial rules to give instructions. The limitation of this method is inflexibility and cannot take into account the relationship between the various emotions of the participant. To solve these problems, this thesis presents a reinforcement learning (RL)-based method that gives instructions to different people based on multiple emotions accordingly. In the synthetic AD emotional data simulation experiment, the RL-based method is more sensitive to emotional changes than the rule-based method and can automatically learn potential rules to maximize the user's positive emotions. Due to the Covid-19 epidemic, we were unable to conduct large-scale experiments. However, a follow-up project combined VR Zoo Therapy with gesture recognition and proved the effectiveness by evaluating participant's EEG emotion values.