Ce mémoire présente les concepts et la réalisation d’outils de visualisation d’information dans un objectif d’aide à la compréhension de systèmes complexes. L’implantation des différents outils proposés a été réalisée dans le cadre du projet IMAGE mené au centre RDDC Valcartier. L’objectif principal de ce projet est de fournir une méthodologie et des outils afin d’aider à la compréhension de systèmes complexes. Le concept proposé par IMAGE repose principalement sur la synergie de quatre principes, soit la représentation, la scénarisation, la simulation et l’exploration. Nous nous attarderons ici essentiellement à l’aspect exploration. On propose d’abord une version desktop non immersive du module d’exploration. Différents outils de visualisation ont été développés à l’aide de l’outil de développement graphique Eye-Sys. Un ensemble d’affichages graphiques interactifs est proposé et s’inspire notamment de plusieurs techniques dans le domaine de la visualisation d’information. Ensuite, une version immersive des outils de visualisation a été réalisée. À partir de différents concepts de réalité virtuelle connus comme la stéréoscopie off-axis, des outils de visualisation ont été adaptés pour que l’on puisse les utiliser de façon immersive dans un environnement virtuel de type CAVE. On propose également l’intégration de différents périphériques de contrôle comme une télécommande sans fil et une tablette PC afin de faciliter la navigation dans l’environnement et la manipulation des différents outils de visualisation développés.

Le traumatisme craniocérébral modéré-grave (TCC) a une prévalence élevée au Canada. Il s'agit d'une condition neurologique qui affecte le fonctionnement cognitif. Parmi ces atteintes cognitives, les fonctions exécutives (FE) et la mémoire prospective (MP) sont particulièrement touchées lors d'un TCC. Cependant, les outils actuels pour les évaluer présentent plusieurs lacunes, dont leur faible validité écologique, ce qui ne permet pas d'avoir un portrait juste du fonctionnement quotidien. Une avenue intéressante pour améliorer la validité écologique est d'utiliser la réalité virtuelle. L'objectif du mémoire était d'examiner la validité d'un scénario multitâches effectué dans un environnement virtuel non-immersif d'appartement (VMT = Virtual Multitasking Test) pour évaluer la MP et les FE chez des adultes ayant subi un TCC modéré-grave et des participants contrôles. Les objectifs spécifiques étaient d'examiner les associations entre la performance au VMT et à des mesures neuropsychologiques traditionnelles (Tour de Londres, Zoo Map Test, CAMPROMPT) ainsi que d'examiner la validité discriminante du VMT afin de voir si celui-ci permet de départager le groupe TCC et le groupe contrôle. Quinze participants ayant subi un TCC modéré-grave (20% de femmes; moyenne de 43,5 ans; moyenne de 80 mois post-TCC) ont été recrutés et appariés à 15 participants contrôles. Les résultats indiquent des corrélations positives et modérées entre une mesure du fonctionnement exécutif (Tour de Londres) et différentes mesures du VMT. Une corrélation positive et modérée entre une mesure de la mémoire prospective (CAMPROMPT) et le score total du VMT est également observées. À l'égard du deuxième objectif, les résultats démontrent que le VMT a une sensibilité de 80% et une spécificité de 73% chez une population ayant subi un TCC modéré ou grave. Ces résultats indiquent que l'utilisation du VMT peut être efficace pour mesurer le fonctionnement cognitif et détecter des difficultés dans une population clinique ayant subi un TCC. / Moderate-severe traumatic brain injury (TBI) is highly prevalent in Canada. It is a neurological condition that can impair cognitive functioning. Among these cognitive impairments, executive function (EF) and prospective memory (PM) are particularly impaired in TBI. However, current tools for assessing these domains have a number of limitations, including low ecological validity, which does not provide an accurate picture of day-to-day functioning. An interesting avenue for improving ecological validity is to use virtual reality. The aim of this study was to examine the validity of a multitasking scenario performed in a non-immersive virtual apartment environment (VMT = Virtual Multitasking Test) to assess PM and EF in adults with moderate-severe TBI and control participants. The specific aims were to examine associations between performance on the VMT and traditional neuropsychological measures (Tower of London, Zoo Map Test, CAMPROMPT), and to examine the discriminant validity of the VMT in terms of its ability to discriminate between the TBI and control groups. Fifteen participants with moderate-severe TBI (20% female; mean 43.5 years; mean 80 months post-TBI) were recruited and matched to 15 control participants. The results indicate moderate correlations between a measure of executive functioning (Tower of London) and various VMT measures. A positive and moderate correlation between a measure of prospective memory (CAMPROMPT) and the VMT total score was also reported. With regard to the second objective, results showed that VMT had a sensitivity of 80% and a specificity of 73% in a population with moderate to severe TBI. These results indicate that the use of the VMT can be effective in measuring cognitive functioning and detecting difficulties in a clinical population with TBI.

La réalité virtuelle est une technologie qui permet à un utilisateur d'interagir avec une scène générée par ordinateur. L'environnement virtuel dans lequel évolue le participant doit lui fournir des informations sensorielles pour qu'il puisse effectuer des tâches de façon naturelle. Plusieurs outils logiciels et matériels sont actuellement disponibles sur le marché pour tenir compte des différents aspects d'un environnement virtuel: visualisation immersive, simulation des lois de la physique, émissions sonores, etc. Cependant, aucune application n'a été développée pour intégrer ces différentes technologies dans un seul et même système. Ce projet présente une approche modulaire et flexible qui utilise les principes du multi-îhreading afin de synchroniser les données communes de position, d'orientation et de facteurs d'échelle entre plusieurs sous-systèmes intégrés dans un environnement virtuel multi-sensoriel et distribué. L'application finale comporte cinq soussystèmes qui gèrent tous un aspect de l'environnement virtuel : la synchronisation, la visualisation, la gestion des lois physiques, la distribution sur un réseau et l'intégration des sous-systèmes. Tout d'abord, un module de synchronisation forme le coeur du système en protégeant l'accès asynchrone aux données partagées entre les modules. Un processus de synchronisation en trois étapes permet alors de maintenir la cohérence entre les différents modules. Ensuite, un module de visualisation permet de produire un rendu graphique en trois dimensions de l'environnement virtuel en affichant les géométries et les textures des différents éléments virtuels composant la scène. De plus, un module haptique est utilisé pour appliquer les lois physiques sur les objets. Puis, afin de distribuer les modules sur plusieurs machines d'un réseau ou rendre l'application multi-utilisateurs, un module de distribution sera également ajouté au système final. Enfin, un module d'intégration permet d'interconnecter les modules entre eux en encapsulant les fonctionnalités du module de synchronisation. Ce dernier module permettra de gérer la transmission d'information entre les modules et d'ajouter des comportements de haut niveau au système final comme la navigation, la manipulation d'objets, des interfaces graphiques, etc.

La Géo-Simulation Multi-Agent (GSMA) est un paradigme de modélisation et de simulation de phénomènes dynamiques dans une variété de domaines d'applications tels que le domaine du transport, le domaine des télécommunications, le domaine environnemental, etc. La GSMA est utilisée pour étudier et analyser des phénomènes qui mettent en jeu un grand nombre d'acteurs simulés (implémentés par des agents) qui évoluent et interagissent avec une représentation explicite de l'espace qu'on appelle Environnement Géographique Virtuel (EGV). Afin de pouvoir interagir avec son environnement géographique qui peut être dynamique, complexe et étendu (à grande échelle), un agent doit d'abord disposer d'une représentation détaillée de ce dernier. Les EGV classiques se limitent généralement à une représentation géométrique du monde réel laissant de côté les informations topologiques et sémantiques qui le caractérisent. Ceci a pour conséquence d'une part de produire des simulations multi-agents non plausibles, et, d'autre part, de réduire les capacités de raisonnement spatial des agents situés. La planification de chemin est un exemple typique de raisonnement spatial dont un agent pourrait avoir besoin dans une GSMA. Les approches classiques de planification de chemin se limitent à calculer un chemin qui lie deux positions situées dans l'espace et qui soit sans obstacle. Ces approches ne prennent pas en compte les caractéristiques de l'environnement (topologiques et sémantiques), ni celles des agents (types et capacités). Les agents situés ne possèdent donc pas de moyens leur permettant d'acquérir les connaissances nécessaires sur l'environnement virtuel pour pouvoir prendre une décision spatiale informée. Pour répondre à ces limites, nous proposons une nouvelle approche pour générer automatiquement des Environnements Géographiques Virtuels Informés (EGVI) en utilisant les données fournies par les Systèmes d'Information Géographique (SIG) enrichies par des informations sémantiques pour produire des GSMA précises et plus réalistes. De plus, nous présentons un algorithme de planification hiérarchique de chemin qui tire avantage de la description enrichie et optimisée de l'EGVI pour fournir aux agents un chemin qui tient compte à la fois des caractéristiques de leur environnement virtuel et de leurs types et capacités. Finalement, nous proposons une approche pour la gestion des connaissances sur l'environnement virtuel qui vise à supporter la prise de décision informée et le raisonnement spatial des agents situés.

Nous abordons dans cette thèse la problématique liée à la modélisation d'environnements urbains virtuels pour des fins de simulation de la mobilité. En premier lieu, nous proposons une nouvelle approche de conception d'un Environnement Urbain Virtuel (EUV) permettant une modélisation multi-échelle grâce à l'utilisation d'un patron de conception qui met en relation les lieux d'activité et les différents réseaux de transport. Dans ce patron, une notion simple de desserte nous permet de modéliser à la fois l'accès à des lieux, le transfert modal et le changement d'échelle. Ce patron peut être spécialisé dans diverses structures à diverses échelles (macro, méso, micro, etc.). Nous formalisons l'EUV en utilisant la théorie des graphes, ce qui permet une implantation rigoureuse de ces concepts, tout en tenant compte des principales fonctions classiquement utilisées pour la simulation des parcours dans les réseaux de transports. En second lieu, nous proposons une démarche pour enrichir l'EUV avec les données de la population qui l'occupe afin d'aboutir à l'Environnement Urbain Peuplé (EUP). Le modèle de l'EUP regroupe alors à la fois la demande et l'offre en transports. Notre démarche réduit le problème en deux sous-problèmes semblables mais qui se traitent différemment: 1) l'allocation des attributs non spatiaux (donc la génération de la population synthétique) en combinant une approche de reconstruction synthétique avec un algorithme d'apprentissage non supervisé et 2) l'allocation des attributs spatiaux (donc l'assignation des lieux d'occupation) en combinant une approche de prédiction des temps de parcours (avec l'utilisation potentielle d'un algorithme d'apprentissage supervisé) avec un algorithme d'appariement dans un graphe biparti et pondéré. Au niveau de la validation, en plus des méthodes statistiques qui existent pour mesurer la vraisemblance d'une population synthétique, nous proposons une série de validations unitaires devant se faire au moment même de la création de l'EUP. Nous présentons TransNetSim, la plateforme de simulation multi-agent des déplacements que nous avons développée et qui tire partie de tous les avantages de notre modèle de l'EUP. En comparant TransNetSim par rapport à des outils existants, nous montrons qu'il regroupe un ensemble de caractéristiques qui font de lui un prototype prometteur. Particulièrement, le principe de la matrice de routage dans laquelle on compile tous les chemins optimaux en prétraitement offre un grand apport au niveau de la faisabilité computationnelle de l'approche multi-échelle. L'utilisation de la plateforme a été illustrée par la simulation du trafic de véhicules dans la ville de Québec à une échelle méso et dans le campus universitaire à une échelle micro. Finalement, nous montrons comment l'utilisation d'outils SOLAP permet d'une façon simple et efficace d'analyser et de calibrer les résultats de nos simulations (génération de la population synthétique, données résultant de la simulation du trafic).

Pour assurer un niveau de coopération acceptable entre les diff érents utilisateurs, il faut prendre en considération certains critères. Nous pouvons diviser ces critères selon deux catégories : la première est visuelle/psychologique et elle est souvent liée à l'utilisateur. Il s'agit de comprendre les interactions de l'autre utilisateur : que fait-il ? Que va-t-il faire ? Sur quoi interagit-il ? ... Pour comprendre tout cela il faut assurer que l'utilisateur ait un certain niveau de conscience de tout ce qui évolue dans l'environnement. Cette conscience est la connaissance de l'état de l'environnement qui est assurée à travers des métaphores visuelles signi catives, d'où le facteur psycho-cognitif. La deuxième catégorie est technique et elle est liée au réseau. Pour garantir la mise à jour de l'évolution de l'environnement virtuel il faut assurer la transmission d'informations liées à cette évolution dans les meilleurs délais. L'assurance de la réception des mises-à-jour nécessite à son tour une qualité de service réseau jugée acceptable en terme de latence et de bande pas- sante. Qu'arrive-t-il si cette qualité de service est interrompue à un moment donné ? Quel est l'impact d'un problème au niveau réseau sur la coopéra- tion ? Jusqu'à quel point ? Cette thèse a pour objectif d'essayer de répondre à ces questions en mettant l'accent sur les conséquences indésirables d'un problème réseau sur les environne- ments virtuels coopératifs. Nous allons suivre le problème réseau dès le moment de son apparition au niveau de la couche de transport, et tout le long de son passage par les di érentes couches qui composent les environnements virtuels distribués. Ces couches comportent : la couche de communication, le noyau du support d'exécution d'environnements virtuels, et enfi n la couche applicative en relation directe avec l'utilisateur. Sur chaque niveau nous étudions les eff ets provoqués par le problème réseau et nous proposons des solutions.

La réalité virtuelle est une technologie qui voit ses applications s'étendre à de nombreux domaines (médical, automobile, etc.). Cette thèse se place dans le contexte des espaces virtuels complètement immersifs, et a pour but d'étudier les effets des deux principaux types d'interfaces proposés (manette avec 6 degrés de liberté, et système de suivi de doigts) sur l'expérience des utilisateurs, dans le cadre de la manipulation d'objets 3D. Nous nous intéressons à des paramètres tels que la facilité d'utilisation, la sensation d'immersion, la rapidité et la précision offertes... Pour cela, nous proposons des expériences évaluant ces paramètres à travers des tâches dont le succès est mesurable, et qui ne sont pas spécifiques à un domaine. Dans une première étude, nous nous intéressons aux tâches complexes d'ordre général, faisant appel à des compétences requises dans les manipulations quotidiennes, telles que le fait d'attraper, de relâcher, de translater, de tourner et de maintenir en équilibre des objets tout en se déplaçant. Nous affinons ensuite notre étude en observant les effets de ces interfaces sur les mouvements eux-mêmes, en les décomposant en degrés de liberté individuels et groupés. Enfin, nous testons l'applicabilité de notre système de manipulation directe dans le cadre d'une étude préliminaire sur l'utilisation de la réalité virtuelle pour le traitement de la maladie d'Alzheimer. Ces études analysent les propriétés de ces interfaces dans le but de fournir des indications aidant au choix de l'interface la plus appropriée pour des applications futures.

Les environnements de réalité virtuelle devenant de plus en plus complexes et de très grandes dimensions, un niveau d'interaction temps-réel devient impossible à garantir. En effet, de par leur complexité, due à une géométrie détaillée et aux propriétés physiques spécifiques, ces environnements large échelle engendrent un goulet d'étranglement calculatoire critique sur les algorithmes de simulation physique. Nous avons focalisé nos travaux sur la première étape de ces algorithmes qui concerne la détection de collision, car les problématiques font partie intégrante de ce goulet d'étranglement et leur complexité peut parfois se révéler quadratique dans certaines situations. Le profond bouleversement que subissent les architectures machines depuis quelques années ouvre une nouvelle voie pour réduire le goulet d'étranglement. La multiplication du nombre de cœurs offre ainsi la possibilité d'exécuter ces algorithmes en parallèle sur un même processeur. Dans le même temps, les cartes graphiques sont passées d'un statut de simple périphérique d'affichage graphique à celui de supercalculateur. Elles jouissent désormais d'une attention toute particulière de la part de la communauté traitant de la simulation physique. Afin de passer au large échelle et d'être générique sur la machine d'exécution, nous avons proposé des modèles unifiés et adaptatifs de correspondance entre les algorithmes de détection de collision et les architectures machines de type multi-coeur et multi-GPU. Nous avons ainsi défini des solutions innovantes et performantes permettant de réduire significativement le temps de calcul au sein d'environnements large échelle tout en assurant la pérennité des résultats. Nos modèles couvrent l'intégralité du pipeline de détection de collision en se focalisant aussi bien sur des algorithmes de bas ou de haut niveau. Nos modèles multi-coeur, GPU et multi-GPU allient différentes techniques de subdivision spatiale à des algorithmes basés topologie ainsi que des techniques d'équilibrage de charge basées sur le vol de données. Notre solution hybride permet d'accroitre l'espace et le temps de calcul ainsi que le passage au large échelle. L'association de ces nouveaux algorithmes nous a permis de concevoir deux modèles d'adaptation algorithmique dynamique basés, ou non, sur des scénarios de pré-calcul hors-ligne. Enfin, il nous est apparu indispensable d'ajouter au pipeline de détection de collision une nouvelle dimension révélant la prise en compte des architectures pour une exécution optimale. Grâce à ce formalisme, nous avons proposé un nouveau pipeline de détection de collision offrant une granularité de parallélisme sur processeurs multi-coeur. Il permet une exécution simultanée des différentes étapes du pipeline ainsi qu'un parallélisme interne à chacune de ces étapes.

Nous présentons une approche de rendu à base d'images qui permet, à partir de photos, de naviguer librement et générer des points de vue quelconques dans des scènes urbaines. Les approches précédentes se basent sur un modèle géométrique complet et précis de la scène. La qualité des résultats produits par ces méthodes se dégrade lorsque la géométrie est approximative. Dans cette thèse, nous proposons une approximation basée sur l'image pour compenser le manque de précision de la géométrie. Dans une première approche, nous utilisons une déformation discontinue des photos guidée par des cartes de profondeur quasi-denses, ce qui produit de meilleurs résultats que le plaquage de texture utilisé par les méthodes précédentes, en particulier lorsque la géométrie est imprécise. Cette approche nécessite quelques indications utilisateur pour identifier les bordures d'occlusion dans les photos. Nous proposons ensuite une méthode entièrement automatique basée sur la même idée de déformation d'image. Cette méthode permet de traiter des scènes plus complexes avec un plus grand nombre de photos. Nous évitons l'intervention utilisateur en sur-segmentant les images d'entrées pour former des superpixels. Nous déformons chaque superpixel indépendamment en utilisant l'information de profondeur clairsemée. Nous proposons également un algorithme de synthèse de profondeur approximative pour traiter les zones de l'image où la géométrie n'est pas disponible. Nous comparons nos résultats à de nombreuses approches récentes et montrons que notre méthode permet une navigation virtuelle libre. Nous avons aussi étudié les défauts du rendu à base d'images d'un point de vue perceptif. Dans une première études controlées, nous avons évalué la perception des distorsions de perspective produites lorsqu'une seule image est projetée sur une géométrie planaire. Les données obtenues lors de cette étude nous ont permis de développer un modèle quantitatif permettant de prédire les distorsions perçues en fonction des paramètres de capture et de visualisation. Dans une autre étude nous comparons les défauts visuels produits par des transitions d'images douces ou abruptes. Nous avons déduit de cette étude des conseils pour choisir le meilleur compromis entre les deux types de transition. Ces deux études ont motivé des choix de conception de nos algorithmes de rendu à base d'images. Enfin, nous démontrons l'utilisation de notre approche pour la thérapie cognitive, ce qui représente la première application de réalité virtuelle à base d'images. Notre méthode permet de réduire considérablement le coût de modélisation 3D d'une scène de réalité virtuelle tout en produisant des visites virtuelles très réalistes.

Les travaux de recherche présentés dans cette thèse ont pour but de développer un système de réalité virtuelle d'aide à la réalisation et à l'évaluation d'exercices physiques. La notion d'exercice physique étant très large, nous avons pris le parti de cibler des exercices réalisés dans le cadre médical de traitements de rééducation fonctionnelle. Dans un premier temps, nous avons mis au point un socle technologique et algorithmique basé sur du matériel standard, peu coûteux, simple à installer et à utiliser. Il met en place les fondations nécessaires pour le développement d'applications de réalité virtuelle destinées à supporter et à superviser des exercices de rééducation, qu'ils soient réalisés dans un centre de rééducation, dans le cabinet d'un kinésithérapeute, ou à domicile. Sur base de ce socle, nous avons ensuite développé deux applications de rééducation ciblant des pathologies différentes. La première application est destinée aux patients atteints de douleurs neuropathiques telles que les douleurs fantômes (DF) chez les amputés ou le Syndrome Douloureux Régional Complexe (SDRC). Grâce à la réalité virtuelle, nous donnons l'illusion au patient qu'il peut à nouveau bouger son membre amputé ou pathologique, réduisant ainsi l'intensité des douleurs. La seconde application a pour but d'offrir au thérapeute et au patient un outil de quantification des mouvements réalisés dans le cadre d'exercices de rééducation motrice. Les mesures ainsi obtenues vont permettre d'aider le médecin à identifier et à objectiver le diagnostic d'une pathologie du mouvement, et, par la suite, vont permettre au kinésithérapeute d'en suivre l'évolution tout au long du traitement de rééducation. Pour chacune de ces applications, un algorithme spécifique de suivi de mouvements, basé sur le socle commun, est au cœur de la solution mise en œuvre. / Doctorat en Sciences de l'ingénieur / info:eu-repo/semantics/nonPublished