Nous proposons une approche basée sur la géosimulation multi-agent et un outil d’aide à la décision pour supporter l’analyse « What-if » durant la planification des suites d’actions (plans) dans un environnement géographique dynamique. Nous présentons les caractéristiques du raisonnement « What-if » en tant 1) que simulation mentale 2) suivant un processus en trois étapes et 3) basé sur du raisonnement causal qualitatif. Nous soulignons les limites de la cognition humaine pour appliquer ce raisonnement dans le cadre de la planification des suites d’actions dans un environnement géographique dynamique et nous identifions les motivations de notre recherche. Ensuite, nous présentons notre approche basée sur la géosimulation multi-agent et nous identifions ses caractéristiques. Nous traitons en particulier trois problématiques majeures. La première problématique concerne la modélisation des phénomènes géographiques dynamiques. Nous soulignons les limites des approches existantes et nous présentons notre modèle basé sur le concept de situation spatio-temporelle que nous représentons en utilisant le formalisme de graphes conceptuels. En particulier, nous présentons comment nous avons défini ce concept en nous basant sur les archétypes cognitifs du linguiste J-P. Desclés. La deuxième problématique concerne la transformation des résultats d’une géosimulation multi-agent en une représentation qualitative exprimée en termes de situations spatio-temporelles. Nous présentons les étapes de traitement de données nécessaires pour effectuer cette transformation. La troisième problématique concerne l’inférence des relations causales entre des situations spatio-temporelles. En nous basant sur divers travaux traitant du raisonnement causal et de ses caractéristiques, nous proposons une solution basée sur des contraintes causales spatio-temporelles et de causalité pour établir des relations de causation entre des situations spatio-temporelles. Finalement, nous présentons MAGS-COA, une preuve de concept que nous avons implémentée pour évaluer l’adéquation de notre approche comme support à la résolution de problèmes réels. Ainsi, les principales contributions de notre travail sont: 1- Une approche basée sur la géosimulation multi-agent pour supporter l’analyse « What-if » des suites d’actions dans des environnements géographiques virtuels. 2- L’application d’un modèle issu de recherches en linguistique à un problème d’intérêt pour la recherche en raisonnement spatial. 3- Un modèle qualitatif basé sur les archétypes cognitifs pour modéliser des situations dynamiques dans un environnement géographique virtuel. 4- MAGS-COA, une plateforme de simulation et d’analyse qualitative des situations spatio-temporelles. 5- Un algorithme pour l’identification des relations causales entre des situations spatio-temporelles. / We propose an approach and a tool based on multi-agent geosimulation techniques in order to support courses of action’s (COAs) “What if” analysis in the context of dynamic geographical environments. We present the characteristics of “What if” thinking as a three-step mental simulation process based on qualitative causal reasoning. We stress humans’ cognition limits of such a process in dynamic geographical contexts and we introduce our research motivations. Then we present our multi-agent geosimulation-based approach and we identify its characteristics. We address next three main problems. The first problem concerns modeling of dynamic geographical phenomena. We stress the limits of existing models and we present our model which is based on the concept of spatio-temporal situations. Particularly, we explain how we define our spatio-temporal situations based on the concept of cognitive archetypes proposed by the linguist J-P. Desclés. The second problem consists in transforming the results of multi-agent geosimulations into a qualitative representation expressed in terms of spatio-temporal situations and represented using the conceptual graphs formalism. We present the different steps required for such a transformation. The third problem concerns causal reasoning about spatio-temporal situations. In order to address this problem, we were inspired by works of causal reasoning research community to identify the constraints that must hold to identify causal relationships between spatio-temporal situations. These constraints are 1) knowledge about causality, 2) temporal causal constraints and 3) spatial causal constraints. These constraints are used to infer causal relationships among the results of multi-agent geosimulations. Finally, we present MAGS-COA, a proof on concept that we implemented in order to evaluate the suitability of our approach as a support to real problem solving. The main contributions of this thesis are: 1- An approach based on multi-agent geosimulation to support COA’s “What if” analysis in the context of virtual geographic environments. 2- The application of a model proposed in the linguistic research community to a problem of interest to spatial reasoning research community. 3- A qualitative model based on cognitive archetypes to model spatio-temporal situations. 4- MAGS-COA, a platform of simulation and qualitative analysis of spatio-temporal situations. 5- An algorithm to identify causal relationships between spatio-temporal situations.

Ce mémoire présente les concepts et la réalisation d’outils de visualisation d’information dans un objectif d’aide à la compréhension de systèmes complexes. L’implantation des différents outils proposés a été réalisée dans le cadre du projet IMAGE mené au centre RDDC Valcartier. L’objectif principal de ce projet est de fournir une méthodologie et des outils afin d’aider à la compréhension de systèmes complexes. Le concept proposé par IMAGE repose principalement sur la synergie de quatre principes, soit la représentation, la scénarisation, la simulation et l’exploration. Nous nous attarderons ici essentiellement à l’aspect exploration. On propose d’abord une version desktop non immersive du module d’exploration. Différents outils de visualisation ont été développés à l’aide de l’outil de développement graphique Eye-Sys. Un ensemble d’affichages graphiques interactifs est proposé et s’inspire notamment de plusieurs techniques dans le domaine de la visualisation d’information. Ensuite, une version immersive des outils de visualisation a été réalisée. À partir de différents concepts de réalité virtuelle connus comme la stéréoscopie off-axis, des outils de visualisation ont été adaptés pour que l’on puisse les utiliser de façon immersive dans un environnement virtuel de type CAVE. On propose également l’intégration de différents périphériques de contrôle comme une télécommande sans fil et une tablette PC afin de faciliter la navigation dans l’environnement et la manipulation des différents outils de visualisation développés.

Le traumatisme craniocérébral modéré-grave (TCC) a une prévalence élevée au Canada. Il s'agit d'une condition neurologique qui affecte le fonctionnement cognitif. Parmi ces atteintes cognitives, les fonctions exécutives (FE) et la mémoire prospective (MP) sont particulièrement touchées lors d'un TCC. Cependant, les outils actuels pour les évaluer présentent plusieurs lacunes, dont leur faible validité écologique, ce qui ne permet pas d'avoir un portrait juste du fonctionnement quotidien. Une avenue intéressante pour améliorer la validité écologique est d'utiliser la réalité virtuelle. L'objectif du mémoire était d'examiner la validité d'un scénario multitâches effectué dans un environnement virtuel non-immersif d'appartement (VMT = Virtual Multitasking Test) pour évaluer la MP et les FE chez des adultes ayant subi un TCC modéré-grave et des participants contrôles. Les objectifs spécifiques étaient d'examiner les associations entre la performance au VMT et à des mesures neuropsychologiques traditionnelles (Tour de Londres, Zoo Map Test, CAMPROMPT) ainsi que d'examiner la validité discriminante du VMT afin de voir si celui-ci permet de départager le groupe TCC et le groupe contrôle. Quinze participants ayant subi un TCC modéré-grave (20% de femmes; moyenne de 43,5 ans; moyenne de 80 mois post-TCC) ont été recrutés et appariés à 15 participants contrôles. Les résultats indiquent des corrélations positives et modérées entre une mesure du fonctionnement exécutif (Tour de Londres) et différentes mesures du VMT. Une corrélation positive et modérée entre une mesure de la mémoire prospective (CAMPROMPT) et le score total du VMT est également observées. À l'égard du deuxième objectif, les résultats démontrent que le VMT a une sensibilité de 80% et une spécificité de 73% chez une population ayant subi un TCC modéré ou grave. Ces résultats indiquent que l'utilisation du VMT peut être efficace pour mesurer le fonctionnement cognitif et détecter des difficultés dans une population clinique ayant subi un TCC. / Moderate-severe traumatic brain injury (TBI) is highly prevalent in Canada. It is a neurological condition that can impair cognitive functioning. Among these cognitive impairments, executive function (EF) and prospective memory (PM) are particularly impaired in TBI. However, current tools for assessing these domains have a number of limitations, including low ecological validity, which does not provide an accurate picture of day-to-day functioning. An interesting avenue for improving ecological validity is to use virtual reality. The aim of this study was to examine the validity of a multitasking scenario performed in a non-immersive virtual apartment environment (VMT = Virtual Multitasking Test) to assess PM and EF in adults with moderate-severe TBI and control participants. The specific aims were to examine associations between performance on the VMT and traditional neuropsychological measures (Tower of London, Zoo Map Test, CAMPROMPT), and to examine the discriminant validity of the VMT in terms of its ability to discriminate between the TBI and control groups. Fifteen participants with moderate-severe TBI (20% female; mean 43.5 years; mean 80 months post-TBI) were recruited and matched to 15 control participants. The results indicate moderate correlations between a measure of executive functioning (Tower of London) and various VMT measures. A positive and moderate correlation between a measure of prospective memory (CAMPROMPT) and the VMT total score was also reported. With regard to the second objective, results showed that VMT had a sensitivity of 80% and a specificity of 73% in a population with moderate to severe TBI. These results indicate that the use of the VMT can be effective in measuring cognitive functioning and detecting difficulties in a clinical population with TBI.

The minimally invasive approach of arthroscopy means less pain and faster recovery time for patients compared to open surgery. However, it implies a high difficulty of performance. Therefore, surgeon should remain at a high level of technical and professional expertise to perform such operations. Surgeon’s skills are being developed over years of surgical training on animals, cadavers and patients. Nowadays, cadavers and animal specimens present an ethical problem also the practice on real humans is usually risky. For surgeons to reach a high level, new and alternative ways of performing surgical training are required. Virtual reality technology has opened new realms in the practice of medicine. Today, virtual reality simulators have become one of the most important training methods in the medical field. These simulators allow medical students to examine and study organs or any structure of the human body in ways that were not possible few years earlier. Similarly, the surgeon as well as the medical student can gain a valuable experience by performing a particular surgery with an anatomical accuracy and realism as it is actually performed in the real world. Thus, they can practice on virtual operation before they proceed and operate on real patients. In this thesis, a virtual reality training simulator for wrist arthroscopy is introduced. Two main issues are addressed: the 3-D reconstruction process and the 3-D interaction. Based on a sequence of CT images a realistic representation of the wrist joint is obtained suitable for the computer simulation. Two main components of the computer-based system interface are illustrated: the 3-D interaction to guide the surgical instruments and the user interface for haptic feedback. In this context, algorithms that model objects using the convex hull approaches and simulate real time exact collision detection between virtual objects are presented. A force feedback device, coupled with a haptic algorithm, is used as a haptic interface with the computer simulation system. This leads in the development of a low cost system with the same benefits as professional devices. In this regard, the wrist arthroscopy can be simulated and medical students can learn the basic skills required with safety, flexibility and less cost / La chirurgie arthroscopique présente actuellement un essor très important pour le bénéfice du plus grand nombre des patients. Cependant, cette technique possède un certain nombre d’inconvénients et il est donc nécessaire pour le médecin de s’entrainer et répéter ses gestes afin de pouvoir exécuter ce type d’opération d’une façon efficace et certaine. En effet, les méthodes traditionnelles d’enseignement de la chirurgie sont basées sur l’autopsie des cadavres et l’entrainement sur des animaux. Avec l’évolution de notre société, ces deux pratiques deviennent de plus en plus critiquées et font l’objet de réglementations très restrictives. Afin d’atteindre un niveau plus élevé, de nouveaux moyens d’apprentissage sont nécessaires pour les chirurgiens. Récemment, la réalité virtuelle commence d’être de plus en plus utilisée dans la médecine et surtout la chirurgie. Les simulateurs chirurgicaux sont devenus une des matières les plus récentes dans la recherche de la réalité virtuelle. Ils sont également devenus une méthode de formation et un outil d’entrainement valable pour les chirurgiens aussi bien que les étudiants en médecine. Dans ce travail, un simulateur de réalité virtuelle pour l’enseignement de la chirurgie arthroscopique, surtout la chirurgie du poignet, a été préesenté. Deux questions principales sont abordées : la reconstruction et l’interaction 3-D. Une séquence d’images CT a été traitée afin de générer un modèle 3-D du poignet. Les deux principales composantes de l’interface du système sont illustrées : l’interaction 3-D pour guider les instruments chirurgicaux et l’interface de l’utilisateur pour le retour d’effort. Dans ce contexte, les algorithmes qui modélisent les objets en utilisant les approches de “Convex Hull” et qui simulent la détection de collision entre les objets virtuels en temps réel, sont présentés. En outre, un dispositif de retour d’effort est utilisé comme une interface haptique avec le système. Cela conduit au développement d’un système à faible coût, avec les mêmes avantages que les appareils professionnels. A cet égard, l’arthroscopie du poignet peut être simulée et les étudiants en médecine peuvent facilement utiliser le système et peuvent apprendre les compétences de base requises en sécurité, flexibilité et moindre coût

Pour assurer un niveau de coopération acceptable entre les diff érents utilisateurs, il faut prendre en considération certains critères. Nous pouvons diviser ces critères selon deux catégories : la première est visuelle/psychologique et elle est souvent liée à l'utilisateur. Il s'agit de comprendre les interactions de l'autre utilisateur : que fait-il ? Que va-t-il faire ? Sur quoi interagit-il ? ... Pour comprendre tout cela il faut assurer que l'utilisateur ait un certain niveau de conscience de tout ce qui évolue dans l'environnement. Cette conscience est la connaissance de l'état de l'environnement qui est assurée à travers des métaphores visuelles signi catives, d'où le facteur psycho-cognitif. La deuxième catégorie est technique et elle est liée au réseau. Pour garantir la mise à jour de l'évolution de l'environnement virtuel il faut assurer la transmission d'informations liées à cette évolution dans les meilleurs délais. L'assurance de la réception des mises-à-jour nécessite à son tour une qualité de service réseau jugée acceptable en terme de latence et de bande pas- sante. Qu'arrive-t-il si cette qualité de service est interrompue à un moment donné ? Quel est l'impact d'un problème au niveau réseau sur la coopéra- tion ? Jusqu'à quel point ? Cette thèse a pour objectif d'essayer de répondre à ces questions en mettant l'accent sur les conséquences indésirables d'un problème réseau sur les environne- ments virtuels coopératifs. Nous allons suivre le problème réseau dès le moment de son apparition au niveau de la couche de transport, et tout le long de son passage par les di érentes couches qui composent les environnements virtuels distribués. Ces couches comportent : la couche de communication, le noyau du support d'exécution d'environnements virtuels, et enfi n la couche applicative en relation directe avec l'utilisateur. Sur chaque niveau nous étudions les eff ets provoqués par le problème réseau et nous proposons des solutions.

La réalité virtuelle est une technologie qui voit ses applications s'étendre à de nombreux domaines (médical, automobile, etc.). Cette thèse se place dans le contexte des espaces virtuels complètement immersifs, et a pour but d'étudier les effets des deux principaux types d'interfaces proposés (manette avec 6 degrés de liberté, et système de suivi de doigts) sur l'expérience des utilisateurs, dans le cadre de la manipulation d'objets 3D. Nous nous intéressons à des paramètres tels que la facilité d'utilisation, la sensation d'immersion, la rapidité et la précision offertes... Pour cela, nous proposons des expériences évaluant ces paramètres à travers des tâches dont le succès est mesurable, et qui ne sont pas spécifiques à un domaine. Dans une première étude, nous nous intéressons aux tâches complexes d'ordre général, faisant appel à des compétences requises dans les manipulations quotidiennes, telles que le fait d'attraper, de relâcher, de translater, de tourner et de maintenir en équilibre des objets tout en se déplaçant. Nous affinons ensuite notre étude en observant les effets de ces interfaces sur les mouvements eux-mêmes, en les décomposant en degrés de liberté individuels et groupés. Enfin, nous testons l'applicabilité de notre système de manipulation directe dans le cadre d'une étude préliminaire sur l'utilisation de la réalité virtuelle pour le traitement de la maladie d'Alzheimer. Ces études analysent les propriétés de ces interfaces dans le but de fournir des indications aidant au choix de l'interface la plus appropriée pour des applications futures.

Les environnements de réalité virtuelle devenant de plus en plus complexes et de très grandes dimensions, un niveau d'interaction temps-réel devient impossible à garantir. En effet, de par leur complexité, due à une géométrie détaillée et aux propriétés physiques spécifiques, ces environnements large échelle engendrent un goulet d'étranglement calculatoire critique sur les algorithmes de simulation physique. Nous avons focalisé nos travaux sur la première étape de ces algorithmes qui concerne la détection de collision, car les problématiques font partie intégrante de ce goulet d'étranglement et leur complexité peut parfois se révéler quadratique dans certaines situations. Le profond bouleversement que subissent les architectures machines depuis quelques années ouvre une nouvelle voie pour réduire le goulet d'étranglement. La multiplication du nombre de cœurs offre ainsi la possibilité d'exécuter ces algorithmes en parallèle sur un même processeur. Dans le même temps, les cartes graphiques sont passées d'un statut de simple périphérique d'affichage graphique à celui de supercalculateur. Elles jouissent désormais d'une attention toute particulière de la part de la communauté traitant de la simulation physique. Afin de passer au large échelle et d'être générique sur la machine d'exécution, nous avons proposé des modèles unifiés et adaptatifs de correspondance entre les algorithmes de détection de collision et les architectures machines de type multi-coeur et multi-GPU. Nous avons ainsi défini des solutions innovantes et performantes permettant de réduire significativement le temps de calcul au sein d'environnements large échelle tout en assurant la pérennité des résultats. Nos modèles couvrent l'intégralité du pipeline de détection de collision en se focalisant aussi bien sur des algorithmes de bas ou de haut niveau. Nos modèles multi-coeur, GPU et multi-GPU allient différentes techniques de subdivision spatiale à des algorithmes basés topologie ainsi que des techniques d'équilibrage de charge basées sur le vol de données. Notre solution hybride permet d'accroitre l'espace et le temps de calcul ainsi que le passage au large échelle. L'association de ces nouveaux algorithmes nous a permis de concevoir deux modèles d'adaptation algorithmique dynamique basés, ou non, sur des scénarios de pré-calcul hors-ligne. Enfin, il nous est apparu indispensable d'ajouter au pipeline de détection de collision une nouvelle dimension révélant la prise en compte des architectures pour une exécution optimale. Grâce à ce formalisme, nous avons proposé un nouveau pipeline de détection de collision offrant une granularité de parallélisme sur processeurs multi-coeur. Il permet une exécution simultanée des différentes étapes du pipeline ainsi qu'un parallélisme interne à chacune de ces étapes.

Nous présentons une approche de rendu à base d'images qui permet, à partir de photos, de naviguer librement et générer des points de vue quelconques dans des scènes urbaines. Les approches précédentes se basent sur un modèle géométrique complet et précis de la scène. La qualité des résultats produits par ces méthodes se dégrade lorsque la géométrie est approximative. Dans cette thèse, nous proposons une approximation basée sur l'image pour compenser le manque de précision de la géométrie. Dans une première approche, nous utilisons une déformation discontinue des photos guidée par des cartes de profondeur quasi-denses, ce qui produit de meilleurs résultats que le plaquage de texture utilisé par les méthodes précédentes, en particulier lorsque la géométrie est imprécise. Cette approche nécessite quelques indications utilisateur pour identifier les bordures d'occlusion dans les photos. Nous proposons ensuite une méthode entièrement automatique basée sur la même idée de déformation d'image. Cette méthode permet de traiter des scènes plus complexes avec un plus grand nombre de photos. Nous évitons l'intervention utilisateur en sur-segmentant les images d'entrées pour former des superpixels. Nous déformons chaque superpixel indépendamment en utilisant l'information de profondeur clairsemée. Nous proposons également un algorithme de synthèse de profondeur approximative pour traiter les zones de l'image où la géométrie n'est pas disponible. Nous comparons nos résultats à de nombreuses approches récentes et montrons que notre méthode permet une navigation virtuelle libre. Nous avons aussi étudié les défauts du rendu à base d'images d'un point de vue perceptif. Dans une première études controlées, nous avons évalué la perception des distorsions de perspective produites lorsqu'une seule image est projetée sur une géométrie planaire. Les données obtenues lors de cette étude nous ont permis de développer un modèle quantitatif permettant de prédire les distorsions perçues en fonction des paramètres de capture et de visualisation. Dans une autre étude nous comparons les défauts visuels produits par des transitions d'images douces ou abruptes. Nous avons déduit de cette étude des conseils pour choisir le meilleur compromis entre les deux types de transition. Ces deux études ont motivé des choix de conception de nos algorithmes de rendu à base d'images. Enfin, nous démontrons l'utilisation de notre approche pour la thérapie cognitive, ce qui représente la première application de réalité virtuelle à base d'images. Notre méthode permet de réduire considérablement le coût de modélisation 3D d'une scène de réalité virtuelle tout en produisant des visites virtuelles très réalistes.

Les travaux de recherche présentés dans cette thèse ont pour but de développer un système de réalité virtuelle d'aide à la réalisation et à l'évaluation d'exercices physiques. La notion d'exercice physique étant très large, nous avons pris le parti de cibler des exercices réalisés dans le cadre médical de traitements de rééducation fonctionnelle. Dans un premier temps, nous avons mis au point un socle technologique et algorithmique basé sur du matériel standard, peu coûteux, simple à installer et à utiliser. Il met en place les fondations nécessaires pour le développement d'applications de réalité virtuelle destinées à supporter et à superviser des exercices de rééducation, qu'ils soient réalisés dans un centre de rééducation, dans le cabinet d'un kinésithérapeute, ou à domicile. Sur base de ce socle, nous avons ensuite développé deux applications de rééducation ciblant des pathologies différentes. La première application est destinée aux patients atteints de douleurs neuropathiques telles que les douleurs fantômes (DF) chez les amputés ou le Syndrome Douloureux Régional Complexe (SDRC). Grâce à la réalité virtuelle, nous donnons l'illusion au patient qu'il peut à nouveau bouger son membre amputé ou pathologique, réduisant ainsi l'intensité des douleurs. La seconde application a pour but d'offrir au thérapeute et au patient un outil de quantification des mouvements réalisés dans le cadre d'exercices de rééducation motrice. Les mesures ainsi obtenues vont permettre d'aider le médecin à identifier et à objectiver le diagnostic d'une pathologie du mouvement, et, par la suite, vont permettre au kinésithérapeute d'en suivre l'évolution tout au long du traitement de rééducation. Pour chacune de ces applications, un algorithme spécifique de suivi de mouvements, basé sur le socle commun, est au cœur de la solution mise en œuvre. / Doctorat en Sciences de l'ingénieur / info:eu-repo/semantics/nonPublished

Les besoins grandissant en santé rendent des technologies comme la téléprésence à domicile de plus en plus intéressantes. Cependant, dans le domaine des interfaces humains-machines, il est souvent noté que négliger la façon dont est présentée l'information provenant du robot peut nuire à l'opérateur dans sa compréhension de la situation, ce qui entraîne une efficacité réduite. C'est en considérant la façon dont est traitée l'information chez l'opérateur que nous arriverons à développer une interface permettant d'allouer le maximum des capacités cognitives de l'opérateur à la tâche. De plus, les développements récents de matériel à haute performance et à coûts réduits nous permettent de mettre en oeuvre des techniques modernes de traitement d'images en temps réel. Nous proposons donc de développer un système flexible pour étudier les différentes façons de présenter l'information pertinente à la navigation efficace d'une plateforme robotique mobile. Ce système est basé sur une reconstruction en trois dimensions de l'environnement parcouru à partir des lectures de capteurs retrouvés couramment sur ces plateformes. De plus, l'utilisation d'une caméra vidéo stéréoscopique permet de reproduire l'effet de perspective tel qu'une personne sur place le percevrait. La présence d'un flux vidéo est souvent appréciée par les opérateurs et nous croyons que d'ajouter la profondeur dans notre reproduction de celui-ci est un avantage. Finalement, la caméra virtuelle de l'interface peut être continuellement réorientée de façon à fournir une perspective soit égocentrique, soit exocentrique, selon les préférences de l'opérateur. Nous validons l'utilisation de ce système en évaluant selon différentes métriques les performances d'opérateurs, autant néophytes qu'experts en robotique mobile, de façon à bien cibler les besoins fonctionnels de ce genre d'interfaces et leurs évaluations avec des populations-cibles. Nous croyons que la flexibilité quant au positionnement de la caméra virtuelle de l'interface demeure l'aspect le plus important du système. En effet, nous nous attendons â ce que cela permette à chaque opérateur d'adapter l'interface à ses préférences et les tâches en cours pour qu'il effectue son travail le plus efficacement possible. Bien que nous n'incluons pas de tâches spécifiques au domaine de la télésanté dans nos expérimentations, nous croyons que les observations de ce travail quant à la téléopération en général pourront s'appliquer éventuellement à ce domaine en particulier.