Ce mémoire présente les concepts et la réalisation d’outils de visualisation d’information dans un objectif d’aide à la compréhension de systèmes complexes. L’implantation des différents outils proposés a été réalisée dans le cadre du projet IMAGE mené au centre RDDC Valcartier. L’objectif principal de ce projet est de fournir une méthodologie et des outils afin d’aider à la compréhension de systèmes complexes. Le concept proposé par IMAGE repose principalement sur la synergie de quatre principes, soit la représentation, la scénarisation, la simulation et l’exploration. Nous nous attarderons ici essentiellement à l’aspect exploration. On propose d’abord une version desktop non immersive du module d’exploration. Différents outils de visualisation ont été développés à l’aide de l’outil de développement graphique Eye-Sys. Un ensemble d’affichages graphiques interactifs est proposé et s’inspire notamment de plusieurs techniques dans le domaine de la visualisation d’information. Ensuite, une version immersive des outils de visualisation a été réalisée. À partir de différents concepts de réalité virtuelle connus comme la stéréoscopie off-axis, des outils de visualisation ont été adaptés pour que l’on puisse les utiliser de façon immersive dans un environnement virtuel de type CAVE. On propose également l’intégration de différents périphériques de contrôle comme une télécommande sans fil et une tablette PC afin de faciliter la navigation dans l’environnement et la manipulation des différents outils de visualisation développés.

Ce mémoire couvre le développement d'une interface bimanuelle pour IMAGE v2, une application de simulation visuelle interactive aidant à la compréhension de situations complexes. Cette interface est centrée sur l'utilisateur et est développée principalement pour les environnements immersifs, environnements dans lesquels IMAGE v2 doit être déployé. Il s'agit d'une interface gestuelle, car l'utilisateur devra interagir avec les objets de l'application à l'aide de ses mains. Deux variantes de l'interface ont été implémentées, l'une requérant l'utilisation d'une seule main et l'autre permettant d'utiliser les deux mains. Ces deux variantes ont été comparées dans une étude sur un groupe d'utilisateurs qui devaient exécuter une série de tâches avec chaque variante de l'interface, le temps étant mesuré. L'étude a montré que l'interface bimanuelle augmente significativement la performance et la précision des utilisateurs. / This thesis covers the conception of a bimanual interface for IMAGE v2, an application of visual interactive simulation aiming to help in understanding complex situations. This interface is user-centric and is developed principally for virtual immersive environments, environments in which IMAGE v2 is to be used. It is a gestural interface because users will interact with the application by using their hands. Two variants of the interface have been implemented, the first requiring the user to use only one hand and the other allowing the use of both hands. Those two variants were compared in a study on a group of users who executed a series of tasks with each variant of the interface, time being measured. This study showed that the bimanual interface increased significantly the performance and precision of the users.

Ce projet de mémoire s'intéresse à une toute nouvelle approche d'analyse du site archéologique de l'Îlot des Palais en basse-ville de Québec : la phénoménologie en contexte numérique. À la suite de l'élaboration de l'environnement virtuel qui représente une première hypothèse du site en 1719, l'environnement est adapté à un système de réalité virtuelle. Ce contexte d'immersion et d'interaction permet une analyse de phénoménologie dépouillée des obstacles sensoriels du contexte urbain contemporain. Ce mémoire présente un article sur la méthodologie d'acquisition des informations brutes, leurs traitements en données archéologiques 3D et la production de l'environnement virtuel. Les résultats de l'analyse sont ensuite abordés en comparaison avec l'analyse de phénoménologie du site in situ. Enfin, nous terminons avec une discussion critique sur la démarche d'archéologie numérique qui pourrait être appliquée à d'autres cas d'études, les perspectives pour l'intégration en milieu professionnel et une réflexion sur l'utilisation comme outil de médiation grand public. / This dissertation project is interested in a new approach to analyze the archaeological site of the Îlot des Palais in the City of Quebec: phenomenology in a digital context. Following the development of the virtual environment which represents a first hypothesis of the site in 1719, the environment is adapted to a virtual reality system. This context of immersion and interaction allows an analysis of phenomenology stripped of the sensory obstacles of the contemporary urban context. This document presents an article on the methodology of raw information acquisition, their processing in 3D archaeological data and the production of the virtual environment. The results of the analysis are then discussed in comparison with the analysis of phenomenology of the site in situ. Finally, we end with a critical examination of the digital archaeology approach for scientific research that could be applied to other case studies, the prospect for integration in the private sector and a reflection on public mediation through this medium.

The minimally invasive approach of arthroscopy means less pain and faster recovery time for patients compared to open surgery. However, it implies a high difficulty of performance. Therefore, surgeon should remain at a high level of technical and professional expertise to perform such operations. Surgeon’s skills are being developed over years of surgical training on animals, cadavers and patients. Nowadays, cadavers and animal specimens present an ethical problem also the practice on real humans is usually risky. For surgeons to reach a high level, new and alternative ways of performing surgical training are required. Virtual reality technology has opened new realms in the practice of medicine. Today, virtual reality simulators have become one of the most important training methods in the medical field. These simulators allow medical students to examine and study organs or any structure of the human body in ways that were not possible few years earlier. Similarly, the surgeon as well as the medical student can gain a valuable experience by performing a particular surgery with an anatomical accuracy and realism as it is actually performed in the real world. Thus, they can practice on virtual operation before they proceed and operate on real patients. In this thesis, a virtual reality training simulator for wrist arthroscopy is introduced. Two main issues are addressed: the 3-D reconstruction process and the 3-D interaction. Based on a sequence of CT images a realistic representation of the wrist joint is obtained suitable for the computer simulation. Two main components of the computer-based system interface are illustrated: the 3-D interaction to guide the surgical instruments and the user interface for haptic feedback. In this context, algorithms that model objects using the convex hull approaches and simulate real time exact collision detection between virtual objects are presented. A force feedback device, coupled with a haptic algorithm, is used as a haptic interface with the computer simulation system. This leads in the development of a low cost system with the same benefits as professional devices. In this regard, the wrist arthroscopy can be simulated and medical students can learn the basic skills required with safety, flexibility and less cost / La chirurgie arthroscopique présente actuellement un essor très important pour le bénéfice du plus grand nombre des patients. Cependant, cette technique possède un certain nombre d’inconvénients et il est donc nécessaire pour le médecin de s’entrainer et répéter ses gestes afin de pouvoir exécuter ce type d’opération d’une façon efficace et certaine. En effet, les méthodes traditionnelles d’enseignement de la chirurgie sont basées sur l’autopsie des cadavres et l’entrainement sur des animaux. Avec l’évolution de notre société, ces deux pratiques deviennent de plus en plus critiquées et font l’objet de réglementations très restrictives. Afin d’atteindre un niveau plus élevé, de nouveaux moyens d’apprentissage sont nécessaires pour les chirurgiens. Récemment, la réalité virtuelle commence d’être de plus en plus utilisée dans la médecine et surtout la chirurgie. Les simulateurs chirurgicaux sont devenus une des matières les plus récentes dans la recherche de la réalité virtuelle. Ils sont également devenus une méthode de formation et un outil d’entrainement valable pour les chirurgiens aussi bien que les étudiants en médecine. Dans ce travail, un simulateur de réalité virtuelle pour l’enseignement de la chirurgie arthroscopique, surtout la chirurgie du poignet, a été préesenté. Deux questions principales sont abordées : la reconstruction et l’interaction 3-D. Une séquence d’images CT a été traitée afin de générer un modèle 3-D du poignet. Les deux principales composantes de l’interface du système sont illustrées : l’interaction 3-D pour guider les instruments chirurgicaux et l’interface de l’utilisateur pour le retour d’effort. Dans ce contexte, les algorithmes qui modélisent les objets en utilisant les approches de “Convex Hull” et qui simulent la détection de collision entre les objets virtuels en temps réel, sont présentés. En outre, un dispositif de retour d’effort est utilisé comme une interface haptique avec le système. Cela conduit au développement d’un système à faible coût, avec les mêmes avantages que les appareils professionnels. A cet égard, l’arthroscopie du poignet peut être simulée et les étudiants en médecine peuvent facilement utiliser le système et peuvent apprendre les compétences de base requises en sécurité, flexibilité et moindre coût

Pour assurer un niveau de coopération acceptable entre les diff érents utilisateurs, il faut prendre en considération certains critères. Nous pouvons diviser ces critères selon deux catégories : la première est visuelle/psychologique et elle est souvent liée à l'utilisateur. Il s'agit de comprendre les interactions de l'autre utilisateur : que fait-il ? Que va-t-il faire ? Sur quoi interagit-il ? ... Pour comprendre tout cela il faut assurer que l'utilisateur ait un certain niveau de conscience de tout ce qui évolue dans l'environnement. Cette conscience est la connaissance de l'état de l'environnement qui est assurée à travers des métaphores visuelles signi catives, d'où le facteur psycho-cognitif. La deuxième catégorie est technique et elle est liée au réseau. Pour garantir la mise à jour de l'évolution de l'environnement virtuel il faut assurer la transmission d'informations liées à cette évolution dans les meilleurs délais. L'assurance de la réception des mises-à-jour nécessite à son tour une qualité de service réseau jugée acceptable en terme de latence et de bande pas- sante. Qu'arrive-t-il si cette qualité de service est interrompue à un moment donné ? Quel est l'impact d'un problème au niveau réseau sur la coopéra- tion ? Jusqu'à quel point ? Cette thèse a pour objectif d'essayer de répondre à ces questions en mettant l'accent sur les conséquences indésirables d'un problème réseau sur les environne- ments virtuels coopératifs. Nous allons suivre le problème réseau dès le moment de son apparition au niveau de la couche de transport, et tout le long de son passage par les di érentes couches qui composent les environnements virtuels distribués. Ces couches comportent : la couche de communication, le noyau du support d'exécution d'environnements virtuels, et enfi n la couche applicative en relation directe avec l'utilisateur. Sur chaque niveau nous étudions les eff ets provoqués par le problème réseau et nous proposons des solutions.

La réalité virtuelle est une technologie qui voit ses applications s'étendre à de nombreux domaines (médical, automobile, etc.). Cette thèse se place dans le contexte des espaces virtuels complètement immersifs, et a pour but d'étudier les effets des deux principaux types d'interfaces proposés (manette avec 6 degrés de liberté, et système de suivi de doigts) sur l'expérience des utilisateurs, dans le cadre de la manipulation d'objets 3D. Nous nous intéressons à des paramètres tels que la facilité d'utilisation, la sensation d'immersion, la rapidité et la précision offertes... Pour cela, nous proposons des expériences évaluant ces paramètres à travers des tâches dont le succès est mesurable, et qui ne sont pas spécifiques à un domaine. Dans une première étude, nous nous intéressons aux tâches complexes d'ordre général, faisant appel à des compétences requises dans les manipulations quotidiennes, telles que le fait d'attraper, de relâcher, de translater, de tourner et de maintenir en équilibre des objets tout en se déplaçant. Nous affinons ensuite notre étude en observant les effets de ces interfaces sur les mouvements eux-mêmes, en les décomposant en degrés de liberté individuels et groupés. Enfin, nous testons l'applicabilité de notre système de manipulation directe dans le cadre d'une étude préliminaire sur l'utilisation de la réalité virtuelle pour le traitement de la maladie d'Alzheimer. Ces études analysent les propriétés de ces interfaces dans le but de fournir des indications aidant au choix de l'interface la plus appropriée pour des applications futures.

Les environnements de réalité virtuelle devenant de plus en plus complexes et de très grandes dimensions, un niveau d'interaction temps-réel devient impossible à garantir. En effet, de par leur complexité, due à une géométrie détaillée et aux propriétés physiques spécifiques, ces environnements large échelle engendrent un goulet d'étranglement calculatoire critique sur les algorithmes de simulation physique. Nous avons focalisé nos travaux sur la première étape de ces algorithmes qui concerne la détection de collision, car les problématiques font partie intégrante de ce goulet d'étranglement et leur complexité peut parfois se révéler quadratique dans certaines situations. Le profond bouleversement que subissent les architectures machines depuis quelques années ouvre une nouvelle voie pour réduire le goulet d'étranglement. La multiplication du nombre de cœurs offre ainsi la possibilité d'exécuter ces algorithmes en parallèle sur un même processeur. Dans le même temps, les cartes graphiques sont passées d'un statut de simple périphérique d'affichage graphique à celui de supercalculateur. Elles jouissent désormais d'une attention toute particulière de la part de la communauté traitant de la simulation physique. Afin de passer au large échelle et d'être générique sur la machine d'exécution, nous avons proposé des modèles unifiés et adaptatifs de correspondance entre les algorithmes de détection de collision et les architectures machines de type multi-coeur et multi-GPU. Nous avons ainsi défini des solutions innovantes et performantes permettant de réduire significativement le temps de calcul au sein d'environnements large échelle tout en assurant la pérennité des résultats. Nos modèles couvrent l'intégralité du pipeline de détection de collision en se focalisant aussi bien sur des algorithmes de bas ou de haut niveau. Nos modèles multi-coeur, GPU et multi-GPU allient différentes techniques de subdivision spatiale à des algorithmes basés topologie ainsi que des techniques d'équilibrage de charge basées sur le vol de données. Notre solution hybride permet d'accroitre l'espace et le temps de calcul ainsi que le passage au large échelle. L'association de ces nouveaux algorithmes nous a permis de concevoir deux modèles d'adaptation algorithmique dynamique basés, ou non, sur des scénarios de pré-calcul hors-ligne. Enfin, il nous est apparu indispensable d'ajouter au pipeline de détection de collision une nouvelle dimension révélant la prise en compte des architectures pour une exécution optimale. Grâce à ce formalisme, nous avons proposé un nouveau pipeline de détection de collision offrant une granularité de parallélisme sur processeurs multi-coeur. Il permet une exécution simultanée des différentes étapes du pipeline ainsi qu'un parallélisme interne à chacune de ces étapes.

Nous présentons une approche de rendu à base d'images qui permet, à partir de photos, de naviguer librement et générer des points de vue quelconques dans des scènes urbaines. Les approches précédentes se basent sur un modèle géométrique complet et précis de la scène. La qualité des résultats produits par ces méthodes se dégrade lorsque la géométrie est approximative. Dans cette thèse, nous proposons une approximation basée sur l'image pour compenser le manque de précision de la géométrie. Dans une première approche, nous utilisons une déformation discontinue des photos guidée par des cartes de profondeur quasi-denses, ce qui produit de meilleurs résultats que le plaquage de texture utilisé par les méthodes précédentes, en particulier lorsque la géométrie est imprécise. Cette approche nécessite quelques indications utilisateur pour identifier les bordures d'occlusion dans les photos. Nous proposons ensuite une méthode entièrement automatique basée sur la même idée de déformation d'image. Cette méthode permet de traiter des scènes plus complexes avec un plus grand nombre de photos. Nous évitons l'intervention utilisateur en sur-segmentant les images d'entrées pour former des superpixels. Nous déformons chaque superpixel indépendamment en utilisant l'information de profondeur clairsemée. Nous proposons également un algorithme de synthèse de profondeur approximative pour traiter les zones de l'image où la géométrie n'est pas disponible. Nous comparons nos résultats à de nombreuses approches récentes et montrons que notre méthode permet une navigation virtuelle libre. Nous avons aussi étudié les défauts du rendu à base d'images d'un point de vue perceptif. Dans une première études controlées, nous avons évalué la perception des distorsions de perspective produites lorsqu'une seule image est projetée sur une géométrie planaire. Les données obtenues lors de cette étude nous ont permis de développer un modèle quantitatif permettant de prédire les distorsions perçues en fonction des paramètres de capture et de visualisation. Dans une autre étude nous comparons les défauts visuels produits par des transitions d'images douces ou abruptes. Nous avons déduit de cette étude des conseils pour choisir le meilleur compromis entre les deux types de transition. Ces deux études ont motivé des choix de conception de nos algorithmes de rendu à base d'images. Enfin, nous démontrons l'utilisation de notre approche pour la thérapie cognitive, ce qui représente la première application de réalité virtuelle à base d'images. Notre méthode permet de réduire considérablement le coût de modélisation 3D d'une scène de réalité virtuelle tout en produisant des visites virtuelles très réalistes.

Les travaux de recherche présentés dans cette thèse ont pour but de développer un système de réalité virtuelle d'aide à la réalisation et à l'évaluation d'exercices physiques. La notion d'exercice physique étant très large, nous avons pris le parti de cibler des exercices réalisés dans le cadre médical de traitements de rééducation fonctionnelle. Dans un premier temps, nous avons mis au point un socle technologique et algorithmique basé sur du matériel standard, peu coûteux, simple à installer et à utiliser. Il met en place les fondations nécessaires pour le développement d'applications de réalité virtuelle destinées à supporter et à superviser des exercices de rééducation, qu'ils soient réalisés dans un centre de rééducation, dans le cabinet d'un kinésithérapeute, ou à domicile. Sur base de ce socle, nous avons ensuite développé deux applications de rééducation ciblant des pathologies différentes. La première application est destinée aux patients atteints de douleurs neuropathiques telles que les douleurs fantômes (DF) chez les amputés ou le Syndrome Douloureux Régional Complexe (SDRC). Grâce à la réalité virtuelle, nous donnons l'illusion au patient qu'il peut à nouveau bouger son membre amputé ou pathologique, réduisant ainsi l'intensité des douleurs. La seconde application a pour but d'offrir au thérapeute et au patient un outil de quantification des mouvements réalisés dans le cadre d'exercices de rééducation motrice. Les mesures ainsi obtenues vont permettre d'aider le médecin à identifier et à objectiver le diagnostic d'une pathologie du mouvement, et, par la suite, vont permettre au kinésithérapeute d'en suivre l'évolution tout au long du traitement de rééducation. Pour chacune de ces applications, un algorithme spécifique de suivi de mouvements, basé sur le socle commun, est au cœur de la solution mise en œuvre. / Doctorat en Sciences de l'ingénieur / info:eu-repo/semantics/nonPublished

Les besoins grandissant en santé rendent des technologies comme la téléprésence à domicile de plus en plus intéressantes. Cependant, dans le domaine des interfaces humains-machines, il est souvent noté que négliger la façon dont est présentée l'information provenant du robot peut nuire à l'opérateur dans sa compréhension de la situation, ce qui entraîne une efficacité réduite. C'est en considérant la façon dont est traitée l'information chez l'opérateur que nous arriverons à développer une interface permettant d'allouer le maximum des capacités cognitives de l'opérateur à la tâche. De plus, les développements récents de matériel à haute performance et à coûts réduits nous permettent de mettre en oeuvre des techniques modernes de traitement d'images en temps réel. Nous proposons donc de développer un système flexible pour étudier les différentes façons de présenter l'information pertinente à la navigation efficace d'une plateforme robotique mobile. Ce système est basé sur une reconstruction en trois dimensions de l'environnement parcouru à partir des lectures de capteurs retrouvés couramment sur ces plateformes. De plus, l'utilisation d'une caméra vidéo stéréoscopique permet de reproduire l'effet de perspective tel qu'une personne sur place le percevrait. La présence d'un flux vidéo est souvent appréciée par les opérateurs et nous croyons que d'ajouter la profondeur dans notre reproduction de celui-ci est un avantage. Finalement, la caméra virtuelle de l'interface peut être continuellement réorientée de façon à fournir une perspective soit égocentrique, soit exocentrique, selon les préférences de l'opérateur. Nous validons l'utilisation de ce système en évaluant selon différentes métriques les performances d'opérateurs, autant néophytes qu'experts en robotique mobile, de façon à bien cibler les besoins fonctionnels de ce genre d'interfaces et leurs évaluations avec des populations-cibles. Nous croyons que la flexibilité quant au positionnement de la caméra virtuelle de l'interface demeure l'aspect le plus important du système. En effet, nous nous attendons â ce que cela permette à chaque opérateur d'adapter l'interface à ses préférences et les tâches en cours pour qu'il effectue son travail le plus efficacement possible. Bien que nous n'incluons pas de tâches spécifiques au domaine de la télésanté dans nos expérimentations, nous croyons que les observations de ce travail quant à la téléopération en général pourront s'appliquer éventuellement à ce domaine en particulier.