Les environnements 3D immersifs et collaboratifs en ligne sont en pleine émergence. Ils posent les problématiques du sentiment de présence au sein des mondes virtuels, de l'immersion et des capacités d'interaction. Les systèmes 3D multi-caméra permettent, sur la base d'une information photométrique, d'extraire une information géométrique (modèle 3D) de la scène observée. Il est alors possible de calculer un modèle numérique texturé en temps-réel qui est utilisé pour assurer la présence de l'utilisateur dans l'espace numérique. Dans le cadre de cette thèse nous avons étudié comment coupler la capacité de présence fournie par un tel système avec une immersion visuelle et des interactions co-localisées. Ceci a mené à la réalisation d'une application qui couple un visio-casque, un système de suivi optique et un système multi-caméra. Ainsi l'utilisateur peut visualiser son modèle 3D correctement aligné avec son corps et mixé avec les objets virtuels. Nous avons aussi mis en place une expérimentation de télépresence sur 3 sites (Bordeaux, Grenoble, Orléans) qui permet à plusieurs utilisateurs de se rencontrer en 3D et de collaborer à distance. Le modèle 3D texturé donne une très forte impression de présence de l'autre et renforce les interactions physiques grâce au langage corporel et aux expressions faciales. Enfin, nous avons étudié comment extraire une information de vitesse à partir des informations issues des caméras, grâce au flot optique et à des correspondances 2D et 3D, nous pouvons estimer le déplacement dense du modèle 3D. Cette donnée étend les capacités d'interaction en enrichissant le modèle 3D.

Les environnements virtuels sont des espaces immersifs et intuitifs mais la conception des interfaces d'édition et de navigation y est complexe en raison de la diversité des dispositifs d'interaction et des tâches à réaliser. Les tables tactiles offrent des interactions intuitives mais proposent seulement un nombre limité de degrés de liberté. Dans le but de mieux couvrir les besoins d'interaction dans les environnements 3D, nous proposons la conception des TEAMViz (Tabletop Environment Augmented with Mural Visualization soit en français environnement tabletop augmenté par une visualisation murale). Les TEAMViz combinent des interactions réalisées au moyen d'une vue 2D d'un environnement virtuel présentée sur une table tactile et des interactions au moyen d'une vue 3D en perspective de ce même environnement projetée sur un écran vertical. La contribution principale de notre recherche est la réalisation d'une méthode de conception pour la combinaison d'interactions effectuées avec plusieurs dispositifs d'entrée sur des vues multiples présentées sur des surfaces d'affichage distinctes pour des tâches d'édition et de navigation dans un environnement virtuel. Cette méthode de conception prend en compte les relations entre les degrés de liberté des dispositifs d'entrée dans le monde réel, les tâches à réaliser et les relations entre les vues. Elle permet de combiner des interactions réalisées avec des dispositifs dont le couplage fort entre l'entrée et la sortie est requis comme dans le cas des surfaces tactiles.

Ce texte est une étape de mon travail de recherche. Intrigué depuis longtemps par la notion d''autonomie, j''ai tenté, avec mes étudiants, de l''aborder dans le cadre de différentes applications de simulations interactives. Ces travaux, résumés dans la première partie de ce livre, illustrent les limites de l''approche "classique" et computationaliste de l''intelligence artificielle pour développer des comportements autonomes en environnements ouverts. La deuxième partie de l''ouvrage cherche dans d''autres courants des sciences cognitives, en particulier ceux se rapprochant de la biologie et de l'énaction - qui développent la notion d''autonomie forte - les pistes permettant de dépasser ces limites.

Par l'exploitation de nos capacités visuelles, la visualisation scienti que entend proposer aux ingénieurs et aux chercheurs un outil visant à les assister dans l'acquisition de connaissance à partir de phénomènes complexes. Ce travail de thèse s'inscrit dans cette lignée, à ceci près qu'il s'intéresse plutôt à l'utilisation des technologies de la Réalité Virtuelle dans le but d'amener un utilisateur expert au coeur du processus d'exploration et d'analyse des données, ce que nous appelons Exploration de données scienti fiques. Dans le but d'arriver à des processus d'exploration efficaces, notre recherche s'est portée sur la mise en place de techniques d'interactions intuitives, susceptibles d'exploiter au mieux les capacités sensorimotrices de l'être humain. Pour atteindre cet objectif, deux conditions nous paraissent être essentielles. D'une part, il faut que les informations transmises via différents canaux sensorimoteurs aient une certaine cohérence à être délivrées ensemble : il est primordial que l'exploitation d'un canal pour véhiculer une information ne soit pas en concurrence avec ce qui est fait sur un autre canal. D'autre part, il est souhaitable que le potentiel de chaque canal soit utilisé au meilleur de sa capacité. Dans ce contexte, ce travail a débuté par une analyse de l'utilisation de l'haptique dans l'Exploration de données scientifi ques. Pour ce type d'usage, il a été identifié quatre tâches fondamentales (Sélectionner, Localiser, Relier et Arranger) pour lesquelles l'haptique semble présenter un réel avantage par rapport aux autres canaux sensoriels. Pour chacune de ces tâches, nous avons montré, au travers d'une large étude bibliographique, comment l'interaction haptique pouvait être exploitée afi n d'off rir des méthodes d'exploration efficaces. Sur la base de cette analyse organisée autour de ces quatre catégories, nous avons ensuite mis en évidence les problématiques liées aux tâches identifiées. Ainsi, nous avons souligné, d'une part que l'haptique pouvait faciliter la sélection de données scienti fiques dans des contextes où celles-ci sont massives, et d'autre part nous avons montré le besoin de mettre en place de nouvelles méthodes de suivi de structures d'intérêts (iso-surfaces, lignes de courant etc.). Notre problématique ayant ainsi été posée, nous avons d'une part étudié l'utilisation de retour multimodaux non visuels pour la recherche et la sélection de cibles dans un environnent virtuel 3d. Les situations impliquant une ou plusieurs cibles furent analysées, et plusieurs paradigmes d'interaction ont été proposés. Dans cet ordre d'idées, nous sommes arrivés à défi nir et valider un principe directeur pour l'usage de retours haptico-sonores pour la recherche et la sélection d'une cible donn ée située dans une scène 3d pouvant en contenir plusieurs autres. Nous avons en eff et montré que, pour une telle tâche, il était préférable d'exploiter la spatialisation sonore a n de localiser la cible désirée dans l'espace, tandis que le retour haptique permettait une sélection précise de la cible. D'autre part, nous nous sommes attaqués aux problèmes liés au rendu haptique d'ensembles de données pouvant présenter de fortes variations. A cet eff et, suite à un rappel de l'apport de l'haptique pour le rendu de surfaces dans le domaine médical, nous avons analysé certains besoins pouvant être comblés par l'ajout de ce canal sensorimoteur dans l'analyse d'iso-surfaces issues de simulation de Mécanique des Fluides Numérique (MFN). Par la suite nous avons proposé et évalué, par l'intermédiaire d'expériences de perception et de mesures de performance, de nouvelles méthodes de rendu haptique d'iso-surfaces dont l'une des originalités est de pouvoir se passer d'une représentation polygonale intermédiaire. En fin, nous avons appliquécette nouvelle approche d'exploration de données scientifi ques à l'analyse des résultats d'une simulation d'un écoulement dans une cavité ouverte. Ainsi, nous avons proposé deux méthodes d'analyse multi-sensorielle, dédiées à l'exploration d'un ensemble de données issu d'une simulation de MFN, en exploitant les approches génériques développées précédemment. La première méthode concerne une analyse interactive de la géométrie de l'écoulement, alors que la seconde se rapporte à une analyse multi-sensorielle de la topologie de l'écoulement. Les premières évaluations menées ont indiqué que les méthodes proposées tendaient à favoriser une meilleure compréhension du phénomène analysé et qu'elles pouvaient diminuer la charge cognitive habituellement requise par une telle tâche. A titre de conclusion, soulignons que cette thèse de doctorat ouvre la voie à un certain nombre de perspectives de recherches. A court terme, il s'agit de compléter les travaux relatifs à l'analyse de l'aspect dynamique de la simulation d'un écoulement dans une cavité ouverte. Ces travaux consisteront à proposer et valider différentes interactions multimodales visant à examiner les échanges/recirculations pouvant exister entre/dans les parties de la dite cavité. Mais au-delà des travaux relatifs à la MFN, l'expérience acquise à travers ces travaux pluridisciplinaires (informatique, mécanique des fluides, ergonomie cognitive) me permettra à moyen terme d'élargir mes travaux de recherche à l'exploration de données médicales, météorologiques, ou géologiques.

Les travaux présentés dans cette thèse traitent de l'utilisation de la Réalité Virtuelle (RV) et plus particulièrement du retour d'effort pour améliorer l'interaction dans les applications de Conception Assistée par Ordinateur (CAO). Dans ce document, nous décrivons le rôle actuel du Product Lifecycle Management (PLM) dans l'industrie, et plus spécifiquement la place tenue par l'outil CAO. Celui-ci offre de nombreuses fonctionnalités pour l'édition d'une maquette en trois dimensions, mais, actuellement, ne bénéficie pas pleinement des méthodes d'interactions les plus récentes. Notre positionnement de recherche concerne l'utilisation des dispositifs de visualisation ainsi que les nouvelles méthodes d'interaction offertes par la RV, pour rendre l'édition de forme plus intuitive. Toutefois, de nombreuses applications industrielles du PLM, telles que l'assemblage ou l'ergonomie, utilisent déjà des solutions de RV pour augmenter l'interaction avec le produit. Afin de bien appréhender les solutions haptiques que nous proposons, un rappel des principaux concepts de la CAO est effectué, en particulier relatif à ses modèles de données (B-Rep, graphe d'historique, persistent naming). On décrit également les informations perceptibles autour de trois principales catégories : référents, informations géométriques et guides, puis les retours tactiles et d'efforts envisagés pour traduire les différents types d'informations que l'on peut rencontrer. Le travail du concepteur s'articulant autour de deux catégories de tâches : la sélection et la modification de la maquette CAO, nous avons structuré nos travaux de recherche en haptique autour de ces deux grandes classes. De fait, nous abordons ensuite les problématiques de sélection dans une maquette 3d, sélection assistée par des retours haptiques adaptés, et ce en particulier pour permettre une perception fine des composants topologiques. Dans un second temps, nous présentons deux tâches représentatives des activités de modification en CAO : l'édition de courbes et surfaces et l'extrusion. Ces deux fonctionnalités permettent de montrer l'apport de l'haptique pour la manipulation de paramètres sur deux types d'édition CAO très différents. Nous nous intéressons à l'impact de différents facteurs comme le contexte de réalisation de la tâche, la manipulation simultanée des paramètres, la cohabitation de multiples retours haptiques, ou la prise en main, par les tilisateurs, des solutions haptiques. L'analyse des expérimentations relatées dans cette thèse montre des résultats mitigés sur l'apport de l'haptique. Si ce canal sensorimoteur est généralement plebiscité, il convient néanmoins de faire attention au paramétrage des retours d'effort et à la mise en relation des différentes méthodes haptiques, au risque de gener le travail de l'utilisateur du système CAO. Au demeurant, une fois cet écueil évité, les perspectives de l'intégration de l'interaction haptique pour l'aide 'a l'édition CAO semblent prometteuses. Nous concluons cette recherche en esquissant la méthodologie d'intégration RV-CAO qu'il conviendrait de suivre pour mener à bien une évaluation complète de nos solutions avec des utilisateurs CAO experts.

Une interface haptique est développée pour fournir le retour d'effort d'interaction dans un environnement virtuel à échelle humaine. L'interface est composée d'une plate-forme à câbles et d'un exosquelette de préhension. La plate-forme comprend 8 câbles qui sont actionnés par 8 blocs d'actionnement. Chaque bloc contient un moteur électrique, un encodeur rotatif et un capteur de force. Le moteur tire sur le câble, pendant que le capteur de force mesure la tension du câble et l'encodeur détermine sa longueur. Les blocs d'actionnement sont d'une conception novatrice qui augmente la force maximale et la précision de l'interface. L'exosquelette est connecté et actionné par les câbles et permet aux 5 doigts d'une main de l'utilisateur d'accomplir le geste de préhension. L'interface fournit au total 7 degrés d'action pour l'utilisateur en interaction avec les objets virtuels : 3 degrés de translation, 3 degrés de rotation et 1 degré de préhension. L'interface à retour d'effort a été modélisée pour déterminer précisément la distribution des tensions dans les câbles en fonctions des forces et des couples désirés. Les blocs d'actionnement peuvent se déplacer sur un cadre cubique autour de l'environnement virtuel. Une configuration optimale est alors trouvée pour les positions des blocs afin de maximiser l'espace de travail de l'interface. Une méthode de commande hybride basée sur les tensions des câbles, mesurées par les capteurs, est également proposée. Cette méthode mène à résoudre les problèmes classiques des interfaces à câbles. L'application considérée pour cette interface est l'interaction haptique avec l'espace intérieur simulé d'une automobile. Une scène virtuelle correspondante à cette application a été développée et l'interface a été testée dans différents cas de retour d'effort. Les résultats des tests démontrent la performance de l'interface pour fournir des efforts appropriés avec une transparence de mouvement pour l'utilisateur.

La capture en relief d'une scène réelle peut être réalisée grâce à un couple de caméras vidéo (banc stéréoscopique). La capture de ces images vidéo stéréoscopiques et leur restitution sur des systèmes de projection en relief sont à l'interface entre les domaines de la réalité virtuelle, de la vision par ordinateur, et du cinéma en relief. Placé au sein de cette très vaste thématique, ce travail concerne la projection en relief, sur des systèmes de Réalité Virtuelle, d'images issues d'une capture par un banc stéréoscopique fixe. De très nombreuses contraintes (limitations des configurations de capture et des conditions de restitution notamment) ont restreint l'utilisation de cette technologie. Dans ce mémoire de thèse, nous détaillons les améliorations que nous avons apportées à certaines étapes de la chaîne de transmission stéréoscopique, afin de maîtriser la restitution de vidéos stéréoscopiques. Pour atteindre cet objectif, nous avons réalisé une modélisation mathématique détaillée des caméras, et des différentes configurations de capture et de restitution que nous utilisons. Disposer d'images stéréoscopiques les moins déformées possibles était un point de départ indispensable à la suite de notre travail. Dans ce but, nous avons développé un algorithme de rectification d'images vidéo stéréoscopiques. Afin d'assurer une rectification temps réel, nous avons implémenté cet algorithme sur processeur de carte graphique (GPU ou Graphics Processing Unit), en mettant en place une technique à base de table de référence. La distance interoculaire de l'utilisateur est un paramètre important pour assurer une bonne restitution des images sur les systèmes de Réalité Virtuelle. Pourtant par commodité, la valeur moyenne de cet écart est souvent prise comme référence, alors que d'importantes différences existent d'un utilisateur à l'autre. Afin d'améliorer la restitution en fixant plus précisément ce paramètre critique, nous avons développé une méthode de calibration de la distance interoculaire de l'utilisateur. Enfin, alors que les spectateurs des salles de cinéma en relief sont assis dans une zone bien définie devant l'écran, le déplacement des utilisateurs devant le système de projection d'images stéréoscopiques est une caractéristique des systèmes de Réalité Virtuelle. Pour palier aux problèmes que l'on rencontre lors de la projection d'images issues d'un banc stéréoscopique fixe pour un utilisateur en mouvement, nous proposons une méthode pour maitriser la restitution de la profondeur perçue par cet utilisateur, en nous basant sur une segmentation en profondeur de la scène.

Les dispositifs d'immersion stéréoscopique sont très répandus et tendent à l'être de plus en plus (travail en immersion, film projeté en vision stéréoscopique, écrans auto-stéréoscopiques...). Dans certains cas, les immersions peuvent être longues et la fatigue visuelle s'installe. Nous donnons une méthode pour diminuer la fatigue visuelle liée à la vision stéréoscopique. Certaines applications demandent également une perception des formes très performante. Nous déterminons donc les paramètres améliorant cette perception et nous les quantifions. Ce mémoire de thèse est composé de deux parties : l'une consacrée à la perception des formes en immersion, l'autre traite de la diminution de la fatigue visuelle en vision stéréoscopique. Dans la première partie, nous commençons par expliquer comment nous percevons les formes en visions naturelle et artificielle. Ensuite nous exposons un protocole de test pour connaître quels paramètres peuvent influencer cette perception en immersion. Nous nous interrogeons notamment sur l'amélioration que peut apporter le fait de traquer le point de vue de l'utilisateur en vision monoscopique, ortho-stéréoscopique ou non-ortho-stéréoscopique. Nous évaluons également l'influence de la vision ortho-stéréoscopique et non-ortho-stéréoscopique sur la perception des formes Nous quantifions les différences entre tous ces modes de projections et déterminons quels paramètres sont les plus importants à respecter pour une bonne perception des formes. Dans la seconde partie, nous exposons les causes possibles de fatigue visuelle en vision stéréoscopique. Nous nous concentrons ensuite sur une de ces causes : les hautes fréquences spatiales liées à de grandes disparités. Nous avons développé plusieurs algorithmes traitant en temps réel les images stéréo pour supprimer les hautes fréquences gênantes (transformée en ondelette, box filter et programmation sur carte graphique d'une moyenne glissante) avant d'expliquer le choix de l'algorithme. Nous exposons ensuite notre protocole de test pour montrer que notre traitement diminue de façon objective et subjective la fatigue visuelle en vision ortho-stéréoscopique. Nous quantifions ensuite les améliorations apportées par notre algorithme sur cette fatigue.

Depuis des années, nous imaginons qu'un jour nous allons pouvoir nous déplacer dans des mondes “virtuels”, que tout en restant à Grenoble, nous allons pouvoir visiter la pyramide de Chéops ou la maison de Salvador Dalí à Figueres... Nous voudrions déambuler dans les couloirs du Louvre, nous arrêter devant Mona Lisa, décrocher ce tableau et l'admirer sous tous les angles... Nous voudrions faire le tour du futur tramway de Bordeaux, entrer à l'intérieur et imaginer une ballade en centre ville sous la lumière chaleureuse de l'automne ou un soir au coucher du soleil... Nous voudrions... Tous ces rêves ont un point commun, il faut que l'on puisse se voir évoluer dans un monde réel ou imaginaire, y trouver sa place et interagir avec lui. Pour cela, une puissance de calcul très importante et du matériel spécifique (caméras hautes résolutions, réseaux hauts débits, très grands écrans, etc.) sont nécessaires et c'est seulement depuis peu que nous en disposons. Nous pouvons donc enfin nous atteler à la tâche. Sous ce côté rêveur, je vais présenter mes travaux de recherche effectués ces quatre dernières années. Ils ont été réalisés au travers des projets CYBER.

La formation industrielle est un domaine applicatif émergent pour la réalité virtuelle. GVT (Generic Virtual Training) est une plateforme de création d'environnements virtuels permettant une formation individuelle à des procédures industrielles de type maintenance. Cependant, les demandes industrielles évoluent et un nouveau besoin concerne la formation à des procédures collaboratives. Dans cette thèse nous proposons des modèles pour étendre les possibilités de GVT à la formation à des procédures collaboratives où des utilisateurs réels collaborent avec des humains virtuels. Nous présentons un modèle de l'activité des acteurs permettant de remplacer dynamiquement un apprenant par un humain virtuel. Ce modèle permet à un acteur de réaliser des actions en tenant compte de ses caractéristiques, du scénario, de l'environnement ainsi que de l'activité de ses partenaires. Nous proposons également une extension du langage de scénario LORA afin de décrire un scénario collaboratif. Un tel scénario décrit l'assignation des personnes aux actions et intègre des actions collaboratives. Le scénario a également été simplifié en rendant implicites des actions basiques comme la prise et la pose d'outils. Enfin, nous présentons le mécanisme de sélection d'action que nous avons mis en place et dont l'objectif est double : permettre à un humain virtuel de sélectionner une action à réaliser et donner des conseils à l'apprenant sur l'action à choisir. Il se compose de deux parties~: un module global de répartition des actions, chargé de déterminer le meilleur candidat pour chaque action du scénario, et des modules décisionnels dont dispose chaque acteur. Un acteur va ainsi se servir de son profil collaboratif (ensemble de règles de comportement) et de la suggestion du module de répartition pour choisir la prochaine action qu'il souhaiterait réaliser.Ces différents modèles ont été intégrés à GVT au sein d'un prototype. Dans cette thèse nous présentons un scénario applicatif réalisé dans GVT qui consiste à monter collaborativement un meuble livré en kit.