Une interface haptique est développée pour fournir le retour d'effort d'interaction dans un environnement virtuel à échelle humaine. L'interface est composée d'une plate-forme à câbles et d'un exosquelette de préhension. La plate-forme comprend 8 câbles qui sont actionnés par 8 blocs d'actionnement. Chaque bloc contient un moteur électrique, un encodeur rotatif et un capteur de force. Le moteur tire sur le câble, pendant que le capteur de force mesure la tension du câble et l'encodeur détermine sa longueur. Les blocs d'actionnement sont d'une conception novatrice qui augmente la force maximale et la précision de l'interface. L'exosquelette est connecté et actionné par les câbles et permet aux 5 doigts d'une main de l'utilisateur d'accomplir le geste de préhension. L'interface fournit au total 7 degrés d'action pour l'utilisateur en interaction avec les objets virtuels : 3 degrés de translation, 3 degrés de rotation et 1 degré de préhension. L'interface à retour d'effort a été modélisée pour déterminer précisément la distribution des tensions dans les câbles en fonctions des forces et des couples désirés. Les blocs d'actionnement peuvent se déplacer sur un cadre cubique autour de l'environnement virtuel. Une configuration optimale est alors trouvée pour les positions des blocs afin de maximiser l'espace de travail de l'interface. Une méthode de commande hybride basée sur les tensions des câbles, mesurées par les capteurs, est également proposée. Cette méthode mène à résoudre les problèmes classiques des interfaces à câbles. L'application considérée pour cette interface est l'interaction haptique avec l'espace intérieur simulé d'une automobile. Une scène virtuelle correspondante à cette application a été développée et l'interface a été testée dans différents cas de retour d'effort. Les résultats des tests démontrent la performance de l'interface pour fournir des efforts appropriés avec une transparence de mouvement pour l'utilisateur.

La capture en relief d'une scène réelle peut être réalisée grâce à un couple de caméras vidéo (banc stéréoscopique). La capture de ces images vidéo stéréoscopiques et leur restitution sur des systèmes de projection en relief sont à l'interface entre les domaines de la réalité virtuelle, de la vision par ordinateur, et du cinéma en relief. Placé au sein de cette très vaste thématique, ce travail concerne la projection en relief, sur des systèmes de Réalité Virtuelle, d'images issues d'une capture par un banc stéréoscopique fixe. De très nombreuses contraintes (limitations des configurations de capture et des conditions de restitution notamment) ont restreint l'utilisation de cette technologie. Dans ce mémoire de thèse, nous détaillons les améliorations que nous avons apportées à certaines étapes de la chaîne de transmission stéréoscopique, afin de maîtriser la restitution de vidéos stéréoscopiques. Pour atteindre cet objectif, nous avons réalisé une modélisation mathématique détaillée des caméras, et des différentes configurations de capture et de restitution que nous utilisons. Disposer d'images stéréoscopiques les moins déformées possibles était un point de départ indispensable à la suite de notre travail. Dans ce but, nous avons développé un algorithme de rectification d'images vidéo stéréoscopiques. Afin d'assurer une rectification temps réel, nous avons implémenté cet algorithme sur processeur de carte graphique (GPU ou Graphics Processing Unit), en mettant en place une technique à base de table de référence. La distance interoculaire de l'utilisateur est un paramètre important pour assurer une bonne restitution des images sur les systèmes de Réalité Virtuelle. Pourtant par commodité, la valeur moyenne de cet écart est souvent prise comme référence, alors que d'importantes différences existent d'un utilisateur à l'autre. Afin d'améliorer la restitution en fixant plus précisément ce paramètre critique, nous avons développé une méthode de calibration de la distance interoculaire de l'utilisateur. Enfin, alors que les spectateurs des salles de cinéma en relief sont assis dans une zone bien définie devant l'écran, le déplacement des utilisateurs devant le système de projection d'images stéréoscopiques est une caractéristique des systèmes de Réalité Virtuelle. Pour palier aux problèmes que l'on rencontre lors de la projection d'images issues d'un banc stéréoscopique fixe pour un utilisateur en mouvement, nous proposons une méthode pour maitriser la restitution de la profondeur perçue par cet utilisateur, en nous basant sur une segmentation en profondeur de la scène.

Notre cadre de réflexion nous amène à voir le Monde comme une installation. Cette installation permet, contraint, et guide l'activité des sujets. Elle est distribuée dans l'espace physique sous forme d'objets matériels ; dans l'espace mental sous forme de représentations, dans l'espace social sous forme d'institutions. C'est l'existence préalable de cette installation qui permet au sujet de réagir rapidement et de façon pertinente en situation : le sujet joue dans une pièce déjà préparée. Quand il interprète (et il faut prendre ici ce terme au sens théâtral), s'il improvise c'est le plus souvent en combinant des séquences d'interprétation déjà connues. Cette installation du Monde est naturellement le résultat historique d'une construction collective. Ses différentes formes (objets, représentations, institutions) sont liées, génétiquement et fonctionnellement. Notre modèle général, qui sera décrit dans la dernière section, met en lumière une détermination multiple des conduites ; il ne se substitue pas aux modèles existants, mais plutôt il les combine et les met en perspective. Dans ce cadre, nous explicitons les liens entre les aspects pragmatique (mobilisation dans l'action des représentations, en situation) et génétique (construction diachronique du système de représentations, en lien avec les pratiques et les objets). On trouvera en particulier ici rassemblés et mis en perspective divers modèles que nous avons développée au cours des 25 dernières années. On a également décrit les techniques de recueil et d'analyse des comportements que nous avons développés, et notamment l'analyse des processus, l'analyse lexicale et l'analyse des représentations à partir des dictionnaires et encyclopédies, la subcam (camera miniaturisée porte à hauteur de l'œil par le sujet et qui fournit une perspective située du point de vue du sujet), la réalité expérimentale (une méthode de conception participative en situation réelle qui permet de développer rapidement des systèmes sociotechniques complexes).

Les dispositifs d'immersion stéréoscopique sont très répandus et tendent à l'être de plus en plus (travail en immersion, film projeté en vision stéréoscopique, écrans auto-stéréoscopiques...). Dans certains cas, les immersions peuvent être longues et la fatigue visuelle s'installe. Nous donnons une méthode pour diminuer la fatigue visuelle liée à la vision stéréoscopique. Certaines applications demandent également une perception des formes très performante. Nous déterminons donc les paramètres améliorant cette perception et nous les quantifions. Ce mémoire de thèse est composé de deux parties : l'une consacrée à la perception des formes en immersion, l'autre traite de la diminution de la fatigue visuelle en vision stéréoscopique. Dans la première partie, nous commençons par expliquer comment nous percevons les formes en visions naturelle et artificielle. Ensuite nous exposons un protocole de test pour connaître quels paramètres peuvent influencer cette perception en immersion. Nous nous interrogeons notamment sur l'amélioration que peut apporter le fait de traquer le point de vue de l'utilisateur en vision monoscopique, ortho-stéréoscopique ou non-ortho-stéréoscopique. Nous évaluons également l'influence de la vision ortho-stéréoscopique et non-ortho-stéréoscopique sur la perception des formes Nous quantifions les différences entre tous ces modes de projections et déterminons quels paramètres sont les plus importants à respecter pour une bonne perception des formes. Dans la seconde partie, nous exposons les causes possibles de fatigue visuelle en vision stéréoscopique. Nous nous concentrons ensuite sur une de ces causes : les hautes fréquences spatiales liées à de grandes disparités. Nous avons développé plusieurs algorithmes traitant en temps réel les images stéréo pour supprimer les hautes fréquences gênantes (transformée en ondelette, box filter et programmation sur carte graphique d'une moyenne glissante) avant d'expliquer le choix de l'algorithme. Nous exposons ensuite notre protocole de test pour montrer que notre traitement diminue de façon objective et subjective la fatigue visuelle en vision ortho-stéréoscopique. Nous quantifions ensuite les améliorations apportées par notre algorithme sur cette fatigue.

Un des défis majeurs de la réalité augmentée est celui de l'alignement spatial des objets virtuels sur le monde réel. Plusieurs techniques de localisation par la vision ont été proposées dans la littérature pour améliorer le recalage virtuel. Le suivi hybride qui combine différentes technologies et méthodes semble ouvrir une nouvelle voie d'utilisation pour combler les divers problèmes liés à la précision et à la robustesse des algorithmes. Dans ce travail, nous avons développé une architecture multimodale de suivi de cibles et de gestion d'occultations en réalité augmentée. L'approche multimodale consiste à combiner différents capteurs et techniques, associés en fonction des conditions réelles de l'environnement. Cette architecture est constituée d'un module de tracking de cibles codées basé sur un algorithme hybride d'estimation de pose. Toutefois, cet algorithme de suivi de cibles est mis en échec si les marqueurs visuels ne sont pas entièrement visibles. Nous avons étendu donc, cette méthode de localisation spatio-temporelle par un module de suivi de points caractéristiques en présence d'occultations partielles des cibles. Cette étape se fonde sur l'étude des propriétés du suivi robuste des points d'intérêts et sur l'adaptation et la gestion des différentes conditions expérimentales. Enfin, une partie de suivi multi-capteurs est incluse dans notre démarche de conception logicielle. Ce dernier module de l'architecture est composé d'un dispositif hybride de tracking permettant de pallier les occultations totales des cibles. Des expérimentations avec le système global et de nombreuses évaluations ont servi à montrer l'intérêt de l'approche multimodale proposée pour le suivi et la gestion d'occultations en réalité augmentée. Le travail réalisé a permis de définir une base de critères nécessaires pour une mise en oeuvre efficace d'une architecture de suivi robuste et multi-capteurs dans un environnement de réalité augmentée.

La formation industrielle est un domaine applicatif émergent pour la réalité virtuelle. GVT (Generic Virtual Training) est une plateforme de création d'environnements virtuels permettant une formation individuelle à des procédures industrielles de type maintenance. Cependant, les demandes industrielles évoluent et un nouveau besoin concerne la formation à des procédures collaboratives. Dans cette thèse nous proposons des modèles pour étendre les possibilités de GVT à la formation à des procédures collaboratives où des utilisateurs réels collaborent avec des humains virtuels. Nous présentons un modèle de l'activité des acteurs permettant de remplacer dynamiquement un apprenant par un humain virtuel. Ce modèle permet à un acteur de réaliser des actions en tenant compte de ses caractéristiques, du scénario, de l'environnement ainsi que de l'activité de ses partenaires. Nous proposons également une extension du langage de scénario LORA afin de décrire un scénario collaboratif. Un tel scénario décrit l'assignation des personnes aux actions et intègre des actions collaboratives. Le scénario a également été simplifié en rendant implicites des actions basiques comme la prise et la pose d'outils. Enfin, nous présentons le mécanisme de sélection d'action que nous avons mis en place et dont l'objectif est double : permettre à un humain virtuel de sélectionner une action à réaliser et donner des conseils à l'apprenant sur l'action à choisir. Il se compose de deux parties~: un module global de répartition des actions, chargé de déterminer le meilleur candidat pour chaque action du scénario, et des modules décisionnels dont dispose chaque acteur. Un acteur va ainsi se servir de son profil collaboratif (ensemble de règles de comportement) et de la suggestion du module de répartition pour choisir la prochaine action qu'il souhaiterait réaliser.Ces différents modèles ont été intégrés à GVT au sein d'un prototype. Dans cette thèse nous présentons un scénario applicatif réalisé dans GVT qui consiste à monter collaborativement un meuble livré en kit.

La simulation d'assemblage CAO en environnement virtuel donne une nouvelle dimension au développement rapide et à moindre coût d'un produit, en permettant de travailler collaborativement autour de la maquette numérique. L'interaction entre l'utilisateur et la simulation suppose que les modèles mécaniques utilisés soient conformes à la réalité, dans la mesure où les résultats de la simulation doivent être proches du comportement des objets matériels réels. Dans cette thèse, nous nous sommes intéressé au traitement des interactions entre objets 3D, dans le cadre spécifique des assemblages haptiques. L'objectif de la thèse est d'étudier les différents modes de dynamique applicables dans les simulations d'assemblage CAO. Ce domaine de recherche comporte plusieurs verrous technologiques et scientifiques concernant le couplage des interfaces haptiques avec des moteurs de simulation dynamique. La contrainte de temps interactif, très restrictive, impose à toutes méthodes dynamiques de détecter des collisions et calculer des efforts de contact de manière très rapide et avec des critères forts de stabilité mécanique. Dans ce contexte, nous proposons d'appliquer les technologies de l'interaction haptique, pour la réalisation d'assemblages mécaniques issus de la CAO. Parmi les nombreux facteurs qui influencent le degré de réalisme d'une simulation interactive d'assemblage, nous nous concentrons sur le réalisme des comportements physiques des objets 3D simulés ainsi que sur les performances de l'utilisateur dans la réalisation de tâches d'assemblage. Dans le cadre précis des simulations haptiques, nous proposons de traiter simultanément ces deux facteurs. Au sein d'une même simulation d'assemblage, l'utilisateur doit pouvoir percevoir des comportements dynamiques réalistes lors d'interactions élémentaires avec l'environnement virtuel, ainsi que pouvoir réaliser des tâches d'A/D de manière efficace. Dans les simulations d'assemblage, nous avons identifié deux phases de manipulation où le traitement dynamique des contacts peut être réalisé~: soit de manière contrainte pour aider les utilisateurs à positionner des objets dans l'espace, soit de manière non contrainte pour obtenir un rendu haptique réaliste des interactions. L'approche proposée consiste donc à séparer les interactions liées à l'exploration des scènes haptique, des interactions liées aux assemblages. Au sein d'une même simulation d'assemblage, nous proposons d'utiliser des modèles de traitement dynamique non contraint pour les phases exploratoires et l'utilisation de modèles de dynamique contrainte pour réaliser les assemblage haptiquement. Dans une première contribution, nous proposons de baser la simulation haptique sur une modélisation rigoureuse de la mécanique~: pour rendre compte de comportements réalistes des objets, nous utilisons les méthodes de dynamique non régulière, et particulièrement des approches de non smooth contact dynamics (NSCD). Dans une deuxième contribution, nous proposons d'identifier les différentes étapes qui composent l'assemblage interactif, pour assister l'utilisateur dans la réalisation de tâches de montage et de démontage. Cette assistance consiste en un guidage virtuel des objets, qui contraint géométriquement et cinématiquement les mouvements des objets à assembler. Nous présentons une nouvelle méthode de guidage, baptisée guidage virtuel contraint, qui applique des contraintes cinématiques aux objets, en fonction des tâches à réaliser. La transition entre le mode exploratoire, géré par dynamique non contrainte et le mode assemblage, géré par dynamique contrainte, est assuré par un guidage géométrique inspiré des virtual fixtures, qui constitue une troisième contribution.

Les progrès technologiques ont permis d'abaisser la frontière entre image réelle et image virtuelle à tel point que les différencier devient difficile. Si la réalité virtuelle évolue au rythme des progrès technologiques, la réalité augmentée, passage du virtuel vers le réel, n'en est qu'à ses débuts. Le but de cette thèse est d'assurer la transition entre le monde virtuel et réel grâce à un système procam (projecteur caméra) pour améliorer l'apparence visuelle d'un objet. La position de l'objet est estimée en projetant une mire codée pour déterminer des points de correspondance entre les caméras et le projecteur sur un objet sans texture (les détecteurs classiques de points d'intérêt sont inefficaces sur de tels objets). Nous combinons l'étalonnage du système et ces points pour estimer la position 3D de l'objet, et ensuite le recalons avec un modèle de points plus fin, issu d'un scanner ou d'un modèle de CAO. La synthèse de vue est réalisée et l'image synthétisée est projetée sur l'objet. De tels outils permettent de générer des textures virtuelles, temporaires (il suffit d'éteindre le projecteur pour enlever la texture de l'objet), qui peuvent décrire l'usure de la texture ou l'objet sous son apparence d'origine.

Les processus de conception industriels font de plus en plus appel à l'utilisation de maquettes numériques. La manipulation d'objets complexes requiert alors l'utilisation d'interfaces à retour d'effort afin de rendre l'interaction plus intuitive. D'autre part, ces processus de conception et de développement s'inscrivent de plus en plus dans une démarche de travail collaboratif.Dans ce contexte, nous proposons d'étudier une architecture distribuée en vue de manipuler des objets dans un environnement virtuel.Afin de garantir la stabilité du système, nous détaillons ensuite deux méthodes dérivées du domaine de la téléopération. La première repose sur les couplages virtuels proportionnels dérivés dans le cas de retards faibles. La seconde est basée sur les variables d'onde quelque soit le retard. Nous proposons, enfin, d'enrichir le retour d'effort en ajoutant de l'haptique événementielle que nous nous proposons d'évaluer.

Cette thèse s'inscrit dans le cadre d'un projet pluridisciplinaire, le projet DRAMA, qui consiste à générer des scènes virtuelles 3D à partir des descriptions contenues dans les textes théâtraux. L'un des objectifs de ce projet consiste à simplifier au maximum la tâche des utilisateurs finaux en leur offrant un outil simple, rapide, et efficace. Ainsi, la technique adoptée dans cette étude est axée sur la modélisation déclarative d'environnements virtuels qui s'appuie sur trois phases (description, génération et prise de connaissances). La phase de description permet au concepteur de décrire l'environnement à partir d'un ensemble de propriétés, interprétées en un ensemble de contraintes destinées à un système de génération qui produit un ou plusieurs environnements virtuels solutions.Dans le cadre de ce projet DRAMA, des nouvelles méthodes de balisage ont été proposées afin de détecter les éléments essentiels pour la création d'une pièce théâtrale, notamment les informations sur les placements d'objets. Par ailleurs, les utilisateurs peuvent, aussi, lancer des requêtes au niveau du texte à partir de ces balises. Les propriétés sur les placements seront traduites en contraintes spatiales grâce aux données initialement stockées dans une base de connaissance qui utilise le langage XML. Une technique adoptant la méthode des métaheuristiques est ensuite utilisée pour la résolution des contraintes de placements obtenues précédemment. La gestion des propriétés physiques des objets (collision, gravité, friction) a été aussi gérée à partir d'un moteur physique. À la fin, les scènes solutions finales seront proposées à l'utilisateur, en utilisant un moteur de rendu 3D.