La communication haptique interpersonnelle est communément utilisée pour se saluer, se féliciter, ou de manière indirecte pour manipuler des objets lourds. Pourtant, la modalité haptique est absente des systèmes de communication à distance usuels. Les progrès récents de l'informatique et des réseaux de communication ont permis l'émergence d'environnements virtuels collaboratifs offrant un retour haptique aux utilisateurs. Les environnements virtuels collaboratifs constituent une solution prometteuse pour faciliter le travail collaboratif à distance. Les contextes applicatifs sont nombreux : entrainement militaire, assemblage mécanique, manipulation moléculaire, conception assistée par ordinateur.Toutefois, les utilisateurs d'environnements virtuels collaboratifs sont confrontés à deux types de problématiques : celles liées aux environnements virtuels 3D et celles liées à la collaboration à distance. En effet, il est difficile pour un utilisateur peu expérimenté d'interagir avec un environnement virtuel 3D. Se déplacer et manipuler des objets dans ce type d'environnement nécessite une bonne représentation mentale de l'espace.De plus, la collaboration à distance limite les possibilités et la qualité de la communication. Les informations dont disposent les utilisateurs sur leurs partenaires sont donc réduites. Dans ce contexte, la coordination des actions entre les utilisateurs devient plus complexe.L'objectif de ces travaux de thèse est donc de proposer des méthodes d'interaction visio-haptique pour faciliter la coordination et augmenter l'attention mutuelle entre les utilisateurs. Via l'amélioration de la coordination et de l'attention inter-utilisateurs, une augmentation des performances et de l'efficacité du travail collaboratif est escomptée.Trois types d'interactions fondamentales sont abordées dans un contexte collaboratif : la coordination des sélections, le paramétrage des sélections et la manipulation collaborative d'objet. Pour chacune des tâches d'interactions précédemment citées, des méthodes d'interaction ainsi que des outils de coordination et de communication ont été proposé et évalué.Ces travaux de thèse présentent les points forts mais aussi les défauts des méthodes d'interaction collaboratives fortement couplées. Les résultats obtenus montrent également l'importance de la communication haptique dans la collaboration à distance.

Le travail présenté dans cette thèse s'inscrit à la fois dans le domaine de l'informatique musicale et dans celui de la réalité virtuelle. Nous présentons tout d'abord les avantages des environnements virtuels immersifs et de l'interaction graphique 3D pour les instruments multi-processus et en particulier pour le live-looping hiérarchique, un nouveau modèle d'instrument que nous définissons. Nous proposons ensuite des solutions pour la visualisation et la manipulation des processus sonores dans ces environnements virtuels. Afin de représenter les processus sonores, nous introduisons les widgets réactifs 3D qui s'appuient sur des mappings audiovisuels que nous évaluons. Nous développons un nouveau dispositif d'interaction 3D adapté à l'interaction musicale, appelé Piivert, ainsi que des techniques associées, dont les tunnels afin de manipuler les widgets réactifs 3D. Finalement, nous mettons en œuvre le live-looping hiérarchique avec l'instrument immersif Drile, en utilisant les techniques développées précédemment, et nous étudions plusieurs scènes pour les performances musicales immersives.

L'une des finalités de la Biologie Moléculaire (BM) est l'étude de l'architecture spatiale (ie. structure 3D) des molécules. Les expérimentations in silico (ie. simulations numériques) permettant la modélisation 3D utilisent le plus souvent des approches automatiques. Or, ces approches présentent certains inconvénients: temps de traitement important, modélisation souvent partielle, modèle 3D généralement figé, etc. L'apport des connaissances des experts, de manière interactive, pendant le processus de modélisation automatique peut pallier certains défauts des méthodes calculatoires usuelles. Il s'agit de placer le biologiste au centre des essais virtuels plutôt qu'en observateur de résultats de simulations. C'est ce que nous appelons l'approche hybride, qui associe les avantages des expérimentations in silico (capacité de calcul) à ceux des Interactions Homme-Machine (IHM) et de la Réalité Virtuelle (RV) : commande naturelle, immersion dans l'environnement virtuel (EV), multimodalité, etc. Le résultat de cette approche est la création d'analyses in virtuo, qui comportent trois phases fondamentales: la modélisation 3D, la visualisation et l'interaction 3D (I3D). Cependant, des domaines complexes tels que la BM sont régis par un ensemble de contraintes qui peuvent être locales (liées aux objets 3D ou aux tâches d'I3D) et globales (liées à l'espace des objets 3D ou au système d'I3D). Par conséquent, l'intervention des experts ne peut pas être réalisée efficacement par des techniques d'I3D classiques, indépendantes de la complexité et des contraintes du domaine. Plus généralement, nous sommes confrontés au problème innovant de l'I3D sous contraintes qui intègre les règles de comportement imposées par l'EV. Pour y répondre, nous formalisons un modèle d'assistance qui associe les contraintes, les tâches d'interaction et des outils d'assistance que sont les guides virtuels. Nous avons appliqué ces deux concepts, d'approche hybride et d'assistance à l'I3D sous contraintes, au problème de la modélisation 3D du chromosome. Les contraintes identifiées sont ici architecturales (ie. données physico-chimiques) et fonctionnelles (ie. modèles biologiques). Ces contraintes issues des lois de la Biologie imposent l'ordonnancement spatial du chromosome. Le système d'interaction Hommme-Molécule in virtuo proposé peut être considéré plus crédible puisqu'il respecte les contraintes environnementales, tant au niveau de la structure 3D qu'au niveau de l'I3D.

Les Environnements Virtuels Collaboratifs (EVCs) sont des environnements virtuels peuplés où les utilisateurs interagissent entre eux pour réaliser des actions communes (déplacement en groupe, sélection et manipulation d'objets en commun, communication, etc.). Dans les EVCs, la complexité se situe au niveau de l'interaction d'un groupe d'utilisateurs avec les objets. En effet, il y a plusieurs contraintes à respecter notamment celles liées à la coordination des actions des différents utilisateurs et la conscience de présence d'un utilisateur par rapport aux objets de l'environnement et par rapport aux autres utilisateurs. Notre travail de recherche s'inscrit dans le cadre de l'interaction 3D et de la collaboration en Réalité Virtuelle. Il développe la notion d'assistance à l'interaction 3D collaborative et à son évaluation. Pour l'assistance à l'interaction 3D collaborative, une approche basée sur un Workflow intégrant l'anticipation et la gestion des interactions du groupe est proposée. Pour l'assistance à l'évaluation des techniques d'interaction 3D, une approche basée sur les méthodes empiriques d'évaluation intégrant les outils statistiques de recherche d'informations est proposée. L'objectif de cette thèse est de modéliser, concevoir, implémenter et évaluer un système d'assistance à l'interaction 3D collaborative.

Cette thèse concerne l'étude d'un conflit visuo-proprioceptif de la main appliqué à l'interaction 3D. Un cadre de travail générique est proposé afin de générer, contrôler et réduire le conflit sensoriel en cours d'interaction. Le système utilise un visiocasque semi-transparent vidéo permettant l'intégration de l'image de la main réelle dans la scène virtuelle ainsi que la manipulation visuelle de sa position 3D.<br />Deux nouvelles méthodes sont introduites: un paradigme d'interaction intuitif pour toucher des objets virtuels et une technique pseudo-haptique active basée sur le déplacement de la main. Ces méthodes sont étudiées en considérant leurs bénéfices, limitations, effets sur le comportement de l'utilisateur et les conséquences sur la conception d'applications en environnements virtuels. Ces travaux montre que de nouvelles formes d'interaction 3D sont possible en exploitant les conflits visuo-proprioceptifs de la main. Des perspectives prometteuses sont présentées.

Dans ce mémoire est présentée une synthèse d'une dizaine d'années de travaux de recherche. Tous ces travaux ont un point en commun : l'assistance et deux problématiques : l'interaction et la collaboration pour utiliser ou simuler des systèmes complexes. Ces systèmes complexes peuvent être soit artificiels (cas de la robotique/télérobotique et de télétravail collaboratif) ou bien issus du vivant (cas de la simulation en biologie moléculaire). Ma recherche a consisté à étudier à la fois deux domaines de recherche qui sont la Réalité Mixte (RM) et le Travail Collaboratif (TC). Dans le domaine de la RM, les recherches sont focalisées sur l'assistance à l'interaction 3D dans des environnements qui peuvent être réels-augmentés ou virtuels, utilisant ou simulant des systèmes complexes. Ces derniers peuvent être artificiels (cas de l'interaction-homme-robot distant en réalité augmentée) ou issus du vivant (cas de l'interaction-homme-molécule en réalité virtuelle). Dans le domaine du TC, les recherches sont centrées sur l'assistance à la collaboration des utilisateurs. Ces derniers peuvent être soit en situation de télétravail avec des systèmes complexes artificiels (cas de la téléopération de robots en réalité mixte) ou encore en situation de travail dans un environnement virtuel commun (complètement simulé par ordinateur). Dans le contexte de l'assistance à l'interaction 3D, une réflexion particulière est menée sur la façon dont on peut aider l'Homme à interagir (naviguer, sélectionner, manipuler et contrôler l'application) d'une manière efficace et crédible avec son environnement. Cette réflexion nous a conduits à proposer des modèles et des techniques logicielles pour l'assistance à l'interaction 3D en réalité mixte. Dans le contexte de l'assistance à la collaboration, une attention particulière est accordée à la manière dont on peut structurer, organiser, gérer et assister une activité de collaboration. Cela nous a permis de proposer des formalismes et des modèles permettant d'assister une activité de collaboration (communication, coordination et production). Ces recherches menées conjointement dans chacun des deux domaines ont favorisé l'émergence des fondements de l'interaction collaborative en réalité mixte. En effet, l'étude des collecticiels (logiciels de collaboration sous l'angle du travail collaboratif) fournit les concepts de base que doit respecter un système de collaboration. Alors que l'étude des interactions en réalité mixte propose quant à elle des métaphores/techniques d'interaction 3D et des interfaces sensorimotrices (auditive, visuelle et haptique) dans le but d'améliorer le sentiment d'immersion des utilisateurs. Ce couplage de concepts interdisciplinaires (interaction en RM & collaboration du point de vue du TC) est très intéressant du fait de leurs interdépendances. En effet, pour collaborer, on a besoin d'interagir et pour interagir ensemble on a besoin de collaborer. Notre démarche de recherche propose donc de tirer partie de la manière la plus efficace possible des avancées scientifiques et technologiques issues des deux domaines de recherche afin de proposer des modèles permettant la conception de nouveaux systèmes d'assistance à l'interaction collaborative en réalité mixte.

De nombreux travaux ont montré que, à l'origine des limitations de l'interaction bureautique, il y a un manque à la fois d'espace moteur et d'espace visuel.Cette thèse explore des moyens pour optimiser l'usage de ces espaces.D'une part, à partir du constat que l'on contrôle la position et l'orientation d'un objet par un geste naturel, cette thèse étudie les bénéfices que peut offrir une souris dotée d'un capteur de rotation. Cette < souris rotative > permet à l'utilisateur de maîtriser avec aisance trois variables continues d'une tâche informatique. Un état de l'art présente des aspects perceptifs et moteurs des actions en question et les particularités ergonomiques et techniques d'un tel dispositif. Deux techniques d'interaction - visant à faciliter des tâches métier récurrentes - sont proposées :le réglage < quasi-intégral > et la < palette satellitaire >. Par ailleurs, une évaluation expérimentale compare la performance d'une souris rotative avec celle d'une souris traditionnelle.D'autre part, ce travail se penche sur les questions de la visualisation de documents dans le contexte des bibliothèques numériques. D'abord, il examine l'apport et la faisabilité technique de l'utilisation d'un dispositif d'affichage immersif pour la navigation dans un catalogue de titres virtuel. Puis, afin de faciliter l'inspection massive d'un lot de pages numérisées, il avance des techniques de visualisation zoomables et multi-focales. Ces dernières permettent, dans une recherche d'anomalies, de saisir vite les caractéristiques visuelles de quelques centaines de pages. Et cela grâce à un va-et-vient entre la vue d'ensemble et la navigation panoramique des détails.

De nos jours, l’industrie aérospatiale est composée d’acteurs internationaux.Due à la complexité de leur production (taille, nombre de composants,variété des systèmes, ...), la conception d’un avion ou d’un lanceurnécessite un grand nombre d’ingénieurs avec des domaines d’expertises variés.De plus, les industries aérospatiales sont distribuées de par le monde. Dans cecontexte complexe, il est nécessaire d’utiliser la réalité virtuelle afin de proposerdes environnements virtuels accessibles depuis des sites distants afin departager une expérience collaborative. Des problèmes particuliers, alors, surviennent,particulièrement par rapport à la perception des autres utilisateursimmergés.Cette thèse, en partenariat avec Airbus Group, se concentre sur la conceptionde techniques d’interaction collaboratives efficaces. Ces sessions collaborativespermettent de connecter plusieurs sites distants via le même environnementvirtuel. Ainsi, des experts de domaines variés peuvent travailler ensembleen étant immergés simultanément. Par exemple, si un problème survient durantles dernières étapes d’assemblage d’un lanceur, il peut être nécessairede rassembler des experts qui étaient impliqués en amont du projet (bureaud’étude pour la conception, usine pour la fabrication des systèmes), afin deconcevoir des solutions pour résoudre le problème.Dans cette thèse, nous proposons différentes techniques d’interactions afinde faciliter la collaboration à différents niveaux d’un projet industriel. Nousnous sommes intéressés à la communication et la perception entre collaborateursimmergés, à la prise d’annotation et la circulation de ces annotations età la collaboration asymétrique entre une salle de réunion et un environnementvirtuel à l’aide d’outil de réalité mixte. / The aerospace industry is no longer composed of local and individualbusinesses. Due to the complexity of the products (their size, the numberof components, the variety of systems, etc.), the design of an aircraft or alauncher involves a considerable number of engineers with various fields of expertise.Furthermore, aerospace companies often have industrial facilities allover the world. In such a complex setting, it is necessary to build virtual experimentsthat can be shared between different remote sites. Specific problemsthen arise, particularly in terms of the perception of other immersed users.We are working with Airbus Group in order to design efficient collaborativeinteraction methods. These collaborative sessions allow multiple sites to beconnected within the same virtual experiment and enable experts from differentfields to be immersed simultaneously. For instance, if a problem occurs duringthe final stages of a launcher assembly, it may be necessary to bring togetherexperts on different sites who were involved in previous steps ( initial design,manufacturing processes). In this thesis, we propose various interaction technique in order to ease thecollaboration at different moments of an industrial process. We contributedin the context of communication between immersed users, taking notes inthe virtual environment and sharing it outside virtual reality and asymmetriccollaboration between a physical meeting room and a virtual environment.

Le travail présenté dans cette thèse s’inscrit à la fois dans le domaine de l’informatique musicale et dans celui de la réalité virtuelle. Nous présentons tout d’abord les avantages des environnements virtuels immersifs et de l’interaction graphique 3D pour les instruments multi-processus et en particulier pour le live-looping hiérarchique, un nouveau modèle d’instrument que nous définissons. Nous proposons ensuite des solutions pour la visualisation et la manipulation des processus sonores dans ces environnements virtuels. Afin de représenter les processus sonores, nous introduisons les widgets réactifs 3D qui s’appuient sur des mappings audiovisuels que nous évaluons. Nous développons un nouveau dispositif d’interaction 3D adapté à l’interaction musicale, appelé Piivert, ainsi que des techniques associées, dont les tunnels, afin de manipuler les widgets réactifs 3D. Finalement, nous mettons en œuvre le live-looping hiérarchique avec l’instrument immersif Drile, en utilisant les techniques développées précédemment, et nous étudions plusieurs scènes pour les performances musicales immersives. / The work presented in this thesis belongs to the computer music field as well as to the virtual reality field. First, we describe the advantages of immersive virtual environments and of 3D graphical interaction for multiprocesses instruments and particularly for the hierarchical live-looping, a new instrument model that we define. We then suggest solutions to visualize and manipulate sound processes in these virtual environments. In order to display the sound processes, we introduce the 3D reactive widgets, which rely on audiovisual mappings that we study. We develop a novel 3D interaction device suitable for musical interaction, called Piivert, together with associated interaction techniques, among which the tunnels, in order to manipulate the 3D reactive widgets Finally, we implement the hierarchical live-looping with an immersive instrument called Drile, using the previously developped techniques, and we study different stages for immersive musical performances.

L'intérêt porté par l'archéologie à la réalité virtuelle est croissant. La réalité virtuelle est devenue un outil nécessaire pour l'exploration et l'étude des sites archéologiques, et plus particulièrement, les sites archéologiques sous-marins qui se révèlent parfois difficile d'accès. Les études actuelles proposent des solutions en réalité virtuelle ou en réalité augmentée sous forme d'environnements virtuels avec une interaction virtuelle et/ou augmentée mais aucune étude n'a vraiment essayé de comparer ces deux aspects de l'interaction. Nous présentons dans ce mémoire trois environnements en réalité virtuelle et un environnement en réalité augmentée où nous proposons des nouvelles méthodes d'interaction. Ainsi, nous évaluons leurs fonctionnalités d'un point de vue archéologique, nous étudions l'influence du niveau d'immersion sur les performances de l'interaction et nous réalisons une comparaison entre l'interaction en réalité virtuelle et en réalité augmentée.