Dans ce mémoire est présentée une synthèse d'une dizaine d'années de travaux de recherche. Tous ces travaux ont un point en commun : l'assistance et deux problématiques : l'interaction et la collaboration pour utiliser ou simuler des systèmes complexes. Ces systèmes complexes peuvent être soit artificiels (cas de la robotique/télérobotique et de télétravail collaboratif) ou bien issus du vivant (cas de la simulation en biologie moléculaire). Ma recherche a consisté à étudier à la fois deux domaines de recherche qui sont la Réalité Mixte (RM) et le Travail Collaboratif (TC). Dans le domaine de la RM, les recherches sont focalisées sur l'assistance à l'interaction 3D dans des environnements qui peuvent être réels-augmentés ou virtuels, utilisant ou simulant des systèmes complexes. Ces derniers peuvent être artificiels (cas de l'interaction-homme-robot distant en réalité augmentée) ou issus du vivant (cas de l'interaction-homme-molécule en réalité virtuelle). Dans le domaine du TC, les recherches sont centrées sur l'assistance à la collaboration des utilisateurs. Ces derniers peuvent être soit en situation de télétravail avec des systèmes complexes artificiels (cas de la téléopération de robots en réalité mixte) ou encore en situation de travail dans un environnement virtuel commun (complètement simulé par ordinateur). Dans le contexte de l'assistance à l'interaction 3D, une réflexion particulière est menée sur la façon dont on peut aider l'Homme à interagir (naviguer, sélectionner, manipuler et contrôler l'application) d'une manière efficace et crédible avec son environnement. Cette réflexion nous a conduits à proposer des modèles et des techniques logicielles pour l'assistance à l'interaction 3D en réalité mixte. Dans le contexte de l'assistance à la collaboration, une attention particulière est accordée à la manière dont on peut structurer, organiser, gérer et assister une activité de collaboration. Cela nous a permis de proposer des formalismes et des modèles permettant d'assister une activité de collaboration (communication, coordination et production). Ces recherches menées conjointement dans chacun des deux domaines ont favorisé l'émergence des fondements de l'interaction collaborative en réalité mixte. En effet, l'étude des collecticiels (logiciels de collaboration sous l'angle du travail collaboratif) fournit les concepts de base que doit respecter un système de collaboration. Alors que l'étude des interactions en réalité mixte propose quant à elle des métaphores/techniques d'interaction 3D et des interfaces sensorimotrices (auditive, visuelle et haptique) dans le but d'améliorer le sentiment d'immersion des utilisateurs. Ce couplage de concepts interdisciplinaires (interaction en RM & collaboration du point de vue du TC) est très intéressant du fait de leurs interdépendances. En effet, pour collaborer, on a besoin d'interagir et pour interagir ensemble on a besoin de collaborer. Notre démarche de recherche propose donc de tirer partie de la manière la plus efficace possible des avancées scientifiques et technologiques issues des deux domaines de recherche afin de proposer des modèles permettant la conception de nouveaux systèmes d'assistance à l'interaction collaborative en réalité mixte.

L'un des principaux reproches que l'on fait à l'informatique traditionnelle est que le monde numérique de l'ordinateur est trop déconnecté du monde réel dans lequel les utilisateurs évoluent. La Réalité Mixte (RM) s'intéresse aux systèmes interactifs dans lesquels des objets réels et des données informatiques sont mêlées de manière cohérente.<br />Dans notre état de l'art nous analysons de nombreuses applications et technologies qui ont été conçues depuis une dizaine d'années dans ce domaine de façon généralement indépendantes et autonomes. Il semble désormais possible de proposer des modèles unificateurs et des méthodologies de conception associées.<br />Les modèles traditionnels de l'Interaction Homme-Machine (IHM) et du Travail Collaboratif Assisté par Ordinateur (TCAO), comme nous le montrons, ne sont pas adaptés car ils sont conçus pour la modélisation du logiciel et ne prennent pas (ou peu) en compte les artefacts réels.<br />Nous proposons donc le modèle IRVO (Interacting with Real and Virtual Objects) qui cherche à formaliser l'interaction entre les utilisateurs et les objets réels et virtuels. Pour cela IRVO identifie les entités intervenant dans le système (les utilisateurs, les outils, les objets de la tâche et l'application informatique) et leurs relations. Son pouvoir d'expression nous permet de modéliser les applications de la littérature dans le but de les comprendre, les comparer et les classer. <br />Nous montrons également que IRVO est un support à la conception d'applications nouvelles : il peut être utilisé soit comme point de départ, soit en fin d'analyse pour aider le concepteur à vérifier un certain nombre de critères (complétude, cohérence, continuité, etc.). Nous étudions la liaison entre IRVO et les modèles classiques de l'IHM et du TCAO et plus spécifiquement avec les modèles AMF-C et Arch. Dans une démarche MBA (Model-Based Approach), IRVO prend naturellement la place aux côtés des modèles de tâches et de dialogues.

L’adoption du numérique au sein des industries et les évolutions des technologies ouvrent de nouvelles perspectives d’usages de la réalité augmentée (RA) et de la réalité virtuelle (RV). Ainsi, ces technologies peuvent faciliter l’assistance des opérateurs travaillant sur des systèmes industriels complexes en utilisant la RA et permettre la mise en œuvre de formations en RV, améliorant donc leur efficience. Cependant, intégrer ces nouveaux outils aux processus existants de l’entreprise reste complexe, de par les aspects technologiques et le continuum de données à mettre en œuvre, de par l’identification des cas d’usages et des gains associés et de par la diversité d’acteurs et d’experts métiers à impliquer dans ce processus : l’expert du système industriel, l’opérateur, le concepteur et le développeur informatique.Afin d’aborder ces différentes problématiques industrielles et en se basant sur un état de l’art scientifique et technologique, nos travaux de recherche ont porté sur la proposition d’un modèle de données permettant de faciliter la création de contenu en réalité augmentée pour les opérations sur des systèmes industriels. Ces travaux ont également permis de mettre en place un environnement expérimental basé sur une chaîne de production didactique et une application créée grâce à ce modèle.Dans une seconde partie de ce travail, afin d’évaluer l’efficacité de cette technologie, nous avons mis en place une méthode permettant d’évaluer l’usage de la réalité augmentée pour la maintenance de systèmes industriels complexes selon des critères de performances et de satisfactions. L’analyse de deux études de cas montre que la contextualisation de l’information en réalité augmentée permet à l’opérateur de comprendre plus rapidement l’opération à effectuer qu’avec guide papier tout en réduisant certains types d’erreur. De plus, nous proposons des recommandations pour améliorer la pertinence de l’information fournie en réalité augmentée et identifions le type d’opération permettant d’obtenir un gain significatif, grâce à la réalité augmentée. Ces travaux s’intéressent également à l’influence et à la sélection des dispositifs de rendus.Enfin, en nous basant sur le modèle de données de RA, nous proposons une ontologie permettant d’unifier la création de contenu en réalité augmentée et virtuelle afin de former et guider un opérateur dans ses tâches. Nous étudions l’usage de cette ontologie pour exploiter d’autres données et connaissances de l’entreprise telles que celles liées à la maintenance. Cette ontologie est utilisée pour des scénarios de formation dans des environnements industriels et pour l’assistance sur des opérations. / The adoption of digital technologies within industries and the evolution of technologies are opening new perspectives for using augmented reality (AR) and virtual reality (VR). Therefore, those technologies can facilitate the operators’ tasks working on complex industrial systems, either by bringing them some contextualised information in AR or by helping them with VR trainings. Thus they would improve their efficiency. However, integrating these new tools into existing processes of the company remains complex, due to the technologies and the data continuum needed, through the identification of use cases and the associated gains and by the diversity of actors and business experts involved in this process: the expert of the industrial system, the operator, the designer and the computer scientist.In order to develop those different industrial problematics, we first study the state of the art of scientific publications and existing technologies. Then, our research work has proposed a data modelling facilitating content authoring of augmented reality operations on industrial system. This work has also allowed to set up an experimental environment based on an educational production line and an augmented reality application developed thanks to that model.In a second part of this work, and in order to evaluate the efficiency of this technology, we have proposed a methodology allowing to evaluate augmented reality usage for maintenance, repair and operations on industrial systems according to performance, satisfaction and behavioural criteria. We analyse two case studies. They shows that contextualisation of information with augmented reality allows the operator to faster understand the task he needs to carry out than with paper instructions while reducing some kind of errors. Moreover we are proposing some guidelines in order to improve the augmented reality information efficiency. Besides, we are identifying which types of operation are improved with augmented reality. The work is also describing the rendering device influence on the use of augmented reality.Finally, and based on the augmented reality modelling, we are proposing an ontology allowing to unify content authoring of augmented and virtual reality so as to train or guide operator in their tasks. We are studying the use of this ontology for exploiting others data and company knowledge, as maintenance. This ontology is used for training scenarios in industrial environment and for guiding operator during their work.

L'intérêt porté par l'archéologie à la réalité virtuelle est croissant. La réalité virtuelle est devenue un outil nécessaire pour l'exploration et l'étude des sites archéologiques, et plus particulièrement, les sites archéologiques sous-marins qui se révèlent parfois difficile d'accès. Les études actuelles proposent des solutions en réalité virtuelle ou en réalité augmentée sous forme d'environnements virtuels avec une interaction virtuelle et/ou augmentée mais aucune étude n'a vraiment essayé de comparer ces deux aspects de l'interaction. Nous présentons dans ce mémoire trois environnements en réalité virtuelle et un environnement en réalité augmentée où nous proposons des nouvelles méthodes d'interaction. Ainsi, nous évaluons leurs fonctionnalités d'un point de vue archéologique, nous étudions l'influence du niveau d'immersion sur les performances de l'interaction et nous réalisons une comparaison entre l'interaction en réalité virtuelle et en réalité augmentée.

La téléprésence, ou la présence virtuelle, devient de plus en plus courante grˆace à l'évolution technologique, impliquant une ouverture du potentiel du télétravail. Ce dernier est fortement lié à la virtualité et à la téléprésence, donc aussi à la robotique et à l'informatique, autant qu'aux communications. Cette thèse étudie les méthodes et les outils nécessaires à la réalisation d'un système de télétravail via Internet. Dans un premier temps, nous présentons les tendances technologiques qui ont contribué à l'évolution du télétravail. Ensuite, nous nous intéressons à la téléopération et la télérobotique, nous verrons comment les techniques de la réalité virtuelle et augmentée ont contribué à percer certains verrous, liés généralement à la distance qui sépare les deux sites maˆýtre et esclave. Dans un deuxième temps, nous nous intéressons à l'assistance au télétravail via Internet. Nous étudions les méthodes et les outils nécessaires à la réalisation des guides virtuels portables et paramétrables en proposant ainsi le formalisme implanté. Dans un troisième temps, nous étudions les méthodes utiles pour un contrôle en réalité augment ée (modélisation d'environnement et calibration de la caméra et du robot). Nous présentons la méthode retenue pour le télétravail via Internet. Ensuite, nous présentons notre système expérimental de télétravail baptisé ARITI (Augmented Reality Interface for Telerobotic applications via Internet). Dans un quatrième temps, nous présentons deux applications, une pour la télémanipulation et l'autre, pour la téléopération d'un robot mobile. Enfin, dans un cinquième temps, Nous évaluons quelques tâches de téléopération ainsi que les méthodes de compression d'image vidéo utilisées. Nous montrons d'une part, la stabilité du serveur du système ARITI vis à vis des différentes connexions, locale, moyenne et grande distance. D'autre part, comment le retour prédictif distribué facilite à plusieurs opérateurs de télétravailler en coopération.

Nous nous intéressons au lien entre l'image numérique et un système d'information dans un cadre de conception de produit centré sur l'usager. Dans une première partie, nous nous intéressons à la perception par l'usager des environnements virtuels représentant un système d'information. La fidélité perceptive de l'environnement virtuel est étudié à plusieurs niveaux : psychophysique, fonctionnel et enfin sensible. La seconde partie est consacrée à la construction d'environnements virtuels fidèles au monde réel : nous abordons d'abord leur fidélité géométrique via la vision par ordinateur, puis la fidélité comportementale en reproduisant le comportement humain dans les environnements virtuels. Enfin, dans la dernière partie, nous proposons de considérer l'interaction entre le monde réel et le système d'information comme un système fonctionnant en boucle fermée : le système peut être représenté par des images mais aussi construit et mis à jour directement avec des images. Le domaine d'application visé est le système d'information géographique.

La Réalité Virtuelle permet de simuler et d'interagir avec des Environnements Virtuels (EV) à travers différentes modalités sensorielles. Cependant, l'interaction avec des EV basés physique et complexes, comme des environnements non rigides ou larges, présente plusieurs défis en termes d'interaction et de retours sensoriels. Dans la première partie de cette thèse, nous abordons la manipulation de milieux non rigides avec du retour haptique et multimodal. Nous présentons tout d'abord une nouvelle approche pour l'interaction haptique à 6 degrés de liberté avec des fluides. Cette approche permet la génération de retours de force lors de l'interaction avec des fluides visqueux par le biais d'objets rigides de forme arbitraire. Nous étendons ensuite cette approche pour inclure l'interaction haptique avec des objets déformables, menant donc à une interaction haptique unifiée avec les différents états de la matière. Une expérience perceptuelle nous a permis de montrer que les utilisateurs peuvent identifier de façon efficace les différents états en n'utilisant que la modalité haptique. Ensuite, nous présentons un nouveau modèle vibrotactile pour le rendu de fluides, tirant parti de connaissances dans la synthèse de son de fluides. A travers cette approche, nous rendons possible l'interaction avec des fluides tout en générant des retours multimodaux, utilisant les canaux sensoriels vibrotactile, kinesthésique, acoustique et visuel. Dans la seconde partie de cette thèse, nous abordons la navigation basée sur la marche dans des EV larges. Comme les EV sont souvent plus larges que l'espace de travail réel, nous présentons une nouvelle technique de navigation qui permet à l'utilisateur de connaître de façon immersive les limites de son espace de travail en translation. En utilisant un contrôle hybride en position/vitesse, cette technique fournit une métaphore simple et intuitive pour une navigation libre de collisions et de ruptures d'immersion. Comme certains espaces de travail présentent aussi des limites en rotation dues à des écrans manquants, comme dans le cas d'un CAVE, nous proposons ensuite trois nouvelles métaphores de navigation abordant ce problème supplémentaire. L'évaluation de ces techniques de navigation a permis de montrer qu'elles remplissent efficacement leurs objectifs tout en étant très appréciées par les utilisateurs.

Dans cette thèse, nous nous intéressons aux structures d'une image en général, et plus particulièrement aux gradients et aux contours. Ces dernières se sont révélées très importantes ces dernières années pour de nombreuses applications en infographie,telles que la réalité augmentée et la stylisation d'images et de vidéos. Le but de toute analyse des structures d'une image est de décrire à un haut-niveau la compréhension que l'on peut avoir de son contenu et de fournir les bases nécessaires à l'amélioration de la qualité des applications citées au-dessus, notamment la lisibilité, la précision, la cohérence spatiale et temporelle.Dans une premier temps, nous démontrons le rôle important que ces structures jouent pour des applications de type composition "Focus+Context". Une telle approche est utilisée en réalité augmentée pour permettre la visualisation de parties d'une scènes qui sont normalement derrières ce que l'on peut observer dans un flux vidéo. L'utilisation d'une segmentation et de lignes caractéristiques permettent de mettre en avant et/ou de révéler les relations d'ordre entre les différents objets de la scène. Pour la synthèse d'images guidée par une fonction d'importance, de multiples styles de rendu sont combinés de manière cohérente grâce à l'utilisation d'une carte de gradients et une de saillance.Dans un deuxième temps, nous introduisons une nouvelle techniques qui permet de reconstruire de manière continue un champ de gradient, et ceci sans trop lisser les détails originaux contenus dans l'image. Pour cela, nous développons une nouvelle méthode d'approximation locale et de plus haut-degré pour des champs de gradients discrets et non-orientés. Cette méthode est basée sur le formalisme"moving least square" (MLS). Nous démontrons que notre approximation isotrope et linéaire est de meilleure qualité que le classique tenseur de structure : les détails sont mieux préservés et les instabilités sont réduites de manière significative. Nous démontrons aussi que notre nouveau champ de gradients apporte des améliorations à de nombreuses techniques de stylisation.Finalement, nous démontrons que l'utilisation d'une technique d'analyse de profil caractéristique par approximation polynomiale permet de distinguer les variations douces des zones dures. Les paramètres du profil sont utilisés comme des paramètres de stylisation tels que l'orientation des coups de pinceau, leur taille et leur opacité. Cela permet la création d'une large variété de styles de ligne.

Un jeu pédagogique constitue une déclinaison relative à l’apprentissage du concept de jeu sérieux (serious game). Ce type d'outil permet la ludification (gamification) de l'activité afin d'utiliser des éléments de jeu dans un contexte non ludique et conduit à catalyser l’attention, faire accroître l’engagement et augmenter la motivation des joueurs-apprenants dans les situations d’apprentissage. Les jeux pédagogiques reposent sur la mise en situation et l’immersion des apprenants, utilisant les ressorts ludiques dans des simulations axées vers la résolution de problèmes. Parmi des recherches antérieures, certains retours d’expériences font écho d’une trop grande artificialité de l’activité notamment par manque de contextualisation de l’apprentissage dans l’environnement d’utilisation des connaissances apprises. Nous avons proposé la mise en place un environnement mixte (physique et numérique) et l’utilisation de techniques collaboratives pour raffiner l’approche pédagogique. Ces orientations nous ont menés à la mise en place de ce que nous appelons des «Jeux Pédagogiques Collaboratifs Situés » (JPCS). Les deux questions de recherche qui nous ont été posées dans le cadre du projet SEGAREM et qui sont devenues les nôtres sont : 1/ comment accompagner les jeux sérieux par l’approche Réalité Augmentée (RA) et l'approche Interface Tangible (IT)? 2/ comment rendre la conception et la mise en œuvre des JPCS (Jeux Pédagogiques Collaboratifs Situés) plus explicite et plus systématique ? Les réponses que nous présentons dans cette thèse sont les suivantes : 1/ la conception et la mise en œuvre des pupitres interactifs supportant des objets réels augmentés, associés à un protocole de communication existant, proposant un support générique des techniques d’interaction détectée et de prise en compte du contexte physique d’utilisation ; 2/ une approche de production de JPCS se situant après l’étape de scénarisation ludo-pédagogique qui constitue notre cahier des charges. Nous avons basé notre approche sur des modèles pour permettre un support d’expression qui précise les caractéristiques des JPCS. Ces modèles sont soutenus par des éditeurs contextuels et produisent comme résultat des fichiers de descriptions en XML. La projection des descriptions obtenues sur une architecture générique d’exécution du JPCS permet une spécialisation pour obtenir une version exécutable. Dans les six modèles, certains sont adaptés des travaux antérieurs de l’équipe, d'autres issues de la littérature et les derniers sont directement proposés ici. Ces six modèles décrivent l’activité (un modèle d’orchestration de l’activité et un modèle de tâches), la structure de différents environnements, l’état initial de l’environnement et les conditions nécessaires d’un état final et les interactions possibles entre les joueurs et l’environnement. Nos travaux tant sur les pupitres que sur les modèles et le support d’exécution ont été concrétisés dans la mise en place de Lea(r)nIt. Ce JPCS avait pour but de consolider des acquis méthodologiques en Lean Manufacturing par l’utilisation et l’optimisation d’une chaîne de production simulée sur pupitres (supportant interactions tactiles, interactions tangibles et pouvant être assemblés) et sur téléphones mobiles (permettant la mobilité des joueurs-apprenants). / A Learning game is a declension of the serious game concept dedicated to the learning activity. A Learning game is based on a scenario and immersion of the learners with use of game mechanics on problem based simulation. The gamification concept is the use of game elements in a non-playful activity with as impact attention, motivation and engagement. However, some research feedback explains that too much artificiality on learning activity caused by a lack of contextualization of the activity on the professional environment. We propose to use Mixed Reality and Collaborative Supported Computer Work as technological solution to support situated and collaborative situation in aim to enhance pedagogical strategy and allow a better learning. We call it “Situated Collaborative Learning Game” (SCLG) as a concept of pedagogical tools to enhance learning of content with use of collaborative learning (when learners interactions is useful to learn), situated learning (when the environment context is meaningful) and human-physical objet interaction (with use of mixed reality, with kinesthetic and tangible interaction in augmented reality) and game based learning (when learner's motivation is improved by the learning activity). In these contexts, our two research questions are: 1 / How to create a serious games support by use of Augmented Reality (AR) approach and Tangible Interface (IT) approach? 2 / How to make design and development of SCLG (situated collaborative learning game) more explicit and systematic? We propose two solutions: 1/ the design and the production of four interactive desks with support of tangible interaction on and above the table. These devices are linked to a communication protocol which allows a generic support of technical interaction. 2/ A generic way to design the CSLG system, with integration of advanced human computer interaction support (as augmented reality and tangible interaction) and ubiquitous computing in Learning Games. For that, we propose, with a user centered oriented and model oriented design, a way to make a CSLG factory. For that, we propose use of six models to determinate the behavior of the CSLG. These six models describe learners’ activity (with use of three different models to follow the activity theory’s), the mixed game environment, deployment of entities on the environment, and human computer interactions. All of these models are linked by an orchestration model and can be project on a multi-agent multi-layers architecture by use of XML description file. We propose tools to help each step of our design and production process. Our work on interactive desks, on the six models and on the runtime support has been realized in the production of Lea(r)nIT. This SCLG consolidate methodological knowledge of Lean Manufacturing by use and optimization of a simulated chain production on four desks (which support touch and tangible interactions and can be assembled) and on mobile phones (to allow movement of learners).

Dans l'environnement naturel, les signaux émotionnels sont transmis via différentes modalités sensorielles. Pourtant, l'effet d'évènements affectifs multisensoriels sur l'expérience émotionnelle consciente (le ressenti) reste relativement peu connu. Ce travail de recherche a exploité les avantages de la réalité virtuelle pour étudier le ressenti négatif induit par des évènements aversifs visuo-auditifs présentés dans un contexte écologique. Un tel contexte permet de prendre en compte un facteur important qui est la distance entre le sujet et le stimulus affectif. Par conséquent, ce travail a impliqué l'étude des liens entre l'affect, la présentation multisensorielle et l'espace. Une première étude a exploré l'influence de stimuli aversifs visuo-auditifs sur le ressenti. Une deuxième étude a examiné l'effet de la peur excessive sur la représentation de l'espace péri-personnel. Une troisième étude a testé l'effet de stimuli aversifs visuo-auditifs sur le ressenti en fonction de leur position plus ou moins proche du sujet. En conclusion, il a été constaté que le ressenti émotionnel est modulé par les caractéristiques sensorielles et spatiales des évènements aversifs. Les stimuli aversifs visuo-auditifs amplifient le ressenti négatif. Cependant, cet effet n'existe que si ces stimuli sont dans l'espace proche du sujet. Enfin, la peur excessive d'un stimulus spécifique provoque une extension de l'espace péri-personnel. L'ensemble de ces travaux fournit de nouvelles informations sur le traitement de l'information affective et met en évidence l'utilité et la pertinence de la réalité virtuelle pour l'étude de l'affect. / In a natural environment, affective events often convey emotional cues through multiple sensory modalities. Yet, the effect of multisensory affective events on the conscious emotional experience (feelings) they induce remains relatively undiscovered. The present research exploited the unique advantages of virtual reality techniques to examine the negative emotional experience induced by auditory-visual aversive events embedded in a natural context. In natural contexts, the spatial distance between the perceiver and the affective stimuli is an important factor. Consequently, this research investigated the relationship between affect, multisensory presentation and space. A first study using virtual reality tested the influence of auditory-visual aversive stimuli on negative emotional experience. A second study explored the effect of excessive fear on the representation of close space. A third study examined the effect of auditory-visual stimuli on negative emotional experience as a function of their location at close or far distances from the perceiver. Overall, it was found that negative emotional experience is modulated by the sensory and spatial characteristics of aversive events. Multisensory aversive events amplify negative feelings only when they are located at close distances from the perceiver. Moreover, excessive fear related to an event extends the space, wherein the event is represented as close. Taken together, the present research provides new information about affective processing and exposes virtual reality as a relevant tool for the study of human affect.