Dans cette thèse, nous introduisons le concept de Réalité Augmentée Haptique (RAH) en définissant une taxonomie à deux axes. Le premier dénommé Haptique Augmentée (HA) représente l'ensemble des applications qui modifient/augmentent une donnée haptique existante. Le second axe, appelé Augmentation Haptique (AH), considère les applications qui utilisent la modalité haptique pour fournir une information supplémentaire à l'utilisateur. Par la suite, nous illustrons ces concepts sous forme d'une application de télé-diagnostic, permettant l'exploration d'un objet mixte, composé de parties réelles et virtuelles, ou la comparaison entre un objet réel et un virtuel ; d'un nouvel algorithme pour l'enseignement d'un chemin par guidage haptique, tout en évitant les problèmes de passivité et de dépendance de l'apprenti ; et de l'emploi de ces deux notions dans une application de peinture virtuelle sur un quelconque objet réel (avec croisement d'augmentations visio-haptique), le tout enrichi d'un processus visuel de Réalité Diminuée.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Classiquement la réalité augmentée consiste en l'annotation d'objets fixes pour un utilisateur en mouvement au sein d'un environnement réel. Le travail présenté dans cette thèse porte sur l'utilisation de la réalité augmentée dans le but de décrire des objets dynamiques dont le comportement n'est que peu prévisible. Nous nous intéressons tout particulièrement aux problèmes posés par la nature dynamique de l'environnement en ce qui concerne: 1°/ la description du réel (adapter les explications fournies par le guide virtuel à l'évolution de l'environnement) ; 2°/ la perception du réel (percevoir l'environnement à expliquer en temps réel à l'aide de caméras).<br>La description du réel consiste en la génération d'un exposé par le guide virtuel. Cette génération repose sur deux points: des connaissances a priori sous la forme d'explications et un comportement décrit par un automate hiérarchique. Nous considérons la visite guidée comme l'évolution conjointe du comportement du guide virtuel et des explications qu'il fournit aux visiteurs. Une explication permet de décrire l'enchaînement d'éléments de discours sur un sujet donné à l'aide d'un graphe. Chacun de ces éléments décrit une unité de discours indivisible décrivant l'utilisation des différentes modalités (parole, gestes, expression, ...) sous la forme d'un script. L'exécution d'un graphe d'explication est effectuée par le comportement qui intègre la notion d'interruption. Lorsqu'un processus d'explication est interrompu, il est suspendu et le sujet courant de la visite guidée est réévalué. Cette réévaluation repose sur l'utilisation d'un ensemble d'experts votant pour les différentes explications disponibles selon un point de vue particulier. Ce vote se base sur le contexte courant de la visite guidée (historique, temps écoulé/restant, ...) et l'état de l'environnement réel. <br>La perception consiste en la construction et la mise à jour d'une représentation de l'environnement. Ceci est effectué en temps réel par la coopération de différentes routines de perception. La complexité de l'environnement observé (quantité d'informations et variations des conditions d'éclairage) empêchent une analyse complète du flux vidéo. Nous proposons de surmonter ce problème par l'utilisation de stratégies de prise d'information adaptées. Ces stratégies de perception sont mises en oeuvre par certaines routines au travers du choix et du paramétrage des traitements qu'elles effectuent. Nous présentons un ensemble minimal de routines nécessaires à la construction d'une représentation de l'environnement exploitable dans le cadre de la description de cet environnement. Ce système repose sur la mise en oeuvre de trois stratégies de perception: la vigilance qui coordonne des traitements de détection dans le temps et dans l'espace; le suivi qui se charge de mettre à jour les propriétés spatiales des entités existantes dans la représentation; la reconnaissance dont le rôle est d'identifier ces entités. L'efficacité des stratégies de perception suppose une interaction entre la prise de décision (génération de l'exposé) et la perception (construction d'une représentation de l'environnement) de notre acteur virtuel autonome. Nous proposons de mettre en oeuvre cette interaction au travers de la représentation de l'environnement et des requêtes effectuées par le processus de prise de décision sur cette représentation.<br>Nous avons mené des expérimentations afin mettre en évidence le fonctionnement des différents aspects de notre proposition et de la valider des conditions contrôlées. Ces travaux sont appliqués à un cas concret d'environnement réel dynamique complexe au sein du projet ANR SIRENE. Cette application met en évidence les questions liées à notre problématique et montre la pertinence de notre approche dans le cadre de la présentation d'un aquarium marin d'Océanopolis.

Nos travaux présentés dans cette thèse s'inscrivent dans le cadre de l'Interaction Homme-Machine (IHM) et contribuent à la conception et à la réalisation d'un système de réalité augmentée (RA) dans le cadre précis de la maintenance. Dans cet axe de recherche de l'IHM, les avancées sont importants et se manifestent par de nombreux systèmes présents dans des domaines aussi diverses que la médecine, la maintenance, la robotique... Dans ce contexte, nous avons proposé une démarche de conception ergonomique pour les systèmes de RA. Dans cet axe, nous avons présenté les propriétés ergonomiques. Afin de caractériser plus finement la dualité de l'interaction (Utilisateur- Monde Réel et Utilisateur-Monde Virtuel), nous avons défini la notation UML. Poursuivant le cycle de vie d'un système interactif issu du génie logiciel, nous avons abordé l'étape de la conception logicielle du système de RA. Nous avons défini une solution générique de réalisation logicielle selon le modèle d'architecture logicielle PAC-Amodeus. Ce modèle adapté souligne la dualité de l'interaction avec deux branches indépendantes dédiées à l'interaction avec le monde réel et le monde informatique. En collaboration avec le technicien, nous avons appliqué et testé nos résultats méthodologiques sur une application en maintenance. Cette application, ARIMA, permet de guider les techniciens en leur procurant des informations sous forme d'augmentations multimédia afin d'accroître leur efficacité dans des activités de maintenance.

Mes travaux sont résolument ancrés dans l'ingénierie de l'Interaction Homme-Machine. Ce faisant, les deux facettes, conception ergonomique et conception logicielle, sont apparentes dans mes contributions. Mon étude s'articule autour des termes de modalité d'interaction et de multimodalité. Je me suis appuyée sur des résultats généraux incluant la définition d'une modalité et d'un espace de composition de modalités et je les ai infléchis à deux axes de recherche, l'exploration visuelle d'espaces informationnels et la réalité augmentée. Pour chacun de ces axes, des propriétés ergonomiques, des règles et patrons de conception, des solutions architecturales et logicielles, ainsi que des techniques d'interaction comme la réalité cliquable et la ballade augmentée ont été conçus.

Ce mémoire de thèse a pour sujet le suivi temps réel d'objets en trois dimensions, dans le but de réaliser des applications de réalité augmentée. En effet la réalité augmentée nécessite des algorithmes de suivi stables et précis. Si l'on désire en plus que le suivi soit effectué en temps réel vidéo, il faut alors trouver des compromis entre précision des résultats et vitesse de traitement. Ce mémoire contient la description des trois algorithmes de suivi développés durant cette thèse. Ils illustrent le cheminement suivi par nos travaux durant ces trois années, c'est-à-dire le suivi d'objets de plus en plus complexes, d'abord planaires, puis simples objets 3D, et enfin objets 3D complexes de modèle 3D inconnu. Le premier algorithme permet de suivre des objets planaires peu texturés. Il s'agit d'une extension d'un algorithme de suivi de plans efficace et rapide, basé sur l'utilisation d'informations de texture, auquel nous avons ajouté une composante de suivi de contour afin de pouvoir l'utiliser sur un ensemble plus vaste de motifs. Une fois ce travail sur le suivi planaire effectué, nous avons adapté l'algorithme de suivi de textures au suivi d'objets en trois dimensions. En utilisant de multiples occurrences de cet algorithme, réparties sur la surface de l'objet à suivre, couplées à un algorithme itératif d'estimation de pose, nous sommes parvenus à suivre en temps réel des objets simples effectuant des translations et des rotations à 360 degrés. Cet algorithme étant limité par le fait qu'il nous faut connaître un modèle 3D de l'objet à suivre, nous avons ensuite cherché à réaliser un algorithme permettant, lors d'une phase d'apprentissage, de générer un modèle statistique de l'objet à partir de vues clefs 2D. Basé sur le même algorithme de suivi de texture que précédemment, cet algorithme ne détermine pas la pose 3D de l'objet suivi mais décrit sa position comme étant la déformation d'une grille 2D.

Le monde médical dispose de plus en plus de sources d'images différentes, non seulement pour réaliser un diagnostic mais aussi pour évaluer l'efficacité d'un traitement et pour être guidé dans les interventions chirurgicales. Parallèlement, le développement des techniques opératoires s'oriente vers la chirurgie non " à ciel ouvert ", notamment la coelioscopie, qui permet de diminuer les risques liés à l'intervention ainsi que le temps d'hospitalisation du patient. En revanche, elle rend moins intuitive la réalisation de l'acte chirurgical, notamment du fait de la vision réduite à l'utilisation d'une ou plusieurs caméras dans la région d'intérêt. Durant ma thèse, j'ai conçu et mis en oeuvre des nouvelles méthodes informatiques de traitement 3D d'images radiologiques ainsi que de nouvelles utilisations médicales de ces images. Les contributions présentées concernent la visualisation et le traitement des données, la segmentation de structures 3D, la fusion mono et multimodale et l'aide à la réalisation d'interventions. Les applications présentées concernent notamment la planification et la réalisation d'interventions sous coelioscopie et de ponctions mais aussi l'imagerie industrielle. L'utilisation conjointe de différentes modalités d'images permet d'améliorer la visualisation, la manipulation et la compréhension de scènes tridimensionnelles, conduisant à une plus grande compréhension des observations et à une meilleure prise de décision.

Un des défis majeurs de la réalité augmentée est celui de l'alignement spatial des objets virtuels sur le monde réel. Plusieurs techniques de localisation par la vision ont été proposées dans la littérature pour améliorer le recalage virtuel. Le suivi hybride qui combine différentes technologies et méthodes semble ouvrir une nouvelle voie d'utilisation pour combler les divers problèmes liés à la précision et à la robustesse des algorithmes. Dans ce travail, nous avons développé une architecture multimodale de suivi de cibles et de gestion d'occultations en réalité augmentée. L'approche multimodale consiste à combiner différents capteurs et techniques, associés en fonction des conditions réelles de l'environnement. Cette architecture est constituée d'un module de tracking de cibles codées basé sur un algorithme hybride d'estimation de pose. Toutefois, cet algorithme de suivi de cibles est mis en échec si les marqueurs visuels ne sont pas entièrement visibles. Nous avons étendu donc, cette méthode de localisation spatio-temporelle par un module de suivi de points caractéristiques en présence d'occultations partielles des cibles. Cette étape se fonde sur l'étude des propriétés du suivi robuste des points d'intérêts et sur l'adaptation et la gestion des différentes conditions expérimentales. Enfin, une partie de suivi multi-capteurs est incluse dans notre démarche de conception logicielle. Ce dernier module de l'architecture est composé d'un dispositif hybride de tracking permettant de pallier les occultations totales des cibles. Des expérimentations avec le système global et de nombreuses évaluations ont servi à montrer l'intérêt de l'approche multimodale proposée pour le suivi et la gestion d'occultations en réalité augmentée. Le travail réalisé a permis de définir une base de critères nécessaires pour une mise en oeuvre efficace d'une architecture de suivi robuste et multi-capteurs dans un environnement de réalité augmentée.

Depuis des années, nous imaginons qu'un jour nous allons pouvoir nous déplacer dans des mondes “virtuels”, que tout en restant à Grenoble, nous allons pouvoir visiter la pyramide de Chéops ou la maison de Salvador Dalí à Figueres... Nous voudrions déambuler dans les couloirs du Louvre, nous arrêter devant Mona Lisa, décrocher ce tableau et l'admirer sous tous les angles... Nous voudrions faire le tour du futur tramway de Bordeaux, entrer à l'intérieur et imaginer une ballade en centre ville sous la lumière chaleureuse de l'automne ou un soir au coucher du soleil... Nous voudrions... Tous ces rêves ont un point commun, il faut que l'on puisse se voir évoluer dans un monde réel ou imaginaire, y trouver sa place et interagir avec lui. Pour cela, une puissance de calcul très importante et du matériel spécifique (caméras hautes résolutions, réseaux hauts débits, très grands écrans, etc.) sont nécessaires et c'est seulement depuis peu que nous en disposons. Nous pouvons donc enfin nous atteler à la tâche. Sous ce côté rêveur, je vais présenter mes travaux de recherche effectués ces quatre dernières années. Ils ont été réalisés au travers des projets CYBER.

Les progrès technologiques ont permis d'abaisser la frontière entre image réelle et image virtuelle à tel point que les différencier devient difficile. Si la réalité virtuelle évolue au rythme des progrès technologiques, la réalité augmentée, passage du virtuel vers le réel, n'en est qu'à ses débuts. Le but de cette thèse est d'assurer la transition entre le monde virtuel et réel grâce à un système procam (projecteur caméra) pour améliorer l'apparence visuelle d'un objet. La position de l'objet est estimée en projetant une mire codée pour déterminer des points de correspondance entre les caméras et le projecteur sur un objet sans texture (les détecteurs classiques de points d'intérêt sont inefficaces sur de tels objets). Nous combinons l'étalonnage du système et ces points pour estimer la position 3D de l'objet, et ensuite le recalons avec un modèle de points plus fin, issu d'un scanner ou d'un modèle de CAO. La synthèse de vue est réalisée et l'image synthétisée est projetée sur l'objet. De tels outils permettent de générer des textures virtuelles, temporaires (il suffit d'éteindre le projecteur pour enlever la texture de l'objet), qui peuvent décrire l'usure de la texture ou l'objet sous son apparence d'origine.