La réalité augmentée (RA) a récemment eu un impact énorme sur les ingénieurs civils et les travailleurs de l'industrie de la construction, ainsi que sur leur interaction avec les plans ar-chitecturaux. La RA introduit une superposition du modèle 3D d'un bâtiment sur une image 2D non seulement comme une image globale, mais aussi potentiellement comme une repré-sentation complexe de ce qui va être construit et qui peut être visualisée par l'utilisateur. Pour insérer un modèle 3D, la caméra doit être localisée par rapport à son environnement. La lo-calisation de la caméra consiste à trouver les paramètres extérieurs de la caméra (i.e. sa po-sition et son orientation) par rapport à la scène observée et ses caractéristiques. Dans ce mémoire, des méthodes d'estimation de la pose de la caméra (position et orientation) par rapport à la scène utilisant des correspondances cercle-ellipse et lignes droites-lignes droites sont explorées. Les cercles et les lignes sont deux des caractéristiques géométriques qui sont principalement présentes dans les structures et les bâtiments. En fonction de la rela-tion entre les caractéristiques 3D et leurs images 2D correspondantes détectées dans l'image, la position et l'orientation de la caméra sont estimées. / Augmented reality (AR) had recently made a huge impact on field engineers and workers in construction industry, as well as the way they interact with architectural plans. AR brings in a superimposition of the 3D model of a building onto the 2D image not only as the big picture, but also as an intricate representation of what is going to be built. In order to insert a 3D model, the camera has to be localized regarding its surroundings. Camera localization con-sists of finding the exterior parameters (i.e. its position and orientation) of the camera with respect to the viewed scene and its characteristics. In this thesis, camera pose estimation methods using circle-ellipse and straight line corre-spondences has been investigated. Circles and lines are two of the geometrical features that are mostly present in structures and buildings. Based on the relationship between the 3D features and their corresponding 2D data detected in the image, the position and orientation of the camera is estimated.

L’objet de ce mémoire est d’étudier les relations entre les droits fondamentaux à travers l’usage de la réalité augmentée, et donc également les relations entre les droits fondamentaux et la réalité augmentée. Ce faisant, cela permet d’observer comment les droits fondamentaux, qui ont su évoluer face au numérique, sont susceptibles de s’adapter à la réalité augmentée, une technologie qui, bien qu’à ses balbutiements à l’heure de la rédaction de ce travail, s’avère novatrice, pleine de promesses mêlant réel et virtuel. A travers l’étude de la jurisprudence dans les univers physique et numérique, ce travail essayera de déduire les principes applicables à la réalité augmentée et ceux nécessiteront d’être adaptés par le juge, afin d’être au mieux garantis.

Dans cette thèse, nous introduisons le concept de Réalité Augmentée Haptique (RAH) en définissant une taxonomie à deux axes. Le premier dénommé Haptique Augmentée (HA) représente l'ensemble des applications qui modifient/augmentent une donnée haptique existante. Le second axe, appelé Augmentation Haptique (AH), considère les applications qui utilisent la modalité haptique pour fournir une information supplémentaire à l'utilisateur. Par la suite, nous illustrons ces concepts sous forme d'une application de télé-diagnostic, permettant l'exploration d'un objet mixte, composé de parties réelles et virtuelles, ou la comparaison entre un objet réel et un virtuel ; d'un nouvel algorithme pour l'enseignement d'un chemin par guidage haptique, tout en évitant les problèmes de passivité et de dépendance de l'apprenti ; et de l'emploi de ces deux notions dans une application de peinture virtuelle sur un quelconque objet réel (avec croisement d'augmentations visio-haptique), le tout enrichi d'un processus visuel de Réalité Diminuée.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Classiquement la réalité augmentée consiste en l'annotation d'objets fixes pour un utilisateur en mouvement au sein d'un environnement réel. Le travail présenté dans cette thèse porte sur l'utilisation de la réalité augmentée dans le but de décrire des objets dynamiques dont le comportement n'est que peu prévisible. Nous nous intéressons tout particulièrement aux problèmes posés par la nature dynamique de l'environnement en ce qui concerne: 1°/ la description du réel (adapter les explications fournies par le guide virtuel à l'évolution de l'environnement) ; 2°/ la perception du réel (percevoir l'environnement à expliquer en temps réel à l'aide de caméras).<br>La description du réel consiste en la génération d'un exposé par le guide virtuel. Cette génération repose sur deux points: des connaissances a priori sous la forme d'explications et un comportement décrit par un automate hiérarchique. Nous considérons la visite guidée comme l'évolution conjointe du comportement du guide virtuel et des explications qu'il fournit aux visiteurs. Une explication permet de décrire l'enchaînement d'éléments de discours sur un sujet donné à l'aide d'un graphe. Chacun de ces éléments décrit une unité de discours indivisible décrivant l'utilisation des différentes modalités (parole, gestes, expression, ...) sous la forme d'un script. L'exécution d'un graphe d'explication est effectuée par le comportement qui intègre la notion d'interruption. Lorsqu'un processus d'explication est interrompu, il est suspendu et le sujet courant de la visite guidée est réévalué. Cette réévaluation repose sur l'utilisation d'un ensemble d'experts votant pour les différentes explications disponibles selon un point de vue particulier. Ce vote se base sur le contexte courant de la visite guidée (historique, temps écoulé/restant, ...) et l'état de l'environnement réel. <br>La perception consiste en la construction et la mise à jour d'une représentation de l'environnement. Ceci est effectué en temps réel par la coopération de différentes routines de perception. La complexité de l'environnement observé (quantité d'informations et variations des conditions d'éclairage) empêchent une analyse complète du flux vidéo. Nous proposons de surmonter ce problème par l'utilisation de stratégies de prise d'information adaptées. Ces stratégies de perception sont mises en oeuvre par certaines routines au travers du choix et du paramétrage des traitements qu'elles effectuent. Nous présentons un ensemble minimal de routines nécessaires à la construction d'une représentation de l'environnement exploitable dans le cadre de la description de cet environnement. Ce système repose sur la mise en oeuvre de trois stratégies de perception: la vigilance qui coordonne des traitements de détection dans le temps et dans l'espace; le suivi qui se charge de mettre à jour les propriétés spatiales des entités existantes dans la représentation; la reconnaissance dont le rôle est d'identifier ces entités. L'efficacité des stratégies de perception suppose une interaction entre la prise de décision (génération de l'exposé) et la perception (construction d'une représentation de l'environnement) de notre acteur virtuel autonome. Nous proposons de mettre en oeuvre cette interaction au travers de la représentation de l'environnement et des requêtes effectuées par le processus de prise de décision sur cette représentation.<br>Nous avons mené des expérimentations afin mettre en évidence le fonctionnement des différents aspects de notre proposition et de la valider des conditions contrôlées. Ces travaux sont appliqués à un cas concret d'environnement réel dynamique complexe au sein du projet ANR SIRENE. Cette application met en évidence les questions liées à notre problématique et montre la pertinence de notre approche dans le cadre de la présentation d'un aquarium marin d'Océanopolis.

Nos travaux présentés dans cette thèse s'inscrivent dans le cadre de l'Interaction Homme-Machine (IHM) et contribuent à la conception et à la réalisation d'un système de réalité augmentée (RA) dans le cadre précis de la maintenance. Dans cet axe de recherche de l'IHM, les avancées sont importants et se manifestent par de nombreux systèmes présents dans des domaines aussi diverses que la médecine, la maintenance, la robotique... Dans ce contexte, nous avons proposé une démarche de conception ergonomique pour les systèmes de RA. Dans cet axe, nous avons présenté les propriétés ergonomiques. Afin de caractériser plus finement la dualité de l'interaction (Utilisateur- Monde Réel et Utilisateur-Monde Virtuel), nous avons défini la notation UML. Poursuivant le cycle de vie d'un système interactif issu du génie logiciel, nous avons abordé l'étape de la conception logicielle du système de RA. Nous avons défini une solution générique de réalisation logicielle selon le modèle d'architecture logicielle PAC-Amodeus. Ce modèle adapté souligne la dualité de l'interaction avec deux branches indépendantes dédiées à l'interaction avec le monde réel et le monde informatique. En collaboration avec le technicien, nous avons appliqué et testé nos résultats méthodologiques sur une application en maintenance. Cette application, ARIMA, permet de guider les techniciens en leur procurant des informations sous forme d'augmentations multimédia afin d'accroître leur efficacité dans des activités de maintenance.

Mes travaux sont résolument ancrés dans l'ingénierie de l'Interaction Homme-Machine. Ce faisant, les deux facettes, conception ergonomique et conception logicielle, sont apparentes dans mes contributions. Mon étude s'articule autour des termes de modalité d'interaction et de multimodalité. Je me suis appuyée sur des résultats généraux incluant la définition d'une modalité et d'un espace de composition de modalités et je les ai infléchis à deux axes de recherche, l'exploration visuelle d'espaces informationnels et la réalité augmentée. Pour chacun de ces axes, des propriétés ergonomiques, des règles et patrons de conception, des solutions architecturales et logicielles, ainsi que des techniques d'interaction comme la réalité cliquable et la ballade augmentée ont été conçus.

Ce mémoire de thèse a pour sujet le suivi temps réel d'objets en trois dimensions, dans le but de réaliser des applications de réalité augmentée. En effet la réalité augmentée nécessite des algorithmes de suivi stables et précis. Si l'on désire en plus que le suivi soit effectué en temps réel vidéo, il faut alors trouver des compromis entre précision des résultats et vitesse de traitement. Ce mémoire contient la description des trois algorithmes de suivi développés durant cette thèse. Ils illustrent le cheminement suivi par nos travaux durant ces trois années, c'est-à-dire le suivi d'objets de plus en plus complexes, d'abord planaires, puis simples objets 3D, et enfin objets 3D complexes de modèle 3D inconnu. Le premier algorithme permet de suivre des objets planaires peu texturés. Il s'agit d'une extension d'un algorithme de suivi de plans efficace et rapide, basé sur l'utilisation d'informations de texture, auquel nous avons ajouté une composante de suivi de contour afin de pouvoir l'utiliser sur un ensemble plus vaste de motifs. Une fois ce travail sur le suivi planaire effectué, nous avons adapté l'algorithme de suivi de textures au suivi d'objets en trois dimensions. En utilisant de multiples occurrences de cet algorithme, réparties sur la surface de l'objet à suivre, couplées à un algorithme itératif d'estimation de pose, nous sommes parvenus à suivre en temps réel des objets simples effectuant des translations et des rotations à 360 degrés. Cet algorithme étant limité par le fait qu'il nous faut connaître un modèle 3D de l'objet à suivre, nous avons ensuite cherché à réaliser un algorithme permettant, lors d'une phase d'apprentissage, de générer un modèle statistique de l'objet à partir de vues clefs 2D. Basé sur le même algorithme de suivi de texture que précédemment, cet algorithme ne détermine pas la pose 3D de l'objet suivi mais décrit sa position comme étant la déformation d'une grille 2D.

Le monde médical dispose de plus en plus de sources d'images différentes, non seulement pour réaliser un diagnostic mais aussi pour évaluer l'efficacité d'un traitement et pour être guidé dans les interventions chirurgicales. Parallèlement, le développement des techniques opératoires s'oriente vers la chirurgie non " à ciel ouvert ", notamment la coelioscopie, qui permet de diminuer les risques liés à l'intervention ainsi que le temps d'hospitalisation du patient. En revanche, elle rend moins intuitive la réalisation de l'acte chirurgical, notamment du fait de la vision réduite à l'utilisation d'une ou plusieurs caméras dans la région d'intérêt. Durant ma thèse, j'ai conçu et mis en oeuvre des nouvelles méthodes informatiques de traitement 3D d'images radiologiques ainsi que de nouvelles utilisations médicales de ces images. Les contributions présentées concernent la visualisation et le traitement des données, la segmentation de structures 3D, la fusion mono et multimodale et l'aide à la réalisation d'interventions. Les applications présentées concernent notamment la planification et la réalisation d'interventions sous coelioscopie et de ponctions mais aussi l'imagerie industrielle. L'utilisation conjointe de différentes modalités d'images permet d'améliorer la visualisation, la manipulation et la compréhension de scènes tridimensionnelles, conduisant à une plus grande compréhension des observations et à une meilleure prise de décision.

Un des défis majeurs de la réalité augmentée est celui de l'alignement spatial des objets virtuels sur le monde réel. Plusieurs techniques de localisation par la vision ont été proposées dans la littérature pour améliorer le recalage virtuel. Le suivi hybride qui combine différentes technologies et méthodes semble ouvrir une nouvelle voie d'utilisation pour combler les divers problèmes liés à la précision et à la robustesse des algorithmes. Dans ce travail, nous avons développé une architecture multimodale de suivi de cibles et de gestion d'occultations en réalité augmentée. L'approche multimodale consiste à combiner différents capteurs et techniques, associés en fonction des conditions réelles de l'environnement. Cette architecture est constituée d'un module de tracking de cibles codées basé sur un algorithme hybride d'estimation de pose. Toutefois, cet algorithme de suivi de cibles est mis en échec si les marqueurs visuels ne sont pas entièrement visibles. Nous avons étendu donc, cette méthode de localisation spatio-temporelle par un module de suivi de points caractéristiques en présence d'occultations partielles des cibles. Cette étape se fonde sur l'étude des propriétés du suivi robuste des points d'intérêts et sur l'adaptation et la gestion des différentes conditions expérimentales. Enfin, une partie de suivi multi-capteurs est incluse dans notre démarche de conception logicielle. Ce dernier module de l'architecture est composé d'un dispositif hybride de tracking permettant de pallier les occultations totales des cibles. Des expérimentations avec le système global et de nombreuses évaluations ont servi à montrer l'intérêt de l'approche multimodale proposée pour le suivi et la gestion d'occultations en réalité augmentée. Le travail réalisé a permis de définir une base de critères nécessaires pour une mise en oeuvre efficace d'une architecture de suivi robuste et multi-capteurs dans un environnement de réalité augmentée.