La réalité augmentée (RA) consiste en l’insertion d’éléments virtuels dans une scène réelle, observée à travers un écran ou en utilisant un système de projection sur la scène ou l’objet d’intérêt. Les systèmes de réalité augmentée peuvent prendre des différentes formes pour obtenir l’équilibre désiré entre trois critères : précision, latence et robustesse. Il est possible d’identifier trois composants principaux à ces systèmes : localisation, reconstruction et affichage. Les contributions de cette thèse se concentrent essentiellement sur l’affichage et plus particulièrement le rendu des applications de réalité augmentée. À l’opposé des récentes avancées dans le domaine de la localisation et de la reconstruction, l’insertion d’éléments virtuels de façon plausible et esthétique reste une problématique compliquée, mal-posée et peu adaptée à un contexte temps réel. En effet, cette insertion requiert une reconstruction de l’illumination de la scène afin d’appliquer les conditions lumineuses adéquates à l’objet inséré. L’illumination de la scène peut être divisée en plusieurs catégories. Nous pouvons modéliser l’environnement de façon à décrire l’interaction de la lumière incidente et réfléchie pour chaque point 3D d’une surface. Il est également possible d’expliciter l’environnement en calculant la position des sources de lumière, leur type (lampe de bureau, néon, ampoule, ….), leur intensité et leur couleur. Pour insérer un objet de façon cohérente et réaliste, il est primordial d’avoir également une connaissance de la surface recevant l’illumination. Cette interaction lumière/matériaux est dépendante de la géométrie de la surface, de sa composition chimique (matériau) et de sa couleur. Pour tous ces aspects, le problème de reconstruction de l’illumination est difficile, car il est très complexe d’isoler l’illumination sans connaissance a priori de la géométrie, des matériaux de la scène et de la pose de la caméra observant la scène. De manière générale, sur une surface, une source de lumière laisse plusieurs traces telles que les ombres, qui sont créées par l’occultation de rayons lumineux par un objet, et les réflexions spéculaires ou spécularités qui se manifestent par la réflexion partielle ou totale de la lumière. Bien que ces spécularités soient souvent considérées comme des éléments parasites dans les applications de localisation de caméra, de reconstruction ou encore de segmentation, ces éléments donnent des informations cruciales sur la position et la couleur de la source lumineuse, mais également sur la géométrie de la surface et la réflectance du matériau où elle se manifeste. Face à la difficulté du problème de modélisation de la lumière et plus particulièrement du calcul de l’ensemble des paramètres de la lumière, nous nous sommes focalisés, dans cette thèse, sur l’étude des spécularités et sur toutes les informations qu’elles peuvent fournir pour la compréhension de la scène. Plus particulièrement, nous savons qu’une spécularité est définie comme la réflexion d’une source de lumière sur une surface réfléchissante. Partant de cette remarque, nous avons exploré la possibilité de considérer la spécularité comme étant une image issue de la projection d’un objet 3D dans l’espace. Nous sommes partis d’un constat simple, mais peu traité par la littérature qui est que les spécularités présentent une forme elliptique lorsqu’elles apparaissent sur une surface plane. À partir de cette hypothèse, pouvons-nous considérer un objet 3D fixe dans l’espace tel que sa projection perspective dans l’image corresponde à la forme de la spécularité ? Plus particulièrement, nous savons qu’un ellipsoïde projeté perspectivement donne une ellipse. Considérer le phénomène de spécularité comme un phénomène géométrique a de nombreux avantages. (...) / Augmented Reality (AR) consists in inserting virtual elements in a real scene, observed through a screen or a projection system on the scene or the object of interest. The augmented reality systems can take different forms to obtain a balance between three criteria: precision, latency and robustness. It is possible to identify three main components to these systems: localization, reconstruction and display. The contributions of this thesis focus essentially on the display and more particularly the rendering of augmented reality applications. Contrary to the recent advances in the field of localization and reconstruction, the insertion of virtual elements in a plausible and aesthetic way remains a complicated problematic, ill-posed and not adapted to a real-time context. Indeed, this insertion requires a good understanding of the lighting conditions of the scene. The lighting conditions of the scene can be divided in several categories. First, we can model the environment to describe the interaction between the incident and reflected light pour each 3D point of a surface. Secondly, it is also possible to explicitly the environment by computing the position of the light sources, their type (desktop lamps, fluorescent lamp, light bulb, . . . ), their intensities and their colors. Finally, to insert a virtual object in a coherent and realistic way, it is essential to have the knowledge of the surface’s geometry, its chemical composition (material) and its color. For all of these aspects, the reconstruction of the illumination is difficult because it is really complex to isolate the illumination without prior knowledge of the geometry, material of the scene and the camera pose observing the scene. In general, on a surface, a light source leaves several traces such as shadows, created from the occultation of light rays by an object, and the specularities (or specular reflections) which are created by the partial or total reflection of the light. These specularities are often described as very high intensity elements in the image. Although these specularities are often considered as outliers for applications such as camera localization, reconstruction or segmentation, these elements give crucial information on the position and color of the light source but also on the surface’s geometry and the material’s reflectance where these specularities appear. To address the light modeling problem, we focused, in this thesis, on the study of specularities and on every information that they can provide for the understanding of the scene. More specifically, we know that a specularity is defined as the reflection of the light source on a shiny surface. From this statement, we have explored the possibility to consider the specularity as the image created from the projection of a 3D object in space.We started from the simple but little studied in the literature observation that specularities present an elliptic shape when they appear on a planar surface. From this hypothesis, can we consider the existence of a 3D object fixed in space such as its perspective projection in the image fit the shape of the specularity ? We know that an ellipsoid projected perspectivally gives an ellipse. Considering the specularity as a geometric phenomenon presents various advantages. First, the reconstruction of a 3D object and more specifically of an ellipsoid, has been the subject to many publications in the state of the art. Secondly, this modeling allows a great flexibility on the tracking of the state of the specularity and more specifically the light source. Indeed, if the light is turning off, it is easy to visualize in the image if the specularity disappears if we know the contour (and reciprocally of the light is turning on again). (...)

Dans ce travail, méthodes d'estimation basées sur des images, également connu sous le nom de méthodes directes, sont étudiées qui permettent d'éviter l'extraction de caractéristiques et l'appariement complètement. L'objectif est de produire pose 3D précis et des estimations de la structure. Les fonctions de coût présenté minimiser l'erreur du capteur, car les mesures ne sont pas transformés ou modifiés. Dans la caméra photométrique estimation de la pose, rotation 3D et les paramètres de traduction sont estimées en minimisant une séquence de fonctions de coûts à base d'image, qui sont des non-linéaires en raison de la perspective projection et la distorsion de l'objectif. Dans l'image la structure basée sur le raffinement, d'autre part, de la structure 3D est affinée en utilisant un certain nombre de vues supplémentaires et un coût basé sur l'image métrique. Les principaux domaines d'application dans ce travail sont des reconstitutions d'intérieur, la robotique et la réalité augmentée. L'objectif global du projet est d'améliorer l'image des méthodes d'estimation fondées, et pour produire des méthodes de calcul efficaces qui peuvent être accueillis dans des applications réelles. Les principales questions pour ce travail sont : Qu'est-ce qu'une formulation efficace pour une image 3D basé estimation de la pose et de la structure tâche de raffinement ? Comment organiser calcul afin de permettre une mise en œuvre efficace en temps réel ? Quelles sont les considérations pratiques utilisant l'image des méthodes d'estimation basées sur des applications telles que la réalité augmentée et la reconstruction 3D ? / In this work, image based estimation methods, also known as direct methods, are studied which avoid feature extraction and matching completely. Cost functions use raw pixels as measurements and the goal is to produce precise 3D pose and structure estimates. The cost functions presented minimize the sensor error, because measurements are not transformed or modified. In photometric camera pose estimation, 3D rotation and translation parameters are estimated by minimizing a sequence of image based cost functions, which are non-linear due to perspective projection and lens distortion. In image based structure refinement, on the other hand, 3D structure is refined using a number of additional views and an image based cost metric. Image based estimation methods are usable whenever the Lambertian illumination assumption holds, where 3D points have constant color despite viewing angle. The main application domains in this work are indoor 3D reconstructions, robotics and augmented reality. The overall project goal is to improve image based estimation methods, and to produce computationally efficient methods which can be accomodated into real applications. The main questions for this work are : What is an efficient formulation for an image based 3D pose estimation and structure refinement task ? How to organize computation to enable an efficient real-time implementation ? What are the practical considerations of using image based estimation methods in applications such as augmented reality and 3D reconstruction ?

La chirurgie mini-invasive limite les incisions et le traumatisme pour le patient. Elle bénéficie de l'assistance robotisée qui améliore précision et confort du geste opératoire. Cependant des difficultés subsistent. Ainsi dans les opérations de pontage des artères coronaires, la localisation et l'identification des artères cibles de l'intervention posent problème. Nous proposons alors de guider le chirurgien en superposant le modèle des artères du patient dans les images endoscopiques intra-opératoires. L'une des contributions de cette thèse consiste à définir une approche basée sur l'analyse de l'intervention et du geste chirurgical: tout d'abord nous nous intéressons à la modélisation statique des artères coronaires à partir de moyens standards d'imagerie. Nous initialisons ensuite le recalage dans les images endoscopiques en calibrant l'endoscope stéréoscopique robotisé et en recalant l'enveloppe externe du patient au bloc opératoire. Nous affinons enfin ce résultat pour tenir compte du déplacement intra-opératoire du coeur et des erreurs successives. Un mécanisme multi-modèles robuste original, basé sur la traduction des indications données par le chirurgien en mesures, permet d'aboutir à la précision nécessaire au guidage. Cet outil novateur de chirurgie assistée par ordinateur est intégré au sein d'une architecture commune expérimentée avec le robot Da Vinci au cours de nombreux tests in-vivo.

Cette thèse s'inscrit dans le domaine de l'Interaction Homme-Machine (IHM). Nous explorons trois thèmes de recherche : les IHM sur Supports Mobiles, les Collecticiels et les Systèmes Mixtes. Dans ce cadre, nous visons à définir, concevoir (conception ergonomique et logicielle) et comprendre l'usage des systèmes mixtes collaboratifs sur supports mobiles (SMCSM). Les contributions de cette thèse couvrent le cycle de vie des interfaces. Tout d'abord, pour la phase d'analyse des besoins, nous élaborons une définition et une caractérisation des SMCSM. Nous montrons ainsi que de tels systèmes ne sont pas qu'une simple juxtaposition des trois thèmes. Nous identifions alors un nouveau découpage espace-temps et la dynamique des liens entre les mondes physique et numérique. Ensuite, pour la phase de conception ergonomique, nous développons une démarche de conception basée sur les scénarios en collaboration avec des psychologues-ergonomes. Nous définissons une notation de conception afin de représenter les scénarios projetés, qui décrivent l'utilisation de la future interface. Puis, pour la phase de conception logicielle, nous décrivons un modèle d'architecture pour les SMCSM. Nous adaptons le modèle PAC-Amodeus aux les collecticiels en explicitant les traitements informatiques des données contextuelles (localisation, orientation, etc.). De plus, nous développons trois techniques d'interaction générales sur une plate-forme matérielle dédiée aux SMCSM. Enfin, nous réalisons deux SMCSM : MAGIC, un système dédié à la fouille archéologique et TROC, un jeu d'échange. Nous rapportons les résultats de deux séries d'expériences menées avec le système TROC.

En radiologie interventionnelle, le praticien se sert actuellement de plusieurs acquisitions scanner (coupes 2D) pour pouvoir atteindre sa cible au cours d'une ponction percutanée dans la zone abdominale. Notre objectif est de concevoir un système de guidage minimisant ces acquisitions et donc le temps de l'intervention. Pour cela, nous proposons un système de réalité augmentée superposant des reconstructions 3D pré-opératoires des structures abdominales du patient dans des images vidéo externes de son corps. En plus d'être précis, rapide et fiable, cet outil devra pouvoir être introduit aisément en salle d'opération.<br />Dans notre cas, le patient est intubé et sa ventilation contrôlée, nous pouvons donc négliger les effets de la respiration : un recalage rigide 3D/2D de marqueurs radio-opaques collés sur la peau est suffisant pour atteindre la précision requise. Les hypothèses statistiques des critères classiques n'étant pas adéquates pour notre application, nous avons dérivé un nouveau critère généralisant les approches standard. Une évaluation rigoureuse des performances démontre la supériorité de notre méthode en terme de précision et de robustesse.<br />Pour atteindre le temps réel en salle d'opération, nous avons ensuite développé un ensemble d'algorithmes d'extraction et de mise en correspondance des marqueurs radio-opaques dont nous avons validé la robustesse sur de nombreuses images réelles. La précision du système dépendant de nombreux paramètres (nombre de marqueurs radio-opaques, position des caméras...), elle ne peut pas être établie préalablement de manière définitive. Afin de fournir un système fiable, nous proposons donc une technique de propagation des covariances qui permet d'estimer dynamiquement l'erreur de repositionnement des modèles reconstruits. Une phase de validation méticuleuse, sur des données synthétiques et réelles, démontre que notre prédiction est fiable dans les conditions de notre application.<br />Après cette validation de chacun des modules, nous montrons la faisabilité et l'intérêt de notre système complet en menant une évaluation sur un mannequin : quatre chirurgiens ont réussi à atteindre des cibles en des temps dix fois inférieurs à ceux usuellement nécessaires pour ce type d'intervention et avec une précision supérieure. Finalement, plusieurs expériences cliniques sur des patients démontrent que notre système est utilisable en salle d'opération et suggèrent son utilisation en routine dans un futur proche.

Cette thèse traite de l'usage de la vision par ordinateur pour des situations d'interaction fortement couplée (IFC) entre l'Homme et la machine. Une interaction est fortement couplée sur un intervalle de temps donné lorsque les systèmes humain et artificiel sont engagés de manière continue dans l'accomplissement d'actions physiques mutuellement observables et dépendantes sur cet intervalle. Le déplacement d'un objet graphique avec la souris relève de l'IFC. Nous modélisons l'IFC sous la forme d'un système en boucle fermée constitué de deux sous-systèmes de type stimulus-réponse. Ce modèle permet d'identifier des requis applicables à la conception, à la réalisation ou à l'évaluation de dispositifs utilisables en IFC. En particulier, nous recommandons une latence inférieure à 50 ms., une résolution adaptée à la tâche utilisateur et la satisfaction de la stabilité statique. Nous considérons ensuite l'usage de la vision par ordinateur dans ce contexte. Une revue des deux approches dominantes du domaine, vision orientée modèle et vision par apparence, nous permet de justifier notre choix de la seconde dont les techniques, de plus faible complexité de calcul, sont susceptibles de satisfaire le requis de latence. Nous présentons ensuite les techniques de vision par ordinateur que nous avons réalisées en adoptant une approche résolument dirigée par la tâche utilisateur. Les deux derniers chapitres détaillent nos expérimentations à la fois techniques et ergonomiques avec la mise en ¦uvre de deux prototypes : le tableau magique et la fenêtre perceptuelle. Le premier utilise un suivi du doigt en vision par ordinateur pour la désignation d'inscriptions sur un tableau blanc physique amplifié de services électroniques. La fenêtre perceptuelle, quant à elle, utilise un suivi du visage comme nouveau flux d'entrée spatiale dans une interface graphique usuelle. Ce flux est utilisé pour la navigation dans une fenêtre.

En chirurgie laparoscopique, les chirurgiens doivent prendre des décisions appropriées en se basant sur une image qui leur offre un point de vue unique du site opératoire. Cette tâche est difficile à réaliser compte tenu du champ de vue limité de l'endoscope et du fait que l'endoscope rigide doit passer par un point d'insertion unique. Ces contraintes obligent les chirurgiens à réaliser des mouvements d'aller-retour avec l'endoscope, alternant entre des vues détaillées et des vues globales de la scène, qui leur permettent de se repérer plus facilement. Dans le but d'observer les parties cachées d'un organe, les chirurgiens aimeraient bien pouvoir changer le point de vue, sans avoir à insérer l'endoscope dans un nouveau point d'insertion. Pour répondre à cette problématique, nous proposons au chirurgien de visualiser une image virtuelle de la cavité abdominale, synthétisée selon un point de vue quelconque. Notre approche est basée sur l'insertion d'un commando de caméras miniatures au sein de la cavité abdominale. Ces caméras sont fixées à la paroi abdominale, aux trocarts ou aux outils chirurgicaux, de sorte qu'au moins l'une d'entre elles soit en mesure de percevoir une information pertinente pour le chirurgien. Les caméras sont regroupées en paires stéréoscopiques pour reconstruire des modèles 3D du site opératoire. Ces modèles fournissent un cadre de référence qui permet la fusion de toutes les images perçues par les caméras, restituée sous forme d'une image stable synthétisée selon tout point de vue. L'image virtuelle est rendue selon le point de vue désiré par le chirurgien, ce qui lui permet d'explorer la cavité abdominale sans intervenir sur les caméras réelles.

La téléprésence, ou la présence virtuelle, devient de plus en plus courante grˆace à l'évolution technologique, impliquant une ouverture du potentiel du télétravail. Ce dernier est fortement lié à la virtualité et à la téléprésence, donc aussi à la robotique et à l'informatique, autant qu'aux communications. Cette thèse étudie les méthodes et les outils nécessaires à la réalisation d'un système de télétravail via Internet. Dans un premier temps, nous présentons les tendances technologiques qui ont contribué à l'évolution du télétravail. Ensuite, nous nous intéressons à la téléopération et la télérobotique, nous verrons comment les techniques de la réalité virtuelle et augmentée ont contribué à percer certains verrous, liés généralement à la distance qui sépare les deux sites maˆýtre et esclave. Dans un deuxième temps, nous nous intéressons à l'assistance au télétravail via Internet. Nous étudions les méthodes et les outils nécessaires à la réalisation des guides virtuels portables et paramétrables en proposant ainsi le formalisme implanté. Dans un troisième temps, nous étudions les méthodes utiles pour un contrôle en réalité augment ée (modélisation d'environnement et calibration de la caméra et du robot). Nous présentons la méthode retenue pour le télétravail via Internet. Ensuite, nous présentons notre système expérimental de télétravail baptisé ARITI (Augmented Reality Interface for Telerobotic applications via Internet). Dans un quatrième temps, nous présentons deux applications, une pour la télémanipulation et l'autre, pour la téléopération d'un robot mobile. Enfin, dans un cinquième temps, Nous évaluons quelques tâches de téléopération ainsi que les méthodes de compression d'image vidéo utilisées. Nous montrons d'une part, la stabilité du serveur du système ARITI vis à vis des différentes connexions, locale, moyenne et grande distance. D'autre part, comment le retour prédictif distribué facilite à plusieurs opérateurs de télétravailler en coopération.

La démocratisation des terminaux mobiles telle que les téléphones cellulaires, les PDAs et les tablettes PC a rendu possible le déploiement de la réalité augmentée dans des environnements en extérieur à grande échelle. Cependant, afin de mettre en oeuvre de tels systèmes, différentes problématiques doivent êtres traitées. Parmi elle, la localisation représente l?une des plus importantes. En effet, l?estimation de la position et de l?orientation (appelée pose) du point de vue (de la caméra ou de l?utilisateur) permet de recaler les objets virtuels sur les parties observées de la scène réelle. Dans nos travaux de thèse, nous présentons un système de localisation original destiné à des environnements à grande échelle qui utilise une approche basée vision sans marqueur pour l?estimation de la pose de la caméra. Cette approche se base sur des points caractéristiques naturels extraits des images. Etant donné que ce type d?approche est sensible aux variations de luminosité, aux occultations et aux mouvements brusques de la caméra, qui sont susceptibles de survenir dans l?environnement extérieur, nous utilisons deux autres types de capteurs afin d?assister le processus de vision. Dans nos travaux, nous voulons démontrer la faisabilité d?un schéma de suppléance dans des environnements extérieurs à large échelle. Le but est de fournir un système palliatif à la vision en cas de défaillance permettant également de réinitialiser le système de vision en cas de besoin. Le système de localisation vise à être autonome et adaptable aux différentes situations rencontrées.

Ces travaux de thèse se situent au croisement de plusieurs domaines que sont la Réalité Augmentée, la Réalité Virtuelle, les systèmes d'information géographique, le génie logiciel, le traitement d'image et les sciences humaines et sociales. Le premier axe de ce mémoire concerne les apports relatifs à l'amélioration des connaissances du domaine de la réalité augmentée par une approche centrée utilisateur. Nous proposons, basés sur nos définitions et sur les travaux en réalité virtuelle, notre modèle d'interaction et d'immersion en réalité augmentée nommé 3i2RA. L'axe suivant permet de préciser la problématique liée à l'utilisation d'un système d'aide à la navigation par un état de l'art spécifique aux systèmes d'information géographique. Nous présentons dans ce chapitre les systèmes d'information géographique particulièrement destinés à l'aide à la navigation. Le troisième axe présente nos apports méthodologiques concernant la conception d'un outil d'aide à la navigation. L'objectif est de proposer une démarche permettant d'interfacer la modélisation des activités des navigateurs et une méthode agile de développement d'un logiciel. Enfin, le dernier axe présente nos apports technologiques mis en œuvre afin de réaliser les fonctionnalités demandées.