Cette thèse consiste à explorer l’usage de la réalité augmenté sonore pour la visite de musées. Notre objectif est de proposer un audioguide permettant d’immerger le visiteur dans une scène sonore constituée de sons ambiants et de commentaires associés aux objets exposés, et de minimiser ses efforts pour découvrir ces objets et interagir avec cet environnement sonore. La première contribution de cette thèse concerne la mise en place d’une preuve de concept de SARIM (Sound Augmented Reality Interface for visiting Museum). Cette preuvede concept a été développée en utilisant des capteurs de position et d’orientation filaire et non filaire. La deuxième contribution concerne la modélisation de la visite augmentée par la dimension sonore. Après une étude des modèles existants, l’objectif est de concevoir un modèle comprenant une représentation du visiteur,du paysage sonore et de la navigation et offrant une grande flexibilité pour créer l’environnement sonore. Ce modèle a comme finalité de faciliter la conception de différents types de scénarios de visite sur la base de la notion de zone d’audibilité. La troisième contribution de cette thèse est le travail d’évaluation mené dans un environnement réel qu’est le musée des arts et métiers de Paris, et qui a permis de confirmer l’utilisabilité, ainsi que l’apport didactique et ludique que procure la réalité augmentée sonore en général et le système SARIM en particulier pour prolonger et enrichir la visite de musées. / The goal of this thesis is to explore the use of sound to enhance the museum visit. We aim to provide anaudioguide to immerse the visitor in a soundstage consisting of ambient sounds and comments associated withthe exhibits, and minimize its efforts to discover these objects and interact with the sound environment. Thefirst contribution of this thesis is the implementation of a proof of concept of SARIM (Sound AugmentedReality Interface for visiting Museum). This proof of concept was developed using position sensors andguidance wired and wirelessly. The second contribution concerns the modeling of the augmented visit by thesound dimension. After a review of existing models, the objective is to design a model that includes arepresentation of the visitor, the soundscape and navigation, offering the flexibility to create the soundenvironment. This model has the purpose of facilitating the design of different types of scenarios based on theconcept of audibility area. The Third contribution of this thesis is the evaluation conducted in a realenvironment what the Museum of Arts and Crafts in Paris, which confirmed the usability, as well as providingeducational and ludic impact of the audio augmented reality in general and the SARIM in particular to extendand enrich the museum visits.

Plusieurs publications ont été rédigées dans les dernières années sur l'utilisation des technologies numériques dans les institutions muséales. Leur intégration aux expositions est accompagnée de nombreuses promesses telles que celles d'attirer un public plus jeune, de rendre le contenu plus accessible et ludique, d'impliquer davantage le visiteur, etc. Parmi toutes les études menées dans le domaine muséal, très peu d'auteurs se sont intéressés spécifiquement aux musées militaires. Pourtant, ces musées comportent de nombreuses caractéristiques qui leur sont propres. Ce mémoire propose donc une étude de l'utilisation des technologies numériques, plus précisément des écrans tactiles, par le Musée Royal 22$^\textup{e}$ Régiment pour mettre en valeur son patrimoine militaire matériel et immatériel dans son exposition permanente « Je me souviens ». Plus précisément, le projet de recherche a pour objectif d'identifier quelles étaient les attentes de l'institution lors de l'intégration des écrans à l'exposition permanente et d'évaluer leur efficacité à travers l'analyse de leur consultation par les visiteurs. Le projet vise aussi à cerner les avantages et les désavantages associés à ce type de technologie dans le musée militaire. Pour répondre à la problématique, une étude de terrain a été menée dans le Musée Royal 22$^\textup{e}$ Régiment. Cette étude a recours à plusieurs outils propres à la démarche ethnographique, soit l'observation des visiteurs, la distribution de questionnaires ainsi que la tenue d'entretiens avec les visiteurs et les professionnels. Les résultats indiquent que les écrans tactiles sont bel et bien consultés par la majorité des visiteurs et permettent de mettre davantage en valeur le patrimoine militaire immatériel. Cependant, ce ne sont pas tous les écrans tactiles qui sont consultés. Cette technologie comporte quelques limites telles que la qualité du son et l'absence d'immersion. À partir de ces conclusions, nous croyons que les musées militaires peuvent s'en inspirer pour de futurs projets de médiation intégrant les bornes interactives. / A number of publications have been written in recent years on the use of digital technologies in museums. Their integration into exhibitions is accompanied by many promises, such as attracting a younger audience, making content more accessible and entertaining, getting visitors more involved, and so on. Of all the studies carried out in the museum sector, very few have focused specifically on military museums. However, these museums have many characteristics that are unique to them. Therefore, this thesis proposes a study of the use of digital technologies, more specifically touch screens, by the Royal 22$^\textup{e}$ Régiment Museum to highlight its material and immaterial military heritage in its permanent exhibition "Je me souviens". More specifically, the research project aims to identify the institution's expectations when integrating the screens into the permanent exhibition, and to assess their effectiveness by analyzing how visitors use them. The project also aimed to identify the advantages and disadvantages associated with this type of technology in the military museum. To address this question, a field study was carried out at the Royal 22$^\textup{e}$ Régiment Museum. The study used a number of ethnographic research tools, including visitor observation, surveys and interviews with visitors and professionals. The results show that touch screens are indeed consulted by the majority of visitors and help to enhance the value and experience of immaterial military heritage. However, not all touch screens are consulted. This technology has a number of limitations, such as sound quality and the lack of immersion. Based on these conclusions, we believe that military museums can learn from it for future mediation projects integrating interactive touchscreens.

La reconnaissance d'émotions est un domaine jeune mais dont la maturité grandissante implique de nouveaux besoins en termes de modélisation et d'intégration dans des modèles existants. Ce travail de thèse expose un modèle conceptuel pour la conception d'applications interactives sensibles aux émotions de l'utilisateur. Notre approche se fonde sur les résultats conceptuels issus de l'interaction multimodale: nous redéfinissons les concepts de modalité et de multimodalité dans le cadre de la reconnaissance passive d'émotions. Nous décrivons ensuite un modèle conceptuel à base de composants logiciels s'appuyant sur cette redéfinition: la branche émotion, facilitant la conception, le développement et le maintien d'applications reconnaissant l'émotion de l'utilisateur. Une application multimodale de reconnaissance d'émotions par la gestuelle a été développée selon le modèle de la branche émotion et intégrée dans un système d'augmentation de spectacle de ballet sensible aux émotions d'un danseur. / Computer-based emotion recognition is a growing field which develops new needs in terms of software modeling and integration of existing models. This thesis describes a conceptual framework for designing emotionally-aware interactive software. Our approach is based upon conceptual results from the field of multimodal interaction: we redefine the concepts of modality and multimodality within the frame of passive emotion recognition. We then describe a component-based conceptual model relying on this redefinition. The emotion branch facilitates the design, development and maintenance of emotionally-aware systems. A multimodal, interactive, gesture-based emotion recognition software based on the emotion branch was developed. This system was integrated within an augmented reality system to augment a ballet dance show according to the dancer's expressed emotions.

Ces travaux s’inscrivent dans le cadre de la navigation endovasculaire assistée par ordinateur. L’objectif principal est d’étudier et de proposer de nouvelles solutions pour la localisation et le suivi des dispositifs endovasculaires en mouvement par rapport aux structures anatomiques, considérées comme immobiles ou mobiles. Il s’agit à terme de faciliter le geste interventionnel, en maximisant la précision et la fiabilité des procédures, tout en minimisant le recours aux rayons X et au produit de contraste. Les travaux et résultats obtenus concernent : - L’étude d’approches de recalage permettant de fusionner des données 3D pré-opératoires décrivant les structures anatomiques et des données intra-opératoires de localisation 3D électromagnétique (positions d’un cathéter équipé d’un capteur magnétique en son extrémité). Dans le contexte du traitement des anévrismes aortiques abdominaux, deux méthodes de recalage ne nécessitant pas de marqueur externe et exploitant uniquement les trajectoires endovasculaires (avec hypothèse de correspondance totale ou partielle) ont été proposées. Les tests ont été réalisés sur fantôme physique. Bien que la précision de localisation des systèmes électromagnétiques soit encore limitée, ceux-ci pourraient être utilisés pour aider la navigation endovasculaire, comme par exemple, lors du cathétérisme d’artères collatérales. - L’élaboration d’une méthode de tracking des calcifications et de repères dans les séquences d’images fluoroscopiques, dans le contexte des procédures d’implantation endovasculaire de valve aortique (TAVI). Nous avons proposé une méthode de tracking par modèle d’apparence adaptatif (TMAA). L'approche a été évaluée sur 13 séquences fluoroscopiques dans le cadre des procédures TAVI valve native et 5 séquences fluoroscopiques dans le cadre des procédures TAVI valve-in-valve. Elle fournit une erreur de localisation moyenne inférieure à 1 mm et un temps de traitement de 32,23 ms/trame. L’évaluation de cette méthode et son application sur données patients ont permis de montrer la précision et la compatibilité du tracking avec une utilisation clinique. / This work is part of computer-assisted endovascular navigation. The aim of this thesis is to study and to propose new solutions for the localization and the tracking of moving endovascular devices within anatomical structures, which can be considered fixed or moving. The objective is to facilitate the endovascular intervention, by maximizing the accuracy and reliability of procedures, while minimizing the use of X-rays and contrast agents. The works concern : - The study of registration approaches to align pre-operative 3D data describing the anatomical structures and intra-operative 3D electromagnetic data (positions of a catheter equipped with a magnetic sensor at its tip). In the context of the treatment of abdominal aortic aneurysms (AAA), two fiducial-free registration methods that exploit only the endovascular trajectories (with total or partial correspondence hypothesis) have been proposed. The tests were performed on an AAA phantom. Although the localization accuracy of electromagnetic systems is still limited, these could be used to assist endovascular navigation (e.g., catheterization of collateral arteries). - The elaboration of a method to track calcifications and markers in fluoroscopic sequences, in the context of transcatheter aortic valve implantation (TAVI) procedures. We proposed a method of tracking by adaptive appearance model (TMAA). The approach was evaluated on 13 fluoroscopic sequences as part of TAVI native valve procedures and 5 fluoroscopic sequences as part of TAVI valve-in-valve procedures. The average localization error was less than 1 mm and the average processing time was 32.23 ms/frame. The evaluation of this method and its application on patient data has made it possible to show the precision and the compatibility of the tracking with a clinical use.

Ce mémoire décrit mes travaux de thèse de doctorat menés au sein de l’équipe ComSee (Computers that See) rattachée à l’axe ISPR (Image, Systèmes de Perception et Robotique) de l’Institut Pascal. Celle-ci a été financée par la Région Auvergne et le Fonds Européen de Développement Régional. Les travaux présentés s’inscrivent dans le cadre d’applications de localisation pour la robotique mobile et la Réalité Augmentée. Le framework réalisé au cours de cette thèse est une approche générique pour l’implémentation d’applications de SLAM : Simultaneous Localization And Mapping (algorithme de localisation par rapport à un modèle simultanément reconstruit). L’approche intègre une multitude de contraintes dans les processus de localisation et de reconstruction. Ces contraintes proviennent de données capteurs mais également d’a priori liés au contexte applicatif. Chaque contrainte est utilisée au sein d’un même algorithme d’optimisation afin d’améliorer l’estimation du mouvement ainsi que la précision du modèle reconstruit. Trois problèmes ont été abordés au cours de ce travail. Le premier concerne l’utilisation de contraintes sur le modèle reconstruit pour l’estimation précise d’objets 3D partiellement connus et présents dans l’environnement. La seconde problématique traite de la fusion de données multi-capteurs, donc hétérogènes et asynchrones, en utilisant un unique algorithme d’optimisation. La dernière problématique concerne la génération automatique et efficace d’algorithmes d’optimisation à contraintes multiples. L’objectif est de proposer une solution temps réel 1 aux problèmes de SLAM à contraintes multiples. Une approche générique est utilisée pour concevoir le framework afin de gérer une multitude de configurations liées aux différentes contraintes des problèmes de SLAM. Un intérêt tout particulier a été porté à la faible consommation de ressources (mémoire et CPU) tout en conservant une grande portabilité. De plus, la méta-programmation est utilisée pour générer automatiquement et spécifiquement les parties les plus complexes du code en fonction du problème à résoudre. La bibliothèque d’optimisation LMA qui a été développée au cours de cette thèse est mise à disposition de la communauté en open-source. Des expérimentations sont présentées à la fois sur des données de synthèse et des données réelles. Un comparatif exhaustif met en évidence les performances de la bibliothèque LMA face aux alternatives les plus utilisées de l’état de l’art. De plus, le framework de SLAM est utilisé sur des problèmes impliquant une difficulté et une quantité de contraintes croissantes. Les applications de robotique mobile et de Réalité Augmentée mettent en évidence des performances temps réel et un niveau de précision qui croît avec le nombre de contraintes utilisées. / This report describes my thesis work conducted within the ComSee (Computers That See) team related to the ISPR axis (ImageS, Perception Systems and Robotics) of Institut Pascal. It was financed by the Auvergne Région and the European Fund of Regional Development. The thesis was motivated by localization issues related to Augmented Reality and autonomous navigation. The framework developed during this thesis is a generic approach to implement SLAM algorithms : Simultaneous Localization And Mapping. The proposed approach use multiple constraints in the localization and mapping processes. Those constraints come from sensors data and also from knowledge given by the application context. Each constraint is used into one optimization algorithm in order to improve the estimation of the motion and the accuracy of the map. Three problems have been tackled. The first deals with constraints on the map to accurately estimate the pose of 3D objects partially known in the environment. The second problem is about merging multiple heterogeneous and asynchronous data coming from different sensors using an optimization algorithm. The last problem is to write an efficient and real-time implementation of the SLAM problem using multiple constraints. A generic approach is used to design the framework and to generate different configurations, according to the constraints, of each SLAM problem. A particular interest has been put in the low computational requirement (in term of memory and CPU) while offering a high portability. Moreover, meta-programming techniques have been used to automatically and specifically generate the more complex parts of the code according to the given problem. The optimization library LMA, developed during this thesis, is made available of the community in open-source. Several experiments were done on synthesis and real data. An exhaustive benchmark shows the performances of the LMA library compared to the most used alternatives of the state of the art. Moreover, the SLAM framework is used on different problems with an increasing difficulty and amount of constraints. Augmented Reality and autonomous navigation applications show the good performances and accuracies in multiple constraints context.

Cette dissertation décrit le design, implémentation et évaluation de nouvelles applications en Réalité Augmentée Spatiale (RAS). Ces applications sont concentrées sur l’amélioration du dessin physique tel que les dessins au crayons ou peintures en projetant des outils numériques.Tout d’abord, nous décrivons notre système de RAS et ses possibilités. Il prend en comptes les paramètres internes et externes d’un couple caméra/projecteur pour permettre une projection précise sur des feuilles de papier. De plus, il permet la détection du toucher des feuilles et de la position de la main au dessus de celles-ci grâce à une caméra de profondeur. Par conséquent, il permet la création d’écrans tactiles interactifs sur des feuilles de papier posées sur une table.Ensuite, nous nous penchons sur la création d’art visuel, plus précisément sur les premières étapes de la création quand l’artiste créer la structure. Nous offrons la possibilité de créer et d’éditer des lignes de construction numériques (LCN) projetées sur le papier. Ces outils sont des outils de Réalité Augmentée (RA), c’est-à-dire qu’ils s’ajoutent aux outils existants: toute l’interface utilisateur est sur la table, et l’utilisateur n’utilise jamais ni une souris, ni un clavier ni un écran. En plus des simples LCN (lignes et courbes), nous proposons une spécialisation pour les dessins spécifiques tels que les dessins en perspective, les dessins de personnages ainsi que les dessins à partir d’un modèle 3D. Nous proposons de nouvelles méthodes pour afficher et interagir avec des objets 3D sur papier. Nous proposons également de créer des dessins mixtes:art visuel interactif qui tire parti à la fois des possibilités physiques et numériques.Pour finir, nous décrivons des nouveaux usages pour notre système de RAS de nombreux contextes différents à travers des démonstrations publiques. L’acceptabilité de ce genre de système a été très bonne, et “magique” par la plupart des utilisateurs. Ils ont juste vu et interagis avec des feuilles de papier sans remarquer le système de projection et suivi. / This dissertation presents the design, implementation, and evaluation of novel SpatialAugmented Reality (SAR) applications. These applications focus on enhancing physical drawingsuch as pencil drawing or painting by the projection of digital tools.First, we describe our tabletop SAR system and its possiblities. It takes into account thecamera and projector internal and external parameters to enable precise projection onto trackedsheets of paper. In addition to this, we enable touch and hand detection over the table with adepth camera. Consequently, it enables the creation of interactive touch screens on the pieces ofpaper on a table.Next, we focus on the creation of visual art, more precisely the first steps of creation whenthe artist structures it. We enable the creation and edition of digital construction lines (DCL)that are projected onto the paper. These tools are Augmented Reality (AR) tools, i.e., theyadd to existing tools: the whole user interface is on the table and the user never uses a mouse,keyboard or screen. In addition to the simple DLC (lines and curves), we propose to specializethem for specific drawings such as perspective drawing, character drawing and drawing from a3D model. We propose a novel way to display and interact with 3D objects on paper. We alsopropose to create mixed media drawing: it enables the creation of interactive visual art thattakes advantage from both the physical and digital possiblities.Finally, we describe new usages for our SAR system in many different contexts throughpublic exhibitions. The acceptability of such systems was found very good and “magical” bymost of the users. They only saw and interacted with interactive pieces of paper without noticingthe projection and tracking system.

Ces travaux de thèse sont une contribution au projet de réalisation de matrices actives photoniques dans le cadre de la confection de lunettes à réalité augmentée. Un état de l’art des dispositifs actuels nous a permis de montrer l’encombrement engendré par l’utilisation d’un projecteur situé sur la monture. Pour s’en abstenir, l’utilisation du verre de lunette comme source d’image est limitée par la transparence des matrices actives classiques adressant un signal électrique avec des matériaux métalliques. L’utilisation de la photonique pour adresser chacun des pixels avec un signal optique guidée dans des matériaux diélectriques pourrait permettre d’en optimiser la transmission. Dans ce contexte, nos travaux concernent l’étude et la réalisation expérimentale de dispositifs incluant un guide d’onde et un système d’extraction activable. L'objectif est, d'une part, de sélectionner les matériaux et procédés technologiques adaptés pour former des lignes d'adressage photoniques et, d'autre part, d'associer les composants réalisés avec des éléments actifs permettant d’initier ou non l’extraction d’un guide d’onde. Le dispositif doit être transparent dans le visible afin de respecter les contraintes liées au secteur de l'optique ophtalmique. Dans un premier axe de recherche, des réseaux de diffraction micrométriques sont réalisés grâce au développement d’un procédé de photolithographie sur verre avant d’être imprégnés de cristaux liquides via la formation de cellules. La caractérisation, en transmission, des dispositifs formés permet d’étudier la capacité des molécules de cristal liquide à moduler l'intensité de diffraction pour passer d’un état diffractant à un état non diffractant. Une extinction de la diffraction de 90 à 99,9% selon l'épaisseur des structures est finalement mesurée avec l’application d’un champ électrique dans la cellule. La comparaison de ces résultats avec des calculs numériques permet de confirmer l’alignement des molécules à l’intérieur de la structure ainsi que leurs mobilités sous l’effet d’un champ électrique. Ce principe est, dans un second temps, étudié avec des composants photoniques et la réalisation de GMRF (Guided Mode Resonance Filter), association d'un guide d'onde et d'un réseau de diffraction. Des matériaux issus de la chimie sol-gel sont utilisés pour former des guides d'onde planaires et le développement d’un procédé de lithographie par nano-impression nous a permis d’obtenir les structures nanométriques requises. Divers bancs de caractérisation optique sont alors mis en place pour aboutir à plusieurs méthodes de couplage permettant d’obtenir une onde guidée dans le visible. Finalement, nous avons mesuré une modulation de 90% de l’intensité extraite par le GMRF via l’activation des cristaux liquides. / Ces travaux de thèse sont une contribution au projet de réalisation de matrices actives photoniques dans le cadre de la confection de lunettes à réalité augmentée. Un état de l’art des dispositifs actuels nous a permis de montrer l’encombrement engendré par l’utilisation d’un projecteur situé sur la monture. Pour s’en abstenir, l’utilisation du verre de lunette comme source d’image est limitée par la transparence des matrices actives classiques adressant un signal électrique avec des matériaux métalliques. L’utilisation de la photonique pour adresser chacun des pixels avec un signal optique guidée dans des matériaux diélectriques pourrait permettre d’en optimiser la transmission. Dans ce contexte, nos travaux concernent l’étude et la réalisation expérimentale de dispositifs incluant un guide d’onde et un système d’extraction activable. L'objectif est, d'une part, de sélectionner les matériaux et procédés technologiques adaptés pour former des lignes d'adressage photoniques et, d'autre part, d'associer les composants réalisés avec des éléments actifs permettant d’initier ou non l’extraction d’un guide d’onde. Le dispositif doit être transparent dans le visible afin de respecter les contraintes liées au secteur de l'optique ophtalmique. Dans un premier axe de recherche, des réseaux de diffraction micrométriques sont réalisés grâce au développement d’un procédé de photolithographie sur verre avant d’être imprégnés de cristaux liquides via la formation de cellules. La caractérisation, en transmission, des dispositifs formés permet d’étudier la capacité des molécules de cristal liquide à moduler l'intensité de diffraction pour passer d’un état diffractant à un état non diffractant. Une extinction de la diffraction de 90 à 99,9% selon l'épaisseur des structures est finalement mesurée avec l’application d’un champ électrique dans la cellule. La comparaison de ces résultats avec des calculs numériques permet de confirmer l’alignement des molécules à l’intérieur de la structure ainsi que leurs mobilités sous l’effet d’un champ électrique. Ce principe est, dans un second temps, étudié avec des composants photoniques et la réalisation de GMRF (Guided Mode Resonance Filter), association d'un guide d'onde et d'un réseau de diffraction. Des matériaux issus de la chimie sol-gel sont utilisés pour former des guides d'onde planaires et le développement d’un procédé de lithographie par nano-impression nous a permis d’obtenir les structures nanométriques requises. Divers bancs de caractérisation optique sont alors mis en place pour aboutir à plusieurs méthodes de couplage permettant d’obtenir une onde guidée dans le visible. Finalement, nous avons mesuré une modulation de 90% de l’intensité extraite par le GMRF via l’activation des cristaux liquides.

Le système T.A.C. a été conçu avec l'objectif de proposer un nouveau mode de communication distant. Lorsqu'un opérateur a besoin d'être assisté sur une tâche manuelle, les supports techniques classiques comme le téléphone ou la visioconférence montrent rapidement leurs limites en termes d'interaction humaine. En permettant à un expert distant de voir exactement ce que l'opérateur voit, il peut interagir avec lui en temps réel grâce à la réalité augmentée via un paradigme d'interaction adéquat que nous avons nommé " Picking Outlining Adding ". En guidant l'opérateur grâce à des indices virtuels, l'expert lève les ambiguïtés de langage et les difficultés de communication sont évitées. Les opérations sont ainsi plus facilement exécutées. Les expérimentations que nous avons menées vont dans ce sens, montrant l'efficacité de ce nouveau mode de communication. Qui plus est, les principes d'interactions sont suffisamment généraux pour dépasser le cadre original de la maintenance industrielle.

Dans cette thèse, nous proposons la mise en place d'un système de réalité augmentée fondé sur le son 3D et la sonification, ayant pour objectif de fournir les informations nécessaires aux non- voyants pour un déplacement fiable et sûr. La conception de ce système a été abordée selon trois axes. L'utilisation de la synthèse binaurale pour générer des sons 3D est limitée par le problème de l'individualisation des HRTF. Une méthode a été mise en place pour adapter les individus aux HRTF en utilisant la plasticité du cerveau. Évaluée avec une expérience de localisation, cette méthode a permis de montrer les possibilités d'acquisition rapide d'une carte audio-spatiale virtuelle sans utiliser la vision. La sonification de données spatiales a été étudiée dans le cadre d'un système permettant la préhension d'objet dans l'espace péripersonnel. Les capacités de localisation de sources sonores réelles et virtuelles ont été étudiées avec un test de localisation. Une technique de sonification de la distance a été développée. Consistant à relier le paramètre à sonifier aux paramètres d'un effet audio, cette technique peut être appliquée à tout type de son sans nécessiter d'apprentissage supplémentaire. Une stratégie de sonification permettant de prendre en compte les préférences des utilisateurs a été mise en place. Les " morphocons " sont des icônes sonores définis par des motifs de paramètres acoustiques. Cette méthode permet la construction d'un vocabulaire sonore indépendant du son utilisé. Un test de catégorisation a montré que les sujets sont capables de reconnaître des icônes sonores sur la base d'une description morphologique indépendamment du type de son utilisé.

Cette dissertation décrit le design, implémentation et évaluation de nouvelles applications en Réalité Augmentée Spatiale (RAS). Ces applications sont concentrées sur l'amélioration du dessin physique tel que les dessins au crayons ou peintures en projetant des outils numériques.Tout d'abord, nous décrivons notre système de RAS et ses possibilités. Il prend en comptes les paramètres internes et externes d'un couple caméra/projecteur pour permettre une projection précise sur des feuilles de papier. De plus, il permet la détection du toucher des feuilles et de la position de la main au dessus de celles-ci grâce à une caméra de profondeur. Par conséquent, il permet la création d'écrans tactiles interactifs sur des feuilles de papier posées sur une table.Ensuite, nous nous penchons sur la création d'art visuel, plus précisément sur les premières étapes de la création quand l'artiste créer la structure. Nous offrons la possibilité de créer et d'éditer des lignes de construction numériques (LCN) projetées sur le papier. Ces outils sont des outils de Réalité Augmentée (RA), c'est-à-dire qu'ils s'ajoutent aux outils existants: toute l'interface utilisateur est sur la table, et l'utilisateur n'utilise jamais ni une souris, ni un clavier ni un écran. En plus des simples LCN (lignes et courbes), nous proposons une spécialisation pour les dessins spécifiques tels que les dessins en perspective, les dessins de personnages ainsi que les dessins à partir d'un modèle 3D. Nous proposons de nouvelles méthodes pour afficher et interagir avec des objets 3D sur papier. Nous proposons également de créer des dessins mixtes:art visuel interactif qui tire parti à la fois des possibilités physiques et numériques.Pour finir, nous décrivons des nouveaux usages pour notre système de RAS de nombreux contextes différents à travers des démonstrations publiques. L'acceptabilité de ce genre de système a été très bonne, et "magique" par la plupart des utilisateurs. Ils ont juste vu et interagis avec des feuilles de papier sans remarquer le système de projection et suivi.