La réalité augmentée (RA) est un paradigme informatique non conventionnel dans lequel l’utilisateur interagit naturellement avec des ordinateurs en visualisant des informations en 3D et en interagissant physiquement avec du contenu virtuel. L’insertion de contenu 3D dans l’environnement nécessite que l’appareil informatique mesure le monde qui nous entoure. Les capteurs sont cependant physiquement limités et renvoient des informations brutes incomplètes ou complexes. Distiller ces données en concepts plus abstraits est donc nécessaire pour permettre de raisonner sur des concepts tels que la géométrie ou l’interaction de la lumière avec la scène. Dans cette thèse, nous explorons une question critique dans le contexte de la RA : comment les caméras de qualité grand public et les approches basées sur les données peuvent-elles être combinées pour parvenir à un raisonnement 3D du monde pour les problèmes fondamentaux de la RA ? Nous répondons à cette affirmation en nous concentrant sur trois objectifs importants couramment rencontrés dans la plupart des applications de réalité augmentée. Tout d’abord, nous estimons une pose 3D robuste de diverses instances d’objets dans des séquences temporelles à l’aide d’une seule caméra RGB-D. Notre nouvelle méthode d’apprentissage par réseaux profond permet une estimation robuste et précise de la pose malgré la présence d’occlusion. De plus, nous améliorons la stratégie d’évaluation de suiveurs d’objets en six degrées de libertés avec une méthodologie méticuleuse et un nouvel ensemble de données. Nous démontrons que l’utilisation du système de coordonnées de l’objet estimé nous permet d’éffectuer le rendu de contenu virtuel sur des objets inanimés. Deuxièmement, nous détectons les articulations du haut du corps en 3D à l’aide d’un casque de réalité virtuelle muni de plusieurs caméras pour améliorer les interactions entre le contenu humain et virtuel. Notre méthode tire partie des multiples caméras à large champ de vision sur l’appareil pour estimer une position 3D précise des articulations du corps de l’utilisateur. L’architecture du réseau neuronal utilise explicitement la géométrie projective de chaque caméra pour estimer les caractéristiques 3D pouvant être utilisées lors de la régression des positions des différentes articulations ainsi que d’autres tâches telles que la segmentation du corps. Nos expériences démontrent que l’utilisation de sources de supervision faibles améliore la précision du suiveur tout en permettant de collecter des données qui ne contiennent pas de position d’articulation 3D en vérité terrain. Enfin, nous proposons une méthode pour raisonner sur des conditions de lumière variant dans l’espace à partir d’une seule image couleur. Estimer uniquement l’éclairage global n’est pas précis lorsque les sources lumineuses sont proches du sujet et lorsque les objets de la scène occultent les sources lumineuses, un scénario courant dans les scènes d’intérieur. Notre méthode prend une image couleur et une coordonnée iii d’image 2D comme entrée pour estimer une représentation harmonique sphérique de la lumière à ce point de la scène. Nous montrons que les prédictions sont cohérentes avec les sources de lumière 3D et l’occlusion. La méthode est également une solution en temps réel en utilisant une architecture légère et des harmoniques sphériques pour effectuer des rendus rapidement. Chacun de ces objectifs est soutenu par des expériences approfondies et des analyses de résultats et, espérons-le, aide à combler le fossé vers de meilleures expériences utilisateur en RA. / Augmented Reality (AR) is an unconventional computing paradigm where the user interacts naturally with machines by visualizing information in 3D and physically interacting with virtual content. Inserting 3D content in the environment requires the computing device to measure the world surrounding us. Sensors are however physically limited and return incomplete or complex raw information. Distilling this data in more abstract concepts is thus mandatory to allow reasoning about numerous concepts such as geometry or light interaction with the scene. In this thesis, we explore a critical question in the context of AR: how consumer grade cameras and data-driven approaches can be combined to achieve 3D reasoning of the world for fundamental AR problems? We address this statement by focusing on three important objectives commonly encountered in most augmented reality applications. First, we estimate a robust 3D pose of various object instances in temporal sequences using a single RGB-D camera. Our novel deep learning framework allows robust and accurate pose estimation despite the presence of occlusion. We further improve the evaluation strategy of 6 DOF object trackers with a meticulous methodology and challenging new dataset. We demonstrate that using the estimated object reference allows us to render virtual content over inanimate objects. Second, we detect the upper body joints in 3D using an off-the-shelf head mounted display (HMD) to improve human and virtual content interactions. Our method takes advantage of the multiple wide field of view cameras on the HMD to estimate an accurate 3D position of the user body joints. The neural network architecture explicitly uses the projective geometry of each cameras to estimate 3D features that can be used to regress the joint position and other tasks such as body segmentation. Our experiments demonstrate that using weak sources of supervision enhance the accuracy of the tracker while allowing to gather data that does not contain ground truth 3D joint position. Finally, we propose a method to reason about spatially-varying light conditions from a single RGB image. Estimating only global lighting does not provide accurate illumination when light sources are near the subject and when objects in the scene occlude the light sources, a common scenario in indoor scenes. Our method takes an RGB image and 2D image coordinate as input to estimate a spherical harmonic representation of light at that point in the scene. We show that the predictions are consistent with 3D light sources and occlusion. The method is also a real-time solution for the full render pipeline by using a lightweight architecture and spherical harmonics. Each of these objectives is supported by extensive experiments and result analyzes and hopefully help closing the gap to better AR experiences.

La réalité augmentée (RA) est un paradigme informatique non conventionnel dans lequel l'utilisateur interagit naturellement avec des ordinateurs en visualisant des informations en 3D et en interagissant physiquement avec du contenu virtuel. L'insertion de contenu 3D dans l'environnement nécessite que l'appareil informatique mesure le monde qui nous entoure. Les capteurs sont cependant physiquement limités et renvoient des informations brutes incomplètes ou complexes. Distiller ces données en concepts plus abstraits est donc nécessaire pour permettre de raisonner sur des concepts tels que la géométrie ou l'interaction de la lumière avec la scène. Dans cette thèse, nous explorons une question critique dans le contexte de la RA : comment les caméras de qualité grand public et les approches basées sur les données peuvent-elles être combinées pour parvenir à un raisonnement 3D du monde pour les problèmes fondamentaux de la RA ? Nous répondons à cette affirmation en nous concentrant sur trois objectifs importants couramment rencontrés dans la plupart des applications de réalité augmentée. Tout d'abord, nous estimons une pose 3D robuste de diverses instances d'objets dans des séquences temporelles à l'aide d'une seule caméra RGB-D. Notre nouvelle méthode d'apprentissage par réseaux profond permet une estimation robuste et précise de la pose malgré la présence d'occlusion. De plus, nous améliorons la stratégie d'évaluation de suiveurs d'objets en six degrées de libertés avec une méthodologie méticuleuse et un nouvel ensemble de données. Nous démontrons que l'utilisation du système de coordonnées de l'objet estimé nous permet d'éffectuer le rendu de contenu virtuel sur des objets inanimés. Deuxièmement, nous détectons les articulations du haut du corps en 3D à l'aide d'un casque de réalité virtuelle muni de plusieurs caméras pour améliorer les interactions entre le contenu humain et virtuel. Notre méthode tire partie des multiples caméras à large champ de vision sur l'appareil pour estimer une position 3D précise des articulations du corps de l'utilisateur. L'architecture du réseau neuronal utilise explicitement la géométrie projective de chaque caméra pour estimer les caractéristiques 3D pouvant être utilisées lors de la régression des positions des différentes articulations ainsi que d'autres tâches telles que la segmentation du corps. Nos expériences démontrent que l'utilisation de sources de supervision faibles améliore la précision du suiveur tout en permettant de collecter des données qui ne contiennent pas de position d'articulation 3D en vérité terrain. Enfin, nous proposons une méthode pour raisonner sur des conditions de lumière variant dans l'espace à partir d'une seule image couleur. Estimer uniquement l'éclairage global n'est pas précis lorsque les sources lumineuses sont proches du sujet et lorsque les objets de la scène occultent les sources lumineuses, un scénario courant dans les scènes d'intérieur. Notre méthode prend une image couleur et une coordonnée d'image 2D comme entrée pour estimer une représentation harmonique sphérique de la lumière à ce point de la scène. Nous montrons que les prédictions sont cohérentes avec les sources de lumière 3D et l'occlusion. La méthode est également une solution en temps réel en utilisant une architecture légère et des harmoniques sphériques pour effectuer des rendus rapidement. Chacun de ces objectifs est soutenu par des expériences approfondies et des analyses de résultats et, espérons-le, aide à combler le fossé vers de meilleures expériences utilisateur en RA. / Augmented Reality (AR) is an unconventional computing paradigm where the user interacts naturally with machines by visualizing information in 3D and physically interacting with virtual content. Inserting 3D content in the environment requires the computing device to measure the world surrounding us. Sensors are however physically limited and return incomplete or complex raw information. Distilling this data in more abstract concepts is thus mandatory to allow reasoning about numerous concepts such as geometry or light interaction with the scene. In this thesis, we explore a critical question in the context of AR: how consumer grade cameras and data-driven approaches can be combined to achieve 3D reasoning of the world for fundamental AR problems? We address this statement by focusing on three important objectives commonly encountered in most augmented reality applications. First, we estimate a robust 3D pose of various object instances in temporal sequences using a single RGB-D camera. Our novel deep learning framework allows robust and accurate pose estimation despite the presence of occlusion. We further improve the evaluation strategy of 6 DOF object trackers with a meticulous methodology and challenging new dataset. We demonstrate that using the estimated object reference allows us to render virtual content over inanimate objects. Second, we detect the upper body joints in 3D using an off-the-shelf head mounted display (HMD) to improve human and virtual content interactions. Our method takes advantage of the multiple wide field of view cameras on the HMD to estimate an accurate 3D position of the user body joints. The neural network architecture explicitly uses the projective geometry of each cameras to estimate 3D features that can be used to regress the joint position and other tasks such as body segmentation. Our experiments demonstrate that using weak sources of supervision enhance the accuracy of the tracker while allowing to gather data that does not contain ground truth 3D joint position. Finally, we propose a method to reason about spatially-varying light conditions from a single RGB image. Estimating only global lighting does not provide accurate illumination when light sources are near the subject and when objects in the scene occlude the light sources, a common scenario in indoor scenes. Our method takes an RGB image and 2D image coordinate as input to estimate a spherical harmonic representation of light at that point in the scene. We show that the predictions are consistent with 3D light sources and occlusion. The method is also a real-time solution for the full render pipeline by using a lightweight architecture and spherical harmonics. Each of these objectives is supported by extensive experiments and result analyzes and hopefully help closing the gap to better AR experiences.

Un scanner 3D portable est un appareil manuel qui permet de convertir un objet réel en un modèle 3D numérique de l’objet. De nos jours, les scanners 3D portables sont utilisés dans plusieurs secteurs de notre société, comme l’industrie manufacturière, la santé, le divertissement ou l’archéologie. Pour numériser un objet, l’utilisateur doit pointer le scanner vers l’objet et le déplacer autour de l’objet afin d’acquérir l’entièreté de sa surface. Pour faciliter la tâche de l’utilisateur, la plupart des scanners 3D portables modernes comprennent une interface graphique qui offre une visualisation de la surface reconstruite en temps réel. Cette rétroaction est essentielle car elle permet à l’utilisateur d’ajuster la trajectoire du scanner en fonction de ce qui reste à numériser. Or, l’écran comporte certains inconvénients sur le plan de l’utilisabilité. Dans ce projet de recherche, nous proposons donc une alternative aux écrans en exploitant la technologie des casques de réalité augmentée. Notre solution consiste à superposer le scan directement par-dessus l’objet réel grâce au casque de réalité augmentée. Afin de valider la faisabilité de la solution proposée, nous avons développé un prototype basé sur le système de reconstruction 3D KinectFusion et sur le système de réalité virtuelle HTC Vive Pro. / A portable 3D scanner is a handheld device that can convert a real object into a digital 3D model of the object. Nowadays, portable 3D scanners are used in many sectors of our society, such as manufacturing, healthcare, entertainment or archeology. To scan an object, the user must point the scanner at the object and move it around the object in order to acquire the entirety of its surface. To help the user accomplish this task, most modern portable 3D scanners include a graphical user interface that offers a visualization of the reconstructed surface in real time. This feedback is essential since it allows the user to adjust the trajectory of the scanner depending on what remains to be scanned. However, the computer screen has some drawbacks in terms of usability. In this research project, we propose an alternative to computer screens by using augmented reality headsets. Our solution is to superimpose the scan directly over the real object using an augmented reality headset. In order to validate the feasibility of the proposed solution, we have developed a prototype based on the KinectFusion 3D reconstruction system and the HTC Vive Pro virtual reality system.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

D'abord considérée comme un simple gadget ludique permettant d'offrir une expérience publicitaire amusante ou d'augmenter l'immersion dans des jeux grand public, la réalité augmentée a peu à peu su trouver sa place dans notre quotidien, que ce soit dans la sphère privée ou professionnelle. Cette technologie, définie comme la superposition d'éléments virtuels à la réalité, se retrouve désormais dans une multiplicité de secteurs d'activités (cosmétiques, mode, tourisme, alimentation, ameublement, industrie, etc.) offrant des expériences diverses allant de l'essayage virtuel à la personnalisation dans l'espace de consommation en passant par la projection d'hologrammes ou l'ajout de filtres sur Snapchat. La multiplicité de ses formes, des contextes d'utilisation et des expériences associées fait que la littérature sur la réalité augmentée en marketing est, certes riche, mais aussi extrêmement éparse et parfois confuse. En ce sens, cette thèse offre tout d'abord une revue systématique de la littérature sur l'utilisation de la réalité augmentée en marketing. Au travers de l'analyse de 147 articles publiés dans des revues évaluées par les pairs, ce premier article offre une description de l'état de la littérature y compris les tendances de publication, les méthodologies utilisées ou encore les théories mobilisées. Au-delà de la dimension descriptive de l'étude, l'article offre également trois contributions principales soient (1) une classification des formes de réalité augmentée basée sur les déclencheurs d'augmentation et l'objet de l'augmentation (2) un cadre intégrateur permettant de comprendre les différents effets des expériences de réalité augmentée sur les réactions, perceptions, attitudes, intentions et comportements de consommateurs, et (3) des pistes de recherches futures prenant en compte l'évolution et la diversité des formes de réalité augmentée. Parmi les pistes de recherches futures mises en exergue au sein de cette revue, on retrouve la nécessité de s'intéresser aux spécificités d'un marché porteur de la réalité augmentée qui a, à ce jour, été entièrement délaissé par la littérature, le marketing B2B. En effet, bien que considérée comme une des tendances clefs du marketing B2B au cours des prochaines années, la réalité augmentée industrielle n'avait, jusqu'à présent, fait l'objet d'aucune étude. Cette thèse comble donc ce manque en développant les connaissances acquises sur l'utilisation de la technologie dans ce contexte particulier et en pavant la voie pour des recherches futures. Ainsi, l'article 2 de cette thèse est une étude qualitative basée sur une approche *stakeholder* qui vise à comprendre la valeur perçue des expériences de réalité augmentée en B2B et les différentes dimensions qui la composent. Au travers de 15 entretiens en profondeur menés auprès de différents acteurs (vendeurs utilisant des outils de réalité augmentée, développeur de réalité augmentée et acheteurs), l'étude permet de mettre en exergue 8 valeurs clefs des expériences de réalité augmentée en B2B réparties en 3 catégories : cognitive (informationnelle, innovation, bénéfices professionnels et qualité), affective (ludique et effet WOW) et sociale (partage et relationnelle). La mise en valeur de ces différentes valeurs permet de comprendre les spécificités de ces expériences dans le contexte particulier du B2B et d'ainsi ouvrir la porte au développement d'un outil de mesure adapté. L'article 3 de cette thèse se base donc sur les constats associés à l'étude qualitative réalisée dans l'article 2, sur l'analyse des dimensions des expériences de réalité augmentée issues de l'article 1 et sur une revue de littérature approfondie des expériences en B2B pour conceptualiser et proposer un instrument de mesure des expériences de réalité augmentée en B2B. Les différentes étapes de développement de l'échelle, incluant une étude quantitative basée sur une méthode de scénario menée auprès de 126 acheteurs, ont permis de valider un outil de mesure de la valeur perçue de l'expérience composée de 3 dimensions (cognitive, affective et relationnelle) incluant 7 valeurs et 27 items. Les validités de contenu, convergente, discriminante et nomologique ont été vérifiées. Cette échelle constitue donc un outil adapté pour la recherche, mais aussi pour les entreprises permettant de comprendre, mesurer et évaluer les expériences de réalité augmentée dans le contexte spécifique du B2B. Dans son ensemble, cette thèse contribue au développement des connaissances associées à l'utilisation de la réalité augmentée en marketing et plus particulièrement à la valeur perçue des expériences qui lui sont associées en B2B. Elle permet donc d'abord aux recherches futures de pouvoir s'appuyer sur des constats, une classification et des pistes de recherches futures à jour associés à l'utilisation de la réalité augmentée. Pour le cas particulier de la réalité augmentée en B2B, elle offre une compréhension globale et une conceptualisation des expériences de RA ainsi qu'une échelle de mesure adaptée au contexte. Elle offre donc un socle solide pour le développement des connaissances sur l'utilisation et les effets de la réalité augmentée dans le marketing B2B. De plus, une telle conceptualisation des expériences de réalité augmentée et un tel outil de mesure permettent également d'accompagner les entreprises dans le développement, l'évaluation et l'amélioration des expériences de réalité augmentée offertes afin d'optimiser les investissements réalisés dans la technologie. / Originally considered as a simple gadget used to offer a fun advertising experience or increase the immersion in mass-market games, Augmented Reality (AR) has gradually found its place in the private or professional spheres of our daily lives. This technology, defined as the superimposition of virtual elements on reality, can now be found in a lot of sectors (e.g., cosmetics, fashion, tourism, food, furniture, industry, etc.) offering diverse experiences like virtual fitting rooms, personalization of virtual products directly in the consumer's environment, the projection of holograms or filters on Snapchat. The diversity of AR forms, their contexts of use and associated experiences makes the literature on AR in marketing, rich but extremely sparse and sometimes confusing. In this sense, this thesis first offers a systematic review of the literature on the use of augmented reality in marketing. Through the analysis of 147 articles published in peer-reviewed journals, this first article offers a description of the literature, including publication trends, methodologies used, and theories used. Beyond the descriptive dimension of the study, it also offers three main contributions: (1) a classification of forms of AR based on the triggers of augmentation and the object of the augmentation (2) an integrative framework that allows us to understand the different effects of AR experiences on consumer reactions, attitudes, intentions and behaviors, and (3) avenues for future research that take into account the evolution and diversity of the different forms of AR. Among the avenues of future research highlighted in this systematic review, we find the need to focus on the specificities of a market that is a growth area for AR but has been entirely neglected by the literature, namely B2B marketing. Although it is considered one of the key trends in B2B marketing in the coming years, industrial AR has not been the subject of any study until now. This thesis therefore fills this gap by developing the knowledge acquired on the use of the technology in this particular context and by paving the way for future research. Indeed, article 2 of this thesis is a qualitative study based on a stakeholder approach that aims to understand the perceived value of AR experiences in B2B and its different dimensions. Through 15 in-depth interviews conducted with different actors (sellers using AR tools, AR developers and buyers), the study highlights 8 values of AR experiences in B2B divided into 3 categories: cognitive (informational, innovation, business benefits and quality), affective (playfulness and WOW effect) and social (sharing and relational). By highlighting these different values, we can understand the specificities of AR experiences in the context of B2B and thus open the door to the development of an adapted measurement scale. Thus, Article 3 of this thesis builds on the findings associated with the qualitative study conducted in Article 2, the analysis of the dimensions of AR experiences from Article 1, and an extensive literature review of B2B experiences to conceptualize and propose a measurement scale for AR experiences in B2B. The different stages of development of the scale, including a quantitative study based on a scenario method conducted with 126 buyers, allowed us to validate a scale of the perceived value of the AR experience in B2B composed of 3 dimensions (cognitive, affective, and relational) including 7 values and 27 items. The content, convergent, discriminant and nomological validities were verified. This scale thus provides a tool for researchers and professionals to understand, measure and evaluate AR experiences in the specific context of B2B. Overall, this thesis contributes to the development of knowledge associated with the use of AR in marketing, and more specifically to the perceived value of the experiences associated with it in B2B. It therefore allows future research to rely on up-to-date findings, classification and future research avenues associated with the use of AR. For the specific case of AR in B2B, it offers a global understanding and conceptualization of experiences as well as a measurement scale adapted to the context. As such, it provides a strong foundation for developing knowledge about the use and effects of AR in B2B marketing. Furthermore, such a conceptualization of AR experiences and a measurement tool also allows to support companies in developing, evaluating, and improving their AR experiences in order to optimize the investments made in the technology.

Afin d'explorer l'utilisabilité de technologies de réalité augmentée pour s'interfacer avec le logiciel de numérisation 3D des capteurs Creaform, les Hololens de Microsoft ont été retenues pour ses différentes fonctionnalités. Un emploi envisagé pour ce système était d'utiliser les Hololens pour inspecter un modèle 3D numérisé en le superposant sur l'objet qu'il représente.Ce mémoire décrit les étapes menant à l'obtention de ce résultat et les lacunes de cette approche. Pour numériser la surface d'un objet, il doit être couvert de pastilles rétro-réfléchissantes.Ces marqueurs servent de points de repère pour certains capteurs Creaform et pour l'approche présentée. Deux photos de l'objet sont prises avec les Hololens afin d'effectuer des calculs stéréoscopiques avec les marqueurs détectés. Les positions 3D de ces marqueurs sont estimées avec ces calculs et elles forment le nuage de points pour le référentiel des lunettes Hololens. Des appariements entre ce nuage de points et celui du capteur Creaform sont déduits et un alignement est calculé pour superposer le modèle 3D sur l'objet. / To explore the usability of augmented reality technologies interfacing with Creaform's 3Dscanning software, Microsoft's Hololens was chosen for its diverse functionalities. One envisioned application for this system was utilizing the Hololens to inspect a scanned 3D model by overlaying it onto the corresponding object. This document outlines the steps taken to achieve this outcome and highlights the shortcomings of this approach.To scan the surface of an object, it must be covered with retro-reflective markers. These markers serve as reference points for certain Creaform sensors and for the presented approach.Two photos of the object are taken with the Hololens to perform stereoscopic calculations with the detected markers. The 3D positions of these markers are estimated using these calculations,forming the point cloud for the Hololens reference frame. Matches between theHololens' and the Creaform's sensor point clouds are deduced, and an alignment is calculated to overlay the 3D model onto the object.

La plupart des métiers du travail de l’information requièrent maintenant de passer la majeure partie de nos journée devant un écran. Ceci s’ajoute au temps déjà consacré à ce médium dans nos temps libres pour le divertissement et la communication, que ce soit en utilisant des téléphones intelligents, tablettes ou ordinateurs. Alors que les avancées technologiques dans le domaine des écrans tactiles nous ont permis d’interagir avec ces appareils de manière plus expressive, par exemple en utilisant nos doigts pour interagir directement avec le contenu numérique, ce que nous voyons et manipulons sur écran reste “intouchable” ; nos doigts ne pouvant pénétrer la surface de l’écran pour toucher le contenu numérique qui se trouve derrière. Pour que l’interaction avec le monde numérique soit écologique dans le futur, elle doit mettre à profit l’ensemble des différentes capacités de l’humain au lieu de ne se concentrer que sur certaines d’entre elles (comme le toucher et la vision), laissant les autres sens s’atrophier. Une façon de considérer le problème est d’utiliser le monde réel physique comme support pour le monde numérique, permettant d’imaginer un futur où les objets du quotidien auront de riches et expressives fonctions numériques, tout en étant ancrés dans le monde réel. La réalité augmentée spatiale est une modalité permettant d’aller dans cette direction. Cette thèse s’intéresse principalement à deux aspects en lien avec ces objets tangibles augmentés. Dans un premier temps, nous soulevons la question de comment interagir avec du contenu numérique lorsqu’il est supporté par des objets physiques. Comme point de départ de notre investigation, nous avons étudié différentes modalités qui utilisent des dispositifs d’entrée/sortie typiquement retrouvés dans un environnement de bureau. Cette approche est justifiée par le désir d’utiliser au maximum l’expérience que les utilisateurs ont déjà acquise avec leurs outils numériques tout en se dirigeant vers un espace d’interaction comprenant des éléments physiques. Dans un second temps, nous sommes allés au delà du thème de l’interaction avec le contenu numérique pour se questionner sur le potentiel des objets tangibles augmentés comme support pour un médium plus humain. Nous avons investigué comment ces artéfacts augmentés, combinés à différents capteurs physiologiques, pourraient permettre d’améliorer notre conscience des processus internes de notre corps et de notre esprit, pour éventuellement favoriser l’introspection. Cette partie a pris la forme de deux projets où un avatar tangible a été proposé pour laisser les utilisateurs explorer et personnaliser le retour d’information sur leurs propres états internes en temps réel. / Most of our waking hours are now spent staring at a screen. While the advances in touch screens have enabled a more expressive interaction space with our devices, by using our fingers to interact with digital content, what we see and manipulate on screen is still being kept away from us, locked behind a glassy surface. The range of capabilities of the human senses is much richer than what screens can currently offer. In order to be sustainable in the future, interaction with the digital world should leverage these human capabilities instead of letting them atrophy. One way to provide richer interaction and visualization modalities is to rely on the physical world itself as a host for digital content. Spatial Augmented Reality provides a technical mean towards this idea, by using projectors to shed digitally controlled light onto real-world objects to augment them and their environment with features and content. This paves the way to a future where everyday objects will be embedded with rich and expressive capabilities, while still being anchored in the real world. In this thesis, we are interested in two main aspects related to these tangible augmented objects. In a first time, we are raising the question on how to interact with digital content when it is hosted on physical objects. As a basis for our investigation, we studied interaction modalities that leverage traditional input and output devices found in a typical desktop environment. Our rationale for this approach is to leverage the experience of users with traditional digital tools – tools which researchers and developers spent decades to make simpler and more efficient to use – while at the same time steering towards a physically enriched interaction space. In a second time, we go beyond theinteraction with the digital content of augmented objects and reflect on their potential as a humane medium support. We investigate how these augmented artifacts, combined with physiological computing, can be used to raise our awareness of the processes of our own bodies and minds and, eventually, foster introspection activities. This took the form of two different projects where we used tangible avatars to let users explore and customize real-time physiological feedback of their own inner states.

Le travail présenté dans ce manuscrit se situe dans le domaine de la réalité augmen- tée. Dans le contexte de la réalité augmentée, il est nécessaire de calculer la position relative entre la caméra et la scène en temps réel. Cette thèse présente une méthode complète de calcul de pose reposant sur l'utilisation de structures planes présentes dans les environnements urbains intérieurs et extérieurs. Le suivi de pose est effectué à l'aide d'une caméra bas coût et d'un capteur inertiel. Notre approche consiste à tirer parti des plans pour faciliter le calcul de la pose. Les homographies obtenues par un algorithme de suivi dans l'image de régions planes, présenté dans cette thèse, servent de mesures à notre méthode de localisation et car- tographie simultanées. Cette méthode de SLAM permet d'assurer un suivi de la pose robuste tout en permettant une reconstruction de la scène 3D et fonctionnant sur le long terme en propageant les incertitudes des mesures. Des travaux sur la sélection des régions à suivre et sur l'initialisation des paramètres des plans, correspondant à ces régions, sont également présentés. Des expériences en simulation et sur des séquences d'images réelles montrent la validité de notre approche.

Cette thèse a été réalisée dans le cadre d’un projet intitulé Localisation et Réalité Augmentée (LRA). Mettant en relation plusieurs structures industrielles et universitaires, ce projet était appliqué à la fois au domaine ferroviaire et aux voitures autonomes. Elle aborde trois questions principales relatives à la conception des interfaces Humain-Machine dans les voitures autonomes : quelles informations faut-il présenter au conducteur ? Sous quelle forme ? À quel moment ou dans quel contexte ? Elle vise, au travers des réponses apportées à ces questions, à rendre le système « transparent », de façon à susciter une calibration de la confiance appropriée du conducteur en la voiture autonome mais aussi à susciter une expérience utilisateur satisfaisante. Nous nous sommes focalisés en particulier sur la tâche de changement de voie réalisée entièrement réalisée par la voiture autonome. Pour atteindre cet objectif, nous avons déployé une méthodologie comportant cinq étapes. Sur la base du modèle de LYONS (2013), des principes généraux de transparence ont été définis, et ont ensuite été opérationnalisées grâce à la démarche Cognitive Work Analysis. La forme des informations utiles ou potentiellement utiles au conducteur a été définie lors de de séances de créativité et en utilisant la Réalité Augmentée qui est au cœur du projet LRA. Ces informations ont été catégorisées selon les différentes fonctions dont elles résultent (prise d’information, analyse de l’information, prise de décision, implémentation de l’action). Cinq interfaces ont été conçues ; elles présentent des informations relevant de tout ou partie de ces 4 catégories. Elles représentent donc des niveaux de transparence plus ou moins élevés. La validité des principes de transparence a été éprouvée grâce à une expérimentation menée sur simulateur, auprès d’un échantillon de 45 personnes, durant laquelle différents indicateurs des activités cognitives et de l’Expérience Utilisateur ont été mesurés. L’analyse de ces données conduit à mettre en évidence des différences entre les cinq interfaces. L’interface présentant les informations issues des fonctions « prise d’information » et « implémentation de l’action » facilite les activités cognitives du conducteur/ Superviseur. Du point de vue de l’Expérience Utilisateur, c’est l’interface présentant toutes les catégories d’informations qui s’est distinguée des autres. / This doctoral thesis was conducted under the canopy of the Localization and Augmented Reality (LAR) project. The research project was focused on railway yard and autonomous vehicles. The thesis provides answers to three main questions about the Human-Machine interface design in autonomous vehicles: Which information should be conveyed to the human agent? In which form? And when? Answers will enable an appropriate trust calibration of the human agent in the autonomous vehicle and improve driver’s experience by making automation “transparent”. We focus especially on the lane changing task entirely realized by the autonomous vehicle. The aim and the objectives were achieved by a five-steps methodology. Some general principles of transparency have been redefined on the LYONS (2013) model. These principles have been then operationalized by means of Cognitive Work Analysis. Graphical representation of useful information or potentially useful information was defined during creative sessions, by using Augmented Reality that lies at the heart of the LAR project. This information was categorized according to the functions from which it results: information acquisition, information analysis, decision making and action execution. Five interfaces were designed. Each of these interfaces presents information from some of these functions. Therefore, these interfaces corresponded to different transparency configurations more or less high. The validity of transparency principles was tested through an experiment on driving simulator with a sample of 45 participants. In this experiment, some indicators of cognitive activities and User Experience were measured. Data analysis has led to some differences between 5 interfaces. Indeed, the interface with related information to “information acquisition” and “action execution” functions improves the cognitive activities of the human agent. Considering the User Experience, it is the interface with the information related from the 4 functions which provides the best User Experience.

Estimer la pose de la caméra est un défi fondamental en réalité augmentée et permet la superposition d’un modèle à la réalité. Estimer précisément la pose est souvent critique en ingénierie d’infrastructures. Les images omnidirectionnelles ont un champ de vision supérieur aux images planaires communément utilisées en RA. Cette propriété peut bénéficier à l’estimation de la pose. Or, aucun travail ne présente de résultats montrant clairement un gain de précision. Notre objectif est de quantifier la précision de l’estimation de pose omnidirectionnelle et la tester en pratique. Nous proposons une méthode d’estimation de pose pour images omnidirectionnelles et en avons mesuré la précision par des simulations automatisées. Les résultats obtenus confirment que le champ de vision large des images omnidirectionnelles permet d’atteindre une précision de pose supérieure à celle d’images planaires. Nous avons également testé notre méthode sur des données tirées d’environnements réels et discutons les défis et limitations à son utilisation en pratique. / Camera pose estimation is a fundamental problem of augmented reality, and enables registration of a model to the reality. An accurate estimate of the pose is often critical in infrastructure engineering. Omnidirectional images cover a larger field of view than planar images commonly used in AR. This property can be beneficial to pose estimation. However, no existing work present results clearly showing accuracy gains. Our objective is therefore to quantify the accuracy of omnidirectional pose estimation and test it in practice. We propose a pose estimation method for omnidirectional images and have measured its accuracy using automated simulations. Our results show that the large field of view of omnidirectional images increases pose accuracy, compared to poses from planar images. We also tested our method in practice, using data from real environments and discuss challenges and limitations to its use in practice.