Les recherches menées au cours de cette thèse de Doctorat s'inscrivent dans les activités du laboratoire commun OPERA (OPtique EmbaRquée Active) impliquant ESSILOR-LUXOTTICA et le CNRS. L’objectif est de contribuer au développement des “lunettes du futur” intégrant des fonctions d'obscurcissement, de focalisation ou d'affichage qui s’adaptent en permanence à la scène et au regard de l’utilisateur. Ces nouveaux dispositifs devront être dotés de capacités de perception, de décision et d’action, et devront respecter des contraintes d'encombrement, de poids, de consommation énergétique et de temps de traitement. Ils présentent par conséquent des connexions évidentes avec la robotique. Dans ce contexte, les recherches ont consisté à investiguer la structure et la construction de tels systèmes afin d’identifier leurs enjeux et difficultés. Pour ce faire, la première tâche a été de mettre en place des émulateurs de divers types de lunettes actives, qui permettent de prototyper et d’évaluer efficacement diverses fonctions. Dans cette phase de prototypage et de test, ces émulateurs s’appuient naturellement sur une architecture logicielle modulaire typique de la robotique. La seconde partie de la thèse s'est focalisée sur le prototypage d’un composant clé des lunettes du futur, qui implique une contrainte supplémentaire de basse consommation : le système de suivi du regard, aussi appelé oculomètre. Le principe d’un assemblage de photodiodes et d’un traitement par réseau de neurones a été proposé. Un simulateur a été mis au point, ainsi qu’une étude de l'influence de l'agencement des photodiodes et de l’hyper-paramétrisation du réseau sur les performances de l'oculomètre. / The research carried out during this doctoral thesis takes place within the OPERA joint laboratory (OPtique EmbaRquée Active) involving ESSILOR-LUXOTTICA and the CNRS. The aim is to contribute to the development of "glasses of the future", which feature obscuration, focus or display capabilities that continuously adapt to the scene and the user gaze. These new devices will be endowed with perception, decision and action capabilities, and will have to respect constraints of space, weight, energy consumption and processing time. They therefore show obvious connections with robotics. In this context, the structure and building of such systems has been investigated in order to identify their issues and difficulties. To that end, the first task was to set up emulators of various types of active glasses, which enable the prototyping and effective testing of various functions. In this prototyping and testing phase, these emulators naturally rely on a modular software architecture typical of robotics. The second part of the thesis focused on the prototyping of a key component which implies an additional constraint on low consumption, namely the eye tracking system, also known as gaze tracker. The principle of a photodiode assembly and of a neural network processing has been proposed. A simulator has been developed, as well as a study of the influence of the arrangement of photodiodes and the hyper-parametrization of the network on the performance of the oculometer.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Cette étude s'intéresse particulièrement à l'essai de produits de beauté et d'esthétique en ligne à l'aide d'une application de réalité augmentée (RA). Dans cette étude, la RA utilisée prend la forme de l'essayage de produits de beauté et d'esthétique à l'aide du miroir virtuel (virtual try-on ou VTO). Il s'agit d'examiner les effets de ces miroirs, particulièrement les effets du flux de l'expérience de RA et des émotions ressenties lors de cette expérience sur la satisfaction des consommatrices ainsi que sur l'intention de recommander et l'intention de revivre l'expérience de RA. Cette étude examine l'effet du flux de l'expérience de RA sur les réactions émotionnelles des consommatrices. À leur tour, les réactions émotionnelles influencent la satisfaction avec l'expérience de RA. Enfin, la satisfaction influence l'intention de recommander l'expérience et l'intention de revivre (réutiliser) l'expérience de RA. Afin de tester ce cadre conceptuel, un sondage en ligne a été mené auprès de 661 répondantes s'identifiant comme des femmes provenant des États-Unis qui avaient essayé, dans les deux derniers mois au moins, une des applications suivantes: Sephora, L'Oréal, Ulta Beauty ou MakeupPlus App. Les résultats de l'analyse des données montrent que le flux de l'expérience de RA influence positivement les émotions ressenties pendant l'expérience de RA, qui, à leur tour, influencent positivement la satisfaction avec l'expérience de RA. Cette dernière influence l'intention de recommander et l'intention de revivre l'expérience de RA des participantes. Les données recueillies dans le cadre de cette étude appuient les résultats des recherches précédentes en ce qui concerne l'effet positif du flux d'une expérience sur les émotions ressenties et de l'effet positif des émotions ressenties lors de l'expérience de RA sur la satisfaction avec l'expérience de RA qui, par la suite, exerce une influence positive sur l'intention des participantes de recommander et de revivre l'expérience de RA. Cette étude se différencie des autres, car ces variables sont appliquées dans le contexte spécifique qu'est celui des applications d'essai virtuel de produits de beauté et d'esthétique. Les résultats de cette étude aideront les gestionnaires et les équipes de distribution et de vente dans le domaine à comprendre les besoins des consommatrices en matière d'expérience d'essai virtuel de produits de beauté et d'esthétique. Ceux-ci pourront explorer les effets observés dans cette recherche et inclure le rôle des émotions dans leurs expériences de RA. / This study focuses on online beauty and aesthetics product trial using an augmented reality (AR) application. In this study, the AR used takes the form of trying on beauty and aesthetic products using virtual try-on (VTO). The aim is to examine the effects of these mirrors, particularly the flow effects of the AR experience and of the emotions felt during this experience on the satisfaction of consumers as well as on their behavioral intentions. This study examines the effect of the flow of the AR experience on consumers' emotional reactions. In turn, emotional reactions influence satisfaction with the AR experience. Finally, satisfaction influences the intention to recommend the experience and the intention to re-experience (reuse) the experience. In order to test this conceptual framework, an online survey was conducted with 661 self-identified female respondents from the United States who had tried at least one of the following apps in the past two months: Sephora, L'Oreal, Ulta Beauty, or MakeupPlus App. The results of the data analysis show that the flow of the AR experience influences the emotions felt during the AR experience, which in turn positively influences the satisfaction with participants' behavioral intentions. The data collected in the AR experience. The latter influences this study supports previous research findings regarding the positive effect of the flow of an experience on the emotions felt and the positive effect of the emotions felt during the AR experience on satisfaction with the AR experience, which in turn positively influences the participants' behavioral intentions. This study differs from others in that these variables are applied in the specific context of virtual trial applications for beauty and aesthetic products. The findings of this study will allow managers, distribution and sales teams in the field to understand the needs of consumers in terms of the virtual trial experience of beauty and aesthetic products. They will be able to use the data from this study strategically to meet the AR experience needs of female consumers, thereby ensuring a lasting relationship with the company and brand and increasing their customer base.

Titre de l'écran-titre (visionné le 26 avril 2023) / Ce travail présente une approche méthodologique innovante pour construire un dispositif de thérapie alternative intégrant un vêtement intelligent dans un contexte de réalité alternée. Il montre les perspectives et les limites des potentialités de ce type de conception. Ici, le choix du processus du body mapping fut privilégié puisqu'il est considéré aujourd'hui comme une alternative thérapeutique pertinente pour les patients atteints de dépression. En effet, le processus d'art thérapie sur lequel repose cette approche permet d'exprimer ses maux à travers une représentation de son propre corps tout en utilisant des modalités non-verbales. Dans ce travail, nous explorerons les potentialités des réalités alternées et en particulier de la réalité augmentée afin de conceptualiser un dispositif de body mapping dans un espace virtuel en vue d'exploiter les effets de corporéités, des effets 3D et des animations. L'objectif est ici également de rendre plus tangibles ces effets considérés bien souvent comme abstraits. Pour cela, nous avons conçu un vêtement permettant de créer un lien entre cet espace virtuel et le monde réel. Nous avons pareillement renforcé ce lien en utilisant un récit de science-fiction permettant de plonger l'utilisateur dans une expérience immersive sensible lui offrant la possibilité d'explorer son propre imaginaire. / This work presents an innovative methodological approach to build an alternative therapy device integrating a smart garment in an alternate reality context. It shows the perspectives and the limits of the potentialities of this type of design. Here, the choice of the body mapping process was chosen since it is considered today a relevant therapeutic alternative for patients suffering from depression. Indeed, the art therapy process on which this approach is based makes it possible to express one's ailments through a representation of one's own body while using non-verbal expressive modalities. In this work, we will explore the potential of alternate realities and in particular augmented reality in order to design a body mapping device in a virtual space in order to exploit the effects of embodiment, 3D effects and animations. The objective here is also to make these effects, which are often considered abstract, more tangible. For this, we designed a garment to create a link between this virtual space and the real world. We have similarly reinforced this link by using a science fiction story to immerse users in a sensitive immersive experience, allowing them to explore their own imagination.

La réalité augmentée (R.A.) est un domaine de recherche qui vise la combinaison d'environnements réels et virtuels en temps réel de façon à ce que ceux-ci semblent co-exister. De façon à obtenir un rendu réaliste, les interactions entre les deux environnements doivent être modélisées et gérées. Nous nous sommes intéressés à la gestion des occultations des objets virtuels par les objets réels. Cette gestion nécessite une acquisition d'informations 3D sur la scène réelle. Le projet du castelet électronique fournit un contexte applicatif approprié à cette étude. Deux approches d'acquisition sont présentées et analysées : une approche monoscopique basée sur une pré-modélisation approximative des objets réels et une approche stéréoscopique effectuant l'acquisition d'informations 3D en temps réel selon le point de vue

Le projet de recherche qui est présenté dans ce mémoire a été réalisé dans le cadre d'une maîtrise en génie mécanique. Le but de ces recherches était de réaliser un mécanisme haptique avec un robot à câbles ayant la capacité de reproduire des contacts brusques et rigides durant une simulation en réalité virtuelle. Un simulateur de combat d'épée élémentaire a donc été construit pour servir de banc d'essai puisque ce genre de simulation nécessite ces genres de contacts. La majeure partie du projet était consacrée à l'élaboration des prototypes d'enrouleurs du mécanisme à câbles. Ces enrouleurs ont été conçus pour créer des impacts en induisant la collision de deux petites pièces métalliques. Les vibrations créées ainsi voyagent des enrouleurs vers l'utilisateur par l'entremise des câbles et l'effecteur et donnent ainsi la sensation de frapper un objet rigide. Les mécanismes ainsi créés sont très innovateurs et démontrent beaucoup de potentiel. Le fonctionnement de ces enrouleurs, ainsi que le processus de conception qui a mené à l'élaboration de ceux-ci est détaillé tout au long de ce mémoire. De plus, la performance de ces mécanismes est évaluée et il y a une liste de recommandations pour créer un prototype plus avancé.

L'un des plus grands défis de la réalité augmentée consiste à aligner parfaitement les informations réelles et virtuelles pour donner l'illusion que ces informations virtuelles font partie intégrante du monde réel. Pour ce faire, il faut estimer avec précision la position et l'orientation de l'utilisateur, et ce, en temps réel. L'augmentation de scènes extérieures est particulièrement problématique, car il n'existe pas de technologie suffisamment précise pour permettre d'assurer un suivi de la position de l'utilisateur au niveau de qualité requis pour des applications en ingénierie. Pour éviter ce problème, nous nous sommes attardés à l'augmentation de panoramas omnidirectionnels pris à une position fixe. L'objectif de ce projet est de proposer une méthode robuste et automatique d'initialisation permettant de calculer la pose de panoramas omnidirectionnels urbains pour ainsi obtenir un alignement parfait des panoramas et des informations virtuelles. / One of the greatest challenges of augmented reality is to perfectly synchronize real and virtual information to give the illusion that virtual information are an integral part of real world. To do so, we have to precisely estimate the user position and orientation and, even more dificult, it has to be done in real time. Augmentation of outdoor scenes is particularly problematic because there are no technologies accurate enough to get user position with the level of accuracy required for application in engineering. To avoid this problem, we focused on augmenting panoramic images taken at a fixed position. The goal of this project is to propose a robust and automatic initialization method to calculate the pose of urban omnidirectional panoramas to get a perfect alignment between panoramas and virtual information.

L'intérêt porté par l'archéologie à la réalité virtuelle est croissant. La réalité virtuelle est devenue un outil nécessaire pour l'exploration et l'étude des sites archéologiques, et plus particulièrement, les sites archéologiques sous-marins qui se révèlent parfois difficile d'accès. Les études actuelles proposent des solutions en réalité virtuelle ou en réalité augmentée sous forme d'environnements virtuels avec une interaction virtuelle et/ou augmentée mais aucune étude n'a vraiment essayé de comparer ces deux aspects de l'interaction. Nous présentons dans ce mémoire trois environnements en réalité virtuelle et un environnement en réalité augmentée où nous proposons des nouvelles méthodes d'interaction. Ainsi, nous évaluons leurs fonctionnalités d'un point de vue archéologique, nous étudions l'influence du niveau d'immersion sur les performances de l'interaction et nous réalisons une comparaison entre l'interaction en réalité virtuelle et en réalité augmentée.

Les travaux réalisés au cours de cette thèse s'inscrivent dans la problématique de localisation en temps réel d'une caméra par vision monoculaire. Dans la littérature, il existe différentes méthodes qui peuvent être classées en trois catégories. La première catégorie de méthodes considère une caméra évoluant dans un environnement complètement inconnu (SLAM). Cette méthode réalise une reconstruction enligne de primitives observées dans des images d'une séquence vidéo et utilise cette reconstruction pour localiser la caméra. Les deux autres permettent une localisation par rapport à un objet 3D de la scène en s'appuyant sur la connaissance, a priori, d'un modèle de cet objet (suivi basé modèle). L'une utilise uniquement l'information du modèle 3D de l'objet pour localiser la caméra, l'autre peut être considérée comme l'intermédiaire entre le SLAM et le suivi basé modèle. Cette dernière méthode consiste à localiser une caméra par rapport à un objet en utilisant, d'une part, le modèle de ce dernier et d'autre part, une reconstruction en ligne des primitives de l'objet d'intérêt. Cette reconstruction peut être assimilée à une mise à jour du modèle initial (suivi basé modèle avec mise à jour). Chacune de ces méthodes possède des avantages et des inconvénients. Dans le cadre de ces travaux de thèse, nous proposons une solution unifiant l'ensemble de ces méthodes de localisation dans un unique cadre désigné sous le terme de SLAM contraint. Cette solution, qui unifie ces différentes méthodes, permet de tirer profit de leurs avantages tout en limitant leurs inconvénients respectifs. En particulier, nous considérons que la caméra évolue dans un environnement partiellement connu, c'est-à-dire pour lequel un modèle (géométrique ou photométrique) 3D d'un objet statique de la scène est disponible. L'objectif est alors d'estimer de manière précise la pose de la caméra par rapport à cet objet 3D. L'information absolue issue du modèle 3D de l'objet d'intérêt est utilisée pour améliorer la localisation de type SLAM en incluant cette information additionnelle directement dans le processus d'ajustement de faisceaux. Afin de pouvoir gérer un large panel d'objets 3D et de scènes, plusieurs types de contraintes sont proposées dans ce mémoire. Ces différentes contraintes sont regroupées en deux approches. La première permet d'unifier les méthodes SLAM et de suivi basé modèle, en contraignant le déplacement de la caméra via la projection de primitives existantes extraites du modèle 3D dans les images. La seconde unifie les méthodes SLAM et de suivi basé modèle avec mise à jour en contraignant les primitives reconstruites par le SLAM à appartenir à la surface du modèle (unification SLAM et mise à jour du modèle). Les avantages de ces différents ajustements de faisceaux contraints, en terme de précision, de stabilité de recalage et de robustesse aux occultations, sont démontrés sur un grand nombre de données de synthèse et de données réelles. Des applications temps réel de réalité augmentée sont également présentées sur différents types d'objets 3D. Ces travaux ont fait l'objet de 4 publications internationales, de 2 publications nationales et d'un dépôt de brevet.

De nos jours, les images augmentées font partie du quotidien. Du cinéma aux jeux vidéo en passant par l'architecture ou le design, nombreuses sont les applications qui ont besoin d'afficher des objets synthétiques dans un contexte réel. Cependant, le processus permettant d'intégrer ces objets de manière cohérente dans leur environnement peut rapidement devenir très difficile à mettre en œuvre. Lorsque l'environnement à augmenter est de grande taille ou présente une géométrie ou un éclairage complexe, sa modélisation devient alors fastidieuse et l'utilisation de ces modèles dans le rendu d'images augmentées réalistes est très coûteuse en ressources. D'un autre côté, des applications telles que la réalité augmentée ont besoin de méthodes de rendu efficaces pour fonctionner en temps réel. Elles doivent, par ailleurs, pouvoir s'adapter automatiquement à des environnements a priori inconnus avec pour seule source d'informations les images acquises progressivement dans ces derniers. Dans cette thèse, nous nous sommes appuyés sur les méthodes développées en vision par ordinateur, en modélisation à partir d'images et en synthèse d'images pour proposer une approche globale au problème d'augmentation cohérente d'environnements complexes et progressivement découverts. Nous y développons de nouvelles méthodes d'acquisition permettant d'obtenir des images RGB+Z avec une grande dynamique et localisées dans l'environnement. Nous présentons ensuite comment exploiter cette source d'information pour construire incrémentalement des représentations de la géométrie et de l'éclairement de la scène à augmenter. Enfin, nous apportons de nouvelles approches de rendu adaptées à ces modélisations et permettant une génération rapide d'images augmentées où l'éclairement des objets synthétiques reste cohérent avec celui de l'environnement / Today, augmented images are parts of our daily life. From movie industry to video games through architecture and object design, many applications need to display synthetic objects into a real context. However, coherently integrating objects in their environment may be a difficult task. When the environment is vast or includes complex geometry or lighting, its modelling is tedious and using its model to render augmented images is resource-consuming. Moreover, applications like augmented reality need efficient real-time rendering. They also have to automatically adapt to unmodelled environments, while progressively acquiring data from incoming images. In this thesis, we based our work on computer vision, image-based modelling and rendering methods to propose a global approach to the problem of progressively discovered and complex environment coherent augmentation. We first develop new acquisition methods to get high dynamic range RGB+Z registered images of the environment. Then we explain how to use these informations to incrementally build models of scene geometry and lighting. Finally, we provide new rendering approaches using these models and suitable for an efficient and photometrically coherent image augmentation