L'objectif principale de la Réalité Mixte (RM) est de donner aux utilisateurs l'illusion que les objets virtuels et réels coexistent indistinctement dans le même espace. Une illusion efficace nécessite un recalage précis entre les deux mondes. Ce recalage doit être cohérent du point de vue géométrique et photométrique. Dans cette thèse, nous proposons de nouvelles méthodes de recalage photométrique pour estimer l'illumination et la réflectance de scènes réelles. Plus précisément, nous proposons des approches en nous attaquant à trois grands défis : (1) utilisation d'une seule caméra RGB-D. (2) estimation des propriétés de réflectance diffuse et spéculaire. (3) estimation de la position 3D et de la couleur de sources lumineuses dynamiques multiples. Dans notre première contribution, nous considérons des scènes réelles d’intérieurs où la géométrie et l'éclairage sont statiques. En observant la scène à partir d’une caméra mobile, des réflexions spéculaires peuvent être détectées tout au long de la séquence d'images RGB-D. Ces indices visuels sont très instructifs sur l'éclairage et la réflectance des surfaces des scènes. Par conséquent, nous les modélisons pour estimer à la fois les propriétés de réflectance diffuse et spéculaire ainsi que la position 3D de sources lumineuses multiples. Notre algorithme permet d'obtenir des résultats de RM convaincants tels que des ombres virtuelles réalistes ainsi qu'une suppression correcte de la spécularité réelle. Les ombres sont omniprésentes et représentent l’occultation de la lumière par la géométrie existante. Elles représentent donc des indices intéressants pour reconstituer les propriétés photométriques de la scène. La présence de texture dans ce contexte est un scénario critique. En effet, la séparation de la texture et des effets d'éclairage est souvent gérée par des approches qui nécessitent l’intervention de l'utilisateur ou qui ne répondent pas aux exigences du temps de traitement de la réalité mixte. Nous abordons ces limitations et proposons une méthode d'estimation de la position et de l'intensité des sources lumineuses. L'approche proposée gère les lumières dynamiques et fonctionne en temps quasi-réel. L'existence d'une source lumineuse est plus probable si elle est soutenue par plus d'un indice visuel. Nous abordons donc le problème de l'estimation des propriétés d’éclairage et de réflectance en analysant conjointement les réflexions spéculaires et les ombres projetées. L'approche proposée tire parti de l'information apportée par les deux indices pour traiter une grande variété de scènes. Notre approche est capable de traiter n'importe quelle surface texturée et tient compte à la fois des sources lumineuses statiques et dynamiques. Son efficacité est démontrée par une gamme d'applications, incluant la réalité mixte et la re-texturation. La détection des ombres projetées et des réflexions spéculaires étant au cœur de cette thèse, nous proposons finalement une méthode d'apprentissage approfondi pour détecter conjointement les deux indices visuels dans des scènes réelles d’intérieurs. / The overarching goal of Mixed Reality (MR) is to provide the users with the illusion that virtual and real objects coexist indistinguishably in the same space. An effective illusion requires an accurate registration between both worlds. This registration must be geometrically and photometrically coherent. In this thesis, we propose novel photometric registration methods to estimate the illumination and reflectance of real scenes. Specifically, we propose new approaches which address three main challenges: (1) use of a single RGB-D camera. (2) estimation of both diffuse and specular reflectance properties. (3) estimation of the 3D position and color of multiple dynamic light sources. Within our first contribution, we consider indoor real scenes where both geometry and illumination are static. As the sensor browses the scene, specular reflections can be observed throughout a sequence of RGB-D images. These visual cues are very informative about the illumination and reflectance of scene surfaces. Hence, we model these cues to recover both diffuse and specular reflectance properties as well as the 3D position of multiple light sources. Our algorithm allows convincing MR results such as realistic virtual shadows and correct real specularity removal. Shadows are omnipresent and result from the occlusion of light by existing geometry. They therefore represent interesting cues to reconstruct the photometric properties of the scene. Presence of texture in this context is a critical scenario. In fact, separating texture from illumination effects is often handled via approaches which require user interaction or do not satisfy mixed reality processing time requirements. We address these limitations and propose a method which estimates the 3D position and intensity of light sources. The proposed approach handles dynamic light sources and runs at an interactive frame rate. The existence of a light source is more likely if it is supported by more than one cue. We therefore address the problem of estimating illumination and reflectance properties by jointly analysing specular reflections and cast shadows. The proposed approach takes advantage of information brought by both cues to handle a large variety of scenes. Our approach is capable of handling any textured surface and considers both static and dynamic light sources. Its effectiveness is demonstrated through a range of applications including real-time mixed reality and retexturing. Since the detection of cast shadows and specular reflections are at the heart of this thesis, we further propose a deep-learning framework to jointly detect both cues in indoor real scenes.

Par opposition à la Réalité Augmentée qui consiste à ajouter des éléments virtuels à un environnement réel, la Réalité Diminuée consiste à supprimer des éléments réels d'un environnement. Le but est d'effectuer un rendu visuel d'une scène 3D où les éléments "effacés" ne sont plus présents : la difficulté consiste à créer une image de sorte que la diminution ne soit pas perceptible par l'utilisateur. Il faut donc venir compléter la scène initialement cachée par ces éléments, en effectuant une opération d'inpainting qui prenne en compte la géométrie de la pièce, sa texture (structurée ou non), et la luminosité ambiante de l'environnement. Par exemple, l’œil humain est sensible à la régularité d'une texture. L'un des objectifs d'Innersense, entreprise spécialisée dans l'aménagement virtuel d’intérieurs, est de développer un produit capable d'enlever des éléments présents dans une pièce d'intérieur. Une fois la suppression virtuelle des meubles existants effectuée , il sera alors possible d'ajouter des meubles virtuels dans l'espace laissé vacant. L'objectif de cette thèse CIFRE est donc de mettre en place un scénario de réalité diminuée pouvant être exécuté sur un système mobile (tablette IOS ou Android) qui génère des images photo-réalistes de la scène diminuée. Pour cela, à partir d’un modèle géométrique de la pièce d'intérieur que l'on veut altérer, nous adaptons et améliorons des procédures d'effacement d'éléments d'une image appelées inpainting dans une image 2D. Ensuite, nous appliquons ces techniques dans le contexte 3D intérieur pour tenir compte de la géométrie de la scène. Enfin, nous analysons la luminosité pour augmenter le réalisme des zones complétées.Dans cette thèse, nous rappelons d'abord les différents travaux académiques et les solutions industrielles existantes. Nous évoquons leurs avantages et leurs limites. Nous abordons ensuite les différentes techniques d'inpainting existantes pour introduire notre première contribution qui propose d'adapter une des méthodes de l’état de l’art pour prendre en compte de la structure du motif de la texture. La problématique de la luminosité est ensuite abordée en proposant un processus qui traite séparément la texture et la variation de la luminosité. Nous présentons ensuite une troisième contribution qui propose un critère de confiance basé sur des considérations radiométriques pour sélectionner une information selon sa qualité dans le processus d'inpainting. Nous proposons une dernière contribution basée sur la complétion de texture de modèles 3D non planaires reconstruits à partir de peu d’images et donc présentant une texture incomplète. Enfin, nous montrons les applications développées grâce à ces travaux dans le contexte des scènes d'intérieur considérées par Innersense / In contrast to Augmented Reality, which consists in adding virtual elements to a real environment,Diminished Reality consists in removing real elements from an environment. The goal is to visuallyrender a 3D scene where the "deleted" elements are no longer present: the difficulty is to createan image so that the processing is not perceptible to the user. It is therefore necessary tocomplete the scene initially hidden by these elements, by performing an inpainting operation thattakes into account the geometry of the part, its texture (structured or not), and the ambientbrightness of the environment. For example, the human eye is sensitive to the regularity of atexture. One of the objectives of Innersense, a company specializing in virtual interior design, is todevelop a product that can remove elements from an interior room. Once the virtual removal ofexisting furniture has been completed, it will then be possible to add virtual furniture in the vacantspace. The objective of this CIFRE thesis is therefore to set up a scenario of diminished realitythat can be executed on a mobile system (IOS or Android tablet) that generates photorealisticimages of the diminished scene. To do this, based on a geometric model of the interior part thatwe want to alter, we adapt and improve procedures for erasing elements of an image calledinpainting in a 2D image. Then, we apply these techniques in the 3D indoor context to take intoaccount the geometry of the scene. Finally, we analyze the brightness to increase the realism ofthe completed areas. In this thesis, we first review the various academic works and existingindustrial solutions. We discuss their advantages and limitations. We then discuss the differentexisting inpainting techniques to introduce our first contribution which proposes to adapt one of thestate of the art methods to take into account the structure of the texture pattern. The problem ofbrightness is then discussed by proposing a process that deals separately with texture andvariation of brightness. We then present a third contribution that proposes a confidence criterionbased on radiometric considerations to select information according to its quality in the inpaintingprocess. We propose a last contribution based on the texture completion of non-planar 3D modelsreconstructed from few images and therefore presenting an incomplete texture. Finally, we showthe applications developed through this work in the context of the interior scenes considered byInnersense.

Plusieurs publications ont été rédigées dans les dernières années sur l'utilisation des technologies numériques dans les institutions muséales. Leur intégration aux expositions est accompagnée de nombreuses promesses telles que celles d'attirer un public plus jeune, de rendre le contenu plus accessible et ludique, d'impliquer davantage le visiteur, etc. Parmi toutes les études menées dans le domaine muséal, très peu d'auteurs se sont intéressés spécifiquement aux musées militaires. Pourtant, ces musées comportent de nombreuses caractéristiques qui leur sont propres. Ce mémoire propose donc une étude de l'utilisation des technologies numériques, plus précisément des écrans tactiles, par le Musée Royal 22$^\textup{e}$ Régiment pour mettre en valeur son patrimoine militaire matériel et immatériel dans son exposition permanente « Je me souviens ». Plus précisément, le projet de recherche a pour objectif d'identifier quelles étaient les attentes de l'institution lors de l'intégration des écrans à l'exposition permanente et d'évaluer leur efficacité à travers l'analyse de leur consultation par les visiteurs. Le projet vise aussi à cerner les avantages et les désavantages associés à ce type de technologie dans le musée militaire. Pour répondre à la problématique, une étude de terrain a été menée dans le Musée Royal 22$^\textup{e}$ Régiment. Cette étude a recours à plusieurs outils propres à la démarche ethnographique, soit l'observation des visiteurs, la distribution de questionnaires ainsi que la tenue d'entretiens avec les visiteurs et les professionnels. Les résultats indiquent que les écrans tactiles sont bel et bien consultés par la majorité des visiteurs et permettent de mettre davantage en valeur le patrimoine militaire immatériel. Cependant, ce ne sont pas tous les écrans tactiles qui sont consultés. Cette technologie comporte quelques limites telles que la qualité du son et l'absence d'immersion. À partir de ces conclusions, nous croyons que les musées militaires peuvent s'en inspirer pour de futurs projets de médiation intégrant les bornes interactives. / A number of publications have been written in recent years on the use of digital technologies in museums. Their integration into exhibitions is accompanied by many promises, such as attracting a younger audience, making content more accessible and entertaining, getting visitors more involved, and so on. Of all the studies carried out in the museum sector, very few have focused specifically on military museums. However, these museums have many characteristics that are unique to them. Therefore, this thesis proposes a study of the use of digital technologies, more specifically touch screens, by the Royal 22$^\textup{e}$ Régiment Museum to highlight its material and immaterial military heritage in its permanent exhibition "Je me souviens". More specifically, the research project aims to identify the institution's expectations when integrating the screens into the permanent exhibition, and to assess their effectiveness by analyzing how visitors use them. The project also aimed to identify the advantages and disadvantages associated with this type of technology in the military museum. To address this question, a field study was carried out at the Royal 22$^\textup{e}$ Régiment Museum. The study used a number of ethnographic research tools, including visitor observation, surveys and interviews with visitors and professionals. The results show that touch screens are indeed consulted by the majority of visitors and help to enhance the value and experience of immaterial military heritage. However, not all touch screens are consulted. This technology has a number of limitations, such as sound quality and the lack of immersion. Based on these conclusions, we believe that military museums can learn from it for future mediation projects integrating interactive touchscreens.

Cette thèse s'inscrit dans le cadre de la modélisation de phénomènes<br />biologiques pour leur expérimentation à travers un système de réalité<br />virtuelle.<br />Son objet est la définition d'un cadre générique de modélisation et<br />d'implémentation adapté à l'étude des systèmes physiologiques.<br /><br />En premier lieu, le modèle générique proposé s'appuie sur le principe<br />de la réification des interactions en objets actifs autonomes.<br />Ensuite, il permet l'organisation des modèles biologiques en un agencement de systèmes autonomes.<br />Il rassemble alors deux conceptions de l'autonomie : <br />l'une est destinée à concevoir les systèmes de réalité virtuelle et<br />l'autre a pour objet la modélisation en biologie. <br /><br />Le modèle générique est dérivé en un certain nombre d'outils de modélisation pour la biologique.<br />La bibliothèque composée du modèle générique et des outils de modélisation permet alors de réaliser différentes applications.<br />La principale application a pour objet la mise en oeuvre d'un modèle du phénomène d'urticaire allergique.<br />Enfin, un modèle de système autopoïétique minimal est proposé pour<br />illustrer les possibilités de la méthode.

L‟objectif de cette thèse est d‟assister et d‟améliorer la prise en compte de l‟utilité dans le processus de conception des artefacts issus des technologies émergentes. Elle a été réalisée dans le contexte d‟une Recherche-Action menée dans le cadre d‟un projet réel de conception appelé 3DChild et ayant abouti à la réalisation du logiciel Appli-Viz'3D. Deux axes ont guidé ce travail de recherche. Le premier a été d‟analyser la prise en compte de l‟utilité et des besoins dans la conception. Pour ce faire, nous nous sommes intéressés aux modèles, méthodes et outils utilisés ou préconisés en marketing, en génie industriel, en ingénierie des exigences, en génie logiciel, en design et en ergonomie des activités de conception. Nous avons également exploré les représentations qu‟ont trois catégories de concepteurs quant à la notion d‟utilité et aux éléments clés du processus de construction de besoins. Le second axe a été d‟étudier la contribution réelle des acteurs - concepteurs et utilisateurs - à la conception d‟artefacts innovants au travers d‟études empiriques dans lesquelles nous avons cherché à analyser la dynamique globale du processus de co-construction participative et continue des besoins, avant de nous focaliser sur des points plus spécifiques du processus. En particulier, nous nous sommes intéressés à l‟identification des besoins et la proposition de spécifications par différents profils de concepteurs. Nous avons ensuite étudié la priorisation des besoins par différents profils d‟utilisateurs et l‟élaboration des besoins lors de séances d‟évaluation du logiciel Appli-Viz'3D dans un contexte participatif. Après avoir discuté les résultats de nos études, nous proposons un modèle de la conception qui formalise les relations entre l‟univers prospectif et l‟univers rétrospectif de l‟utilité, l‟utilité potentielle et l‟utilité réelle de l‟artefact. En conclusion, nous synthétisons les principaux apports de ce travail de recherche, et les perspectives qu‟ils ouvrent. Nos apports théoriques concernent la démonstration d‟une absence de représentation totalement partagée des notions d‟utilité et de besoins par les concepteurs, la mise en exergue d‟une complémentarité des modèles, des méthodes et des outils, utilisés ou préconisés, associés à un processus de conception centrée sur l‟utilité, et la caractérisation des contributions des concepteurs et des utilisateurs au processus de co-construction participative et continue des besoins. Notre apport méthodologique est l‟extension de la méthode I2I. Les trois perspectives de recherche sont l‟élargissement de la portée de notre modèle, la validation de l‟extension proposée de la méthode I2I et la création d‟un Living Lab à Laval.

Nous présentons une refondation théorique de la réalité virtuelle. Celle-ci est marquée par la conviction profonde de définir la réalité virtuelle comme une expérience médiatisée capable de susciter un sentiment de présence. Ce dernier est défini comme le sentiment authentique d'exister dans un monde autre que le monde physique où le corps se trouve. Nous proposons un éclairage nouveau et global sur le sentiment de présence. Cet éclairage consiste en une approche unifiée de la présence prenant en compte des considérations technologiques, psychologiques et écologiques. Nous avons élaboré un modèle qui identifie les processus menant au sentiment de présence. Selon notre modèle, deux phases inconscientes de jugement conditionnent l'émergence de la présence. Le premier jugement concerne la crédibilité de l'environnement, celle-ci dépend de la satisfaction des attentes intellectuelles et perceptives de l'utilisateur. Le deuxième jugement vise la crédibilité de l'expérience. Nous considérons que ce jugement est positif si un maximum des affordances perçues dans l'environnement est assumé, c'est-à-dire réalisable par l'intermédiaire des schémas d'interaction proposés à l'utilisateur. Nous avons mené une phase d'expérimentations pour valider la pertinence et la cohérence de notre modèle. Notre modèle a de multiples implications. Nous considérons par exemple qu'il peut constituer une grille d'analyse intéressante pour les jeux vidéo. De plus, il incite les concepteurs d'applications en réalité virtuelle à penser en terme d'affordances. Ce dernier point implique donc de faire entrer l'utilisateur très tôt dans la boucle de conception de l'application. Notre vision globale de la réalité virtuelle et de la présence a été mise en pratique notamment lors de la conception de dispositifs de réalité virtuelle transportables et à bas coûts. Sur la base de ce cadre théorique nous présentons un framework de conception d'applications en réalité virtuelle. Puisque l'objectif est la crédibilité et non le réalisme, nous nous intéressons à la réalité perçue de l'environnement et non pas à sa réalité physique. C'est pourquoi, le point de départ de notre framework consiste en un socle de connaissances sur la cognition humaine. Cette base de connaissances sert de vivier d'idées pour les quatre piliers sur lesquels peut s'appuyer le concepteur d'applications en réalité virtuelle. Ces piliers sont l'immersion, l'interaction, les émotions et un quatrième regroupant la boucle sensori-motrice et la multimodalité. Concernant le pilier immersion nous proposons un nouvel algorithme pour le calcul de la réverbération sonore dans un environnement complexe et dynamique. Notre méthode repose sur l'algorithme existant du lancer de frustum mais propose deux optimisations. La première exploite le socle de connaissances sur la cognition humaine pour déterminer une sphère d'acuité sonore. Celle-ci nous sert de cadre pour lancer les frusta depuis l'auditeur et non depuis les sources sonores. Cette deuxième optimisation réduit le nombre de calculs

Le sentiment de présence, but ultime de la réalité virtuelle, peut être atteint en stimulant ces quatre "piliers" que sont l'immersion, l'interaction, le maintien de la boucle action-perception et les émotions. Notre objectif est de proposer des méthodes visant à améliorer ce sentiment en s'intéressant plus particulièrement à la perception visuelle. Dans cette optique, nous proposons tout d'abord une solution appliquant le rendu stéréoscopique sur carte graphique. Traditionnellement effectué en deux passes, ce rendu se fait maintenant en une passe, grâce aux shaders et au regroupement de certaines phases de calculs. Nous étendons ce processus de rendu aux tout récents écrans auto-stéréoscopiques nécessitant plus de deux vues, améliorant d'autant plus les temps de calcul. Pour assurer l'immersion et l'interaction, voire l'émotion, nous avons aussi cherché à diminuer la fatigue oculaire induite par les images stéréoscopiques, en ajoutant un flou de profondeur de champ. Ce flou, obtenu en temps réel grâce aux shaders, permet également d'inviter l'observateur à focaliser son attention sur des objets précis au lieu de laisser son regard errer. Enfin, un objectif pour obtenir le sentiment de présence est de faire croire à l'utilisateur qu'il existe dans la scène virtuelle. Notre contribution à ce but, est d'intégrer de manière naturelle une représentation virtuelle de l'utilisateur. Pour cela, nous créons par visual hulls un avatar à l'aide de caméras. Finalement, cet avatar est employé pour illustrer la présence de l'utilisateur au travers de surfaces réfléchissantes virtuelles ou de la projection de son ombre

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Le trouble d'anxiété généralisée (TAG) est très répandu et a des conséquences négatives sur l'individu et la société. La thérapie cognitivo comportementale (TCC) mène à une réduction des symptômes anxieux et des inquiétudes chez la majorité des individus, mais certains répondent moins bien à la TCC conventionnelle (Hanrahan, Field, Jones & Davey, 2013). L'exposition en imagination est une des composantes présentes dans plusieurs protocoles, mais son efficacité individuelle n'est pas clairement établie pour le TAG. L'exposition en réalité virtuelle a été démontrée comme étant efficace auprès d'une multitude de troubles anxieux, mais commence tout juste à être utilisée pour le traitement du TAG. Cette thèse vise à documenter l’efficacité de l’exposition à un scénario de réalité virtuelle en trois séances, auprès de participants présentant l'ensemble des symptômes du TAG et rapportant s’inquiéter significativement sur le thème de la santé (N = 29). Les analyses principales effectuées à l'aide d'analyses de variances (ANOVA) à mesures répétées comparant les résultats aux divers temps de mesures (prétest, post-test et suivi de deux mois) démontrent des améliorations significatives sur l'ensemble des mesures liées au TAG, dont la tendance à s'inquiéter, les symptômes du TAG, l'état d'anxiété et le trait d'anxiété. De plus, ces résultats se sont maintenus après deux mois et de nouvelles améliorations ont été identifiées pour la tendance à s'inquiéter et le trait d'anxiété. Des ANOVA à mesures répétées évaluant les changements de l'anxiété subjective au fils des séances suggèrent que l'exposition en réalité virtuelle à un scénario portant sur le thème de la santé a permis d'induire significativement de l'anxiété, que celle-ci a diminuée de manière significative au cours d'une même séance et au cours des trois séances. Aussi, l'analyse de l'évolution de la tendance à s'inquiéter indique qu'il y aurait une diminution significative de la tendance à s’inquiéter sur le thème de la santé au fils des séances, mais pas pour la tendance à s’inquiéter en général. Dans l'ensemble, ces résultats suggèrent la présence des indicateurs liée à l'habituation émotionnelle, soit l'activation physiologique et l'habituation inter-séance et intra-séance. La présence de ces indicateurs de l'habituation émotionnelle durant le traitement, les améliorations des symptômes du TAG suite au traitement et le maintien de ces dernières lors du suivi après deux mois soutiennent l'efficacité du traitement. L'étude comporte certaines forces : elle est la première à évaluer l'effet isolé de l'exposition en réalité virtuelle pour le traitement du TAG ainsi que la présence des indicateurs liés à l'habituation émotionnelle. De plus, elle s'intéresse aux abandons durant le traitement et à des éléments caractéristiques de l'exposition en réalité virtuelle tels que le sentiment de présence et les cybermalaises. Elle présente certaines limites telles que l'absence d'un groupe contrôle et d'une évaluation diagnostique différentielle. Cette étude ouvre la voie à de nouvelles études de traitement plus robustes et met en lumière le rôle que pourrait tenir l'exposition en réalité virtuelle dans le traitement du TAG.

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal.