This thesis focuses on reconstruction of 3D environment model from a set of photographs followed by camera localization. It describes basic principles and techniques used to create environmental models and techniques for camera pose estimation from 2D camera points to 3D model points. It also examines the influence of parameters on the quality of reconstruction and the possibilities of localization. It compares the quality of the descriptors in the process of creation of the model and based on localization it allows to implement augmented reality.

This thesis deals wtih augmented reality applied to aircraft maintenance which is widely explored here. Furthermore, a reseach is done on the previous work done in this field. A video data-set is acquired from LET - a manufacturer of LET L-410 aircraft and an application is created in order to test possibilities of using augmented reality in aircraft maintenance. The result and proposals of the future work can be found in this thesis as well

Tato práce se zaměřuje na technologii Cave Automatic Virtual Environment a konkrétně pak na využití principů rozšířené reality v tomto prostředí. Dává si za cíl odpovědět na otázku, zdali je možné použít v prostředí CAVE existující frameworky pro rozšířenou realitu, konkrétně ty, pracující na platformě iOS. Hlavní důraz je kladen na rozpoznávání markerů v tomto prostředí a na zvýšení přesnosti jejich rozpoznání. Práce odpovídá na množství otázek z této oblasti, jako jaké markery je vhodné použít, jaké jsou omezení a největší obtíže. Výstupem je demonstrační aplikace, pracující na platformě iOS, která v je prostředí CAVE otestovaná a plně použitelná. Tato aplikace by měla vylepšit uživatelský vjem z prostředí CAVE tím, že mu poskytne dodatečné informace a také základní možnosti interakce se zobrazenými objekty.

La Réalité Augmentée Spatiale (SAR) vise à superposer spatialement l'information virtuelle sur des objets physiques. Au cours des dernières décennies ce domaine a connu une grande expansion et est utilisé dans divers domaines, tels que la médecine, le prototypage, le divertissement etc. Cependant, pour obtenir des projections de bonne qualité, on doit résoudre plusieurs problèmes, dont les plus importants sont la gamme de couleurs réduite du projecteur, la lumière ambiante, la couleur du fond, et la configuration arbitraire de la surface de projection dans la scène. Ces facteurs entraînent des distorsions dans les images qui requièrent des processus de compensation complémentaires.Les projections intelligentes (smart projections) sont au cœur des applications de SAR. Composées d'un dispositif de projection et d'un dispositif d'acquisition, elles contrôlent l'aspect de la projection et effectuent des corrections à la volée pour compenser les distorsions. Bien que les méthodes actives de Lumière Structurée aient été utilisées classiquement pour résoudre ces problèmes de compensation géométrique, cette thèse propose une nouvelle approche non intrusive pour la compensation géométrique de plusieurs surfaces planes et pour la reconnaissance des objets en SAR s'appuyant uniquement sur la capture du contenu projeté.Premièrement, cette thèse étude l'usage de l'invariance couleur pour améliorer la qualité de la mise en correspondance entre primitives dans une configuration d'acquisition des images vidéoprojetées. Nous comparons la performance de la plupart des méthodes de l'état de l'art avec celle du descripteur proposé basé sur l'égalisation d'histogramme. Deuxièmement, pour mieux traiter les conditions standard des systèmes projecteur-caméra, deux ensembles de données de captures de projections réelles, ont été spécialement préparés à des fins expérimentales. La performance de tous les algorithmes considérés est analysée de façon approfondie et des propositions de recommandations sont faites sur le choix des algorithmes les mieux adaptés en fonction des conditions expérimentales (paramètres image, disposition spatiale, couleur du fond...). Troisièmement, nous considérons le problème d'ajustement multi-surface pour compenser des distorsions d'homographie dans les images acquises. Une combinaison de mise en correspondance entre les primitives et de Flux Optique est proposée afin d'obtenir une compensation géométrique plus rapide. Quatrièmement, une nouvelle application en reconnaissance d'objet à partir de captures d'images vidéo-projetées est mise en œuvre. Finalement, une implémentation GPU temps réel des algorithmes considérés ouvre des pistes pour la compensation géométrique non intrusive en SAR basée sur la mise en correspondances entre primitives. / Spatial Augmented Reality (SAR) aims at spatially superposing virtual information on real-world objects. Over the last decades, it has gained a lot of success and been used in manifold applications in various domains, such as medicine, prototyping, entertainment etc. However, to obtain projections of a good quality one has to deal with multiple problems, among them the most important are the limited projector output gamut, ambient illumination, color background, and arbitrary geometric surface configurations of the projection scene. These factors result in image distortions which require additional compensation steps.Smart-projections are at the core of PAR applications. Equipped with a projection and acquisitions devices, they control the projection appearance and introduce corrections on the fly to compensate distortions. Although active structured-light techniques have been so far the de-facto method to address such problems, this PhD thesis addresses a relatively new unintrusive content-based approach for geometric compensation of multiple planar surfaces and for object recognition in SAR.Firstly, this thesis investigates the use of color-invariance for feature matching quality enhancement in projection-acquisition scenarios. The performance of most state-of-the art methods are studied along with the proposed local histogram equalization-based descriptor. Secondly, to better address the typical conditions encountered when using a projector-camera system, two datasets of real-world projections were specially prepared for experimental purposes. Through a series of evaluation frameworks, the performance of all considered algorithms is thoroughly analyzed, providing several inferences on that which algorithms are more appropriate in each condition. Thirdly, this PhD work addresses the problem of multiple-surface fitting used to compensate different homography distortions in acquired images. A combination of feature matching and Optical Flow tracking is proposed in order to achieve a more low-weight geometric compensation. Fourthly, an example of new application to object recognition from acquired projections is showed. Finally, a real-time implementation of considered methods on GPU shows prospects for the unintrusive feature matching-based geometric compensation in SAR applications.

Cette thèse développe de nouvelles approches pour l'effacement et la révélation de la présence humaine en utilisant des techniques de réalité augmentée. Elle se concentre sur les systèmes projecteur-caméra (ProCams) et leur application dans les «projections intelligentes», où le contenu virtuel projeté est adapté en fonction de l'environnement. Nous nous appuyons sur les travaux antérieurs sur la compensation photométrique pour projeter sur une surface colorée fixe qui permet au spectateur d'observer la même image telle qu'elle apparaîtrait sur une surface blanche. Malgré les différentes méthodes de compensation des couleurs qui ont été proposées au cours de décennie, la compensation appliquée à monde réel avec des couleurs saturées et vives est encore une question ouverte. L'objectif principal de ce travail est la compensation photométrique sur un objet 3D en mouvement en utilisant un ProCam, ce qui est un scénario considérablement plus difficile. Une nouvelle méthode pour la compensation de couleur à l'aide d'une image d'entrée unique est proposée. Elle consiste à estimer la réflectance spectrale de la surface afin de compenser celle-ci en supposant que les réponses du projecteur sont connues ou mesurées précédemment. Cette méthode a été entièrement développée sur GPU pour permettre une compensation en temps réel. Les méthodes antérieures sur la compensation couleur sont discutées et comparées afin d'évaluer la performance de notre technique. L'étalonnage photométrique et géométrique précis d'un ProCam est essentiel pour une compensation précise. Une nouvelle technique de calibration géométrique entre un capteur de profondeur et un ProCam est présentée dans le but de réaliser la projection sur un objet en mouvement. Une calibration photométrique est décrite pour la transformation des valeurs RGB de la caméra et du projecteur (dépendantes du périphérique) vers l'espace couleur CIE XYZ 1931 (indépendantes du périphérique). Le potentiel artistique des techniques de réalité augmentée proposées est en outre exploré à travers l'installation interactive artistique “Gardien du Temple”. La révélation et l'effacement ont toujours été un terrain d'expérimentation commun aux artistes et aux scientifiques. Cette installation audiovisuelle utilise la réalité augmentée pour effacer la présence d'un poème écrit sur un tapis invitant le spectateur à le révéler. Dans de telles applications, la précision et la robustesse des méthodes utilisées sont cruciales. Cette installation artistique a donc permis de tester et d'évaluer les travaux de cette thèse dans un contexte collaboratif et exigeant. / This thesis develops new approaches for human presence concealment and revelation using augmented reality techniques. It focuses on projector-camera systems (ProCams) and their application in “smart projections”, where the projected virtual content is adapted according to the environment. One previously-studied problem is the photometric compensation for projecting on a colored fixed surface that allows the viewer to observe the same image as it would appear on a white surface. Despite the various methods for color compensation that have been proposed the last decade, compensation on a real-world surface with saturated colors and sharp color boundaries is still an open issue. The main objective of this work is the color compensation on a moving 3D object using a ProCam, which is a dramatically more challenging scenario. A novel method for color compensation using a single input frame is proposed. It consists in estimating the spectral reflectance of the surface in order to compensate for it under the assumption that the projector responses are known or previously measured. This method was fully developed on GPU to enable real-time compensation. Previous methods on color compensation are discussed and compared in order to evaluate the performance of our technique. The accurate photometric and geometric calibration of a ProCam is essential for precise compensation. A new geometric calibration technique between a depth sensor and a ProCam is presented in order to make the projection on a moving object feasible. A photometric calibration is described for the transformation of the device-dependent camera and projector values to the device-independent CIE XYZ 1931 color space. The artistic potential of the proposed augmented reality techniques is further explored through the interactive art installation “Gardien du Temple”. Revelation and concealment has always been a common experimentation ground for both artists and scientists. This audio visual installation uses augmented reality to hide the presence of a written poem on a carpet inviting the spectator to reveal it. In such applications, the accuracy and robust performance of the methods employed is crucial and, thus, it offered a challenging ground for testing and evaluation.

L'objectif principale de la Réalité Mixte (RM) est de donner aux utilisateurs l'illusion que les objets virtuels et réels coexistent indistinctement dans le même espace. Une illusion efficace nécessite un recalage précis entre les deux mondes. Ce recalage doit être cohérent du point de vue géométrique et photométrique. Dans cette thèse, nous proposons de nouvelles méthodes de recalage photométrique pour estimer l'illumination et la réflectance de scènes réelles. Plus précisément, nous proposons des approches en nous attaquant à trois grands défis : (1) utilisation d'une seule caméra RGB-D. (2) estimation des propriétés de réflectance diffuse et spéculaire. (3) estimation de la position 3D et de la couleur de sources lumineuses dynamiques multiples. Dans notre première contribution, nous considérons des scènes réelles d’intérieurs où la géométrie et l'éclairage sont statiques. En observant la scène à partir d’une caméra mobile, des réflexions spéculaires peuvent être détectées tout au long de la séquence d'images RGB-D. Ces indices visuels sont très instructifs sur l'éclairage et la réflectance des surfaces des scènes. Par conséquent, nous les modélisons pour estimer à la fois les propriétés de réflectance diffuse et spéculaire ainsi que la position 3D de sources lumineuses multiples. Notre algorithme permet d'obtenir des résultats de RM convaincants tels que des ombres virtuelles réalistes ainsi qu'une suppression correcte de la spécularité réelle. Les ombres sont omniprésentes et représentent l’occultation de la lumière par la géométrie existante. Elles représentent donc des indices intéressants pour reconstituer les propriétés photométriques de la scène. La présence de texture dans ce contexte est un scénario critique. En effet, la séparation de la texture et des effets d'éclairage est souvent gérée par des approches qui nécessitent l’intervention de l'utilisateur ou qui ne répondent pas aux exigences du temps de traitement de la réalité mixte. Nous abordons ces limitations et proposons une méthode d'estimation de la position et de l'intensité des sources lumineuses. L'approche proposée gère les lumières dynamiques et fonctionne en temps quasi-réel. L'existence d'une source lumineuse est plus probable si elle est soutenue par plus d'un indice visuel. Nous abordons donc le problème de l'estimation des propriétés d’éclairage et de réflectance en analysant conjointement les réflexions spéculaires et les ombres projetées. L'approche proposée tire parti de l'information apportée par les deux indices pour traiter une grande variété de scènes. Notre approche est capable de traiter n'importe quelle surface texturée et tient compte à la fois des sources lumineuses statiques et dynamiques. Son efficacité est démontrée par une gamme d'applications, incluant la réalité mixte et la re-texturation. La détection des ombres projetées et des réflexions spéculaires étant au cœur de cette thèse, nous proposons finalement une méthode d'apprentissage approfondi pour détecter conjointement les deux indices visuels dans des scènes réelles d’intérieurs. / The overarching goal of Mixed Reality (MR) is to provide the users with the illusion that virtual and real objects coexist indistinguishably in the same space. An effective illusion requires an accurate registration between both worlds. This registration must be geometrically and photometrically coherent. In this thesis, we propose novel photometric registration methods to estimate the illumination and reflectance of real scenes. Specifically, we propose new approaches which address three main challenges: (1) use of a single RGB-D camera. (2) estimation of both diffuse and specular reflectance properties. (3) estimation of the 3D position and color of multiple dynamic light sources. Within our first contribution, we consider indoor real scenes where both geometry and illumination are static. As the sensor browses the scene, specular reflections can be observed throughout a sequence of RGB-D images. These visual cues are very informative about the illumination and reflectance of scene surfaces. Hence, we model these cues to recover both diffuse and specular reflectance properties as well as the 3D position of multiple light sources. Our algorithm allows convincing MR results such as realistic virtual shadows and correct real specularity removal. Shadows are omnipresent and result from the occlusion of light by existing geometry. They therefore represent interesting cues to reconstruct the photometric properties of the scene. Presence of texture in this context is a critical scenario. In fact, separating texture from illumination effects is often handled via approaches which require user interaction or do not satisfy mixed reality processing time requirements. We address these limitations and propose a method which estimates the 3D position and intensity of light sources. The proposed approach handles dynamic light sources and runs at an interactive frame rate. The existence of a light source is more likely if it is supported by more than one cue. We therefore address the problem of estimating illumination and reflectance properties by jointly analysing specular reflections and cast shadows. The proposed approach takes advantage of information brought by both cues to handle a large variety of scenes. Our approach is capable of handling any textured surface and considers both static and dynamic light sources. Its effectiveness is demonstrated through a range of applications including real-time mixed reality and retexturing. Since the detection of cast shadows and specular reflections are at the heart of this thesis, we further propose a deep-learning framework to jointly detect both cues in indoor real scenes.

Par opposition à la Réalité Augmentée qui consiste à ajouter des éléments virtuels à un environnement réel, la Réalité Diminuée consiste à supprimer des éléments réels d'un environnement. Le but est d'effectuer un rendu visuel d'une scène 3D où les éléments "effacés" ne sont plus présents : la difficulté consiste à créer une image de sorte que la diminution ne soit pas perceptible par l'utilisateur. Il faut donc venir compléter la scène initialement cachée par ces éléments, en effectuant une opération d'inpainting qui prenne en compte la géométrie de la pièce, sa texture (structurée ou non), et la luminosité ambiante de l'environnement. Par exemple, l’œil humain est sensible à la régularité d'une texture. L'un des objectifs d'Innersense, entreprise spécialisée dans l'aménagement virtuel d’intérieurs, est de développer un produit capable d'enlever des éléments présents dans une pièce d'intérieur. Une fois la suppression virtuelle des meubles existants effectuée , il sera alors possible d'ajouter des meubles virtuels dans l'espace laissé vacant. L'objectif de cette thèse CIFRE est donc de mettre en place un scénario de réalité diminuée pouvant être exécuté sur un système mobile (tablette IOS ou Android) qui génère des images photo-réalistes de la scène diminuée. Pour cela, à partir d’un modèle géométrique de la pièce d'intérieur que l'on veut altérer, nous adaptons et améliorons des procédures d'effacement d'éléments d'une image appelées inpainting dans une image 2D. Ensuite, nous appliquons ces techniques dans le contexte 3D intérieur pour tenir compte de la géométrie de la scène. Enfin, nous analysons la luminosité pour augmenter le réalisme des zones complétées.Dans cette thèse, nous rappelons d'abord les différents travaux académiques et les solutions industrielles existantes. Nous évoquons leurs avantages et leurs limites. Nous abordons ensuite les différentes techniques d'inpainting existantes pour introduire notre première contribution qui propose d'adapter une des méthodes de l’état de l’art pour prendre en compte de la structure du motif de la texture. La problématique de la luminosité est ensuite abordée en proposant un processus qui traite séparément la texture et la variation de la luminosité. Nous présentons ensuite une troisième contribution qui propose un critère de confiance basé sur des considérations radiométriques pour sélectionner une information selon sa qualité dans le processus d'inpainting. Nous proposons une dernière contribution basée sur la complétion de texture de modèles 3D non planaires reconstruits à partir de peu d’images et donc présentant une texture incomplète. Enfin, nous montrons les applications développées grâce à ces travaux dans le contexte des scènes d'intérieur considérées par Innersense / In contrast to Augmented Reality, which consists in adding virtual elements to a real environment,Diminished Reality consists in removing real elements from an environment. The goal is to visuallyrender a 3D scene where the "deleted" elements are no longer present: the difficulty is to createan image so that the processing is not perceptible to the user. It is therefore necessary tocomplete the scene initially hidden by these elements, by performing an inpainting operation thattakes into account the geometry of the part, its texture (structured or not), and the ambientbrightness of the environment. For example, the human eye is sensitive to the regularity of atexture. One of the objectives of Innersense, a company specializing in virtual interior design, is todevelop a product that can remove elements from an interior room. Once the virtual removal ofexisting furniture has been completed, it will then be possible to add virtual furniture in the vacantspace. The objective of this CIFRE thesis is therefore to set up a scenario of diminished realitythat can be executed on a mobile system (IOS or Android tablet) that generates photorealisticimages of the diminished scene. To do this, based on a geometric model of the interior part thatwe want to alter, we adapt and improve procedures for erasing elements of an image calledinpainting in a 2D image. Then, we apply these techniques in the 3D indoor context to take intoaccount the geometry of the scene. Finally, we analyze the brightness to increase the realism ofthe completed areas. In this thesis, we first review the various academic works and existingindustrial solutions. We discuss their advantages and limitations. We then discuss the differentexisting inpainting techniques to introduce our first contribution which proposes to adapt one of thestate of the art methods to take into account the structure of the texture pattern. The problem ofbrightness is then discussed by proposing a process that deals separately with texture andvariation of brightness. We then present a third contribution that proposes a confidence criterionbased on radiometric considerations to select information according to its quality in the inpaintingprocess. We propose a last contribution based on the texture completion of non-planar 3D modelsreconstructed from few images and therefore presenting an incomplete texture. Finally, we showthe applications developed through this work in the context of the interior scenes considered byInnersense.

Manual assembly workers have nowadays a much higher workload than before. Not only do they have to deal with many more product variants, but as aconsequence they also receive many more information signals that they have to act upon. This study focuses on the information assembly workers receive through visual instructions. By conducting a literature review in the domains of product development with focus on design for assembly, cognition related to informationin instructions and different instruction formats like paper, tablet, and augmented reality (AR), commonalities and differences could be identified. Assembly operations are generally divided in handling a part and joining a part, and instructions should inform the assembly worker about when what should be assembled where and how. Each of these aspects has an impact on the overall complexity of the assembly process. To realise which of these aspects is most critical for an assembly worker can be of help in creating and delivering effective, tailor made instructions. The main finding is that there is not a one size fits all solution when it comes to the effectiveness of instructions, but that the type of instructions and the way they are delivered should in the first place be adjusted to the complexity of the assembly operations and secondly - if possible - also adjusted to the experience of the worker. The outcomes mentioned in this document should help laying the foundation for rules and guidelines when it comes to manual assembly instructions and its factors to consider.

Ette thèse s’inscrit dans le contexte de la réalité augmentée (RA). La problématique majeure consiste à calculer la pose d’une caméra en temps réel. Ce calcul doit être effectué en respectant trois critères principaux : précision, robustesse et rapidité. Dans le cadre de cette thèse, nous introduisons certaines méthodes permettant d’exploiter au mieux les primitives des images. Dans notre cas, les primitives sont des points que nous allons détecter puis décrire dans une image. Pour ce faire, nous nous basons sur la texture de cette image. Nous avons dans un premier temps mis en place une architecture favorisant le calcul rapide de la pose, sans perdre en précision ni en robustesse. Nous avons pour cela exploité une phase hors ligne, où nous reconstruisons la scène en 3D. Nous exploitons les informations que nous obtenons lors de cette phase hors ligne afin de construire un arbre de voisinage. Cet arbre lie les images de la base de données entre elles. Disposer de cet arbre nous permet de calculer la pose de la caméra plus efficacement en choisissant les images de la base de données jugées les plus pertinentes. Nous rendant compte que la phase de description et de comparaison des primitives n’est pas suffisamment rapide, nous en avons optimisé les calculs. Cela nous a mené jusqu’à proposer notre propre descripteur. Pour cela, nous avons dressé un schéma générique basé sur la théorie de l’information qui englobe une bonne part des descripteurs binaires, y compris un descripteur récent nommé BOLD [BTM15]. Notre objectif a été, comme pour BOLD, d’augmenter la stabilité aux changements d’orientation du descripteur produit. Afin de réaliser cela, nous avons construit un nouveau schéma de sélection hors ligne plus adapté à la procédure de mise en correspondance en ligne. Cela permet d’intégrer ces améliorations dans le descripteur que nous construisons. Procéder ainsi permet d’améliorer les performances du descripteur notamment en terme de rapidité en comparaison avec les descripteurs de l’état de l’art. Nous détaillons dans cette thèse les différentes méthodes que nous avons mises en place afin d’optimiser l’estimation de la pose d’une caméra. Nos travaux ont fait l’objet de 2 publications (1 nationale et 1 internationale) et d’un dépôt de brevet. / This thesis belongs within the context of augmented reality. The main issue resides in estimating a camera pose in real-time. This estimation should be done following three main criteria: precision, robustness and computation efficiency.In the frame of this thesis we established methods enabling better use of image primitives. As far as we are concerned, we limit ourselves to keypoint primitives. We first set an architecture enabling faster pose estimation without loss of precision or robustness. This architecture is based on using data collected during an offline phase. This offline phase is used to construct a 3D point cloud of the scene. We use those data in order to build a neighbourhood graph within the images in the database. This neighbourhood graph enables us to select the most relevant images in order to compute the camera pose more efficiently. Since the description and matching processes are not fast enough with SIFT descriptor, we decided to optimise the bottleneck parts of the whole pipeline. It led us to propose our own descriptor. Towards this aim, we built a framework encompassing most recent binary descriptors including a recent state-of-the-art one named BOLD. We pursue a similar goal to BOLD, namely to increase the stability of the produced descriptors with respect to rotations. To achieve this goal, we have designed a novel offline selection criterion which is better adapted to the online matching procedure introduced in BOLD.In this thesis we introduce several methods used to estimate camera poses more efficiently. Our work has been distinguished by two publications (a national and an international one) as well as with a patent application.

Una nueva normalidad se está presentando este año, dada a la pandemia vivida por la enfermedad del coronavirus; forzando a la sociedad a lidiar con medidas de respuesta para reactivar aquellos rubros impactados negativamente por el virus, donde el sector construcción se ve involucrado; afectando directamente a una de sus fases más importantes, la preventa inmobiliaria, debido a la rentabilidad que aporta al proyecto. Por lo tanto, es hora de una transformación para contemplar un mejor escenario, siendo un momento clave para la revolución digital y el empleo de herramientas tecnológicas como medios de venta. Por consiguiente; el presente artículo elabora una guía técnica implementando herramientas tecnológicas para la creación de una experiencia inmersiva que permita al cliente final conocer el proyecto a ejecutar de una manera más realista e interactiva. Esta guía se contempla en pasos para el responsable a modelar la experiencia y pasos para el cliente final que desee sumergirse en la experiencia. Finalmente; la validación del aporte se da, previamente, con un juicio de expertos resaltando las necesidades del cliente final para, con ello, contemplar los parámetros de ejecución de los modelos y sus funcionalidades de interacción. / A new normality is emerging this year, due to the current pandemic due to the coronavirus disease; forcing society to take response measures to reactivate those areas negatively impacted by the virus, where the construction sector is involved; directly affecting one of its most important phases, the real estate pre-sale, due to the profitability it brings to the project. Therefore, it is time for a transformation to contemplate a better stage, being a key moment for the digital revolution and the use of technological tools as means of sale. Therefore, this article prepares a technical guide implementing technological tools for the creation of an immersive experience that allows the final client to know the project to be executed in a more realistic and interactive way. This guide is considered in steps for the person responsible to model the experience and steps for the final client who wishes to immerse themselves in the experience. Finally, the validation of the contribution is given, previously, with an expert judgment highlighting the needs of the final client to contemplate the execution parameters of the models and their interaction functionalities. / Trabajo de investigación