La Réalité Augmentée Spatiale (SAR) vise à superposer spatialement l'information virtuelle sur des objets physiques. Au cours des dernières décennies ce domaine a connu une grande expansion et est utilisé dans divers domaines, tels que la médecine, le prototypage, le divertissement etc. Cependant, pour obtenir des projections de bonne qualité, on doit résoudre plusieurs problèmes, dont les plus importants sont la gamme de couleurs réduite du projecteur, la lumière ambiante, la couleur du fond, et la configuration arbitraire de la surface de projection dans la scène. Ces facteurs entraînent des distorsions dans les images qui requièrent des processus de compensation complémentaires.Les projections intelligentes (smart projections) sont au cœur des applications de SAR. Composées d'un dispositif de projection et d'un dispositif d'acquisition, elles contrôlent l'aspect de la projection et effectuent des corrections à la volée pour compenser les distorsions. Bien que les méthodes actives de Lumière Structurée aient été utilisées classiquement pour résoudre ces problèmes de compensation géométrique, cette thèse propose une nouvelle approche non intrusive pour la compensation géométrique de plusieurs surfaces planes et pour la reconnaissance des objets en SAR s'appuyant uniquement sur la capture du contenu projeté.Premièrement, cette thèse étude l'usage de l'invariance couleur pour améliorer la qualité de la mise en correspondance entre primitives dans une configuration d'acquisition des images vidéoprojetées. Nous comparons la performance de la plupart des méthodes de l'état de l'art avec celle du descripteur proposé basé sur l'égalisation d'histogramme. Deuxièmement, pour mieux traiter les conditions standard des systèmes projecteur-caméra, deux ensembles de données de captures de projections réelles, ont été spécialement préparés à des fins expérimentales. La performance de tous les algorithmes considérés est analysée de façon approfondie et des propositions de recommandations sont faites sur le choix des algorithmes les mieux adaptés en fonction des conditions expérimentales (paramètres image, disposition spatiale, couleur du fond...). Troisièmement, nous considérons le problème d'ajustement multi-surface pour compenser des distorsions d'homographie dans les images acquises. Une combinaison de mise en correspondance entre les primitives et de Flux Optique est proposée afin d'obtenir une compensation géométrique plus rapide. Quatrièmement, une nouvelle application en reconnaissance d'objet à partir de captures d'images vidéo-projetées est mise en œuvre. Finalement, une implémentation GPU temps réel des algorithmes considérés ouvre des pistes pour la compensation géométrique non intrusive en SAR basée sur la mise en correspondances entre primitives. / Spatial Augmented Reality (SAR) aims at spatially superposing virtual information on real-world objects. Over the last decades, it has gained a lot of success and been used in manifold applications in various domains, such as medicine, prototyping, entertainment etc. However, to obtain projections of a good quality one has to deal with multiple problems, among them the most important are the limited projector output gamut, ambient illumination, color background, and arbitrary geometric surface configurations of the projection scene. These factors result in image distortions which require additional compensation steps.Smart-projections are at the core of PAR applications. Equipped with a projection and acquisitions devices, they control the projection appearance and introduce corrections on the fly to compensate distortions. Although active structured-light techniques have been so far the de-facto method to address such problems, this PhD thesis addresses a relatively new unintrusive content-based approach for geometric compensation of multiple planar surfaces and for object recognition in SAR.Firstly, this thesis investigates the use of color-invariance for feature matching quality enhancement in projection-acquisition scenarios. The performance of most state-of-the art methods are studied along with the proposed local histogram equalization-based descriptor. Secondly, to better address the typical conditions encountered when using a projector-camera system, two datasets of real-world projections were specially prepared for experimental purposes. Through a series of evaluation frameworks, the performance of all considered algorithms is thoroughly analyzed, providing several inferences on that which algorithms are more appropriate in each condition. Thirdly, this PhD work addresses the problem of multiple-surface fitting used to compensate different homography distortions in acquired images. A combination of feature matching and Optical Flow tracking is proposed in order to achieve a more low-weight geometric compensation. Fourthly, an example of new application to object recognition from acquired projections is showed. Finally, a real-time implementation of considered methods on GPU shows prospects for the unintrusive feature matching-based geometric compensation in SAR applications.

Cette thèse développe de nouvelles approches pour l'effacement et la révélation de la présence humaine en utilisant des techniques de réalité augmentée. Elle se concentre sur les systèmes projecteur-caméra (ProCams) et leur application dans les «projections intelligentes», où le contenu virtuel projeté est adapté en fonction de l'environnement. Nous nous appuyons sur les travaux antérieurs sur la compensation photométrique pour projeter sur une surface colorée fixe qui permet au spectateur d'observer la même image telle qu'elle apparaîtrait sur une surface blanche. Malgré les différentes méthodes de compensation des couleurs qui ont été proposées au cours de décennie, la compensation appliquée à monde réel avec des couleurs saturées et vives est encore une question ouverte. L'objectif principal de ce travail est la compensation photométrique sur un objet 3D en mouvement en utilisant un ProCam, ce qui est un scénario considérablement plus difficile. Une nouvelle méthode pour la compensation de couleur à l'aide d'une image d'entrée unique est proposée. Elle consiste à estimer la réflectance spectrale de la surface afin de compenser celle-ci en supposant que les réponses du projecteur sont connues ou mesurées précédemment. Cette méthode a été entièrement développée sur GPU pour permettre une compensation en temps réel. Les méthodes antérieures sur la compensation couleur sont discutées et comparées afin d'évaluer la performance de notre technique. L'étalonnage photométrique et géométrique précis d'un ProCam est essentiel pour une compensation précise. Une nouvelle technique de calibration géométrique entre un capteur de profondeur et un ProCam est présentée dans le but de réaliser la projection sur un objet en mouvement. Une calibration photométrique est décrite pour la transformation des valeurs RGB de la caméra et du projecteur (dépendantes du périphérique) vers l'espace couleur CIE XYZ 1931 (indépendantes du périphérique). Le potentiel artistique des techniques de réalité augmentée proposées est en outre exploré à travers l'installation interactive artistique “Gardien du Temple”. La révélation et l'effacement ont toujours été un terrain d'expérimentation commun aux artistes et aux scientifiques. Cette installation audiovisuelle utilise la réalité augmentée pour effacer la présence d'un poème écrit sur un tapis invitant le spectateur à le révéler. Dans de telles applications, la précision et la robustesse des méthodes utilisées sont cruciales. Cette installation artistique a donc permis de tester et d'évaluer les travaux de cette thèse dans un contexte collaboratif et exigeant. / This thesis develops new approaches for human presence concealment and revelation using augmented reality techniques. It focuses on projector-camera systems (ProCams) and their application in “smart projections”, where the projected virtual content is adapted according to the environment. One previously-studied problem is the photometric compensation for projecting on a colored fixed surface that allows the viewer to observe the same image as it would appear on a white surface. Despite the various methods for color compensation that have been proposed the last decade, compensation on a real-world surface with saturated colors and sharp color boundaries is still an open issue. The main objective of this work is the color compensation on a moving 3D object using a ProCam, which is a dramatically more challenging scenario. A novel method for color compensation using a single input frame is proposed. It consists in estimating the spectral reflectance of the surface in order to compensate for it under the assumption that the projector responses are known or previously measured. This method was fully developed on GPU to enable real-time compensation. Previous methods on color compensation are discussed and compared in order to evaluate the performance of our technique. The accurate photometric and geometric calibration of a ProCam is essential for precise compensation. A new geometric calibration technique between a depth sensor and a ProCam is presented in order to make the projection on a moving object feasible. A photometric calibration is described for the transformation of the device-dependent camera and projector values to the device-independent CIE XYZ 1931 color space. The artistic potential of the proposed augmented reality techniques is further explored through the interactive art installation “Gardien du Temple”. Revelation and concealment has always been a common experimentation ground for both artists and scientists. This audio visual installation uses augmented reality to hide the presence of a written poem on a carpet inviting the spectator to reveal it. In such applications, the accuracy and robust performance of the methods employed is crucial and, thus, it offered a challenging ground for testing and evaluation.

L'objectif principale de la Réalité Mixte (RM) est de donner aux utilisateurs l'illusion que les objets virtuels et réels coexistent indistinctement dans le même espace. Une illusion efficace nécessite un recalage précis entre les deux mondes. Ce recalage doit être cohérent du point de vue géométrique et photométrique. Dans cette thèse, nous proposons de nouvelles méthodes de recalage photométrique pour estimer l'illumination et la réflectance de scènes réelles. Plus précisément, nous proposons des approches en nous attaquant à trois grands défis : (1) utilisation d'une seule caméra RGB-D. (2) estimation des propriétés de réflectance diffuse et spéculaire. (3) estimation de la position 3D et de la couleur de sources lumineuses dynamiques multiples. Dans notre première contribution, nous considérons des scènes réelles d’intérieurs où la géométrie et l'éclairage sont statiques. En observant la scène à partir d’une caméra mobile, des réflexions spéculaires peuvent être détectées tout au long de la séquence d'images RGB-D. Ces indices visuels sont très instructifs sur l'éclairage et la réflectance des surfaces des scènes. Par conséquent, nous les modélisons pour estimer à la fois les propriétés de réflectance diffuse et spéculaire ainsi que la position 3D de sources lumineuses multiples. Notre algorithme permet d'obtenir des résultats de RM convaincants tels que des ombres virtuelles réalistes ainsi qu'une suppression correcte de la spécularité réelle. Les ombres sont omniprésentes et représentent l’occultation de la lumière par la géométrie existante. Elles représentent donc des indices intéressants pour reconstituer les propriétés photométriques de la scène. La présence de texture dans ce contexte est un scénario critique. En effet, la séparation de la texture et des effets d'éclairage est souvent gérée par des approches qui nécessitent l’intervention de l'utilisateur ou qui ne répondent pas aux exigences du temps de traitement de la réalité mixte. Nous abordons ces limitations et proposons une méthode d'estimation de la position et de l'intensité des sources lumineuses. L'approche proposée gère les lumières dynamiques et fonctionne en temps quasi-réel. L'existence d'une source lumineuse est plus probable si elle est soutenue par plus d'un indice visuel. Nous abordons donc le problème de l'estimation des propriétés d’éclairage et de réflectance en analysant conjointement les réflexions spéculaires et les ombres projetées. L'approche proposée tire parti de l'information apportée par les deux indices pour traiter une grande variété de scènes. Notre approche est capable de traiter n'importe quelle surface texturée et tient compte à la fois des sources lumineuses statiques et dynamiques. Son efficacité est démontrée par une gamme d'applications, incluant la réalité mixte et la re-texturation. La détection des ombres projetées et des réflexions spéculaires étant au cœur de cette thèse, nous proposons finalement une méthode d'apprentissage approfondi pour détecter conjointement les deux indices visuels dans des scènes réelles d’intérieurs. / The overarching goal of Mixed Reality (MR) is to provide the users with the illusion that virtual and real objects coexist indistinguishably in the same space. An effective illusion requires an accurate registration between both worlds. This registration must be geometrically and photometrically coherent. In this thesis, we propose novel photometric registration methods to estimate the illumination and reflectance of real scenes. Specifically, we propose new approaches which address three main challenges: (1) use of a single RGB-D camera. (2) estimation of both diffuse and specular reflectance properties. (3) estimation of the 3D position and color of multiple dynamic light sources. Within our first contribution, we consider indoor real scenes where both geometry and illumination are static. As the sensor browses the scene, specular reflections can be observed throughout a sequence of RGB-D images. These visual cues are very informative about the illumination and reflectance of scene surfaces. Hence, we model these cues to recover both diffuse and specular reflectance properties as well as the 3D position of multiple light sources. Our algorithm allows convincing MR results such as realistic virtual shadows and correct real specularity removal. Shadows are omnipresent and result from the occlusion of light by existing geometry. They therefore represent interesting cues to reconstruct the photometric properties of the scene. Presence of texture in this context is a critical scenario. In fact, separating texture from illumination effects is often handled via approaches which require user interaction or do not satisfy mixed reality processing time requirements. We address these limitations and propose a method which estimates the 3D position and intensity of light sources. The proposed approach handles dynamic light sources and runs at an interactive frame rate. The existence of a light source is more likely if it is supported by more than one cue. We therefore address the problem of estimating illumination and reflectance properties by jointly analysing specular reflections and cast shadows. The proposed approach takes advantage of information brought by both cues to handle a large variety of scenes. Our approach is capable of handling any textured surface and considers both static and dynamic light sources. Its effectiveness is demonstrated through a range of applications including real-time mixed reality and retexturing. Since the detection of cast shadows and specular reflections are at the heart of this thesis, we further propose a deep-learning framework to jointly detect both cues in indoor real scenes.

Par opposition à la Réalité Augmentée qui consiste à ajouter des éléments virtuels à un environnement réel, la Réalité Diminuée consiste à supprimer des éléments réels d'un environnement. Le but est d'effectuer un rendu visuel d'une scène 3D où les éléments "effacés" ne sont plus présents : la difficulté consiste à créer une image de sorte que la diminution ne soit pas perceptible par l'utilisateur. Il faut donc venir compléter la scène initialement cachée par ces éléments, en effectuant une opération d'inpainting qui prenne en compte la géométrie de la pièce, sa texture (structurée ou non), et la luminosité ambiante de l'environnement. Par exemple, l’œil humain est sensible à la régularité d'une texture. L'un des objectifs d'Innersense, entreprise spécialisée dans l'aménagement virtuel d’intérieurs, est de développer un produit capable d'enlever des éléments présents dans une pièce d'intérieur. Une fois la suppression virtuelle des meubles existants effectuée , il sera alors possible d'ajouter des meubles virtuels dans l'espace laissé vacant. L'objectif de cette thèse CIFRE est donc de mettre en place un scénario de réalité diminuée pouvant être exécuté sur un système mobile (tablette IOS ou Android) qui génère des images photo-réalistes de la scène diminuée. Pour cela, à partir d’un modèle géométrique de la pièce d'intérieur que l'on veut altérer, nous adaptons et améliorons des procédures d'effacement d'éléments d'une image appelées inpainting dans une image 2D. Ensuite, nous appliquons ces techniques dans le contexte 3D intérieur pour tenir compte de la géométrie de la scène. Enfin, nous analysons la luminosité pour augmenter le réalisme des zones complétées.Dans cette thèse, nous rappelons d'abord les différents travaux académiques et les solutions industrielles existantes. Nous évoquons leurs avantages et leurs limites. Nous abordons ensuite les différentes techniques d'inpainting existantes pour introduire notre première contribution qui propose d'adapter une des méthodes de l’état de l’art pour prendre en compte de la structure du motif de la texture. La problématique de la luminosité est ensuite abordée en proposant un processus qui traite séparément la texture et la variation de la luminosité. Nous présentons ensuite une troisième contribution qui propose un critère de confiance basé sur des considérations radiométriques pour sélectionner une information selon sa qualité dans le processus d'inpainting. Nous proposons une dernière contribution basée sur la complétion de texture de modèles 3D non planaires reconstruits à partir de peu d’images et donc présentant une texture incomplète. Enfin, nous montrons les applications développées grâce à ces travaux dans le contexte des scènes d'intérieur considérées par Innersense / In contrast to Augmented Reality, which consists in adding virtual elements to a real environment,Diminished Reality consists in removing real elements from an environment. The goal is to visuallyrender a 3D scene where the "deleted" elements are no longer present: the difficulty is to createan image so that the processing is not perceptible to the user. It is therefore necessary tocomplete the scene initially hidden by these elements, by performing an inpainting operation thattakes into account the geometry of the part, its texture (structured or not), and the ambientbrightness of the environment. For example, the human eye is sensitive to the regularity of atexture. One of the objectives of Innersense, a company specializing in virtual interior design, is todevelop a product that can remove elements from an interior room. Once the virtual removal ofexisting furniture has been completed, it will then be possible to add virtual furniture in the vacantspace. The objective of this CIFRE thesis is therefore to set up a scenario of diminished realitythat can be executed on a mobile system (IOS or Android tablet) that generates photorealisticimages of the diminished scene. To do this, based on a geometric model of the interior part thatwe want to alter, we adapt and improve procedures for erasing elements of an image calledinpainting in a 2D image. Then, we apply these techniques in the 3D indoor context to take intoaccount the geometry of the scene. Finally, we analyze the brightness to increase the realism ofthe completed areas. In this thesis, we first review the various academic works and existingindustrial solutions. We discuss their advantages and limitations. We then discuss the differentexisting inpainting techniques to introduce our first contribution which proposes to adapt one of thestate of the art methods to take into account the structure of the texture pattern. The problem ofbrightness is then discussed by proposing a process that deals separately with texture andvariation of brightness. We then present a third contribution that proposes a confidence criterionbased on radiometric considerations to select information according to its quality in the inpaintingprocess. We propose a last contribution based on the texture completion of non-planar 3D modelsreconstructed from few images and therefore presenting an incomplete texture. Finally, we showthe applications developed through this work in the context of the interior scenes considered byInnersense.

Manual assembly workers have nowadays a much higher workload than before. Not only do they have to deal with many more product variants, but as aconsequence they also receive many more information signals that they have to act upon. This study focuses on the information assembly workers receive through visual instructions. By conducting a literature review in the domains of product development with focus on design for assembly, cognition related to informationin instructions and different instruction formats like paper, tablet, and augmented reality (AR), commonalities and differences could be identified. Assembly operations are generally divided in handling a part and joining a part, and instructions should inform the assembly worker about when what should be assembled where and how. Each of these aspects has an impact on the overall complexity of the assembly process. To realise which of these aspects is most critical for an assembly worker can be of help in creating and delivering effective, tailor made instructions. The main finding is that there is not a one size fits all solution when it comes to the effectiveness of instructions, but that the type of instructions and the way they are delivered should in the first place be adjusted to the complexity of the assembly operations and secondly - if possible - also adjusted to the experience of the worker. The outcomes mentioned in this document should help laying the foundation for rules and guidelines when it comes to manual assembly instructions and its factors to consider.

Ette thèse s’inscrit dans le contexte de la réalité augmentée (RA). La problématique majeure consiste à calculer la pose d’une caméra en temps réel. Ce calcul doit être effectué en respectant trois critères principaux : précision, robustesse et rapidité. Dans le cadre de cette thèse, nous introduisons certaines méthodes permettant d’exploiter au mieux les primitives des images. Dans notre cas, les primitives sont des points que nous allons détecter puis décrire dans une image. Pour ce faire, nous nous basons sur la texture de cette image. Nous avons dans un premier temps mis en place une architecture favorisant le calcul rapide de la pose, sans perdre en précision ni en robustesse. Nous avons pour cela exploité une phase hors ligne, où nous reconstruisons la scène en 3D. Nous exploitons les informations que nous obtenons lors de cette phase hors ligne afin de construire un arbre de voisinage. Cet arbre lie les images de la base de données entre elles. Disposer de cet arbre nous permet de calculer la pose de la caméra plus efficacement en choisissant les images de la base de données jugées les plus pertinentes. Nous rendant compte que la phase de description et de comparaison des primitives n’est pas suffisamment rapide, nous en avons optimisé les calculs. Cela nous a mené jusqu’à proposer notre propre descripteur. Pour cela, nous avons dressé un schéma générique basé sur la théorie de l’information qui englobe une bonne part des descripteurs binaires, y compris un descripteur récent nommé BOLD [BTM15]. Notre objectif a été, comme pour BOLD, d’augmenter la stabilité aux changements d’orientation du descripteur produit. Afin de réaliser cela, nous avons construit un nouveau schéma de sélection hors ligne plus adapté à la procédure de mise en correspondance en ligne. Cela permet d’intégrer ces améliorations dans le descripteur que nous construisons. Procéder ainsi permet d’améliorer les performances du descripteur notamment en terme de rapidité en comparaison avec les descripteurs de l’état de l’art. Nous détaillons dans cette thèse les différentes méthodes que nous avons mises en place afin d’optimiser l’estimation de la pose d’une caméra. Nos travaux ont fait l’objet de 2 publications (1 nationale et 1 internationale) et d’un dépôt de brevet. / This thesis belongs within the context of augmented reality. The main issue resides in estimating a camera pose in real-time. This estimation should be done following three main criteria: precision, robustness and computation efficiency.In the frame of this thesis we established methods enabling better use of image primitives. As far as we are concerned, we limit ourselves to keypoint primitives. We first set an architecture enabling faster pose estimation without loss of precision or robustness. This architecture is based on using data collected during an offline phase. This offline phase is used to construct a 3D point cloud of the scene. We use those data in order to build a neighbourhood graph within the images in the database. This neighbourhood graph enables us to select the most relevant images in order to compute the camera pose more efficiently. Since the description and matching processes are not fast enough with SIFT descriptor, we decided to optimise the bottleneck parts of the whole pipeline. It led us to propose our own descriptor. Towards this aim, we built a framework encompassing most recent binary descriptors including a recent state-of-the-art one named BOLD. We pursue a similar goal to BOLD, namely to increase the stability of the produced descriptors with respect to rotations. To achieve this goal, we have designed a novel offline selection criterion which is better adapted to the online matching procedure introduced in BOLD.In this thesis we introduce several methods used to estimate camera poses more efficiently. Our work has been distinguished by two publications (a national and an international one) as well as with a patent application.

Una nueva normalidad se está presentando este año, dada a la pandemia vivida por la enfermedad del coronavirus; forzando a la sociedad a lidiar con medidas de respuesta para reactivar aquellos rubros impactados negativamente por el virus, donde el sector construcción se ve involucrado; afectando directamente a una de sus fases más importantes, la preventa inmobiliaria, debido a la rentabilidad que aporta al proyecto. Por lo tanto, es hora de una transformación para contemplar un mejor escenario, siendo un momento clave para la revolución digital y el empleo de herramientas tecnológicas como medios de venta. Por consiguiente; el presente artículo elabora una guía técnica implementando herramientas tecnológicas para la creación de una experiencia inmersiva que permita al cliente final conocer el proyecto a ejecutar de una manera más realista e interactiva. Esta guía se contempla en pasos para el responsable a modelar la experiencia y pasos para el cliente final que desee sumergirse en la experiencia. Finalmente; la validación del aporte se da, previamente, con un juicio de expertos resaltando las necesidades del cliente final para, con ello, contemplar los parámetros de ejecución de los modelos y sus funcionalidades de interacción. / A new normality is emerging this year, due to the current pandemic due to the coronavirus disease; forcing society to take response measures to reactivate those areas negatively impacted by the virus, where the construction sector is involved; directly affecting one of its most important phases, the real estate pre-sale, due to the profitability it brings to the project. Therefore, it is time for a transformation to contemplate a better stage, being a key moment for the digital revolution and the use of technological tools as means of sale. Therefore, this article prepares a technical guide implementing technological tools for the creation of an immersive experience that allows the final client to know the project to be executed in a more realistic and interactive way. This guide is considered in steps for the person responsible to model the experience and steps for the final client who wishes to immerse themselves in the experience. Finally, the validation of the contribution is given, previously, with an expert judgment highlighting the needs of the final client to contemplate the execution parameters of the models and their interaction functionalities. / Trabajo de investigación

El presente trabajo consiste en un plan de negocios para la comercialización de un aplicativo móvil de entrenamiento en realidad aumentada para Prevención de Riesgos a través de los Smartphones y iPhone en la ciudad de Lima. La validación de la propuesta se obtuvo en base a entrevistas a líderes de opinión y encuestas a los colaboradores que oscilan entre los 18 y 60 años, además, se realizó el análisis de la segmentación del mercado donde se logró determinar cuántas empresas se pueden beneficiar con el APP. Por consiguiente, se realizó la segmentación y la delimitación del mercado objetivo. Por ello, se determinó que el mercado objetivo es el sector industrial con el segmento empresarial Gran y Mediana empresa que representa el 0.99% del total de empresas de Lima Metropolitana. Se ha decidido captar al 2.33% del total de empresas industriales identificadas. Con relación a las estrategias de marketing, cabe señalar que el canal de distribución será directo, a través de vendedores propios y también por canales digitales. Con esta propuesta, se espera que el APP de entrenamiento en realidad aumentada para Prevención de Riesgos en un mediano plazo se convierta en líder del mercado de capacitaciones en RA con alto manejo de flexibilidad en el tiempo y eficiencia. Para el inicio del proyecto se requiere una inversión inicial de S/.63,936.00, con préstamo bancario de 70% y un aporte de capital de 30%. Se estima obtener un VAN de s/. 750, 111 con valor de TIR de 50%. / This paper is a business plan for the marketing of a mobile application for augmented reality training in risk prevention through smartphones in the city of Lima. The proposal was validated by interviews to opinion leaders and surveys to people aged 18 to 60 years. In addition, a market segmentation analysis was performed to determine how many companies could benefit from the app. Through market segmentation and definition, it was determined that the target market is large and medium-sized enterprises of the industrial sector, which represent 0.99% of the total number in Lima Metropolitan Area. It was decided to target 2.33% of the enterprises identified. As regards marketing strategies, the distribution channel will be direct, through sellers and digital channels. With this proposal, the app for augmented reality training in risk prevention is expected to become a market leader in AR training in the medium term, offering high time flexibility and efficiency. To execute the Project, an initial investment of PEN 63,936.00 is required, which will be obtained through bank loan (70%) and capital contribution (30%). It is estimated to achieve a NPV of PEN 750,111 with an IRR of 50%. / Trabajo de investigación

Many of us find it difficult to make big decisions, building ahouse is one of them. It is perhaps the biggest investment andproject that one takes on. During a house building project, thereare many things that needs to come together, you have to finda plot, choose a house model and lastly all those other choicesas for example the kitchen and bathroom details. It is in thisdecision process that it can be useful to be able to test differenthouse models and materials before the final decision is made.It is this process that is the focus of the thesis, or rather, a tool tofacilitate decisions. There are existing solutions today where the usercan change materials in houses online in virtual reality, this thesisexplores how this functionality could be conceived in an AR (AugmentedReality) environment. With this, the user can see their housein real size on the site before the construction has even begun.Neava AB has developed an application called Arvue where it is possibleto view an AR model of a house in real size. The houses NeavaAB produce belong to their customers, who are house companies.But as the team at Neava AB worked on developing customized configuratorsfor virtual reality, some challenges began to emerge.It takes a long time to agree with the customer which colour shadeis correct and the communication between the two at this stage ofproduction can sometimes take a long time. During which Neavahas to wait for the customer’s reply before they can continue theirwork. The problem regarding to the colours is also connected to thecustomers brand identity as the house companies all have their ownspecific appearance and want both the interface and images to reflectthis as strongly as possible. This increases the communicationbetween the two even further.The aim of the thesis is to design a tool where the house companycan administrate their own interface in the interactive AR configurator.The interface design is focused on user experience and evaluatedby measuring the usability and user experience.The work presented in this thesis applied a user centered designprocess, in which the most important part is to involve the users inthe design and to base the decisions upon their needs and feedbackin different ways. This work applied interviews, surveys, evaluationsand user testing continuously to control how well the results were inline with the identified needs.The thesis presents a proof of concept for how this tool for the housecompanies could be conceived by designing both the interface to administrateand the tool itself. By developing this tool Neava AB wouldboth reduce the time they spend on communication but also have aprogressive and innovative product service which could help reducethe environmental impact of building new houses. This is achievedby helping the users make better decisions and reduce the amountof re-buildt houses. / För många människor är det svårt att ta stora beslut, att bygga hus är ett av dessa. Det är kanske den största investeringen och projekt som man tar sig an. I ett husbygge är det många saker som ska stämma överrens, man ska hitta en tomt, välja en husmodell och till sist alla de där andra valen som till exempel köks- och badrumsdetaljer. Det är i detta beslutskede som det kan vara skönt att kunna testa olika husmodeller och material innan det slutliga beslutet tas. Det är denna process som är i fokus i detta examensarbete, eller rättare sagt ett verktyg för att underlätta besluten. Det handlar nämligenom en AR-applikation för hus. AR står för augmented reality(förstärkt verklighet) och med hjälp av denna kan användaren se sitt hus i verklig storlek på tomten innan någonting är bestämt eller ens påbörjat. Neava AB har utvecklat en applikation där det i dagsläget går att visa en AR-modell av ett hus i verklig storlek. Deras huvudsakliga kunder är husföretag som bygger modulära hus. Då teamet på Neava AB arbetat med att utveckla kundanpassade konfiguratorer för virtuell verklighet har några utmaningar börjat visa sig.Det tar lång tid att komma överens om vilken färgnyans som är korrekt och kommunikationen i detta skede av produktionen tar iblandväldigt lång tid varvid Neava måste invänta kundens bedöming påderas modeller. Detta problem är också kopplat till kundernas grafiska profil då kunderna alla har en specifik framtoning och vill att både gränssnitt och bilder ska återspegla denna så starkt som möjligt. Målsättningen med arbetet är att utforska hur ett verktyg för husföretagen att skapa sina egna gränssnitt skulle kunna se ut. Gränssnittet designas med fokus på användbarhet och användarupplevelse och utvärderas kontinuerligt jäntemot dessa kriterier. Projektet tillämpar en användarcentrerad designprocess där det centrala är att involvera användarna i designprocessen på olika sätt. Detta arbete tillämpar intervjuer, enkäter, utvärderingar och användartester genomgående för att kontrollera hur väl resultaten stämmer överrens med de identifierade behoven. Designen tas fram med utgånspunkt i de identifierade utmaningar och problem som funnits med hjälp av dessa metoder.Resultatet är ett koncept som illusterar hur detta verktyg skulle kunna se ut och fungera. Både hur en konfigurator för AR men också för hur en administrativ tjänst för en huskonfigurator skulle kunna se ut.Genom att designa gränssnittet för huskonfiguratorn i AR och medföljande administrativa tjänst så kunde ett förslag för detta verktyg presenteras. Om Neava skulle utveckla detta verktyg så skulle det både minska tiden som de lägger på kommunikation, men också ha tagit fram en innovativ och nytänkande produkt som kan bidra till att minska miljöpåverkan av nybyggnation genom säkrare beslut och minskad ombyggnation.

Background. The use of Unmanned Aerial Vehicles (UAVs) is today prevalent in both defense applications as well as in civilian tasks and is predicted to have a major socio-economic impact [22]. The opportunities involved with using Augmented Reality (AR) during UAV operations have engaged previous research intending to improve an operator’s situational awareness which allows operations to be carried out without putting people in dangerous situations [1,11,47]. In the case of a system where multiple UAVs are simultaneously active with the possibility to share information, opportunities arise for visualization of tracked entities either located behind objects in the environment or outside the field of view of a UAV. While previous research has been done in the field of AR on hidden elements, the impact of those techniques in a multi-UAV scenario is unexplored. Objectives. The thesis aimed to answer the question of what the impact is of different visualization techniques in regards to response time, depth perception, and clarity in a multi-UAV scenario involving entities occluded by the environment or otherwise hidden. Methods. This thesis has gone forward with a Systematic Literature Review (SLR) to in a systematic way compile the most important visualization techniques for AR visualizations of hidden elements. The techniques proposed by the SLR were implemented in an application simulating a multi-UAV scenario as well as evaluated in an experiment and a survey to fill in the gaps in previous research. Results. The SLR provided this work with multiple important aspects for visualization of entities, both occluded as well outside the field of view including the importance to utilize occlusion as a depth cue but also concrete techniques for implementation. Through the SLR the Excavation box, Naive ghosting, Silhouette, Ruler, Halo, and Radar techniques were selected for implementation in a multi-UAV scenario. The evaluation showed that for clarity the Excavation box and Silhouette techniques were preferred over the Naive ghosting technique, that the Halo technique is preferred for estimation of position but also aspects such that the occlusion depth cue may be unnecessary at the distances involved in the general multi-UAV scenario evaluated. Conclusions. Based on the findings of this thesis can visualizations in a multi-UAV scenario be created, heightening the situational awareness of UAV operators and therefore allowing tasks to be completed without putting people in dangerous situations [1, 11, 22, 47]. / Bakgrund. Drönare är idag använda i både försvarssammanhang och allmänna samhällssituationer och förväntas ha ett betydande socio-ekonomiskt avtryck i framtiden [22]. Genom att använda sig av augmenterad verklighet (AR) under drönaruppdrag, ett område där tidigare forskning genomförts, kan en operatörs medvetenhet kring sin omgivning höjas och därmed uppdrag genomföras utan att människor sätts i farliga situationer [1,11,47]. I situationer där flera drönare samtidigt är aktiva och kan dela information med varandra dyker möjligheter upp att visualisera spårade entiteter som befinner sig både bakom objekt i miljön och utanför synfältet för en specifik drönare. Tidigare forskning har gjorts inom AR för dolda element men hur dessa fungerar i detta system med flera drönare är outforskat. Syfte. Denna avhandlings mål var att svara på frågan kring hur olika visualiseringstekniker fungerar i avseende med responstid, djupuppfattning och tydlighet i situationer med flera aktiva drönare med spårade, dolda entiteter. Metod. Denna avhandling har genomfört en Systematic Literature Review (SLR) för att systematiskt ta fram de viktigaste teknikerna inom forskningen för AR visualiseringar av dolda element. De tekniker föreslagna av SLR:en implementerades i en applikation som simulerar ett multi-drönar scenario följt av en evaluering genom ett experiment och en undersökning för att bidra i ett område där forskning saknas. Resultat. SLR:en bidrog med flera viktiga principer och tekniker relevanta för att svara på avhandlingens forskningsfråga. Baserat på dessa resultat implementerades sex stycken tekniker: Excavation box, Naive ghosting, Silhouette, Ruler, Halo och Radar. Evalueringen visade att för tydlighet bör Excavation box eller Silhouette användas över Naive ghosting, Halo-tekniken är att föredra vid positionsestimering och att aspekter som att använda sig av täckning som guide för djupuppfattning kanske är onödig vid distanserna som är relevanta i det evaluerade scenariot. Slutsatser. Baserat på upptäckterna i denna avhandling kan visualiseringar för system med flera drönare skapas vilka ökar medvetenheten kring en operatörs omgivning och därför utföra uppdrag utan att människor utsätts för farliga miljöer [1,11,22,47].