The goal of this research was to create an educational, outdoor Augmented Reality tour for preschool children using Minnesmark editor and mobile application. It started with an ethnographic pre-study which aimed understand the children’s abilities, characteristics and interests. It was followed by a bodystorming session which allowed the children to contribute to the design process together with the designer. Based on all the findings, a context scenario was created which showed the concept of a practicable tour. All the functional and data requirements were specified before creating the tour. The design was intended to be user-centred and to have positive effect on the children’s learning of sustainability and biodiversity. The tour was refined and created as a final product. 10 children participated in the tour which was executed in a forest behind the preschool and the preschool garden. The tour was evaluated which identified the design problems and their possible solutions.

Every child is born a scientist, with curiosity to explore the environment through experimentation. However, in practice, science education still very focuses on transmitting facts instead of encouraging personal exploration. Conducting science exploration in a classroom can be complicated for kids and limited by safety, money and laboratory infrastructure. But what if we could create a middle ground between science and fiction, a world where kids discover and experiment in ways that could be impossible in real life but still true to science? This project is to design an imaginative and accessible tool to help kids develop a scientific mindset and practice through play. Wonder-LAND is a mixed reality book system that empowers kids to discover the unseen and experiment the impossible through play. The system combines AR and VR technology with various traditional paper-based mechanisms from pop-up book, cut-out toys and movable cards to bring a world alive. In such way, kids can interact with the tangible material, paper, to unlock amazing 3D virtual phenomena. They can discover things that are not visible to the naked eyes through metaphorical paper tools. And they can also conduct experiments that are impossible in reality by creating their own universe and controlling parameters in simulation. And those playful interactions spark their curiosity and passion for more scientific exploration.

Alors que le numérique a longtemps été réservé à des usages experts, il fait aujourd’hui partie intégrante de notre quotidien, au point, qu’il devient difficile de considérer le monde physique dans lequel nous vivons indépendamment du monde numérique. Pourtant, malgré cette évolution, notre manière d’interagir avec le monde numérique a très peu évolué, et reste toujours principalement basé sur l’utilisation d’écrans, de claviers et de souris. Dans les nouveaux usages rendus possible par le numérique, ces interfaces peuvent se montrer inadaptées, et continuent à préserver la séparation entre le monde physique et le monde numérique. Au cours de cette thèse, nous nous sommes concentrés à rendre cette frontière entre mondes physique et numérique plus subtil au point de la faire disparaître. Cela est rendu possible en étendant la portée des outils numériques dans le monde physique, puis en concevant des artefacts hybrides (des objets aux propriétés physique et numérique), et enfin en permettant les transitions dans une réalité mixte (physique-numérique), laissant le choix du niveau d’immersion à l’utilisateur en fonction de ses besoins. L’objectif final de ce travail est d’augmenter l’expérience de la réalité. Cela comprend non seulement le support de l’interaction avec le monde extérieur, mais aussi avec notre monde intérieur. Cette thèse fournit aux lecteurs les informations contextuelles et les connaissances techniques requises pour pouvoir comprendre et concevoir des systèmes de réalité mixte. A partir de ces fondements, nos contributions, ayant pour but de fusionner le monde physique et le monde virtuel, sont présentées. Nous espérons que ce document inspirera et facilitera des travaux futurs ayant pour vision d’unifier le physique et le virtuel. / In recent history, computational devices evolved from simple calculators to now pervasive artefacts, with which we share most aspects of our lives, and it is hard to imagine otherwise. Yet, this change of the role of computers was not accompanied by an equivalent redefinition of the interaction paradigm: we still mostly depend on screens, keyboards and mice. Even when these legacy interfaces have been proven efficient for traditional tasks, we agree with those who argue that these interfaces are not necessarily fitting for their new roles. Even more so, traditional interfaces preserve the separation between digital and physical realms, now counterparts of our reality.During this PhD, we focused the dissolution of the separation between physical and digital, first by extending the reach of digital tools into the physical environment, followed by the creation of hybrid artefacts (physical-digital emulsions), to finally support the transition between different mixed realities, increasing immersion only when needed. The final objective of this work is to augment the experience of reality. This comprises not only the support of the interaction with the external world, but also with the internal one. This thesis provides the reader contextual information along with required technical knowledge to be able to understand and build mixed reality systems. Once the theoretical and practical knowledge is provided, our contributions towards the overarching goal of merging physical and digital realms are presented. We hope this document will inspire and help others to work towards a world where the physical and digital, and humans and their environment are not opposites, but instead all counterparts of a unified reality.

Augmented Reality, eller förstärkt verklighet som det heter på svenska, är en teknologi som funnits i någon form sedan mer än 30 år tillbaka. Förstärkt verklighet system bygger och lägger virtuella objekt på vår syn av verkligheten, antingen genom video eller en genomskinlig display. Trots sin långa historia har det bara nyligen kunnat börja utvecklas i någon betydande mening, därför att den är starkt begränsad av processor- och display-teknik. Förutom tekniska begränsningar möter den också begränsningar i form av användarens kapacitet att bearbeta information som ett system matar ut. Om mängden information överskrider kapaciteten blir användaren överbelastad, ett tillstånd som kallas för Information Overload, vilket resulterar i att användaren får svårt att ta in och begripa information. Detta kan åthjälpas genom att utöva god design av användargränssnittet, som är en viktig del i alla system. Militären är mycket intresserade i teknologin i hopp om att det ska ge dem en bättre överblick på slagfältet. Den miljö som råder på ett slagfält kan dock vara mycket stressande, vilket ökar risken för Information Overload och gör det till en större utmaning att designa ett användbart system. Denna uppsats syftar att samla information om förstärkt verklighet, Informaion Overload och gränssnittsdesign på ett ställe och applicera det på ett militärt projekt, för att undersöka vilka utmaningar som uppstår när man designar för militärt bruk, utifrån traditionella riktlinjer och principer.

La réalité augmentée permet d'aider les chirurgiens à localiser pendant l'opération la position des structures d'intérêt, comme les vaisseaux sanguins. Dans le cadre de la chirurgie laparoscopique, les modèles 3D affichés durant l'intervention ne correspondent pas à la réalité à cause des déformations dues au pneumopéritoine. Cette thèse a pour objectif de corriger ces déformations afin de fournir un modèle du foie réaliste. Nous proposons de déformer le modèle préopératoire du foie à partir d'une acquisition intraopératoire de la surface antérieure du foie. Un champ de déformations entre les modèles préopératoire et intraopératoire est calculé à partir de la distance géodésique à des repères anatomiques. De plus, une simulation biomécanique du pneumopéritoine est réalisée pour prédire la position de la cavité abdomino-thoracique qui est utilisée comme condition limite. L'évaluation de cette méthode montre que l'erreur de position du foie et de ses structures internes est réduite à 1cm. / Augmented reality can provide to surgeons during intervention the positions of critical structures like vessels. The 3D models displayed during a laparoscopic surgery intervention do not fit to reality due to pneumperitoneum deformations. This thesis aim is to correct these deformations to provide a realistic liver model during intervention. We propose to deform the preoperative liver model according to an intraoperative acquisition of the liver anterior surface. A deformation field between the preoperative and intraoperative models is computed according to the geodesic distance to anatomical landmarks. Moreover, a biomechanical simulation is realised to predict the position of the abdomino-thoracic cavity which is used as boundary conditions. This method evaluation shows that the position error of the liver and its vessels is reduced to 1cm.

La découpe virtuelle d'objets déformables est au coeur de nombreuses applications pour la simulation interactive. Nous présentons un nouvel algorithme de remaillage permettant la simulation de découpes avec la méthode des éléments finis. Nous avons combiné notre algorithme avec la méthode du «snapping» déplaçant les noeuds la surface de coupe, pour des tétradres linéaires. Notre approche permet de maîtriser le nombre de noeuds et de la qualité numérique du maillage durant les coupes. Elle donne des résultats similaires pour les fonctions de forme quadratiques. Dans ce cadre, nous avons évalué le «snapping» pour simuler la fracture de surfaces triangulées. Nous avons appliqué nos résultats en 3D pour l'assistance aux gestes chirurgicaux, en étant les premiers présenter des résultats sur la détection de déchirures dans un flux vidéo monoculaire. La robustesse de notre algorithme et l'augmentation des structures internes des organes. / Virtual cutting of deformable objects is at the core of many applications in interactive simulation for computational medicine. We present a new remeshing algorithm simulating cuts based on the finite element method. For tetrahedral elements with linear shape tunctions, we combined our algorithm with the movement of the nodes on the cutting surface, called snapping. Our approach shows benefits when evaluating the impact of cuts on the number of nodes and the numerical quality of the mesh. The remeshing algorithm yields similar results for quadratic elements. However, the snapping of nodes entails higher challenges and has been evaluated on triangular elements, simulating fractures. For augmented reality applications, we are the first to present results on the detection of fractures, tearing and cutting from a monocular video stream. Examples in different contexts show the robustness of our algorithm and the augmentation of internai organ structures highlights the clinical interest.

Dans cette thèse, nous nous intéressons aux structures d’une image en général, et plus particulièrement aux gradients et aux contours. Ces dernières se sont révélées très importantes ces dernières années pour de nombreuses applications en infographie,telles que la réalité augmentée et la stylisation d’images et de vidéos. Le but de toute analyse des structures d’une image est de décrire à un haut-niveau la compréhension que l’on peut avoir de son contenu et de fournir les bases nécessaires à l’amélioration de la qualité des applications citées au-dessus, notamment la lisibilité, la précision, la cohérence spatiale et temporelle.Dans une premier temps, nous démontrons le rôle important que ces structures jouent pour des applications de type composition “Focus+Context”. Une telle approche est utilisée en réalité augmentée pour permettre la visualisation de parties d’une scènes qui sont normalement derrières ce que l’on peut observer dans un flux vidéo. L’utilisation d’une segmentation et de lignes caractéristiques permettent de mettre en avant et/ou de révéler les relations d’ordre entre les différents objets de la scène. Pour la synthèse d’images guidée par une fonction d’importance, de multiples styles de rendu sont combinés de manière cohérente grâce à l’utilisation d’une carte de gradients et une de saillance.Dans un deuxième temps, nous introduisons une nouvelle techniques qui permet de reconstruire de manière continue un champ de gradient, et ceci sans trop lisser les détails originaux contenus dans l’image. Pour cela, nous développons une nouvelle méthode d’approximation locale et de plus haut-degré pour des champs de gradients discrets et non-orientés. Cette méthode est basée sur le formalisme“moving least square” (MLS). Nous démontrons que notre approximation isotrope et linéaire est de meilleure qualité que le classique tenseur de structure : les détails sont mieux préservés et les instabilités sont réduites de manière significative. Nous démontrons aussi que notre nouveau champ de gradients apporte des améliorations à de nombreuses techniques de stylisation.Finalement, nous démontrons que l’utilisation d’une technique d’analyse de profil caractéristique par approximation polynomiale permet de distinguer les variations douces des zones dures. Les paramètres du profil sont utilisés comme des paramètres de stylisation tels que l’orientation des coups de pinceau, leur taille et leur opacité. Cela permet la création d’une large variété de styles de ligne. / In this thesis we consider in general image structures and more specifically, imagegradient and contours. They have been proven useful in recent years for variouscomputer graphics applications, such as Augmented Reality (AR), image and videostylization. The goal of analyzing image structures is to describe a high level understandingof image contents and to provide a powerful support to improve thequality of applications, such as visual legibility, accuracy, spatial and temporal coherence.We first demonstrate the important role of image structures in Focus+Contextcompositing. For Focus+Context rendering in AR, a technique dedicated to the visualizationof hidden scenes in video streams, the use of screen segmentation andfeature lines significantly emphasizes the depth cues of occluded scenes, and revealsthe correct occluding order. For importance-driven image synthesis, multiplerendering styles are combined in a coherent manner by using image gradient fieldand saliency map.In the second part, we thus introduce a new approach to estimate a continuousgradient field without oversmoothing the original details contained in an image.For this purpose, we develop a new and higher-order local approximation methodof discrete non-oriented gradient fields based on a moving least square (MLS) formalism.We show that our isotropic linear approximation outperforms classicalstructure tensor: image details are better preserved and instabilities are significantlyreduced. We demonstrate how our non-oriented MLS gradient field benefitsto various image stylization approaches.Finally, we demonstrate that the use of a feature profile analysis for image lineextraction via fitting techniques permits to distinguish sharp and smooth features.Profile parameters are then mapped to stylistic parameters such as brush orientation,size or opacity to give rise to a wide range of line-based styles.

Driving safety is the major issue not only for the drivers, but also for the government. The happening rate of traffic accidents is the critical benchmark of traffic improvement for the Ministry of Communications. Even the government officials constantly urge the drivers not to drunk driving, or over speed driving, the happening rate still cannot be decreased largely. Most of accidents are made by the careless or ignorant driving habits. With the evolution of driving safety technology, the driving assistance system helps drivers to avoid the collision and lower the happening rate of accidents. Among these driving safety technologies, collision detection system is well-known one. It can detect not only any object around the vehicle, but also notify the drivers to stop passively or stop the vehicle actively. One major function of the collision detection system is used to eliminate the blind spots for the drivers. Some blind spots are generated by the rigid structure of vehicle which is designed to protect the inside passengers and not allowed to change. Fortunately, with the evolution of Augmented Reality and the lower manufacturing cost of video equipment, Driving Lens is targeted to eliminate the blind spots for the drivers. Currently, there are still some limitations about the existing products such as the around view monitor or rear view monitor. In order to improve the driving safety and enhance the driving experience, Driving Lens will offer different customized solutions for the driver such as 180 degree front view without the blind spots behind the pillars, and these solutions won’t be limited by the specific auto brand or vehicle model.

Cette thèse s’inscrit dans le cadre de l’analyse des besoins de personnes malvoyantes dans le but de développer de nouvelles solutions d’assistance visuelle en utilisant le principe de réalité augmentée. Le principal objectif de ces travaux était le développement d’un dispositif d’assistance visuelle pour faciliter la mobilité de personnes malvoyantes grâce à un algorithme qui en temps réel adapte sa réponse en fonction des besoins de l’utilisateur et de la situation dans laquelle il évolue. Le premier postulat de cette thèse est d’utiliser l’acuité résiduelle fonctionnelle des malvoyants afin de leur permettre de percevoir un certain nombre d’informations. Le second postulat est d’utiliser les seules informations pertinentes, utiles à un malvoyant, afin d’améliorer sa perception du monde dans lequel il évolue. Le premier axe de recherche a consisté à analyser les besoins des malvoyants afin de recenser, les indices visuels utiles à rehausser afin d’améliorer la perception des malvoyants. Cette étude a été réalisée en immersion et une enquête précise a été menée auprès de malvoyants. Cette étude permet de mieux comprendre les besoins des malvoyants, les méthodes qu’ils utilisent ainsi que leurs usages des dispositifs actuels. Le deuxième axe de recherche a consisté à concevoir et à mettre en oeuvre un algorithme de traitement d’images répondant aux besoins identifiés. Un outil interactif a été développé qui permet de sélectionner la quantité de contours en fonction de la situation. Ce détecteur de contour optimise sa détection afin d’obtenir des contours plus exploitables pour les malvoyants, comparés aux résultats des autres méthodes de l’état de l’art. Cet outil a été testé et validé auprès d’une population donnée de personnes malvoyantes. Ces tests réalisés sur écran ont démontré que les contours constituent des indices visuels très importants qui peuvent être d’une grande aide dans l’analyse d’une scène. Le troisième axe de travail a consisté au développement d’un système de réalité augmentée permettant d’utiliser ce détecteur de contours dans un contexte de mobilité. L’analyse des besoins des malvoyants vis-à-vis d’un tel dispositif nous a permis de définir les caractéristiques indispensables pour le système de calcul, la caméra et le dispositif d’affichage. Concernant le système d’affichage, l’analyse des besoins des malvoyants en termes de profil, de couleur, de largeur des contours, nous a permis de définir les paramètres nécessaires pour un affichage qui répond à ces besoins. Il a également été pris en compte dans les développements les paramètres physiologiques de chaque observateur afin que les images affichées soient visuellement confortables / This thesis was done in the context of visual impaired needs analysis with the goal of new augmented reality visual assistance device development. The main goal of this work was the development of assistive device for mobility of visual impaired people by the use real-time image processing algorithm which take into account user needs and the context. The first postulate is the use of residual visual acuity of visual impaired people to allow them to see more information. The second postulate is the use only most useful information for visual impaired people for the understanding of the situation where are they. The first research axis was an analysis of needs of visual impaired to identify visual cues, which one we need to enhance to help them. To do this, I have done an immersive stage into a re-adaptation clinic for visually impaired. I have also done a questionnaire to identify and understand how current products answers partially to their needs. The second research axis was the development of a new image processing to answer identified needs. I have developed an interactive tools that allow the user to select the amount of edges for each situation, context. This detector optimizes its result to provide better results than others state of the art evaluated methods. This tool was evaluated and validated during visual test by visual impaired people. We have demonstrated that edges are one of the most important visual cues for visual impaired people to analyze a scene. The third research axis was the development of the augmented reality system to use my tool in a context of mobility. To do this, I have analyzed the needs of visual impaired people for this type of devices. I have also defined main requirements of the desired device for the processing unit, the camera and the display module. For display module, I have analyzed physiologic needs of visually impaired, in terms of profile, colors, and thickness to answer their needs. I have also developed an image generation model which takes into account many physiologic parameters of each observer to create visually comfortable images

The history of Swedish mining industry goes far back in time and is today one of Sweden's largest exports. Epiroc Industrial Design Competence Center in Örebro is constantly working to develop solutions for safer and more efficient mines. Automation and remote control are two innovations that are currently in the spotlight for development in the mining industry. Another innovation that, according to future forecasts, will increase in the upcoming years is the use of Extended Reality (XR). XR includes the concepts of Virtual Reality (VR), Augmented Reality (AR), and Mixed Reality (MR) and provides the opportunity to create virtual objects that can be used in conjunction with reality to enhance information. Based on these innovations and challenges a task has been developed that can be summarized in the following mission statement: "develop a remote-controlled concept that, with the help of reinforced information, enables safer work for mining operators in 2030". Thus, the purpose of this assignment is to show how future control of mining machines can be done 10 years in the future. As this project focuses on a future concept, a new competence of operators will be needed. XR technology creates new conditions for the interaction and experience of the machines. Therefore, the target group is not limited to today's miners, but mainly focuses on tomorrow's miners, where technology enthusiasts are seen as the primary target group. To support the work process and the design choices that have been made, a literary study of the areas of cognition, Human Machine Interaction (HMI), user interface and user experience has been conducted. The area of cognition intends to describe how people uses their senses in decision making. HMI deals with autonomous processes and how they are used in the mine today. In the case of user interfaces, the design guidelines that apply to the graphic design of interfaces are explored. While usability describes the theory for good usability and user experience for human interaction withdigital systems. The work process used in the assignment is an iterative process and is based on IDEO's user-centered three-phase model consisting of the phases of inspiration, ideation and implementation. In the initial phase of inspiration, different methods have been used to support the work of exploring the context, the user and its needs. Interviews with today's miners and a survey have been used to gather information about the target groups. This resulted in two different personas as well as a user journey. During the second phase of ideation, the aim was to implement methods that generate a wide variety of ideas, which are then examined, narrowed down and then concretized into early prototypes. During this phase, three design sprints were performed according to an iterative scrum form. These were information, feedback and interaction. From the first sprint, inform, a concept was developed that described how different kinds of information should be visualized. During the second sprint, feedback, a scenario was developed that described how the solution should be visualized and what kind of feedback the system should provide. The third and final sprint, interaction, resulted in different sequences where interaction with the machine took place and how these interactions should be illustrated using AR. Based on the different results from the design prints, this was combined into a final prototype consisting of an animated mining machine with visual information and an animated contextual environment. The final concept has been developed to assist the operators with a semi-automated system where the operator can control mining machines remotely. This is done through a touch-based interface where the operator can see a camera view from the machine in real time with reinforced information applied using AR technology. The information helps the operator to work safely remotely and creates a more efficient mining process that is adapted for the operators in 2030. / Den svenska gruvdriftens historia sträcker sig långt bak i tiden och är idag en av Sveriges största exporter. Den har även en historia av att ligga i framkant vad gäller tekniska innovationer, vilket gör det naturligt att även de senaste innovationerna bör appliceras i gruvan. Epiroc Industrial Design Competence Center i Örebro arbetar ständigt med att utveckla lösningar för en säkrare och effektivare gruvdrift. Automation och fjärrstyrning är två innovationer som just nu är i stort fokus för utveckling inom gruvbranschen. En annan innovation som enligt framtidsprognoser kommer öka i samhället de kommande åren är användningen av Extended Reality (XR). XR innefattar begreppen Virtual Reality (VR), Augmented Reality (AR) och Mixed Reality (MR) och innebär möjligheten att visa virtuella objekt som kan användas tillsammans med verkligheten för att förstärka information. Utifrån dessa nya innovationer och utmaningar har därför ett uppdrag tagits fram som kan sammanfattas i följande mission statement: ”utveckla ett fjärrstyrt koncept som med hjälp av förstärkt information möjliggör ett säkrare arbete för gruvmaskinsoperatörer år 2030”. Syftet med arbetet var således att kunna visa hur framtidens styrning av gruvmaskiner kan gå till 10 år fram i tiden. Då detta arbete fokuserar på ett framtidskoncept kommer en ny kompetens av operatörer behövas. XR-tekniken skapar nya förutsättningar för hur interaktionen och upplevelsen av maskinerna blir. Därför är målgruppen inte begränsad till dagens gruvarbetare utan fokuserar framförallt på morgondagens gruvarbetare där teknikintresserade ses som den primära målgruppen. För att stödja arbetsprocessen och de designval som gjorts har en litteraturstudie av områdena kognition, Människa Maskin Interaktion (MMI), användargränssnitt och användarupplevelse genomförts. Kognitionen avser att beskriva hur människan använder sinnena vid beslutsfattning. MMI behandlar autonoma processer samt hur de används i gruvan idag. Vid användargränssnitt utforskas de designriktlinjer som finns gällande grafisk utformning av gränssnitt. Till sist beskriver kapitlet användbarhet teori för god användbarhet och användarupplevelse för människans interaktion med digitala system. Arbetsprocessen som används är en iterativ process och utgår från IDEOs användarcentrerade trefasmodell som består av faserna inspiration, ideation och implementation. I den inledande fasen inspiration har olika metoder använts för att stödja arbetet med att utforska kontexten, användaren och dess behov. Intervjuer med dagens gruvarbetare samt en enkät har använts för att samla information om målgruppen. Detta resulterade i två olika personas samt en användarresa. Under den andra fasen ideation var syftet att genomföra metoder som genererar en stor mängd olika idéer som sedan granskas, gallras ner och därefter konkretiseras till tidiga prototyper Under denna fas genomfördes tre stycken design sprintar enligt en iterativ scrumform, dessa var informera, återkoppla och interagera. Utifrån sprinten informera togs ett koncept fram som beskrev hur olika sort information kan visualiseras. Under den andra designsprinten återkoppla togs ett scenario fram som beskrev hur lösningen skulle visualiseras samt vilken sorts återkoppling systemet skulle ge. Den tredje och sista fasen interagera resulterade i vilka sekvenser interaktion sker i med maskinen och hur de är illustrerade i AR. Utifrån de olika resultaten från designsprintarna sammanfogades detta i en slutprototyp bestående av en animerad gruvmaskin med visuell information samt en animerad kontextmiljö. Det slutliga konceptet är utvecklat för att kunna bistå operatören med ett halvautomatiserat system där operatören kan styra gruvmaskiner på distans. Detta sker genom ett touch baserat gränssnitt där operatören kan se en kameravy från maskinen i realtid med pålagd förstärk information med hjälp av AR teknik. Informationen hjälper operatören att kunna arbeta säkert på distans och skapar ett effektivare gruvarbetare som är anpassat för operatörerna år 2030.