Augmented Reality, eller förstärkt verklighet som det heter på svenska, är en teknologi som funnits i någon form sedan mer än 30 år tillbaka. Förstärkt verklighet system bygger och lägger virtuella objekt på vår syn av verkligheten, antingen genom video eller en genomskinlig display. Trots sin långa historia har det bara nyligen kunnat börja utvecklas i någon betydande mening, därför att den är starkt begränsad av processor- och display-teknik. Förutom tekniska begränsningar möter den också begränsningar i form av användarens kapacitet att bearbeta information som ett system matar ut. Om mängden information överskrider kapaciteten blir användaren överbelastad, ett tillstånd som kallas för Information Overload, vilket resulterar i att användaren får svårt att ta in och begripa information. Detta kan åthjälpas genom att utöva god design av användargränssnittet, som är en viktig del i alla system. Militären är mycket intresserade i teknologin i hopp om att det ska ge dem en bättre överblick på slagfältet. Den miljö som råder på ett slagfält kan dock vara mycket stressande, vilket ökar risken för Information Overload och gör det till en större utmaning att designa ett användbart system. Denna uppsats syftar att samla information om förstärkt verklighet, Informaion Overload och gränssnittsdesign på ett ställe och applicera det på ett militärt projekt, för att undersöka vilka utmaningar som uppstår när man designar för militärt bruk, utifrån traditionella riktlinjer och principer.

La réalité augmentée permet d'aider les chirurgiens à localiser pendant l'opération la position des structures d'intérêt, comme les vaisseaux sanguins. Dans le cadre de la chirurgie laparoscopique, les modèles 3D affichés durant l'intervention ne correspondent pas à la réalité à cause des déformations dues au pneumopéritoine. Cette thèse a pour objectif de corriger ces déformations afin de fournir un modèle du foie réaliste. Nous proposons de déformer le modèle préopératoire du foie à partir d'une acquisition intraopératoire de la surface antérieure du foie. Un champ de déformations entre les modèles préopératoire et intraopératoire est calculé à partir de la distance géodésique à des repères anatomiques. De plus, une simulation biomécanique du pneumopéritoine est réalisée pour prédire la position de la cavité abdomino-thoracique qui est utilisée comme condition limite. L'évaluation de cette méthode montre que l'erreur de position du foie et de ses structures internes est réduite à 1cm. / Augmented reality can provide to surgeons during intervention the positions of critical structures like vessels. The 3D models displayed during a laparoscopic surgery intervention do not fit to reality due to pneumperitoneum deformations. This thesis aim is to correct these deformations to provide a realistic liver model during intervention. We propose to deform the preoperative liver model according to an intraoperative acquisition of the liver anterior surface. A deformation field between the preoperative and intraoperative models is computed according to the geodesic distance to anatomical landmarks. Moreover, a biomechanical simulation is realised to predict the position of the abdomino-thoracic cavity which is used as boundary conditions. This method evaluation shows that the position error of the liver and its vessels is reduced to 1cm.

La découpe virtuelle d'objets déformables est au coeur de nombreuses applications pour la simulation interactive. Nous présentons un nouvel algorithme de remaillage permettant la simulation de découpes avec la méthode des éléments finis. Nous avons combiné notre algorithme avec la méthode du «snapping» déplaçant les noeuds la surface de coupe, pour des tétradres linéaires. Notre approche permet de maîtriser le nombre de noeuds et de la qualité numérique du maillage durant les coupes. Elle donne des résultats similaires pour les fonctions de forme quadratiques. Dans ce cadre, nous avons évalué le «snapping» pour simuler la fracture de surfaces triangulées. Nous avons appliqué nos résultats en 3D pour l'assistance aux gestes chirurgicaux, en étant les premiers présenter des résultats sur la détection de déchirures dans un flux vidéo monoculaire. La robustesse de notre algorithme et l'augmentation des structures internes des organes. / Virtual cutting of deformable objects is at the core of many applications in interactive simulation for computational medicine. We present a new remeshing algorithm simulating cuts based on the finite element method. For tetrahedral elements with linear shape tunctions, we combined our algorithm with the movement of the nodes on the cutting surface, called snapping. Our approach shows benefits when evaluating the impact of cuts on the number of nodes and the numerical quality of the mesh. The remeshing algorithm yields similar results for quadratic elements. However, the snapping of nodes entails higher challenges and has been evaluated on triangular elements, simulating fractures. For augmented reality applications, we are the first to present results on the detection of fractures, tearing and cutting from a monocular video stream. Examples in different contexts show the robustness of our algorithm and the augmentation of internai organ structures highlights the clinical interest.

Dans cette thèse, nous nous intéressons aux structures d’une image en général, et plus particulièrement aux gradients et aux contours. Ces dernières se sont révélées très importantes ces dernières années pour de nombreuses applications en infographie,telles que la réalité augmentée et la stylisation d’images et de vidéos. Le but de toute analyse des structures d’une image est de décrire à un haut-niveau la compréhension que l’on peut avoir de son contenu et de fournir les bases nécessaires à l’amélioration de la qualité des applications citées au-dessus, notamment la lisibilité, la précision, la cohérence spatiale et temporelle.Dans une premier temps, nous démontrons le rôle important que ces structures jouent pour des applications de type composition “Focus+Context”. Une telle approche est utilisée en réalité augmentée pour permettre la visualisation de parties d’une scènes qui sont normalement derrières ce que l’on peut observer dans un flux vidéo. L’utilisation d’une segmentation et de lignes caractéristiques permettent de mettre en avant et/ou de révéler les relations d’ordre entre les différents objets de la scène. Pour la synthèse d’images guidée par une fonction d’importance, de multiples styles de rendu sont combinés de manière cohérente grâce à l’utilisation d’une carte de gradients et une de saillance.Dans un deuxième temps, nous introduisons une nouvelle techniques qui permet de reconstruire de manière continue un champ de gradient, et ceci sans trop lisser les détails originaux contenus dans l’image. Pour cela, nous développons une nouvelle méthode d’approximation locale et de plus haut-degré pour des champs de gradients discrets et non-orientés. Cette méthode est basée sur le formalisme“moving least square” (MLS). Nous démontrons que notre approximation isotrope et linéaire est de meilleure qualité que le classique tenseur de structure : les détails sont mieux préservés et les instabilités sont réduites de manière significative. Nous démontrons aussi que notre nouveau champ de gradients apporte des améliorations à de nombreuses techniques de stylisation.Finalement, nous démontrons que l’utilisation d’une technique d’analyse de profil caractéristique par approximation polynomiale permet de distinguer les variations douces des zones dures. Les paramètres du profil sont utilisés comme des paramètres de stylisation tels que l’orientation des coups de pinceau, leur taille et leur opacité. Cela permet la création d’une large variété de styles de ligne. / In this thesis we consider in general image structures and more specifically, imagegradient and contours. They have been proven useful in recent years for variouscomputer graphics applications, such as Augmented Reality (AR), image and videostylization. The goal of analyzing image structures is to describe a high level understandingof image contents and to provide a powerful support to improve thequality of applications, such as visual legibility, accuracy, spatial and temporal coherence.We first demonstrate the important role of image structures in Focus+Contextcompositing. For Focus+Context rendering in AR, a technique dedicated to the visualizationof hidden scenes in video streams, the use of screen segmentation andfeature lines significantly emphasizes the depth cues of occluded scenes, and revealsthe correct occluding order. For importance-driven image synthesis, multiplerendering styles are combined in a coherent manner by using image gradient fieldand saliency map.In the second part, we thus introduce a new approach to estimate a continuousgradient field without oversmoothing the original details contained in an image.For this purpose, we develop a new and higher-order local approximation methodof discrete non-oriented gradient fields based on a moving least square (MLS) formalism.We show that our isotropic linear approximation outperforms classicalstructure tensor: image details are better preserved and instabilities are significantlyreduced. We demonstrate how our non-oriented MLS gradient field benefitsto various image stylization approaches.Finally, we demonstrate that the use of a feature profile analysis for image lineextraction via fitting techniques permits to distinguish sharp and smooth features.Profile parameters are then mapped to stylistic parameters such as brush orientation,size or opacity to give rise to a wide range of line-based styles.

Driving safety is the major issue not only for the drivers, but also for the government. The happening rate of traffic accidents is the critical benchmark of traffic improvement for the Ministry of Communications. Even the government officials constantly urge the drivers not to drunk driving, or over speed driving, the happening rate still cannot be decreased largely. Most of accidents are made by the careless or ignorant driving habits. With the evolution of driving safety technology, the driving assistance system helps drivers to avoid the collision and lower the happening rate of accidents. Among these driving safety technologies, collision detection system is well-known one. It can detect not only any object around the vehicle, but also notify the drivers to stop passively or stop the vehicle actively. One major function of the collision detection system is used to eliminate the blind spots for the drivers. Some blind spots are generated by the rigid structure of vehicle which is designed to protect the inside passengers and not allowed to change. Fortunately, with the evolution of Augmented Reality and the lower manufacturing cost of video equipment, Driving Lens is targeted to eliminate the blind spots for the drivers. Currently, there are still some limitations about the existing products such as the around view monitor or rear view monitor. In order to improve the driving safety and enhance the driving experience, Driving Lens will offer different customized solutions for the driver such as 180 degree front view without the blind spots behind the pillars, and these solutions won’t be limited by the specific auto brand or vehicle model.

Cette thèse s’inscrit dans le cadre de l’analyse des besoins de personnes malvoyantes dans le but de développer de nouvelles solutions d’assistance visuelle en utilisant le principe de réalité augmentée. Le principal objectif de ces travaux était le développement d’un dispositif d’assistance visuelle pour faciliter la mobilité de personnes malvoyantes grâce à un algorithme qui en temps réel adapte sa réponse en fonction des besoins de l’utilisateur et de la situation dans laquelle il évolue. Le premier postulat de cette thèse est d’utiliser l’acuité résiduelle fonctionnelle des malvoyants afin de leur permettre de percevoir un certain nombre d’informations. Le second postulat est d’utiliser les seules informations pertinentes, utiles à un malvoyant, afin d’améliorer sa perception du monde dans lequel il évolue. Le premier axe de recherche a consisté à analyser les besoins des malvoyants afin de recenser, les indices visuels utiles à rehausser afin d’améliorer la perception des malvoyants. Cette étude a été réalisée en immersion et une enquête précise a été menée auprès de malvoyants. Cette étude permet de mieux comprendre les besoins des malvoyants, les méthodes qu’ils utilisent ainsi que leurs usages des dispositifs actuels. Le deuxième axe de recherche a consisté à concevoir et à mettre en oeuvre un algorithme de traitement d’images répondant aux besoins identifiés. Un outil interactif a été développé qui permet de sélectionner la quantité de contours en fonction de la situation. Ce détecteur de contour optimise sa détection afin d’obtenir des contours plus exploitables pour les malvoyants, comparés aux résultats des autres méthodes de l’état de l’art. Cet outil a été testé et validé auprès d’une population donnée de personnes malvoyantes. Ces tests réalisés sur écran ont démontré que les contours constituent des indices visuels très importants qui peuvent être d’une grande aide dans l’analyse d’une scène. Le troisième axe de travail a consisté au développement d’un système de réalité augmentée permettant d’utiliser ce détecteur de contours dans un contexte de mobilité. L’analyse des besoins des malvoyants vis-à-vis d’un tel dispositif nous a permis de définir les caractéristiques indispensables pour le système de calcul, la caméra et le dispositif d’affichage. Concernant le système d’affichage, l’analyse des besoins des malvoyants en termes de profil, de couleur, de largeur des contours, nous a permis de définir les paramètres nécessaires pour un affichage qui répond à ces besoins. Il a également été pris en compte dans les développements les paramètres physiologiques de chaque observateur afin que les images affichées soient visuellement confortables / This thesis was done in the context of visual impaired needs analysis with the goal of new augmented reality visual assistance device development. The main goal of this work was the development of assistive device for mobility of visual impaired people by the use real-time image processing algorithm which take into account user needs and the context. The first postulate is the use of residual visual acuity of visual impaired people to allow them to see more information. The second postulate is the use only most useful information for visual impaired people for the understanding of the situation where are they. The first research axis was an analysis of needs of visual impaired to identify visual cues, which one we need to enhance to help them. To do this, I have done an immersive stage into a re-adaptation clinic for visually impaired. I have also done a questionnaire to identify and understand how current products answers partially to their needs. The second research axis was the development of a new image processing to answer identified needs. I have developed an interactive tools that allow the user to select the amount of edges for each situation, context. This detector optimizes its result to provide better results than others state of the art evaluated methods. This tool was evaluated and validated during visual test by visual impaired people. We have demonstrated that edges are one of the most important visual cues for visual impaired people to analyze a scene. The third research axis was the development of the augmented reality system to use my tool in a context of mobility. To do this, I have analyzed the needs of visual impaired people for this type of devices. I have also defined main requirements of the desired device for the processing unit, the camera and the display module. For display module, I have analyzed physiologic needs of visually impaired, in terms of profile, colors, and thickness to answer their needs. I have also developed an image generation model which takes into account many physiologic parameters of each observer to create visually comfortable images

The history of Swedish mining industry goes far back in time and is today one of Sweden's largest exports. Epiroc Industrial Design Competence Center in Örebro is constantly working to develop solutions for safer and more efficient mines. Automation and remote control are two innovations that are currently in the spotlight for development in the mining industry. Another innovation that, according to future forecasts, will increase in the upcoming years is the use of Extended Reality (XR). XR includes the concepts of Virtual Reality (VR), Augmented Reality (AR), and Mixed Reality (MR) and provides the opportunity to create virtual objects that can be used in conjunction with reality to enhance information. Based on these innovations and challenges a task has been developed that can be summarized in the following mission statement: "develop a remote-controlled concept that, with the help of reinforced information, enables safer work for mining operators in 2030". Thus, the purpose of this assignment is to show how future control of mining machines can be done 10 years in the future. As this project focuses on a future concept, a new competence of operators will be needed. XR technology creates new conditions for the interaction and experience of the machines. Therefore, the target group is not limited to today's miners, but mainly focuses on tomorrow's miners, where technology enthusiasts are seen as the primary target group. To support the work process and the design choices that have been made, a literary study of the areas of cognition, Human Machine Interaction (HMI), user interface and user experience has been conducted. The area of cognition intends to describe how people uses their senses in decision making. HMI deals with autonomous processes and how they are used in the mine today. In the case of user interfaces, the design guidelines that apply to the graphic design of interfaces are explored. While usability describes the theory for good usability and user experience for human interaction withdigital systems. The work process used in the assignment is an iterative process and is based on IDEO's user-centered three-phase model consisting of the phases of inspiration, ideation and implementation. In the initial phase of inspiration, different methods have been used to support the work of exploring the context, the user and its needs. Interviews with today's miners and a survey have been used to gather information about the target groups. This resulted in two different personas as well as a user journey. During the second phase of ideation, the aim was to implement methods that generate a wide variety of ideas, which are then examined, narrowed down and then concretized into early prototypes. During this phase, three design sprints were performed according to an iterative scrum form. These were information, feedback and interaction. From the first sprint, inform, a concept was developed that described how different kinds of information should be visualized. During the second sprint, feedback, a scenario was developed that described how the solution should be visualized and what kind of feedback the system should provide. The third and final sprint, interaction, resulted in different sequences where interaction with the machine took place and how these interactions should be illustrated using AR. Based on the different results from the design prints, this was combined into a final prototype consisting of an animated mining machine with visual information and an animated contextual environment. The final concept has been developed to assist the operators with a semi-automated system where the operator can control mining machines remotely. This is done through a touch-based interface where the operator can see a camera view from the machine in real time with reinforced information applied using AR technology. The information helps the operator to work safely remotely and creates a more efficient mining process that is adapted for the operators in 2030. / Den svenska gruvdriftens historia sträcker sig långt bak i tiden och är idag en av Sveriges största exporter. Den har även en historia av att ligga i framkant vad gäller tekniska innovationer, vilket gör det naturligt att även de senaste innovationerna bör appliceras i gruvan. Epiroc Industrial Design Competence Center i Örebro arbetar ständigt med att utveckla lösningar för en säkrare och effektivare gruvdrift. Automation och fjärrstyrning är två innovationer som just nu är i stort fokus för utveckling inom gruvbranschen. En annan innovation som enligt framtidsprognoser kommer öka i samhället de kommande åren är användningen av Extended Reality (XR). XR innefattar begreppen Virtual Reality (VR), Augmented Reality (AR) och Mixed Reality (MR) och innebär möjligheten att visa virtuella objekt som kan användas tillsammans med verkligheten för att förstärka information. Utifrån dessa nya innovationer och utmaningar har därför ett uppdrag tagits fram som kan sammanfattas i följande mission statement: ”utveckla ett fjärrstyrt koncept som med hjälp av förstärkt information möjliggör ett säkrare arbete för gruvmaskinsoperatörer år 2030”. Syftet med arbetet var således att kunna visa hur framtidens styrning av gruvmaskiner kan gå till 10 år fram i tiden. Då detta arbete fokuserar på ett framtidskoncept kommer en ny kompetens av operatörer behövas. XR-tekniken skapar nya förutsättningar för hur interaktionen och upplevelsen av maskinerna blir. Därför är målgruppen inte begränsad till dagens gruvarbetare utan fokuserar framförallt på morgondagens gruvarbetare där teknikintresserade ses som den primära målgruppen. För att stödja arbetsprocessen och de designval som gjorts har en litteraturstudie av områdena kognition, Människa Maskin Interaktion (MMI), användargränssnitt och användarupplevelse genomförts. Kognitionen avser att beskriva hur människan använder sinnena vid beslutsfattning. MMI behandlar autonoma processer samt hur de används i gruvan idag. Vid användargränssnitt utforskas de designriktlinjer som finns gällande grafisk utformning av gränssnitt. Till sist beskriver kapitlet användbarhet teori för god användbarhet och användarupplevelse för människans interaktion med digitala system. Arbetsprocessen som används är en iterativ process och utgår från IDEOs användarcentrerade trefasmodell som består av faserna inspiration, ideation och implementation. I den inledande fasen inspiration har olika metoder använts för att stödja arbetet med att utforska kontexten, användaren och dess behov. Intervjuer med dagens gruvarbetare samt en enkät har använts för att samla information om målgruppen. Detta resulterade i två olika personas samt en användarresa. Under den andra fasen ideation var syftet att genomföra metoder som genererar en stor mängd olika idéer som sedan granskas, gallras ner och därefter konkretiseras till tidiga prototyper Under denna fas genomfördes tre stycken design sprintar enligt en iterativ scrumform, dessa var informera, återkoppla och interagera. Utifrån sprinten informera togs ett koncept fram som beskrev hur olika sort information kan visualiseras. Under den andra designsprinten återkoppla togs ett scenario fram som beskrev hur lösningen skulle visualiseras samt vilken sorts återkoppling systemet skulle ge. Den tredje och sista fasen interagera resulterade i vilka sekvenser interaktion sker i med maskinen och hur de är illustrerade i AR. Utifrån de olika resultaten från designsprintarna sammanfogades detta i en slutprototyp bestående av en animerad gruvmaskin med visuell information samt en animerad kontextmiljö. Det slutliga konceptet är utvecklat för att kunna bistå operatören med ett halvautomatiserat system där operatören kan styra gruvmaskiner på distans. Detta sker genom ett touch baserat gränssnitt där operatören kan se en kameravy från maskinen i realtid med pålagd förstärk information med hjälp av AR teknik. Informationen hjälper operatören att kunna arbeta säkert på distans och skapar ett effektivare gruvarbetare som är anpassat för operatörerna år 2030.

Technologien der erweiterten Realität (extended reality, XR) finden im gesamten Produktentwicklungsprozess Anwendung. Insbesondere Systeme zur aktiven Erzeugung und Veränderung digitaler Produktdaten bieten noch viel Potential. Die Erforschung und Entwicklung dieser immersiven Interfaces beruht maßgeblich auf der Evaluation durch Nutzerstudien, denn nur so kann die Einsatztauglichkeit der Mensch-Maschine-Schnittstellen seriös beurteilt und verglichen werden. Bei der Konzeptionierung und Durchführung dieser Nutzerstudien gibt es viel zu beachten. In dieser Arbeit wird ein Leitfaden für das Design von Evaluationen von XR Interfaces für die Produktentwicklung präsentiert. Zu Beginn müssen die Fragestellungen festgelegt werden, welche die Studie beantworten soll. Ausgehend von diesen müssen die zu testenden Versuchsbedingungen, die gestellten Aufgaben, die aufgenommen Metriken, die gewählten Probanden und der geplante Ablauf festgelegt werden. Zusätzlich zu der allgemeinen Darlegung wird das Vorgehen anhand eines Fallbeispiels angewandt. Die Gestaltung einer Nutzerstudie zur Evaluation der Usability und Eignung eines neuartigen Virtual Reality Interfaces zur natürlichen Gestaltung von Vorentwürfen wird vorgestellt.

In the age of digitization, the use of Augmented and Virtual Reality as digital supplements to the traditional museum visit become much more frequent. The author of this study investigates development process, and the way history is communicated through the Gamla Upsala AR/VR and Uppåkra VR experiences. The development processes are analysed through the lens of design thinking perspective. The analysis of history communication through digital experience focuses on reflecting the concepts of performance of knowledge, archaeological imagination and narratology, and time travel. The research is based on qualitative material gathered from institutions (Gamla Uppsala Museum and Uppåkra Archaeological Centre) and software developers (Disir Productions AB and Elkington Communications AB) responsible for the creation and use of the digital experiences. Based on the answers, a comparison of the results from is provided, with the help of the theoretical framework. In the discussion, the author places the problematics of the design, production and communication of history through digital tools into a broader context, as well as discusses the extent to which they are reflected in the Gamla Uppsala AR/ VR and Uppåkra Archaeological Centre VR. Additionally, the study debates probable solutions for using VR/AR in the face of the COVID-19 pandemic.

Covid-19 har påverkat samhället på flertal olika sätt. Med uppmaningar och råd om social distansering kan sådant som tidigare varit vardagliga aktiviteter bli alltmer svårt att genomföra. Denna pandemi har orsakat att många hellre utför sina träningspass hemifrån och under en sådan period kan det behövas alternativa sätt att få träningsinstruktioner på. Augmented Reality är ett sätt att förstärka användarens verklighet. Genom att nyttja kamerateknologi som reflekterar det användaren ser kompletterar systemet samtidigt den bilden, vanligtvis med 3D modeller. Denna teknik har tidigare använts inom områden som visualisering av information och instruktioner. Flertal studier som gjorts inom Augmented Reality och instruktioner har använt enheter som är mindre tillgängliga för allmänheten. Dessa enheter är exempelvis digitala glasögon eller AR headset. En mer konkret studie på mobilbaserad AR hade behövts göras inom ett område som träningsinstruktioner, vilket kräver fokus både på den mobila enheten och verkligheten på ett annat sätt än vad som hade behövt om användaren burit glasögon eller headset.  Denna studie utforskar Augmented Reality kopplat till träningsinstruktioner i en egenskapad (skapad av oss) mobilbaserad applikationsprototyp med ett fokus påinteraktiv design utifrån instruktionsstruktur och heuristiker inom användbarhet. För att utföra detta användes primärt Cognitive Load Theory som ett ramverk både för skapandet av prototypens instruktionsmaterial och i analysen samt besvarandet av forskningsfrågorna. I studien utfördes användartester på sammanlagt sju deltagare. Resultatet visade attAugmented Reality i en mobilbaserad prototyp har potential. Däremot finns det problematik som är viktigt att ha i åtanke vid design av AR, instruktionsstruktur och det grafiska gränssnittet. I allmänhet handlar dessa om markörbaserad teknik, interaktioner i koppling till fysiska handlingar och hur lätt det är att ta in instruktionerna baserat på dess struktur och prototypens gränssnitt / Covid-19 has affected society as we know it in many ways. Social distancing has been called for and this has caused daily activities that once were prominent to become harder to perform. During a period, such as this, alternative methods for training instructions would then be more searched out for. Augmented Reality is a technology which can be used to enhance the user’s world. This is accomplished by using camera technology in synchronization with other technologies to affect the camera and therefore the users view. Which for example could be via 3D models to enhance the world. This technology has been used in other studies with the focus of instructional material and physical training. However, these studies have often used such equipment that is not commonly available, and more concrete research about the use of a mobile based Augmented Reality application with the purpose of visualizing training instructions would be needed. As the interaction with a mobile unit varies a lot in contrast to that with a headset or glasses. This study investigates Augmented Reality in connection to training instructions by using a mobile based prototype with focus on how to design based on instructional structure and usability heuristics. The study has primarily used cognitive load theory as a framework for the prototypes instructional design but also in the analysis and the methods used to answer the research questions. The study conducted user tests with seven participants in total. The result showed that Augmented Reality in a mobile based prototype has potential. However, there are problems that you must think about when designing for AR, instructional structure and the graphical interface. In general, it is about marker based Augmented Reality, interactions with the graphical interface while doing physical actions and the ease of understanding instructions based on structure and graphical user interface.