No description available.

This thesis investigates methods for remote collaboration and communication within a Mixed Reality (MR) rehabilitation environment. Based on the research on remote communication methods and an interview with an occupational therapist with previous experience in MR rehabilitation, a video and audio stream communication method was chosen to be implemented. The implementation consists of two applications, one patient application developed for HoloLens 2 and one therapist application for Android devices. The latter was tested on professional occupational therapists to investigate the feasibility of the method.  The result of the test indicated that the general attitude toward remote rehabilitation was positive. However, the chosen method did not allow the therapist to see the patient's face and surroundings which was a problem for a majority of the test participants. The cognitive workload for the therapist when communicating with the patient was in magnitude to similar tasks and the application was relatively easy to navigate.

Technical advancements in 3D projection has recently made presentation of holographic images possible by using self-contained devices. Instead of using a screen to present objects, glasses like Microsoft HoloLens can render objects that appear as holograms around the user. SAAB Defence and Security are evaluating if this new technology can complement their command and control system 9LV Combat Management System. This degree project is a study of the technical possibilities and limitations of introducing holographic display of sonar tracks used for detecting submarines or sea mines. The project was started with a background study into what methods are available to render 3D underwater terrain. A basic hologram representing a map of littoral terrain was constructed and simulated sonar tracks from the command and control system was mapped into the terrain. Implementation of the application was done using the Unity 3D game engine that has built in support for the HoloLens. Performance evaluation was done using Unity3D profiler that is an extensive application evaluation tool that maintain overhead to a minimum. An evaluation of HoloLens usage onboard two different boats was done to conclude if the equipment can be used in the normal 9LV CMS operating environment. Results show that it is possible to successfully use holographic display for sonar tracks, but due to limited processing power of the HoloLens terrain detail will be reduced. Holograms are orientated by combining camera spatial mapping and an inertial measurement unit. Usage tests onboard a vessel indicates that holograms will unexpectedly move and the HoloLens will loose spatial mapping due to acceleration forces caused by seastate. / Tekniska framsteg inom presentation av 3D-objekt har nyligen möjliggjort användning av hologram presenterade med portabel utrustning. Istället för att använda en vanlig skärm kan glasögon, som Microsoft HoloLens, rendera objekt som användaren upplever i sin omgivning som hologram. SAAB Defence and Security utvärderar om den nya teknologin kan användas som ett komplement till deras ledningssystem 9LV Combat Management System. Det här examensarbetet är en studie av de tekniska möjligheter och begränsningar som finns för att bygga en applikation som visar sonar-information som ett hologram, främst att användas för ubåtsjakt och upptäckt av sjöminor. Projektet inleddes med en bakgrundsstudie om vilka metoder som finns tillgängliga för att rendera en 3D-karta av en havsbotten. En enkel applikation med en karta som föreställer en del av skärgården tas fram med simulerad sonar-information från ledningssystemet inlagt i kartan. Implementationen av applikationen gjordes med spelmotorn Unity3D som har inbyggt stöd för Microsoft HoloLens. Prestandautvärdering genomfördes genom att använda ett inbyggt profileringsverktyg i Unity3D som har liten påverkan på prestandan. Utvärdering av möjlig användningsmiljö gjordes genom att testa utrustningen ombord på två olika båtar för att avgöra om HoloLens kan användas i 9LV CMS normala operativa förhållanden. Resultaten visar att det är möjligt att använda holografisk visning för sonar-data men upplösningen av terrängen för kartan är något låg på grund av den begränsade beräkningskraften i Microsoft HoloLens. Hologram i Microsoft HoloLens orienteras genom att kombinera en djupseende kamera med en intern referensenhet. Användningstester ombord på båt visar på att vid accelerationer som uppkommer av sjöhävning tappar HoloLensen rumsuppfattningen tillfälligt och stoppar renderingen av hologrammet.

Mixed Reality (MR) is an emerging paradigm in industry. While MR equipment and software have taken great technological strides in past years, standardized methods and workflows for developing MR systems for industry have not been widely adopted for many tasks. This thesis proposes a dynamic MR system for an assembly process. Optical recognition methods are explored to drive the application logic. The systemis developed using the Unity platform for the HoloLens 2. The software tools Vuforia Engine and Mixed Reality Toolkit (MRTK) are utilized. The project work concludes with an application capable of guiding users using graphics and audio. Successful methods are realized for calibrating the application logic for dynamic object positions,as well as for validating user actions. Experiments are conducted to validate the system. Subjects complete a different assembly process using paper instructions as guidance before using the MR application. Qualitative results regarding the MR experience are obtained through a questionnaire subjects answer, where the experience using paper instructions serves as a benchmark. Data obtained from an experienced user completing the assembly process is used as a quantitative benchmark for system performance measures. All subjects were able to complete the assembly tasks correctly using the MR application. Results show significantly better system performance for the experienced user compared to subjects unfamiliar with the MR system. Vuforia Engine recognition tools successfully tracked individual components that meet a specific criterion. Methods for validating user actions using Vuforia Engine software tools and the HoloLens’s internal hand tracking capabilities resulted in a high validation success rate. The thesis concludes effective training methods for the specific assembly scenario, although not robust for general implementation. / Mixed Reality (MR) är ett framväxande paradigm inom industrin. Medan tillbehör och programvara för MR har gjort enorma framsteg under det senaste decenniet, har standardiserade metoder och arbetsflöden för utveckling av MR applikationer i industriella kontexter inte använts i lika stor utsträckning. Det här examensarbetet utvecklar och proponerar en dynamisk MR applikation för en monteringsprocess. Optiska valideringsmetoder utforskas för att använda applikationen. Applikationen är utvecklad med hjälp av Unity game engine för HoloLens 2. Programvaran Vuforia Engine och MRTK är utnyttjad. Projektarbetet resulterade i en applikation som kan vägleda användare med hjälp av ljud och grafik. Framgångsrika metoder implementerades för att kalibrera applikationslogiken av dynamisk objektspositionering, samt för att validera användarens rörelser. Ett experiment utfördes för att validera MR applikationen där deltagare genomförde en monteringsprocess med hjälp av pappersinstruktioner, vilket används som ett kvalitativt riktmärke. Mätningar av en erfaren applikationsanvändare har använts som ett kvantitativt riktmärke för mätning av systemmässigt utförande. Alla deltagare kunde utföra monteringsuppgifterna korrekt med hjälp av MR applikationen. Resultaten visar betydligt bättre utförande för den erfarna användaren jämfört med personer som inte är bekanta med MR systemet. Spårning av enskilda objekt med hjälp av Vuforia Engine igenkänningsverktyg var framgångsrikt för komponenter som uppfyller ett specifikt kriterium. Metoder för att validera användarens rörelser med programvaran Vuforia Engine samt HoloLens interna handspårningsfunktion gav mycket framgångsrika resultat vid validering. Sammanfattningsvis kom studien fram till effektiva upplärningsmetoder för det här monteringsscenariot, även om de inte var robusta nog för generell implementering.

Context: In recent years, everyone is completely relying on using computers and smartphones in our daily activities. Augmented Reality will superimpose virtual and computer-generated information on top of the real world. Volvo Construction Equipment (VCE) team is planning to use Augmented Reality applications on a real construction site to track the details of the vehicles without going to the laboratory. An Augmented reality application is developed for Microsoft HoloLensand Mobile device and the user experience is evaluated. This research has been conducted at PDRL-BTH, in collaboration with VCE. Objectives: In this research, the key attributes are collected, which should be displayed in both the devices and compare the user experience using the user satisfaction score. Furthermore, this research involves exploring and evaluating the difference in the user experience between both the devices. Methods: In this study first an interview is carried out with the design engineers of the VCE team. Some open-ended questions were asked to the VCE team. The information required from the VCE team is collected and documented and further an experiment on the user experience has been conducted to calculate the User Satisfaction Score between the Microsoft HoloLens and Mobile device. After the experiment, the significant difference has been measured using statistical techniques among the two devices. To measure the size of the difference Cohen’s D effect size is used. Results: The significant difference between the User Satisfaction Score of the two devices has been done using T-test. The results state that the significant value is less than 0.05 and hence the null hypothesis is rejected. The measurable difference states that Microsoft HoloLens has a better user interface than the Mobile device with respect to the user satisfaction Score. Conclusions: After obtaining the results and analyzing the data, we conclude that there is a significant difference in the user experience of Microsoft HoloLens when compared to Mobile device. We also conclude that Microsoft HoloLens has better user experience when compared to the Mobile device.

This thesis describes the design, development, and evaluation of an interactive Microsoft HoloLens application that projects landscape models in Augmented Reality. The application was developed using the Unity framework and 3D models created in Sketchup. Using the application, students can not only visualize the models in real space but can also interact with the models using gestures. The students can interact with the models using gaze and air-tap gestures. Application testing was conducted with 21 students from the Landscape Architecture and Environmental Planning department at Utah State University. To evaluate the application, students completed a usability survey after using the application. Students also participated in a focus group. Results indicate that students were excited to use the application and found it helpful for learning landscape construction concepts. Some of the students found the application and the HoloLens device cumbersome to use, and they offered suggestions for how to improve the application. The thesis concludes with recommendations for future work.

This paper aims to improve the UX of the AR game cARcassonne for the Hololens 2 by making changes to its UI. Previous research and existing games are analyzed to determine the changes to the UI. A questionnaire is developed using said research as well as research of other UX measuring methods such as the GEQ and UPEQ. The results show an increase in UX, but also that the AR game has problems for new users. It is discussed that UI is actually not the main problem in the UX, but rather the technology of the Hololens 2.

I denna artikel undersöks HoloLens 2 som verktyg för att förmedla LEGO-bygginstruktioner genom att använda Augmented Reality (AR). Traditionella instruktionsmetoder såsom text, bilder och video har börjat få konkurrens av AR-tekniken. AR har potentialen att förbättra inlärning och effektivisering av instruktions processen genom att lägga till digitalt innehåll i den fysiska verkligheten.  I artikeln diskuteras både fördelar och nackdelar med att använda sig av AR-instruktioner jämfört med traditionella medier, såsom pappersinstruktioner och framhäver AR’s potential inom områden som exempelvis utbildning, sjukvård och tillverkning. Tidigare studier har visat ökat engagemang, effektivitet och minskad ansträngning hos användare som använder sig av AR-instruktioner. Ibáñez m.fl. (2014) genomförde en undersökning där de använde sig av AR bland studenter och fick positiv feedback vad gäller användning av AR i ett lärandesammanhang.  Artikeln inriktar sig specifikt på användningen av AR Head Mounted Display (HMD), som i detta fall kommer vara en HoloLens 2 för att förmedla LEGO-bygginstruktioner. Med hjälp av HoloLens 2 får användaren en tydligare uppfattning om monteringsprocessen och visualisera de olika komponenterna i 3D. Detta blir fördelaktigt för undersökningen när det gäller att hantera små LEGO-komponenter för att placera dem på rätt plats.  Slutresultatet för undersökningen av att använda HoloLens 2 som verktyg för att förmedla LEGO-bygginstruktioner, visade sig ha både fördelar och nackdelar som kommer att diskuteras senare i artikeln.

Smarta enheter blir allt vanligare och teknologierna de använder blir allt mer avancerade. Som en följd av detta uppstår bekväma och effektiva lösningar till vardagliga problem. En stor mängd sammankopplade smarta enheter leder dock till system som är svåra att förstå och att använda. Detta ställer krav på lösningar som hjälper användare att interagera med enheter på ett intuitivt och effektivt sätt. En teknik som under de senaste åren blivit allt mer kommersiellt brukbar och som kan användas i detta syfte är augmented reality. Vidare så är spårning av ögonpositioner ett lovande tillvägagångssätt för att navigera virtuella menyer.Denna uppsats har som syfte att utvärdera hur ögon- och huvudrörelser kan kombineras för att låta användare på ett intuitivt sätt interagera med ett gränssnitt i augmented reality. För att uppnå detta tas två interaktionsmetoder fram som använder ögon- och huvudrörelser på något olika sätt. För att utvärdera deras prestanda och användbarhet så utförs ett experiment där deltagarna navigerar en uppsättning menyer både med hjälp av de framtagna metoderna och en beprövad referensmetod.Resultaten från experimentet visar att referensmetoden både är den snabbaste och den minst felbenägna ut av de tre utvärderade metoderna. Trots detta så föredrar deltagarna en av de framtagna metoderna, och båda dessa metoder uppnår adekvata resultat. Vidare så visar den kvantitativa datan inte på några mätbara skillnader mellan de framtagna metoderna. Däremot så uppnår en av dem högre resultat i de subjektiva utvärderingarna. / Smart devices are becoming increasingly common and technologically advanced. As aresult, convenient and effective approaches to everyday problems are emerging. However,a large amount of interconnected devices result in systems that are difficult to understandand use. This necessitates solutions that help users interact with their devices in anintuitive and effective way. One such possible solution is augmented reality, which hasbecome a viable commercial technology in recent years. Furthermore, tracking the positionof users’ eyes to navigate virtual menus is a promising approach that allows for interestinginteraction techniques.In this thesis, we explore how eye and head movements can be combined in an effortto provide intuitive input to an augmented reality user interface. Two novel interactiontechniques that combine these modalities slightly differently are developed. To evaluatetheir performance and usability, an experiment is conducted in which the participantsnavigate a set of menus using both our proposed techniques and a baseline technique.The results of the experiment show that out of the three evaluated techniques, thebaseline is both the fastest and the least error-prone. However, participants prefer oneof the proposed techniques over the baseline, and both of these techniques perform adequately.Furthermore, the quantitative data shows no measurable differences betweenthe proposed techniques, although one of them receives a higher score in the subjectiveevaluations.

As the technology in the field of Augmented Reality (AR) has advanced, its use in different parts of society has increased. Despite this increase, there is still a lack of research on how eye tracking (gaze tracking) can be used to integrate a system with situational awareness (SA) and attention guidance (AG) in an AR board game. This study sets out to implement a gaze tracking system in an AR version of the tabletop game carcassonne. The gaze tracking will be used to implement a first version of a Situational Awareness-based Attention Guidance (SAAG) system. Design Science Research Methodology (DSRM) was chosen as the method to create this system. In order to validate the artifact several tests were conducted, both for quality and for performance. The result from the tests validates that the gaze tracking system works when the player is stationary. However, the accuracy of the gaze tracking was negatively impacted when the player was physically moving around while playing. The results also show that the first version of the SAAG system and algorithm that was implemented works as intended.