Augmented Reality är ett brett fält med många olika användningsområden. Det hargjorts flera studier om hur AR kan hjälpa oss att lösa olika arbetsuppgifter på ett effektivare sätt samt att det ingjuter självsäkerhet hos användaren som utför en uppgiftmed hjälp av AR. AR har även letat sig in i tillverkningsindustrin som gör det möjligtför ingenjörer att följa en arbetsprocess med hjälp av AR.Kretskort som är en del av ett system som gör det möjligt för oss att exempelvis ha tillgång till datorer och mobiltelefoner och behöver ibland felsökas. Elektronikingenjörerbehöver ibland identifiera testpunkter och komponenter i den krets på kretskortet somska felsökas. Detta kan underlättas med AR. I denna studie kommer ett experimentatt genomförs för att se om kretskort kan lämpa sig väl som ett Marker-based target.Marker-based target är en bild som möjliggör objektspårning för exempelvis en Head-mounted display, i detta fall en HoloLens. Här efter kommer Marker-based target attbenämnas som mönsterbaserad bild.Experimentet kommer att genomföras med en testgrupp om 10 personer där samtliga kommer att få testa att använda en HoloLens i syftet att lokalisera komponentereller testpunkter på ett kretskort. Detta kommer sedan att jämföras med en traditionell metod genom att identifiera samma komponenter eller testpunkter med en PDF.Testpersonerna kommer även att få svara på en enkät som tittar på om denna metodlämpar sig för att identifiera komponenter med hjälp av AR. En applikation kommeratt skapas som möjliggör att implementera metoden och att testpersonerna kommerkunna använda ett gränssnitt i lokaliseringsprocessen. Resultatet visar att med HoloLensen i jämförelse med traditionella metoden är nästan likvärdig tidsmässigt för attlokalisera komponenter men att vanan av användandet av HoloLensen hade inflytandepå resultatet. / Augmented Reality is an broad field with many different areas of applications. Therehave been several studies on how AR can help us solve various tasks in a more efficientway and that it instills self-confidence in the user who performs a task with the help of AR. AR has also found its way into the manufacturing industry, which enables engineers to follow a work process with the help of AR. For example circuit boards that arepart of a system that makes it possible for us to have access to computers and mobilephones, does sometimes need to undergo troubleshooting process by engineers duringmanufacture.Electronics engineers sometimes need to identify test points and components on thecircuit board that needs troubleshooting. AR can help in this process. In this study, anexperiment will be conducted to see if circuit boards can be well suited as a marker-based target. Marker-based target is an image that enables object tracking for examplewith a Head-mounted display, in this case a HoloLens.The experiment will be conducted with a test group of 10 people where all will beallowed to test a HoloLens in order to locate components or test points on a circuitboard. This method will then be compared to a traditional method by identifying thesame components or test points with a PDF. The test persons will also have to answer aquestionnaire that looks at whether this method is suitable for identifying componentsusing AR. An application will be created that implements the method and that the testpersons will be able to use in the localization process. The results show that the traditional method in comparison with the HoloLens is equivalent for locating components,but the habit of using HoloLens had an influence on the result.

Mixed Reality (MR) is an emerging paradigm in industry. While MR equipment and software have taken great technological strides in past years, standardized methods and workflows for developing MR systems for industry have not been widely adopted for many tasks. This thesis proposes a dynamic MR system for an assembly process. Optical recognition methods are explored to drive the application logic. The systemis developed using the Unity platform for the HoloLens 2. The software tools Vuforia Engine and Mixed Reality Toolkit (MRTK) are utilized. The project work concludes with an application capable of guiding users using graphics and audio. Successful methods are realized for calibrating the application logic for dynamic object positions,as well as for validating user actions. Experiments are conducted to validate the system. Subjects complete a different assembly process using paper instructions as guidance before using the MR application. Qualitative results regarding the MR experience are obtained through a questionnaire subjects answer, where the experience using paper instructions serves as a benchmark. Data obtained from an experienced user completing the assembly process is used as a quantitative benchmark for system performance measures. All subjects were able to complete the assembly tasks correctly using the MR application. Results show significantly better system performance for the experienced user compared to subjects unfamiliar with the MR system. Vuforia Engine recognition tools successfully tracked individual components that meet a specific criterion. Methods for validating user actions using Vuforia Engine software tools and the HoloLens’s internal hand tracking capabilities resulted in a high validation success rate. The thesis concludes effective training methods for the specific assembly scenario, although not robust for general implementation. / Mixed Reality (MR) är ett framväxande paradigm inom industrin. Medan tillbehör och programvara för MR har gjort enorma framsteg under det senaste decenniet, har standardiserade metoder och arbetsflöden för utveckling av MR applikationer i industriella kontexter inte använts i lika stor utsträckning. Det här examensarbetet utvecklar och proponerar en dynamisk MR applikation för en monteringsprocess. Optiska valideringsmetoder utforskas för att använda applikationen. Applikationen är utvecklad med hjälp av Unity game engine för HoloLens 2. Programvaran Vuforia Engine och MRTK är utnyttjad. Projektarbetet resulterade i en applikation som kan vägleda användare med hjälp av ljud och grafik. Framgångsrika metoder implementerades för att kalibrera applikationslogiken av dynamisk objektspositionering, samt för att validera användarens rörelser. Ett experiment utfördes för att validera MR applikationen där deltagare genomförde en monteringsprocess med hjälp av pappersinstruktioner, vilket används som ett kvalitativt riktmärke. Mätningar av en erfaren applikationsanvändare har använts som ett kvantitativt riktmärke för mätning av systemmässigt utförande. Alla deltagare kunde utföra monteringsuppgifterna korrekt med hjälp av MR applikationen. Resultaten visar betydligt bättre utförande för den erfarna användaren jämfört med personer som inte är bekanta med MR systemet. Spårning av enskilda objekt med hjälp av Vuforia Engine igenkänningsverktyg var framgångsrikt för komponenter som uppfyller ett specifikt kriterium. Metoder för att validera användarens rörelser med programvaran Vuforia Engine samt HoloLens interna handspårningsfunktion gav mycket framgångsrika resultat vid validering. Sammanfattningsvis kom studien fram till effektiva upplärningsmetoder för det här monteringsscenariot, även om de inte var robusta nog för generell implementering.

I denna artikel undersöks HoloLens 2 som verktyg för att förmedla LEGO-bygginstruktioner genom att använda Augmented Reality (AR). Traditionella instruktionsmetoder såsom text, bilder och video har börjat få konkurrens av AR-tekniken. AR har potentialen att förbättra inlärning och effektivisering av instruktions processen genom att lägga till digitalt innehåll i den fysiska verkligheten.  I artikeln diskuteras både fördelar och nackdelar med att använda sig av AR-instruktioner jämfört med traditionella medier, såsom pappersinstruktioner och framhäver AR’s potential inom områden som exempelvis utbildning, sjukvård och tillverkning. Tidigare studier har visat ökat engagemang, effektivitet och minskad ansträngning hos användare som använder sig av AR-instruktioner. Ibáñez m.fl. (2014) genomförde en undersökning där de använde sig av AR bland studenter och fick positiv feedback vad gäller användning av AR i ett lärandesammanhang.  Artikeln inriktar sig specifikt på användningen av AR Head Mounted Display (HMD), som i detta fall kommer vara en HoloLens 2 för att förmedla LEGO-bygginstruktioner. Med hjälp av HoloLens 2 får användaren en tydligare uppfattning om monteringsprocessen och visualisera de olika komponenterna i 3D. Detta blir fördelaktigt för undersökningen när det gäller att hantera små LEGO-komponenter för att placera dem på rätt plats.  Slutresultatet för undersökningen av att använda HoloLens 2 som verktyg för att förmedla LEGO-bygginstruktioner, visade sig ha både fördelar och nackdelar som kommer att diskuteras senare i artikeln.

As the technology in the field of Augmented Reality (AR) has advanced, its use in different parts of society has increased. Despite this increase, there is still a lack of research on how eye tracking (gaze tracking) can be used to integrate a system with situational awareness (SA) and attention guidance (AG) in an AR board game. This study sets out to implement a gaze tracking system in an AR version of the tabletop game carcassonne. The gaze tracking will be used to implement a first version of a Situational Awareness-based Attention Guidance (SAAG) system. Design Science Research Methodology (DSRM) was chosen as the method to create this system. In order to validate the artifact several tests were conducted, both for quality and for performance. The result from the tests validates that the gaze tracking system works when the player is stationary. However, the accuracy of the gaze tracking was negatively impacted when the player was physically moving around while playing. The results also show that the first version of the SAAG system and algorithm that was implemented works as intended.

This paper investigates the potential of augmented reality (AR) as a navigational aid for individuals with Alzheimer’s disease (AD), offering innovative solutions to the evolving challenges of AD care. As the disease progresses, patients often require more assistance and may transition to care centers, resulting in reduced independence. Prior to this, home-based care aims to stimulate cognitive functions and preserve autonomy. To enhance their freedom and mobility, it is proposed to leverage AR technology to create a first-person navigational aid addressing the unique needs of AD patients. The research confronts two primary challenges: firstly, exploring the design of AR navigational aids customized for individuals with Alzheimer’s disease adapted to outdoor use. Then, it aims to develop an outdoor localization system for the HoloLens 2 and evaluate its performance. Despite limitations induced by the approximate positioning, various types of aids compatible with the technical constraints faced have been envisioned. A set of features was implemented using the optical see-through AR headset HoloLens 2. These features included two distinct types of holograms (Arrow and Wind) and the ability to catch user attention prior to turns, allowing us to explore the effectiveness of these design choices. They were evaluated through a user study involving 15 healthy participants. Usability and task load were measured with Nasa-TLX and SUS questionnaires. An approximate positioning for outdoor use of the HoloLens 2 was elaborated using a smartphone as a GPS receiver, and a Kalman filter for filtering and fusion with IMU data. This enables to reach positioning accuracy at the meter level. This research demonstrates the promising utility of AR in assisting navigation in outdoor environments. Despite few significant results, the Arrow hologram appears to be a better fit for usability and users’ personal preferences. Further research is needed to get significant results on the impact of adaptive aids. The outdoor use of AR navigational aids is still limited by the poor visibility of holograms outdoors and low positioning accuracy. / Denna artikel utforskar potentialen hos förstärkt verklighet (AR) som navigationshjälpmedel för personer med Alzheimers sjukdom (AD) och erbjuder innovativa lösningar inom AD-vård. När sjukdomen fortskrider behöver patienterna mer hjälp och kan övergå till vårdcentraler, vilket minskar deras självständighet. Hemvård strävar efter att stimulera kognitiva funktioner och bevara autonomi. Vi föreslår utnyttja AR-teknologi för en skräddarsydd navigeringshjälp i första person för AD-patienters behov. Forskningen möter två utmaningar: att utforska AR-navigeringshjälpmedel för personer med Alzheimers sjukdom och anpassade för utomhusanvändning. Vi strävar efter att utveckla utomhuslokaliseringssystem för HoloLens 2 och utvärdera prestanda. Trots begränsningar på grund av ungefärlig positionering kan vi föreställa oss hjälpmedel som är kompatibla med tekniska begränsningar. Vi använde HoloLens 2 med funktioner som två hologramtyper och användaruppmärksamhetsfångst före svängar, utvärderat med 15 deltagare. Vi skapade ungefärlig positionering för HoloLens 2 utomhus med en smartphone som GPS-mottagare, med Kalman-filtrering och IMU-fusion för meter-noggrannhet. Forskningen visar AR:s lovande nytta i utomhusnavigering. Trots få signifikanta resultat verkar pilhologrammet passa användbarhet och preferenser bättre. Mer forskning behövs för att bedöma adaptiva hjälpmedels effekter. Användningen av AR-navigeringshjälpmedel utomhus begränsas av dålig synlighet och låg positionsnoggrannhet. / Cet article explore le potentiel de la réalité augmentée (RA) comme aide à la navigation pour les personnes atteintes de la maladie d’Alzheimer (MA), offrant une solution novatrice aux défis en constante évolution des soins liés à la MA. À mesure que la maladie progresse, les patients ont souvent besoin d’une assistance accrue et sont transférés dans des centres de soins, ce qui diminue leur indépendance. Avant cela, les soins à domicile visent à stimuler leurs fonctions cognitives et à préserver leur autonomie. Dans cette optique, nous proposons d’utiliser la RA pour créer une aide à la navigation à la première personne adaptée aux besoins spécifiques des patients atteints de la MA. La recherche aborde deux défis principaux : la conception d’aides à la navigation en RA pour les personnes atteintes de la MA, adaptées à une utilisation en extérieur, et le développement d’un système de localisation en extérieur pour HoloLens 2, suivi de son évaluation. Malgré les limitations liées au positionnement approximatif, nous avons envisagé différents types d’aides compatibles avec ces contraintes techniques. Nous avons mis en place un ensemble de fonctionnalités en utilisant le casque de RA HoloLens 2. Ces fonctionnalités incluent deux types d’hologrammes (Flèche et Vent) et la capacité à attirer l’attention de l’utilisateur avant les virages, nous permettant d’explorer l’efficacité de ces choix de conception. Ils ont été évalués lors d’une étude avec 15 participants en bonne santé. Nous avons élaboré une méthode de positionnement approximatif pour une utilisation en extérieur de l’HoloLens 2 en utilisant un smartphone comme récepteur GPS, avec un filtre de Kalman pour le filtrage et la fusion avec des données inertielles, permettant d’atteindre une précision de positionnement au mètre. Cette recherche démontre l’utilité prometteuse de la RA dans l’assistance à la navigation en extérieur, bien que des recherches supplémentaires soient nécessaires pour obtenir des résultats significatifs sur l’impact des aides adaptatives. L’utilisation des aides à la navigation en RA en extérieur est encore limitée par la visibilité réduite des hologrammes en extérieur et la faible précision du positionnement.

BACKGROUND: The integration of robotics, and mixed reality has ushered in a substantial revolution within the realm of Industry 4.0. The incorporation of robots into the manufacturing sector plays a pivotal role in enhancing productivity, in which humans and robots collaborate with each other. However, the current robotic system operates within predefined pathways exclusively, lacking an automated mechanism for identifying obstacle free routes to facilitate the movement of robot . Also, in the Human Robot Collaboration , there exists a deficiency in visualising robot motion and status, consequently arise safety vulnerabilities for human operators. OBJECTIVES: This thesis aims to implement a pathfinding algorithm for the robot movement using a mixed reality environment. This Mixed Reality application is used to assign targets and handle obstacles in the robot movement path. The visual guide about the robot movement path, the state of the robot and the tasks to the user that will be displayed using MR. METHODS : In pursuit of the thesis objectives, a Mixed Reality environment was developed using Unity alongside MRTK plugins. Within this framework, an A Star pathfinding algorithm was implemented, facilitating the computation of obstacle free routes between source and destination points. This MR environment not only visualises the trajectory of the robot 's movement but also presents robot status updates and an intuitive interface for operator robot communication. The development process involved creating essential code using C# within the Visual Studio IDE. This code was subsequently deployed onto the HoloLens 2, the designated hardware device for MR applications. The positioning and alignment of virtual objects in relation to the physical world were achieved using the QR code methodology. In this context, source and destination points for the robot 's movement were symbolised as targets, while obstacles were represented by square game objects. For the control and communication of the ABB GoFa C RB 15000 robot, RAPID code was devised within Robot Studio.To guide the thesis, a constructivist philosophical paradigm was embraced, aiming to enhance efficacy. Ethical considerations were scrupulously considered for data collection, prioritising user privacy within the MR environment. Furthermore, commitment to sustainability was maintained throughout the thesis work, yielding environmental, economic, and societal advantages. ANALYSIS: The project that was developed underwent analysis through the scenarios, including both obstacle laden and obstacle free pathfinding situations. The A Star pathfinding algorithm, effectively calculated the obstacle free routes between targets and accomplished designated robotic tasks. This implementation not only offered visual path guidance but also supplied status updates. The analysis process involved observations, video recordings, and documentation. The findings indicated that the created Mixed Reality environment indeed enhanced safety and cognitive ergonomics for the operator. This section also outlines the industrial applications of the project developed. CONCLUSION: Successful development of a Mixed Reality environment has been achieved, aimed at enabling automated obstacle free pathfinding. This environment also offers visualisations for path and status information, with the goal of enhancing safety and cognitive ergonomics in Human Robot Collaboration. Throughout this thesis endeavour, strong attention has been paid to ethical considerations and sustainability.

Assembly processes are an integral part of many industries, including manufacturing and production. These processes typically involve the use of robots and automated equipment to perform tasks such as picking, placing, and joining components. One solution is Mixed Reality (MR), which combines virtual and real-world elements to create an immersive environment for the operator. MR technology can be used to guide operators through the assembly process, providing real-time feedback and instructions, as well as allowing them to program the assembly process and adjust as needed.  The project was focused on developing a user interface for the Hololens 2 glasses that would allow operators to select different tools and robots and configure targets and processes for an assembly station. The team also developed a system to send information about targets, paths, and joint values to the virtual and real robot, which allowed operators to easily program the robot to perform the assembly process. It was possible to develop and test the MR system in a real-world assembly setting, evaluating its effectiveness in improving the efficiency and accuracy of the process. This project wants to demonstrate the potential of MR technology for improving assembly processes and to provide a proof-of-concept for future development in this field. / <p>Utbytesstudenter</p>