The aim of this thesis is to create an experimental application for manipulating virtual objects in the augmented reality using an tablet for controlling the robotic arm. There is created various ways of manipulating virtual objects for their translation, rotation, and scale change. These methods are tested on several users and compared within their usability. The application allows you to send the position of virtual object changes to the PR2 robot arm and simulate manipulation of virtual objects with augmented reality.

Syfte – För att konstruera lyckade mobila Augmented Reality-lösningar som får virtuella objekt att se ut att samexistera med verkligheten krävs robusta trackingsystem som klarar av att spåra position och orientering med hög precision. Således var studiens syfte att undersöka precisionen i trackingsystemen i ARKit och ARCore för att erhålla underlag om hur väl virtuella objekt kan förankras på en fysisk position. Både ARKit och ARCore använder konceptet förankringspunkter för att uppnå ökad precision i trackingen av virtuella objekt. Därav undersöktes hur pålitliga dessa förankringspunkter är för respektive ramverk och huruvida de förbättrar precisionen eller inte. Metod – I studien genomfördes egenutformade experiment där en app för respektive ramverk skapades med uppgiften att placera ut ett virtuellt objekt med eller utan förankringspunkt framför enheten. Med hjälp av fasta fysiska positioner som användes som referenspunkter kunde förskjutningar av virtuella objekt beräknas när enheten förflyttades i två olika scener. Resultat – Medelförskjutningen av förankringspunkterna i ARKit var 15,2 cm och 27 cm i respektive scen. För ARCore blev medelförskjutningen av förankringspunkterna 7,8 cm och 4,7 cm. Trackingen av virtuella objekt förbättrades i ARCore i båda scenerna när förankringspunkter användes. Däremot fick ARKit blandade resultat där trackingen förbättrades avsevärt när tillräckligt med textur fanns, men försämrades när det inte fanns. Implikationer – Studien visar att ARCore klarar trackingen av virtuella objekt bättre än ARKit. Vidare bekräftar studien att förankringspunkter bör användas för att förbättra precisionen i trackingen i ARCore, medan det i ARKit endast förbättras när tillräckligt med textur finns i omgivningen. Begränsningar – Endast en smartphone för respektive ramverk användes i experimenten. Scenerna var statiska och experimenten genomfördes i så ljusa förhållanden som möjligt. Studien testade enbart en förankringspunkt och säger således inget om hur pålitligheten och precisionen förändras när multipla förankringspunkter används. / Purpose – To construct successful mobile Augmented Reality solutions that make virtual objects coexist with reality, robust tracking systems capable of tracking position and orientation with high precision is required. The study's purpose was therefore to investigate the precision of the tracking systems in ARKit and ARCore to receive material regarding how well virtual objects can be anchored on a physical position. Both ARKit and ARCore utilize a concept called anchors to achieve heightened precision in the tracking of virtual objects. How reliable these anchors are in each framework and whether they improve precision was thus examined. Method – Experiments were designed and performed in the study, where one app for each framework was created with the purpose of placing a virtual object with or without an anchor in front of the device. Fixed physical positions were used as references to calculate how much the virtual object were drifting when the device was moved around in two different scenes. Findings – The average drift of the anchors were 15,2 cm and 27 cm with ARKit in each scene. The anchors with ARCore had an average drift of 7,8 cm and 4,7 cm. The study found that the tracking of virtual objects improved in ARCore when anchors were used, while ARKit gave mixed results where clear improvements could be seen only when there was enough texture in the scene. Implications – The study shows that ARCore handles the tracking of virtual objects better than ARKit. The study also confirms that anchors should be utilized to improve the precision of the tracking in ARCore, while in ARKit it is only improved when there are a sufficient amount of texture in the surroundings. Limitations – Only one smartphone for each framework were used in the experiments. The scenes were static and the experiments were performed in as bright conditions as possible. The study only tested one anchor and says nothing regarding changes in the reliability and precision when multiple anchors are used.

Purpose – The purpose of this thesis is to understand how the two frameworks: ARKit and ARCore works in the outside environment, in terms of possibilities and constrictions. This thesis intends to answer the following research questions: -        Which possibilities and restrictions does ARKit and ARCore have for usage in the outside environment? -        Which is the lowest illuminance needed for ARKit to work? Method – The study uses a literature study to answer the first research question. For the second research question a combination of literature study and experimental study is used, in which a hypothesis and prediction is formulated. Results – The results of the study show that there’s more restrictions than possibilities for using ARKit and ARCore in the outside environment. There are a lot of factors that can affect the frameworks ability to read the surroundings and place virtual objects. Dynamic elements, such as weather and illumination, is something that needs to be kept in mind. The experimental study showed that the minimal illumination needed for an ARKit based application to be able to place an object in an environment was 10.275 lx. In comparison; this is when the sun is positioned at a -5O under the horizon or higher. For example, this means that 1st of January only has 7h and 30min of the day where there is enough daylight for ARKit to read the surrounding. This does not account for other factors that can be troublesome, such as during the wintertime there is likely snow covering the ground. Implications – The study contributes to the exploration of an area which is relatively unknown since these frameworks have barely been out for a year. The results in the study can give an insight for developers and companies that have visions to use AR technology in the outside environment. The study covers the main areas AR, ARKit and ARCore. Limitations – The experimental study was only performed using ARKit, the reason being that the only testing device available was iOS Keywords – Augmented Reality, AR, Apple, Google, ARKit, ARCore, Lux, Experiment, Literature study. / Syfte - Syftet med denna studie är att undersöka hur ramverken ARKit och ARCore lämpar sig för utomhusbruk i form av möjligheter och begränsningar. Denna undersökning avser att besvara följande frågeställningar:   Vilka möjligheter och begränsningar har ARKit respektive ARCore vid utomhusbruk?  Vilken är den minimala belysningsstyrka som krävs för att ARKit skall fungera?   Metod – I studien används litteraturstudie för att besvara första frågeställningen, och för andra frågeställningen är det en kombination av litteraturstudie och experimentell studie med hypotes och förutsägelse. Resultat – Resultatet visar att begränsningarna är fler än möjligheterna. Det är många faktorer i en utomhusmiljö som kan påverka ramverkens förmåga att läsa av omgivningen och placera ett virtuellt objekt. Dynamiska element som väder och ljus är något man uppenbarligen måste ha i åtanke. Den experimentella studien visade att den minimala belysningsstyrkan som krävs för att en ARKit baserad applikation skall kunna placera ut ett objekt är 10.275 lx. Detta kan jämföras med att solen befinner sig -5O under horisonten eller högre. Ett exempel är tillexempel den 1:a januari som har 7h 30min under dygnet då det är tillräckligt ljust. En annan aspekt som kan ställa till problem under vintermånaderna är eventuella snötäcken. Implikationer – Studien bidrar till att utforska ett område som är relativt okänt då dessa ramverk är knappt ett år gamla. Resultatet i studien kan ge en insikt till utvecklare eller företag som har egna visioner att nyttja AR teknologin utomhus. Studien lägger grunden för huvudområdena AR, ARKit och ARCore. Begränsningar – Den experimentella studien genomfördes endast med ARKit med anledning att den enda testenhet som fanns tillgänglig var iOS. Nyckelord – Augmented Reality, Apple, Google, ARKit, ARCore, Lux, Experiment, Litteraturstudie

This thesis aims to improve the user's orientation in terrain using his smartphone and augmented reality. By combining these two elements and cost-free OpenStreetMap database of geographic data, is possible to show nearby map features from the maps or show additional information about nearby objects. The resulting technology is used in implemented iOS application called Water Radar. This application displays nearby water streams (or other water objects) relative to the GPS position of the user. The application also uses Google Elevation API, in order to enable displayed water streams to follow the landscape.

This thesis is focused on Augementied reality in mobile applications. The aim of the thesis is to create mobile application that provides its users with the view of the past of selected buildings. At the beginning of the thesis, the reader is presented with various methods and technologies for working with augmented reality. Based on the theorie obtained in first chapters, a mobile application was designed and implemented. The final mobile application allows its users to view historical buildings.

With the development of resilient computer vision algorithms, mobile augmented reality (MAR) technology is now accessible for most smartphone users. There are a lot of MAR applications available on the App Store and Google Play. However, most of the applications are games for indoor usage. Outdoor MAR commercial applications are rare. Evidently, outdoor MAR in tourism is a promising and challenging field. This study focuses on Djurgården, an island in Stockholm. The purpose is to develop a MAR prototype for some underexplored places on the island and see the benefits and challenges of AR as a method for helping tourists in sightseeing. A MAR application was developed to explore the research question surrounding its benefits and challenges. a user study was conducted to compare the MAR prototype with general usage of smartphone applications, where both quantitative and qualitative data was gathered. The results indicate that MAR has an advantage in providing more immersive, content travelling experience as well as reducing feelings of boredom. However, MAR also has challenges in avoiding collision with real objects and limiting possible risks. / Utvecklingen av robusta och effektiva algoritmer för datorseenede har lett till att de flesta med en smarttelefon idag har tillgång till Mobile Augmented Reality (MAR) teknologi. Det finns många MAR applikationer tillgängliga på App Store och Google Play, däremot är de flesta anpassade för användning inomhus. Kommersiella MAR applikationer för utomhusbruk är ovanliga. Uppenbarligen är utomhusbaserade MAR applikationer inom turism ett lovande och utmanande fält. Den här studien fokuserar på ön Djurgården i Stockholm. Målet är att utveckla en MAR prototyp för några av öns mindre besökta platser och undersöka fördelar och utmaningar med AR som ett verktyg för att hjälpa turistande på ön. En MAR applikation för att undersöka detta utvecklades och en användarstudie genomfördes. Användarstudien jämförde MAR prototypen mot generella applikationer på smarttelefoner, där både kvantitativ och kvalitativ data insamlades. Resultaten visar att MAR har fördelar i att förmedla mer engagerande innehåll för reseupplevelser och i att reducera känslor av tristess och utmattning. Däremot finns det utmaningar inom MAR i att undvika kollisioner med verkliga objekt och att minimera skaderisker.

Eye-tracking technology is used within various fields of research such as medicine, computer vision and psychology among others. Despite the many application areas and a growing interest, most eye-trackers rely on dedicated and expensive hardware to track eye movements on large monitors such as desktop displays. Eye-tracking on mobile devices using their built-in camera would be beneficial on a large scale since additional, expensive, equipment would not be needed. Because of the many smartphone users, the technology would be more available. This study aimed to explore the possibilities of using a smartphone camera and augmented reality (AR) for eye-tracking, as well as evaluate the accuracy and precision such a system could obtain. The methods used for gaze estimation were a ray-plane intersection and a system-controlled calibration using linear scaling and translation to adjust the future gaze positions. The mobile device eye-tracker was evaluated in terms of accuracy and precision by two validations using a point pattern to collect gaze data on fixations detected by the system. The result showed an accuracy and precision below optimal compared to previous studies on mobile eye- trackers and eye-trackers that use infra-red light to track the eye-movements. Several factors could have affected the result such as the environments in which the evaluations were held, eye-blinks during data collection or the implementation of the eye-tracking system including the method for calibration. Future work is recommended to evaluate the system in a controlled lab environment, including a larger number of participants and examine if the accuracy is mainly affected by external factors or if it is affected by the implementation of the system. Because of the many benefits of mobile device eye- tracking, future work within the area is encouraged. It would be interesting to investigate the ability to use a mobile device eye-tracker with unrestricted head- and hands movement for further use-cases and a more natural experience. / Teknik för ögonspårning används inom olika forskningsområden såsom medicin, datorsyn och psykologi. Trots många användningsområden och ett växande intresse förlitar sig de flesta ögonspårare på dyr hårdvara för att spåra ögonrörelser på stora bildskärmar. Ögonspårning på mobila enheter med hjälp av inbyggd kamera skulle vara fördelaktigt i stor skala eftersom ytterligare, dyr utrustning inte skulle behövas. Med tanke på de många mobiltelefonanvändare skulle tekniken vara mer tillgänglig. Denna studie syftade till att undersöka möjligheterna att använda en mobiltelefons kamera och förstärkt verklighet (AR) för ögonspårning, samt utvärdera noggrannheten och precisionen som ett sådant system skulle kunna uppnå. Metoderna som användes för att estimera blickens position var en strålplanskorsning och en systemstyrd kalibrering med linjär skalning och förskjutning för att justera framtida blickpositioner. Den mobila enhetens ögonspårare utvärderades i termer av noggrannhet och precision genom två valideringar med hjälp av ett punktmönster för att samla in blickdata från fixeringar som upptäcks av systemet. Resultatet visade en noggrannhet och precision under optimal jämfört med tidigare studier på mobila ögonspårare och ögonspårare som använder infrarött ljus. Flera faktorer kan ha påverkat resultatet, till exempel de miljöer i vilka utvärderingarna gjordes, blinkningar under datainsamlingen eller implementeringen av systemet inklusive val av kalibreringsmetod. Framtida arbete rekommenderas att utvärdera systemet i en kontrollerad laboratoriemiljö med ett större antal deltagare för att undersöka ifall noggrannheten huvudsakligen påverkas av externa faktorer eller av implementeringen av systemet. På grund av de många fördelarna med ögonspårning på mobila enheter uppmuntras framtida arbete inom området.

The aim of the master thesis is to provide visitors of various types of objects - typically galleries, museums, etc. with additional information about exhibited objects with emphasis on visual display in augmented reality. It includes an analysis of already existing solutions, design and implementation of the entire system needed for deployment. From the point of view of the content creator (administrator), the system represents a complex solution enabling the creation of an interactive walk - scanning 3D objects, scanning 2D objects and adding content to the given objects. On the other hand, the tool for visitors (users) who are part of an interactive walk, provides additional information about objects primarily located near the user, which are automatically detected by the camera on the mobile phone. Solution includes augmented reality, which is implemented using ARKit technology, so the final application is built on the iOS platform. The work addresses the issue of detection of 3D objects and their subsequent recognition, along with the way to work with this information, how to store it and then use it for purposes of this thesis. In the final solution, emphasis is placed on the simplicity of the usage (guide marks, hints...) and overall user experience.

In the last fifteen years, the use of smartphones has exploded and almost everyone in the Nordic countries owns a smartphone that they use for everyday matters. With the rise of popularity in the usage of smartphones and not least their technical development, the number of applications to use them continues to increase. One area that smartphones can be used for is virtual reality (VR) and as this area has become more popular, the technology behind VR has become more and more sophisticated. Nowadays many smartphones are equipped with multiple cameras and LiDAR sensors that can be used by the device to create a virtual model of the physical environment. In this project, different methods were evaluated to use this virtual model to estimate the size of physical packages to add functionality to the PostNord consumer app for measuring packages when purchasing postage.

Indoor positioning systems (IPS) has seen an increase in demand because of the needto locate users in environments where Global Navigation Satellite Systems (GNSS) lacksaccuracy. The current way of implementing an IPS is often tedious and time consuming.However, with the improvements of position estimation and object detection on phones,a lightweight and low-cost solution could become the standard for the implementationphase of an IPS. Apple recently included a Light Detection And Ranging (LiDAR) sensorin their phones, greatly improving the phones depth measurements and depth understanding.This allows for a more accurate virtual representation of an environment. This thesisstudies the accuracy of ARKit’s reconstructed world and how different environments impactthe accuracy. The thesis also investigates the use of reference points as a tool to map thereconstructed environment to a geo-referenced map, such as Google Maps and Open StreetMap. The results show that ARKit can create virtual representations with centimetre levelaccuracy for small to medium sized environments. For larger or vertical environments,such as corridors or staircases, ARKit’s SLAM algorithm no longer recognizes previouslyvisited areas, causing both duplicated virtual environments and large drift errors. With theuse of multiple reference points, we showed that ARKit can and should be considered asa viable tool for scanning and mapping small scale environments to geo-referenced floorplans.