The recent increase of affordable virtual reality (VR) head-mounted displays has led to many new video games and applications being developed for virtual reality environments. The improvements to VR technology has introduced many new possibilities, but has also introduced new problems to solve in order to make VR software as comfortable and as effective as possible. In this report, different methods of displaying text and receiving text input in VR environments are investigated and measured. An interactive user study was conducted to evaluate and compare the performance and user opinion of three different text display methods and four separate virtual keyboard solutions. Results revealed that the distance between text and user, with the same relative text size, significantly affected the ease of reading the text, and that designing a good virtual keyboard for VR requires a good balance of multiple factors. An example of such factors is the balance between precise control and the amount of physical exertion required. Additionally, the results suggest that the amount of previous experience with virtual reality equipment, and typing skill with regular physical keyboards, can meaningfully impact which solution is most appropriate. / Den senaste tidens ökning av prisvärda virtual reality (VR) glasögon har lett till en ökning av spel och applikationer som utvecklas för virtual reality miljöer. Förbättringarna av VR tekniken har introducerat många nya möjligheter, men även nya problem att lösa för att skapa VR mjukvara som är så bekväm och effektiv som möjligt. I den här rapporten undersöks och mäts olika metoder för att visa samt ta emot text i VR miljöer. Detta undersöktes genom utförandet av en interaktiv användarstudie som utvärderade och jämförde effektiviteten och användaråsikter kring tre olika metoder för att visa text samt fyra olika virtuella tangentbordslösningar. Resultatet visade att avståndet mellan användaren och texten, med samma relativa textstorlek, avsevärt påverkade lättheten att läsa texten, samt att designen av ett bra virtuellt tangentbord för VR kräver en bra balans mellan flera faktorer. Ett exempel på sådana faktorer är balansen mellan noggrann kontroll och den fysiska ansträngning som krävs. Resultatet tyder även på att mängden av tidigare erfarenhet med virtual reality utrustning samt skicklighet att skriva med vanliga fysiska tangentbord betydligt kan påverka vilka lösningar som är mest passande för situationen.

Nowadays mid-range smartphones have enough computational power to run simultaneous location and mapping (SLAM) algorithms that, together with their onboard inertial sensors makes them capable of position and rotation tracking. Based on this, Google and Apple have released their own respective software development kits (SDKs) that allow smartphones to run augmented reality applications using six degrees of freedom tracking. However, this same approach could be implemented to virtual reality head-mounted-display (HMD) based on smartphones, but current virtual reality SDKs only offer rotational tracking. In this study the positional tracking technology used for augmented reality mobile applications has been implemented in a virtual reality head-mounted-display only powered by a smartphone by combining virtual and augmented reality SDKs. Compatibility issues between SDKs have been faced to develop a working prototype. An objective and controlled measurement study has been conducted that included 34.200 measurements, to test the accuracy, precision and jitter tracking of the protype against the Oculus Rift, a dedicated virtual reality system. Results show that the developed prototype offers a decent tracking precision and accuracy in optimal conditions. It was concluded to be highly dependent on the camera view. Although, jitter presented the opposite behavior, being dependent to the device used but independent on the camera view. In its optimal conditions, user studies demonstrated that the prototype was capable of offering the same tracking performance feeling as the Oculus Rift although jitter was quite noticeable, and a common user complain. Further studies are proposed that can improve the tracking performance of the prototype by filtering jitter and using two or more cameras with a different angular to correlate feature points and obtain a wider view of the environment were the prototype is used. / Idag har mellanklass-smartphones tillräckligt med beräkningskapacitet för att simultant köra lokalisering och kartläggnings(SLAM) algoritmer tillsammans med deras tröghetssensorer ombord, vilket gör att de kan positionera och rotera spårning. Baserat på det här så har Google och Apple släppt sina egna respektive programvaror (SDK) som gör att smartphones kan köra ökade realitetsapplikationer med sex graders frihetsspårning. Emellertid kan samma tillvägagångssätt implementeras till virtuell verklighet på en huvudmonterad display (HMD) baserat på smartphones, men nuvarande VR SDK erbjuder endast rotationsspårning. I denna studie så har positionell spårningsteknik som används för AR i mobila applikationer implementerats i ett VRheadset som endast drivs av en smartphone genom att kombinera VR och ARSDKs. Kompatibilitetsproblem mellan SDKs har resulterat i att utveckla en fungerande prototyp. En objektiv och kontrollerad mätstudie har genomförts som inkluderade 34.200 mätningar, för att testa noggrannheten, precision och jitterspårning av protyp mot Oculus Rift, ett dedikerat virtuellt verklighetssystem. Resultat visar att den utvecklade prototypen ger en anständig spårningsprecision och noggrannhet i optimala betingelser. Denna slutsats var mycket beroende av kameravy. Även om jitter presenterade det motsatta beteendet, beroende på vilken enhet som används men oberoende av kamerans vy. I sina optimala förhållanden visade användarstudier att prototypen kunde erbjuda samma spårningsförmåga som Oculus Rift, även om jitter var ganska märkbar, och en vanlig användares klagomål. Ytterligare studier föreslås som kan förbättra prototypens spårningsprestanda genom att filtrera jitter och använder två eller flera kameror med en annan vinkling till att korrelera funktionspunkter och få en bredare bild av miljön var prototypen används.

This project is an examination of the possibility of using existing software to develop Virtual Reality (VR) software that includes key aspects of objects in a user’s surroundings into a virtual environment, producing Augmented Virtuality (AV). A defining limitation is the requirement that the software be consumer-accessible, meaning it needs run on a common smartphone with no additional equipment. Two related AV concepts were considered: shape reconstruction and positional tracking. Two categories of techniques were considered for taking the measurements of reality necessary to achieve those AV concepts using only a monocular RGB camera as sensor: monocular visual SLAM (mvSLAM) and Structure from Motion (SfM). Two lists of requirements were constructed, formalising the notions of AV and consumer-accessibility. A search process was then conducted, where existing software packages were evaluated for their suitability to be included in a piece of software fulfilling all requirements. The evaluations of SfM systems were made in combination with Multi-View Stereo (MVS) systems – a necessary complement for achieving visible shape reconstruction using a system that outputs point clouds. After thoroughly evaluating a variety of software, it was concluded that consumer-accessible AV can not currently be achieved by combining existing packages, due to several issues. While future hardware performance increases and new software implementations would solve complexity and availability issues, some inaccuracy and usability issues are inherent to the limitation of using a monocular camera. / Detta projekt är en undersökning av möjligheten att använda befintlig programvara till att utveckla Virtual Reality (VR)-programvara som infogar framstående aspekter av objekt från en användares omgivning in i en virtuell miljö och därmed skapar Augmented Virtuality (AV). En definierande begränsning är kravet på att programvaran skall vara konsumenttillgänglig, vilket innebär att den behöver kunna köras på en vanlig smartphone utan extra utrustning. Två besläktade AV-koncept beaktades: formrekonstruktion och positionsspårning. Två kategorier av tekniker togs i beaktande, vilka kunde användas för att göra de uppmätningar av verkligheten som var nödvändiga för att uppnå de tänkta AV-koncepten med hjälp av endast en monokulär RGB-kamera som sensor: monocular visual SLAM (mvSLAM) och Structure from Motion (SfM). Två listor med kriterier konstruerades, vilka formaliserade begreppen AV och konsumenttillgänglighet. En sökprocess utfördes sedan, där befintliga programvarupaket utvärderades för sin lämplighet att inkluderas i en programvara som uppfyllde alla kriterier. Utvärderingarna av SfM-system gjordes i kombination med Multi-View Stereo (MVS)-system – ett nödvändigt komplement för att uppnå synlig formrekonstruktion med ett system vars utdata är punktmoln. Efter att noggrant ha utvärderat en mängd programvara var slutsatsen att konsumenttillgänglig AV inte för närvarande kan uppnås genom att kombinera befintliga programvarupaket, på grund av ett antal olika problem. Medan framtida prestandaökningar hos maskinvara och nya programvarutillämpningar skulle lösa problem med komplexitet och tillgänglighet, är vissa problem med tillförlitlighet och användbarhet inneboende hos begränsningen till att använda en monokulär kamera.