Spelling suggestions: "subject:"augmenterad verkligheten"" "subject:"augmenterade verkligheten""
1 |
Visualizations in Augmented Reality for Multiple Real-Time Unmanned Aerial Vehicle Video Feeds : Visualizing Occluded and Out-of-View EntitiesBränneby, Måns, Gerfort, Oliver January 2022 (has links)
Background. The use of Unmanned Aerial Vehicles (UAVs) is today prevalent in both defense applications as well as in civilian tasks and is predicted to have a major socio-economic impact [22]. The opportunities involved with using Augmented Reality (AR) during UAV operations have engaged previous research intending to improve an operator’s situational awareness which allows operations to be carried out without putting people in dangerous situations [1,11,47]. In the case of a system where multiple UAVs are simultaneously active with the possibility to share information, opportunities arise for visualization of tracked entities either located behind objects in the environment or outside the field of view of a UAV. While previous research has been done in the field of AR on hidden elements, the impact of those techniques in a multi-UAV scenario is unexplored. Objectives. The thesis aimed to answer the question of what the impact is of different visualization techniques in regards to response time, depth perception, and clarity in a multi-UAV scenario involving entities occluded by the environment or otherwise hidden. Methods. This thesis has gone forward with a Systematic Literature Review (SLR) to in a systematic way compile the most important visualization techniques for AR visualizations of hidden elements. The techniques proposed by the SLR were implemented in an application simulating a multi-UAV scenario as well as evaluated in an experiment and a survey to fill in the gaps in previous research. Results. The SLR provided this work with multiple important aspects for visualization of entities, both occluded as well outside the field of view including the importance to utilize occlusion as a depth cue but also concrete techniques for implementation. Through the SLR the Excavation box, Naive ghosting, Silhouette, Ruler, Halo, and Radar techniques were selected for implementation in a multi-UAV scenario. The evaluation showed that for clarity the Excavation box and Silhouette techniques were preferred over the Naive ghosting technique, that the Halo technique is preferred for estimation of position but also aspects such that the occlusion depth cue may be unnecessary at the distances involved in the general multi-UAV scenario evaluated. Conclusions. Based on the findings of this thesis can visualizations in a multi-UAV scenario be created, heightening the situational awareness of UAV operators and therefore allowing tasks to be completed without putting people in dangerous situations [1, 11, 22, 47]. / Bakgrund. Drönare är idag använda i både försvarssammanhang och allmänna samhällssituationer och förväntas ha ett betydande socio-ekonomiskt avtryck i framtiden [22]. Genom att använda sig av augmenterad verklighet (AR) under drönaruppdrag, ett område där tidigare forskning genomförts, kan en operatörs medvetenhet kring sin omgivning höjas och därmed uppdrag genomföras utan att människor sätts i farliga situationer [1,11,47]. I situationer där flera drönare samtidigt är aktiva och kan dela information med varandra dyker möjligheter upp att visualisera spårade entiteter som befinner sig både bakom objekt i miljön och utanför synfältet för en specifik drönare. Tidigare forskning har gjorts inom AR för dolda element men hur dessa fungerar i detta system med flera drönare är outforskat. Syfte. Denna avhandlings mål var att svara på frågan kring hur olika visualiseringstekniker fungerar i avseende med responstid, djupuppfattning och tydlighet i situationer med flera aktiva drönare med spårade, dolda entiteter. Metod. Denna avhandling har genomfört en Systematic Literature Review (SLR) för att systematiskt ta fram de viktigaste teknikerna inom forskningen för AR visualiseringar av dolda element. De tekniker föreslagna av SLR:en implementerades i en applikation som simulerar ett multi-drönar scenario följt av en evaluering genom ett experiment och en undersökning för att bidra i ett område där forskning saknas. Resultat. SLR:en bidrog med flera viktiga principer och tekniker relevanta för att svara på avhandlingens forskningsfråga. Baserat på dessa resultat implementerades sex stycken tekniker: Excavation box, Naive ghosting, Silhouette, Ruler, Halo och Radar. Evalueringen visade att för tydlighet bör Excavation box eller Silhouette användas över Naive ghosting, Halo-tekniken är att föredra vid positionsestimering och att aspekter som att använda sig av täckning som guide för djupuppfattning kanske är onödig vid distanserna som är relevanta i det evaluerade scenariot. Slutsatser. Baserat på upptäckterna i denna avhandling kan visualiseringar för system med flera drönare skapas vilka ökar medvetenheten kring en operatörs omgivning och därför utföra uppdrag utan att människor utsätts för farliga miljöer [1,11,22,47].
|
2 |
Developing a Neural Network Model for Semantic Segmentation / Utveckling av en neural nätverksmodell för semantisk segmenteringWestphal, Ronny January 2023 (has links)
This study details the development of a neural network model designed for real-time semantic segmentation, specifically to distinguish sky pixels from other elements within an image. The model is incorporated into a feature for an Augmented Reality application in Unity, leveraging Unity Barracuda—a versatile neural network inference library. While Barracuda offers cross-platform compatibility, it poses challenges due to its lack of support for certain layers and operations. Consequently, it lacks the support of most state-of-the-art models, and this study aims to provide a model that works within Barracuda. Given Unity's absence of a framework for model development, the development and training of the model was conducted in an open-source machine learning library. The model is continuously evaluated to optimize the trade-off between prediction accuracy and operational speed. The resulting model is able to predict and classify each pixel in an image at around 137 frames per second. While its predictions might not be on par with some of the top-performing models in the industry, it effectively meets its objectives, particularly in the real-time classification of sky pixels within Barracuda. / Denna rapport beskriver utvecklingen av en neural nätverksmodell avsedd för semantisk segmentering i realtid, specifikt för att särskilja himlen från andra element inom en bild. Modellen integreras i en funktion för en applikation med augmenterad verklighet i Unity, med hjälp av Unity Barracuda - ett mångsidigt bibliotek för neurala nätverk. Även om Barracuda erbjuder kompatibilitet över olika plattformar, medför det utmaningar på grund av dess brist på stöd för vissa lager och operationer. Följaktligen saknar den stöd från de bäst presterande modellerna, och denna studie syftar till att erbjuda en modell som fungerar inom Barracuda. Med tanke på Unitys avsaknad av ett ramverk för modellutveckling valdes ett open-source maskininlärningsbibliotek. Modellen utvärderas kontinuerligt för att optimera avvägningen mellan förutsägelseprecision och driftshastighet. Den resulterande modellen kan förutsäga och klassificera varje pixel i en bild med en hastighet på cirka 137 bilder per sekund. Även om dess förutsägelseprecision inte är i nivå med några av de bäst presterande modellerna inom branschen, uppfyller den effektivt sina mål, särskilt när det gäller realtidsklassificering av himlen inom Barracuda.
|
Page generated in 0.0993 seconds