Today, a large number of devices with small form factors and limited resources are being integrated with processes to perform complex tasks such as localization and mapping. One example of this are headsets used for Extended Reality. These devices are expected to perform under changing conditions in the environment and in the available resources, which require sophisticated control policies. In this thesis project, we start investigating the feasibility of online control of the image resolution of the camera sensor used for Visual Localization, for the purpose of minimizing the requirements of the process without decreasing the performance. Specifically, we perform extensive experiments on two Visual Simultaneous Localization and Mapping systems and a Visual Odometry system on two platforms with limited resources to see how the performance metrics are affected by the image resolution. Moreover, we model the localization error of ORB-SLAM3 with the use of feature matching statistics and the camera velocity. Our experimental results show that savings in terms of the execution time of Visual Localization by adapting the image resolution is possible in some situations. But we did not find significant potential savings in terms of the power consumption of the devices. We also found that the feature matching statistics improve predictions about the localization error of ORB-SLAM3 in several situations compared to only using the camera velocity. But the results are limited to a set of known scenarios, which highlights the difficulty of the modelling problem. Nevertheless, this thesis provides valuable insights into how sensor parameters affect the performance of Visual Localization, and how the localization error relates to tracking statistics inside the localization process. / Idag utrustas fler resursbegränsade enheter med förmågan att utföra komplicerade uppgifter, såsom lokalisering och kartläggning i realtid. Efterfrågan av att små enheter med begränsade resurser ska kunna lokalisera i realtid styrs bland annat av intresset för virtuella upplevelser, till exempel med hjälp av smarta glasögon. Men för att leva upp till förväntningarna krävs en nogrann avvägning mellan prestanda och resurseffektivitet, något som försvåras av en föränderlig omgivning. I det här examensarbetet så utreds möjligheten att påverka prestandan och resurskraven av bildbaserad lokalisering i realtid genom att anpassa bildupplösningen av kameran. Att minska resurskraven för denna processen gör att det blir enklare att uppnå acceptabel prestanda på resursbegränsade enheter och underlättar avlastning av delar av processen med hjälp av molntjänster. I samband med utredningen så modelleras felet av ORB-SLAM3 med hjälp av interna mätetal som karakteriserar lokaliseringsprocessen för att i framtiden kunna informera beslut om bildupplösningen. Resultaten tyder på att det i vissa fall är möjligt att minska resurskraven av bildbaserad lokalisering utan att försämra prestandan. Vad gäller modelleringen av felet, så tyder resultaten på att de valda mätetalen inte är nog för att förutspå felet med någon vidare säkerhet. Men genom att kombinera mätetalen med kamerans hastighet så kan man till viss mån förutspå felet av ORB-SLAM3 i ett urval av kända scenarion. Däremot visar sig resultaten inte vara generaliserbara till nya scenarion som modellerna inte har tränats på, vilket understryker svårigheten av problemet. Genom detta arbetet har vi bidragit med värdefulla insikter som kan leda forskningen inom området vidare.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-344615 |
| Date | January 2023 |
| Creators | Blenneros, Herman |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | English |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2023:959 |
Page generated in 0.0026 seconds