Today, a large number of devices with small form factors and limited resources are being integrated with processes to perform complex tasks such as localization and mapping. One example of this are headsets used for Extended Reality. These devices are expected to perform under changing conditions in the environment and in the available resources, which require sophisticated control policies. In this thesis project, we start investigating the feasibility of online control of the image resolution of the camera sensor used for Visual Localization, for the purpose of minimizing the requirements of the process without decreasing the performance. Specifically, we perform extensive experiments on two Visual Simultaneous Localization and Mapping systems and a Visual Odometry system on two platforms with limited resources to see how the performance metrics are affected by the image resolution. Moreover, we model the localization error of ORB-SLAM3 with the use of feature matching statistics and the camera velocity. Our experimental results show that savings in terms of the execution time of Visual Localization by adapting the image resolution is possible in some situations. But we did not find significant potential savings in terms of the power consumption of the devices. We also found that the feature matching statistics improve predictions about the localization error of ORB-SLAM3 in several situations compared to only using the camera velocity. But the results are limited to a set of known scenarios, which highlights the difficulty of the modelling problem. Nevertheless, this thesis provides valuable insights into how sensor parameters affect the performance of Visual Localization, and how the localization error relates to tracking statistics inside the localization process. / Idag utrustas fler resursbegränsade enheter med förmågan att utföra komplicerade uppgifter, såsom lokalisering och kartläggning i realtid. Efterfrågan av att små enheter med begränsade resurser ska kunna lokalisera i realtid styrs bland annat av intresset för virtuella upplevelser, till exempel med hjälp av smarta glasögon. Men för att leva upp till förväntningarna krävs en nogrann avvägning mellan prestanda och resurseffektivitet, något som försvåras av en föränderlig omgivning. I det här examensarbetet så utreds möjligheten att påverka prestandan och resurskraven av bildbaserad lokalisering i realtid genom att anpassa bildupplösningen av kameran. Att minska resurskraven för denna processen gör att det blir enklare att uppnå acceptabel prestanda på resursbegränsade enheter och underlättar avlastning av delar av processen med hjälp av molntjänster. I samband med utredningen så modelleras felet av ORB-SLAM3 med hjälp av interna mätetal som karakteriserar lokaliseringsprocessen för att i framtiden kunna informera beslut om bildupplösningen. Resultaten tyder på att det i vissa fall är möjligt att minska resurskraven av bildbaserad lokalisering utan att försämra prestandan. Vad gäller modelleringen av felet, så tyder resultaten på att de valda mätetalen inte är nog för att förutspå felet med någon vidare säkerhet. Men genom att kombinera mätetalen med kamerans hastighet så kan man till viss mån förutspå felet av ORB-SLAM3 i ett urval av kända scenarion. Däremot visar sig resultaten inte vara generaliserbara till nya scenarion som modellerna inte har tränats på, vilket understryker svårigheten av problemet. Genom detta arbetet har vi bidragit med värdefulla insikter som kan leda forskningen inom området vidare.

In the last decades, there has been a growing interest towards new use cases in the Internet of Things (IoT) domain, such as extended reality glasses, unmanned aerial vehicles (UAVs), and autonomous driving. The technological advancement observed in such scenarios has also been enabled by the increasing capabilities of small form factor devices. Although such devices allow to achieve remarkable computing performance with relatively low energy consumption, these are often used in contexts in which the trade-offs between power consumption and application performance play a key role (e.g., battery powered systems). Furthermore, if such trade-offs are not carefully set, the performance degradation can lead to system failure. The work proposed in this thesis aims at investigating this type of problems, and to propose a runtime model and controller pair based on the joint optimization of the platform and application parameters to reduce the likelihood of system failure. The proposed architecture is evaluated in a UAV emulated environment, in which the used platform embeds hardware features comparable to the ones of a drone, while the localization and mapping application executed on such device makes use of real-world visual-inertial datasets. The proposed runtime model-controller solution relies on the monitoring of the platform CPU peaks for identifying application failure. It has also been empirically demonstrated that the model-controller can substantially decrease the number of failures and, in specific scenarios, improve localization accuracy and power consumption even compared to the optimal static parameter configurations. Moreover, the solution has been proven to be simple and generalizable in scenarios characterized by different levels of concurrency, and in the datasets tested. / Under de senaste decennierna har det funnits ett växande intresse för nya användningsfall som Extended Reality-glasögon, obemannade flygfarkoster (UAV) och autonom körning. De tekniska framstegen som observerats i sådana scenarier har också möjliggjorts av den ökande kapaciteten hos små formfaktorenheter. Även om sådana enheter gör det möjligt att uppnå anmärkningsvärd datorprestanda med relativt låg energiförbrukning, används dessa ofta i sammanhang där kompromisserna mellan strömförbrukning och applikationsprestanda spelar en nyckelroll (t.ex. batteridrivna system). Dessutom, om sådana avvägningar inte är noggrant inställda, kan prestandaförsämringen leda till systemfel. Arbetet som föreslås i denna avhandling syftar till att undersöka denna typ av problem, och att föreslå en körtid modellstyrenhet baserad på gemensam optimering av plattformen och applikationsparametrar för att minska systemfel. Den föreslagna arkitekturen utvärderas i en UAV-emulerad miljö, där den använda plattformen har hårdvarufunktioner som är motsvarar en drönare, medan lokaliserings- och kartläggningsapplikationen som körs på en sådan enhet använder verkliga visuella tröghetsdatauppsättningar. Den föreslagna runtime-modellstyrningslösningen förlitar sig på övervakning av plattformens CPU-toppar för att identifiera programfel. Det har också visat sig empiriskt att modellstyrenheten avsevärt kan minska antalet fel och, i specifika scenarier, förbättra lokaliseringsnoggrannheten och strömförbrukningen även jämfört med de optimala statiska parameterkonfigurationerna. Dessutom har lösningen visat sig vara enkel och generaliserbar i scenarier som kännetecknas av olika nivåer av samtidighet och i de testade datamängderna.

As resource-constrained autonomous vehicles are used for more and more applications, their ability to achieve the lowest possible localization error without expending more power than needed is crucial. Despite this, the parameter settings of the localization systems, both for the platform and the application, are often set arbitrarily. In this thesis, we propose a model-based controller that adapts the parameters of the localization system during run-time by observing conditions in the environment. The test-bed used for experiments consists of maplab, a visual-inertial localization framework, that we execute on the Nvdia Jetson AGX platform. The results show that the linear velocity is the single most important environmental attribute to base the decision of when to update the parameters upon. We also found that while it was not possible to find a direct connection between certain parameters and environmental conditions, a connection could be found between sets of configuration parameters and conditions. Based on these conclusions, we compare model-based controller setups based on three different models: Finite Impulse Response (FIR), AutoRegressive eXogenous input (ARX) and Multi-Layer Perceptron (MLP). The FIR-based controller performed the best. This FIR-based controller is able to select configurations at the appropriate times to keep the error lower than it would be to randomly guess which set of configuration parameters is best. The proposed solution requires offline profiling before it can be implemented on new localization systems, but it can help to reduce the error and power consumption and thus enable more uses of resource-constrained devices. / Användningen av autonoma fordon med begränsade resurser ökar allt mer, vilket i sin tur ökar vikten av att dessa kan lokalisera med lägsta möjliga fel utan att förbruka mer effekt. Trots detta bestäms parametrarna för både hårdvara och i algoritmerna ofta godtyckligt för dessa lokaliseringssystem. I detta examensarbete presenterar vi en lösning till detta, i form av en modellbaserad regulator som anpassar parametrarna baserat på vad den detekterar i omgivningen. Vår testuppställning består av maplab, ett lokaliseringsramverk, som vi exekverar på Nvida Jetson AGX plattformen. Resultaten visar att den linjära hastigheten är den viktigaste miljövariabeln att detektera och använda för att anpassa parametrarna i lokaliseringssystemet. Resultaten visar även att det går att hitta kopplingar mellan konfigurationer och miljövariabler, även om det inte går att hitta mellan specifika konfigurationsparameterar och miljövariabler. Den regulator som presterar bäst visar sig vara en som är baserad på en Finite Impulse Response modell, med en optimeringshorisont på 5 sekunder. Denna presterar bättre än både AutoRegressive eXogenous input baserad regulator och en Multi-Layer Perceptron baserad regulator. Finite Impulse Response regulatorn åstadkommer ett fel som är lägre än slumpmässig gissning, på data den inte sett förut. Lösningen som uppvisas i detta projekt kräver optimering offline för att fungera, men om det utförs kan den reducera både lokaliseringsfelet och effektförbrukningen och genom det skapa nya användningsområden för resursbegränsade enheter.