The vast majority of computing hardware platforms available today are not desktop PCs. They are embedded systems, sensors and small specialized pieces of hardware present in almost every digital product available today. Due to the massive amount of information available through these devices we can find new and exciting ways to apply and benefit from machine learning. Many of these computing devices have specialized, resource-constrained architectures and it might be problematic to perform complicated computations. If such a system is under heavy load or has restricted performance, computational power is a valuable resource and costly algorithms must be avoided. \\This master thesis will present an in-depth study investigating the trade-offs between precision, latency and memory consumption of a selected set of machine learning algorithms implemented on a resource constrained multi-core telecom hardware platform. This report includes motivations for the selected algorithms, discusses the results of the algorithms execution on the hardware platform and offers conclusions relevant to further developments. / Majoriteten av beräkningsplattformarna som finns tillgängliga idag är inte stationära bordsdatorer. De är inbyggda system, sensorer och små specialiserade hårdvaror som finns i nästan alla digitala produkter tillgängliga idag. På grund av den enorma mängden information som finns tillgänglig via dessa enheter kan vi hitta nya och spännande sätt att dra nytta av maskininlärning. Många av dessa datorer har specialiserade, resursbegränsade arkitekturer och det kan vara problematiskt att utföra de komplicerade beräkningar som behövs. Om ett sådant system är tungt belastat eller har begränsad prestanda, är beräkningskraft en värdefull resurs och kostsamma algoritmer måste undvikas. \\ Detta masterprojekt kommer att presentera en djupgående studie som undersöker avvägningarna mellan precision, latens och minneskonsumtion av en utvald uppsättning maskininlärningsalgoritmer implementerade på en resursbegränsad flerkärnig telekom-maskinvaruplattform. Denna rapport innehåller motivationer för de valda algoritmerna, diskuterar resultaten av algoritmerna på hårdvaruplattformen och presenterar slutsatser som är relevanta för vidareutveckling.

The expectations in performing high-performance cyber-physical applications in resource-constrained devices are continuously increasing. The available hardware is still a main limitation in this context, both in terms of computation capability and energy limits. On the other hand, one must ensure the robust and accurate execution of the applications deployed, since their failure may entail risks for humans and the surrounding environment. The limits and risks are enhanced when multiple applications are executed on the same device. The focus of this thesis is to provide a trade-off between the required performance and power consumption. The focus is on two fundamental applications in the mobile autonomous vehicles scenario: localization and object detection. The multi-objective optimization is performed in a cross-layer manner, exploring both applications and platform configurable parameters with Design Space Exploration (DSE). The focus is on localization and detection accuracy, detection latency and power consumption. Predictive models are designed to estimate the metrics of interest and ensure robust execution, excluding potential faulty configurations from the design space. The research is approached empirically, performing tests on the Nvidia Jetson AGX and NX platforms. Results show that optimal configurations for a single application are in general sub-optimal or faulty for the concurrent execution case, while the opposite is sometimes applicable. / Resursbegränsade enheter förväntas utföra mer och mer krävande cyberfysiska program. Hårdvaran är en av de huvudsakliga begränsningarna både vad gäller beräkningshastighet och energigränser. Samtidigt måste programmen som körs vara robusta och noggranna, eftersom ett fel kan påverka människor och deras omgivning. När flera program körs på samma enhet blir både begränsningar och risker större. Den här avhandlingen fokuserar på att göra en avvägning mellan krav på prestanda och energiförbrukning för två tillämpningar inom området autonoma fordon: lokalisering och objektigenkänning. Med hjälp av Design Space Exploration (DSE) utforskas parametrar både i applikationerna och på plattformen genom att utföra tvärlageroptimering med flera mål. Lokaliserings- och detekteringsnoggrannhet, fördröjning i igenkänning och energiförbrukning är egenskaper i fokus. Prediktiva modeller designas för att estimera måtten som är av intresse och garantera robust körning genom att utesluta potentiellt felaktiga konfigurationer. Empirisk forskning görs med tester på Nvidia Jetson AGXoch NX-plattformarna. Resultaten visar att de optimala konfigurationerna för ett enda program i allmänhet är suboptimala eller felaktiga vid körning av flera program samtidigt, medan motsatsen ibland är tillämplig.

Today, a large number of devices with small form factors and limited resources are being integrated with processes to perform complex tasks such as localization and mapping. One example of this are headsets used for Extended Reality. These devices are expected to perform under changing conditions in the environment and in the available resources, which require sophisticated control policies. In this thesis project, we start investigating the feasibility of online control of the image resolution of the camera sensor used for Visual Localization, for the purpose of minimizing the requirements of the process without decreasing the performance. Specifically, we perform extensive experiments on two Visual Simultaneous Localization and Mapping systems and a Visual Odometry system on two platforms with limited resources to see how the performance metrics are affected by the image resolution. Moreover, we model the localization error of ORB-SLAM3 with the use of feature matching statistics and the camera velocity. Our experimental results show that savings in terms of the execution time of Visual Localization by adapting the image resolution is possible in some situations. But we did not find significant potential savings in terms of the power consumption of the devices. We also found that the feature matching statistics improve predictions about the localization error of ORB-SLAM3 in several situations compared to only using the camera velocity. But the results are limited to a set of known scenarios, which highlights the difficulty of the modelling problem. Nevertheless, this thesis provides valuable insights into how sensor parameters affect the performance of Visual Localization, and how the localization error relates to tracking statistics inside the localization process. / Idag utrustas fler resursbegränsade enheter med förmågan att utföra komplicerade uppgifter, såsom lokalisering och kartläggning i realtid. Efterfrågan av att små enheter med begränsade resurser ska kunna lokalisera i realtid styrs bland annat av intresset för virtuella upplevelser, till exempel med hjälp av smarta glasögon. Men för att leva upp till förväntningarna krävs en nogrann avvägning mellan prestanda och resurseffektivitet, något som försvåras av en föränderlig omgivning. I det här examensarbetet så utreds möjligheten att påverka prestandan och resurskraven av bildbaserad lokalisering i realtid genom att anpassa bildupplösningen av kameran. Att minska resurskraven för denna processen gör att det blir enklare att uppnå acceptabel prestanda på resursbegränsade enheter och underlättar avlastning av delar av processen med hjälp av molntjänster. I samband med utredningen så modelleras felet av ORB-SLAM3 med hjälp av interna mätetal som karakteriserar lokaliseringsprocessen för att i framtiden kunna informera beslut om bildupplösningen. Resultaten tyder på att det i vissa fall är möjligt att minska resurskraven av bildbaserad lokalisering utan att försämra prestandan. Vad gäller modelleringen av felet, så tyder resultaten på att de valda mätetalen inte är nog för att förutspå felet med någon vidare säkerhet. Men genom att kombinera mätetalen med kamerans hastighet så kan man till viss mån förutspå felet av ORB-SLAM3 i ett urval av kända scenarion. Däremot visar sig resultaten inte vara generaliserbara till nya scenarion som modellerna inte har tränats på, vilket understryker svårigheten av problemet. Genom detta arbetet har vi bidragit med värdefulla insikter som kan leda forskningen inom området vidare.

In the last decades, there has been a growing interest towards new use cases in the Internet of Things (IoT) domain, such as extended reality glasses, unmanned aerial vehicles (UAVs), and autonomous driving. The technological advancement observed in such scenarios has also been enabled by the increasing capabilities of small form factor devices. Although such devices allow to achieve remarkable computing performance with relatively low energy consumption, these are often used in contexts in which the trade-offs between power consumption and application performance play a key role (e.g., battery powered systems). Furthermore, if such trade-offs are not carefully set, the performance degradation can lead to system failure. The work proposed in this thesis aims at investigating this type of problems, and to propose a runtime model and controller pair based on the joint optimization of the platform and application parameters to reduce the likelihood of system failure. The proposed architecture is evaluated in a UAV emulated environment, in which the used platform embeds hardware features comparable to the ones of a drone, while the localization and mapping application executed on such device makes use of real-world visual-inertial datasets. The proposed runtime model-controller solution relies on the monitoring of the platform CPU peaks for identifying application failure. It has also been empirically demonstrated that the model-controller can substantially decrease the number of failures and, in specific scenarios, improve localization accuracy and power consumption even compared to the optimal static parameter configurations. Moreover, the solution has been proven to be simple and generalizable in scenarios characterized by different levels of concurrency, and in the datasets tested. / Under de senaste decennierna har det funnits ett växande intresse för nya användningsfall som Extended Reality-glasögon, obemannade flygfarkoster (UAV) och autonom körning. De tekniska framstegen som observerats i sådana scenarier har också möjliggjorts av den ökande kapaciteten hos små formfaktorenheter. Även om sådana enheter gör det möjligt att uppnå anmärkningsvärd datorprestanda med relativt låg energiförbrukning, används dessa ofta i sammanhang där kompromisserna mellan strömförbrukning och applikationsprestanda spelar en nyckelroll (t.ex. batteridrivna system). Dessutom, om sådana avvägningar inte är noggrant inställda, kan prestandaförsämringen leda till systemfel. Arbetet som föreslås i denna avhandling syftar till att undersöka denna typ av problem, och att föreslå en körtid modellstyrenhet baserad på gemensam optimering av plattformen och applikationsparametrar för att minska systemfel. Den föreslagna arkitekturen utvärderas i en UAV-emulerad miljö, där den använda plattformen har hårdvarufunktioner som är motsvarar en drönare, medan lokaliserings- och kartläggningsapplikationen som körs på en sådan enhet använder verkliga visuella tröghetsdatauppsättningar. Den föreslagna runtime-modellstyrningslösningen förlitar sig på övervakning av plattformens CPU-toppar för att identifiera programfel. Det har också visat sig empiriskt att modellstyrenheten avsevärt kan minska antalet fel och, i specifika scenarier, förbättra lokaliseringsnoggrannheten och strömförbrukningen även jämfört med de optimala statiska parameterkonfigurationerna. Dessutom har lösningen visat sig vara enkel och generaliserbar i scenarier som kännetecknas av olika nivåer av samtidighet och i de testade datamängderna.

The adoption of small-size Unmanned Aerial Vehicles (UAVs) in the commercial and professional sectors is rapidly growing. The miniaturisation of sensors and processors, the advancements in connected edge intelligence and the exponential interest in Artificial Intelligence (AI) are boosting the affirmation of autonomous nano-size drones in the Internet of Things (IoT) ecosystem. However, achieving safe autonomous navigation and high-level tasks like exploration and surveillance with these tiny platforms is extremely challenging due to their limited resources. Lightweight and reliable solutions to this challenge are subject to ongoing research. This work focuses on enabling the autonomous flight of a pocket-size, 30-gram platform called Crazyflie in a partially known environment. We implement a modular pipeline for the safe navigation of the nano drone between waypoints. In particular, we propose an AI-aided, vision-based reactive planning method for obstacle avoidance. We deal with the constraints of the nano drone by splitting the navigation task into two parts: a deep learning-based object detector runs on external hardware while the planning algorithm is executed onboard. For designing the reactive approach, we take inspiration from existing sensorbased navigation solutions and obtain a novel method for obstacle avoidance that does not rely on distance information. In the study, we also analyse the communication aspect and the latencies involved in edge offloading. Moreover, we share insights into the finetuning of an SSD MobileNet V2 object detector on a custom dataset of low-resolution, grayscale images acquired with the drone. The results show the ability to command the drone at ∼ 8 FPS and a model performance reaching a COCO mAP of 60.8. Field experiments demonstrate the feasibility of the solution with the drone flying at a top speed of 1 m/s while steering away from an obstacle placed in an unknown position and reaching the target destination. Additionally, we study the impact of a parameter determining the strength of the avoidance action and its influence on total path length, traversal time and task completion. The outcome demonstrates the compatibility of the communication delay and the model performance with the requirements of the real-time navigation task and a successful obstacle avoidance rate reaching 100% in the best-case scenario. By exploiting the modularity of the proposed working pipeline, future work could target the improvement of the single parts and aim at a fully onboard implementation of the navigation task, pushing the boundaries of autonomous exploration with nano drones. / Användningen av små obemannade flygfarkoster (UAV) inom den kommersiella och professionella sektorn ökar snabbt. Miniatyriseringen av sensorer och processorer, framstegen inom connected edge intelligence och det exponentiella intresset för artificiell intelligens (AI) ökar användningen av autonoma drönare i nanostorlek i ekosystemet för sakernas internet (IoT). Att uppnå säker autonom navigering och uppgifter på hög nivå, som utforskning och övervakning, med dessa små plattformar är dock extremt utmanande på grund av deras begränsade resurser. Lättviktiga och tillförlitliga lösningar på denna utmaning är föremål för pågående forskning. Detta arbete fokuserar på att möjliggöra autonom flygning av en 30-grams plattform i fickformat som kallas Crazyflie i en delvis känd miljö. Vi implementerar en modulär pipeline för säker navigering av nanodrönaren mellan riktpunkter. I synnerhet föreslår vi en AI-assisterad, visionsbaserad reaktiv planeringsmetod för att undvika hinder. Vi hanterar nanodrönarens begränsningar genom att dela upp navigeringsuppgiften i två delar: en djupinlärningsbaserad objektdetektor körs på extern hårdvara medan planeringsalgoritmen exekveras ombord. För att utforma den reaktiva metoden hämtar vi inspiration från befintliga sensorbaserade navigeringslösningar och tar fram en ny metod för hinderundvikande som inte är beroende av avståndsinformation. I studien analyserar vi även kommunikationsaspekten och de svarstider som är involverade i edge offloading. Dessutom delar vi med oss av insikter om finjusteringen av en SSD MobileNet V2-objektdetektor på en skräddarsydd dataset av lågupplösta gråskalebilder som tagits med drönaren. Resultaten visar förmågan att styra drönaren med ∼ 8 FPS och en modellprestanda som når en COCO mAP på 60.8. Fältexperiment visar att lösningen är genomförbar med drönaren som flyger med en topphastighet på 1 m/s samtidigt som den styr bort från ett hinder som placerats i en okänd position och når måldestinationen. Vi studerar även effekten av en parameter som bestämmer styrkan i undvikandeåtgärden och dess påverkan på den totala väglängden, tidsåtgången och slutförandet av uppgiften. Resultatet visar att kommunikationsfördröjningen och modellens prestanda är kompatibla med kraven för realtidsnavigering och ett lyckat undvikande av hinder som i bästa fall uppgår till 100%. Genom att utnyttja modulariteten i den föreslagna arbetspipelinen kan framtida arbete inriktas på förbättring av de enskilda delarna och syfta till en helt inbyggd implementering av navigeringsuppgiften, vilket flyttar gränserna för autonom utforskning med nano-drönare.

As resource-constrained autonomous vehicles are used for more and more applications, their ability to achieve the lowest possible localization error without expending more power than needed is crucial. Despite this, the parameter settings of the localization systems, both for the platform and the application, are often set arbitrarily. In this thesis, we propose a model-based controller that adapts the parameters of the localization system during run-time by observing conditions in the environment. The test-bed used for experiments consists of maplab, a visual-inertial localization framework, that we execute on the Nvdia Jetson AGX platform. The results show that the linear velocity is the single most important environmental attribute to base the decision of when to update the parameters upon. We also found that while it was not possible to find a direct connection between certain parameters and environmental conditions, a connection could be found between sets of configuration parameters and conditions. Based on these conclusions, we compare model-based controller setups based on three different models: Finite Impulse Response (FIR), AutoRegressive eXogenous input (ARX) and Multi-Layer Perceptron (MLP). The FIR-based controller performed the best. This FIR-based controller is able to select configurations at the appropriate times to keep the error lower than it would be to randomly guess which set of configuration parameters is best. The proposed solution requires offline profiling before it can be implemented on new localization systems, but it can help to reduce the error and power consumption and thus enable more uses of resource-constrained devices. / Användningen av autonoma fordon med begränsade resurser ökar allt mer, vilket i sin tur ökar vikten av att dessa kan lokalisera med lägsta möjliga fel utan att förbruka mer effekt. Trots detta bestäms parametrarna för både hårdvara och i algoritmerna ofta godtyckligt för dessa lokaliseringssystem. I detta examensarbete presenterar vi en lösning till detta, i form av en modellbaserad regulator som anpassar parametrarna baserat på vad den detekterar i omgivningen. Vår testuppställning består av maplab, ett lokaliseringsramverk, som vi exekverar på Nvida Jetson AGX plattformen. Resultaten visar att den linjära hastigheten är den viktigaste miljövariabeln att detektera och använda för att anpassa parametrarna i lokaliseringssystemet. Resultaten visar även att det går att hitta kopplingar mellan konfigurationer och miljövariabler, även om det inte går att hitta mellan specifika konfigurationsparameterar och miljövariabler. Den regulator som presterar bäst visar sig vara en som är baserad på en Finite Impulse Response modell, med en optimeringshorisont på 5 sekunder. Denna presterar bättre än både AutoRegressive eXogenous input baserad regulator och en Multi-Layer Perceptron baserad regulator. Finite Impulse Response regulatorn åstadkommer ett fel som är lägre än slumpmässig gissning, på data den inte sett förut. Lösningen som uppvisas i detta projekt kräver optimering offline för att fungera, men om det utförs kan den reducera både lokaliseringsfelet och effektförbrukningen och genom det skapa nya användningsområden för resursbegränsade enheter.

Time series anomaly detection has been a longstanding area of research with applications across various domains. In recent years, there has been a surge of interest in applying deep learning models to this problem domain. This thesis presents a critical examination of the efficacy of deep learning models in comparison to classical approaches for time series anomaly detection. Contrary to the widespread belief in the superiority of deep learning models, our research findings suggest that their performance may be misleading and the progress illusory. Through rigorous experimentation and evaluation, we reveal that classical models outperform deep learning counterparts in various scenarios, challenging the prevailing assumptions. In addition to model performance, our study delves into the intricacies of evaluation metrics commonly employed in time series anomaly detection. We uncover how it inadvertently inflates the performance scores of models, potentially leading to misleading conclusions. By identifying and addressing these issues, our research contributes to providing valuable insights for researchers, practitioners, and decision-makers in the field of time series anomaly detection, encouraging a critical reevaluation of the role of deep learning models and the metrics used to assess their performance. / Tidsperiods avvikelsedetektering har varit ett långvarigt forskningsområde med tillämpningar inom olika områden. Under de senaste åren har det uppstått ett ökat intresse för att tillämpa djupinlärningsmodeller på detta problemområde. Denna avhandling presenterar en kritisk granskning av djupinlärningsmodellers effektivitet jämfört med klassiska metoder för tidsperiods avvikelsedetektering. I motsats till den allmänna övertygelsen om överlägsenheten hos djupinlärningsmodeller tyder våra forskningsresultat på att deras prestanda kan vara vilseledande och framsteg illusoriskt. Genom rigorös experimentell utvärdering avslöjar vi att klassiska modeller överträffar djupinlärningsalternativ i olika scenarier och därmed utmanar de rådande antagandena. Utöver modellprestanda går vår studie in på detaljerna kring utvärderings-metoder som oftast används inom tidsperiods avvikelsedetektering. Vi avslöjar hur dessa oavsiktligt överdriver modellernas prestandapoäng och kan därmed leda till vilseledande slutsatser. Genom att identifiera och åtgärda dessa problem bidrar vår forskning till att erbjuda värdefulla insikter för forskare, praktiker och beslutsfattare inom området tidsperiods avvikelsedetektering, och uppmanar till en kritisk omvärdering av djupinlärningsmodellers roll och de metoder som används för att bedöma deras prestanda.