Det här examensarbetet är utfört i samarbete med Realisator Robotics, vilka förtillfället utvecklar en robot, FUMO, som ska hjälpa till vid brandbekämpning. Målet med examensarbetet är att implementera autonom navigering från en punkt till en annan samt SLAM (Simultaneous Localisation and Mapping, simultan lokaliseringoch kartläggning) funktionalitet. Dessa funktioners färmåga att hantera rök ska även testas. Efter en inledande litteraturstudie på olika sätt att lösa en robots perception i rök så blev det bestämt att använda en så kallad ”multi-echo LIDAR” som huvudsensor. Alla implementationer är gjorda i robotoperativsystemet ROS och öppenkällkod har använts för vissa funktioner. De första testerna av systemet gjordes i en simulerad miljö. I den så approximerades röken utav Gaussiskt brus. Det blev dock senare fastställt att detta inte lyckas representera alla effekter utav riktig rök. De delar dock vissa beteenden. De slutgiltiga testerna utfördes i en testanläggning för rökdykare, där algoritmerna testades i olika nivåer av rök. Dessa tester visade att multi-echo LIDAR:n klarade av att se igenom lätt till mediumtjock rök, det vill säga rök som kan ses igenom upp till ett par meter med blotta ögat. SLAMalgoritmen kunde i dessa fall generera användbara kartor. När det kontinuerligt lades till ny rök till testområdet så blev kartorna fragmenterade och oläsliga. Den autonoma navigeringen testades inte i rök på grund av säkerhetsrisker. Däremot så testades lokaliseringen som den bygger på genom att manuellt köra roboten genom röken. Resultaten från detta tyder på att det är möjligt att använda den autonoma navigeringen under rökfyllda förhållanden. / This thesis is carried out together with Realisator Robotics who is currently developinga fire-fighting assistant robot, FUMO. The aim of the thesis is to implementautonomous path planning and SLAM (Simultaneous Localisation and Mapping) functionality on the existing FUMO prototype as well as to test how robust these are to smoke. After an initial literature study on different ways of robot perception in smokeit was decided to use a multi-echo LIDAR as the main sensor for these tasks. All implementations were done in ROS (Robot Operating System) and open sourcecode was used for some functions. Testing of the system was first performed in asimulated environment. In this environment smoke was approximated using Gaussiannoise. However it was later concluded that this did not accurately portrayall effects of real smoke. It does however share some similarities. The final tests were performed at a testing facility for smoke divers where the algorithms were tested in different levels of smoke. The tests showed that the multi-echo LIDARmanaged to see through light to medium smoke, in other words smoke which you could see through with your bare eyes to up to a few meters. In those conditions the SLAM algorithm was able to create usable maps. When new smoke was continuously added to the already smoke filled environment the maps became fragmented and unreadable. The autonomous path planning was not tested in smoke due to safety concerns. However the localisation which the path planning is based onwas tested when driving the robot manually through the smoke. The result fromthis hints at a possibility of successfully using the path planning in these conditions.

This thesis project is part of an internship at Visual Behavior. The company aims at producing computer vision models for robotics, helping the machine to better understand the world through the camera eye. The image holds many features that deep learning models are able to extract: navigable area, depth inference and object detection. Example of recent advances are the RAFTstereo model [1] to infer or refine depth features from stereo images, or the end-to-end Object detection model DETR [2]. The field of autonomous navigation can then benefit from these advanced features to propose better path planning methods. In particular, to help the deployment of ground robots in human crowded environments, the robots behavior must not only be safe but it must also look smart so as to inspire trust. This thesis proposes a local path planner based on the Dynamic Window Approach [3] using a scoring function inspired from the Velocity Obstacle method [4] so as to benefit from the flexibility of the first and the long-term anticipation of the second. The proposed method can induce a smart behavior by setting the robot on safe tracks from a long time horizon without increasing the time to reach a positional goal, compared to a closer-ranged strategy inspired from the DW4DO method [5]. This improves the robot’s ability to deal with several moving obstacles and to avoid engaging in already occupied corridors. The code produced in this thesis uses ROS and the gazebo simulator and is available in the following git page https://github.com/FloCoic oi/fc_thesis along with the minimal instructions to run the install and get started to quickly run a demo. / Detta examensarbete är en del av en praktik på Visual Behavior. Företaget har som mål att ta fram modeller för datorseende för robotar som hjälper maskinen att bättre förstå världen genom kamerans öga. Bilden innehåller många egenskaper som modeller för djupinlärning kan extrahera: navigerbart område, djupinferens och objektsdetektering. Exempel på nya framsteg är RAFT-stereo-modellen [1] för att härleda eller förfina djupegenskaper från stereobilder, eller ”end-to-end” objektdetektering modellen DETR [2]. Inom området autonom navigering kan man sedan dra nytta av dessa avancerade funktioner för att föreslå bättre metoder för vägplanering. För att underlätta användningen av markrobotar i miljöer med mycket människor måste robotarnas beteende inte bara vara säkert utan också se smart ut så att de väcker förtroende. I den här avhandlingen föreslås en lokal vägplanerare som bygger på Dynamic Window Approach [3] och som använder en poängfunktion inspirerad av Velocity Obstacle metoden [4] för att dra nytta av flexibiliteten hos den första metoden och den långsiktiga förutsebarheten hos den andra. Den föreslagna metoden kan framkalla ett smart beteende genom att sätta roboten på säkra spår på lång sikt utan att öka tiden för att nå ett positionsmål, jämfört med en strategi med närmare avstånd som inspirerats av DW4DOmetoden [5]. Detta förbättrar robotens förmåga att hantera flera rörliga hinder och att undvika att gå in i redan upptagna korridorer. Koden som produceras i denna avhandling använder ROS och gazebosimulatorn och finns tillgänglig på följande git-sida https://github.c om/FloCoicoi/fc_thesis tillsammans med minimala instruktioner för att köra installationen och komma igång för att snabbt köra en demo.

The Unmanned Aerial Vehicle (UAV) has over the last years become an increasingly prevalent technology in several sectors of modern society. Many UAVs are today used in a wide series of applications, from disaster relief to surveillance. A recent initiative by the Swedish Sea Rescue Society (SSRS) aims to implement UAVs in their emergency response. By quickly deploying drones to an area of interest, an assessment can be made, prior to personnel getting there, thus saving time and increasing the likelihood of a successful rescue operation. An aircraft like this, that will travel great distances, have to rely on a navigation system that does not require an operator to continuously see the vehicle. To travel to its goal, or search an area, the operator should be able to define a travel route that the UAV follows, by feeding it a series of waypoints. As an initial step towards that kind of system, this thesis has developed and tested the concept of waypoint navigation on a small and slow airship/blimp, in a simulated indoor environment. Mainly, two commonly used navigation algorithms were tested and compared. One is inspired by a sub-category of machine learning: reinforcement learning (RL), and the other one is based on the rapidly exploring random tree (RRT) algorithm. Four experiments were conducted to compare the two methods in terms of travel distance, average speed, energy efficiency, as well as robustness towards changes in the waypoint configurations. Results show that when the blimp was controlled by the best performing RL-based version, it generally travelled a more optimal (distance-wise) path than the RRT-based method. It also, in most cases, proved to be more robust against changes in the test tracks, and performed more consistently over different waypoint configurations. However, the RRT approach usually resulted in a higher average speed and energy efficiency. Also, the RL algorithm had some trouble navigating tracks where a physical obstacle was present. To sum up, the choice of algorithm depends on which parameters are prioritized by the blimp operator for a certain track. If a high velocity and energy efficiency is desirable, the RRT-based method is recommended. However, if it is important that the blimp travels as short a distance as possible between waypoints, and a higher degree of consistency in its performance is wanted, then the RL-method should be used. Moving forward from this report, toward the future implementation of both methods in rescue operations, it would be reasonable to analyze their performance under more realistic conditions. This can be done using a real indoor airship. Looking at how hardware that do not exceed the payload of the blimp can execute both methods and how the blimp will determine its position and orientation is recommended. It would also be interesting to see how different reward function affect the performance of the blimp. / Den obemannade luftfarkosten (UAV) har under de senaste åren blivit en teknik vars användning blivit allt vanligare i flera sektorer av det moderna samhället. Olika sorters UAV robotar associeras idag med en omfattande serie användningsområden, från katastrofhjälp till övervakning. Ett nyligen påbörjat initiativ från svenska sjöräddningssällskapet (SSRS) syftar till att implementera drönare i deras utryckningar. Genom att snabbt sända drönare till platsen i fråga, kan en bedömning göras innan personal kommer dit, vilket sparar tid och ökar sannolikheten för en framgångsrik räddningsaktion. En farkost som denna, som kommer att resa långa sträckor, måste förlita sig på ett navigationssystem som inte kräver att en operatör kontinuerligt ser farkosten. För att resa till sitt mål, eller söka av ett område, bör operatören kunna definiera en resväg som drönaren följer genom att ge den en serie vägpunkter. Som ett inledande steg mot den typen av system har denna uppsats utvecklat och testat begreppet vägpunktsnavigering på ett litet och långsamt luftskepp/blimp, i en simulerad inomhusmiljö. Huvudsakligen testades och jämfördes två vanligt förekommande navigationsalgoritmer. En inspirerad av en underkategori till maskininlärning: förstärkningsinlärning (RL), och den andra baserad på rapidly exploring random tree (RRT) algoritmen. Fyra experiment utfördes för jämföra båda metoderna med avseende på färdsträcka, medelhastighet, energieffektivitet samt robusthet gentemot ändringar i färdpunktskonfigurationerna. Resultaten visar att när blimpen kontrollerades av den bästa RL-baserade versionen åkte den generellt en mer avståndsmässigt optimal väg än när den RRT-baserade metoden användes. I de flesta fallen visade sig även RL-metoden vara mer robust mot förändringar i testbanorna, och presterade mer konsekvent över olika vägpunktskonfigurationer. RRT-metoden resulterade dock vanligtvis i en högre medelhastighet och energieffektivitet. RL-algoritmen hade också problem med att navigera banor där den behövde ta sig runt ett hinder. Sammanfattningsvis beror valet av algoritm på vilka parametrar som prioriteras av blimpoperatören för en viss bana. Om en hög hastighet och energieffektivitet är önskvärd rekommenderas den RRT-baserade metoden. Men om det är viktigt att blimpen reser så kort avstånd som möjligt mellan färdpunkterna, och har en jämnare prestanda, bör RL-metoden användas. För att ta nästa steg, mot en framtida implementering av båda metoder i räddningsoperationer, vore det rimligt att analysera deras prestanda under mer realistiska förhållanden. Detta skulle kunna göras inomhus med ett riktigt luftskepp. Författarna rekommenderar att undersöka om hårdvara som inte överstiger blimpens maxlast kan utföra båda metodernas beräkningar och hur blimpen bestämmer sin position och orientering. Det skulle också vara intressant att se hur olika belöningsfunktioner påverkar blimpens prestanda.

Real-time semantic scene understanding is a challenging computer vision task for autonomous vehicles. A limited amount of research has been done regarding forestry and off-road scene understanding, as the industry focuses on urban and on-road applications. Studies have shown that Deep Convolutional Neural Network architectures, using parameters trained on large datasets, can be re-trained and customized with smaller off-road datasets, using a method called transfer learning and yield state-of-the-art classification performance. This master’s thesis served as an extension of such existing off-road semantic segmentation studies. The thesis focused on detecting and visualizing the general trade-offs between classification performance, classification time, and the network’s number of available classes. The results showed that the classification performance declined for every class that got added to the network. Misclassification mainly occurred in the class boundary areas, which increased when more classes got added to the network. However, the number of classes did not affect the network’s classification time. Further, there was a nonlinear trade-off between classification time and classification performance. The classification performance improved with an increased number of network layers and a larger data type resolution. However, the layer depth increased the number of calculations and the larger data type resolution required a longer calculation time. The network’s classification performance increased by 0.5% when using a 16-bit data type resolution instead of an 8-bit resolution. But, its classification time considerably worsened as it segmented about 20 camera frames less per second with the larger data type. Also, tests showed that a 101-layered network slightly degraded in classification performance compared to a 50-layered network, which indicated the nonlinearity to the trade-off regarding classification time and classification performance. Moreover, the class constellations considerably impacted the network’s classification performance and continuity. It was essential that the class’s content and objects were visually similar and shared the same features. Mixing visually ambiguous objects into the same class could drop the inference performance by almost 30%. There are several directions for future work, including writing a new and customized source code for the ResNet50 network. A customized and pruned network could enhance both the application’s classification performance and classification speed. Further, procuring a task-specific forestry dataset and transferring weights pre-trained for autonomous navigation instead of generic object segmentation could lead to even better classification performance. / Se filen