This thesis addresses the problem of improving the delineation of skylines, also referred to as skyline detection, in occluded and challenging environments where existing skyline delineation methods may struggle or fail. Delineated skylines can be used in monocular camera localization methods by comparing delineated skylines to digital elevation model data to estimate a position based on known terrain. This is particularly useful in GPS-denied environments in which active sensing is either impractical or undesirable for various reasons, so that passive sensing using monocular cameras is necessary and/or strategically advantageous. This thesis presents a novel method of skyline delineation using deep learning-based semantic segmentation of monocular camera images to detect natural skylines of distant landscapes in the presence of occlusions. Skylines are extracted from semantic segmentation predictions as the boundary between pixel clusters labeled as terrain to those labeled as sky, with additional segmentation classes representing the known set of potential occlusions in a given environment. Additionally, each pixel in the detected skyline contours are assigned a confidence score based on local intensity gradients to reduce the potential impacts of erroneous skyline contours on position estimation. The utility of these delineated skylines is demonstrated by obtaining orientation and position estimates using existing methods of skyline-based localization. In these methods, the delineated natural skyline is compared to rendered skylines using digital elevation model data and the position estimate is obtained by finding the closest match. Results from the proposed skyline delineation method using semantic segmentation, with accompanying localization demonstration, is presented on two distinct data sets. The first is obtained from the Perseverance Rover operating in the Jezero Crater region of Mars, and the second is obtained from an uncrewed surface vessel operating in the Gulf of Koper, Slovenia. / Denna avhandling tar upp problemet med att förbättra avgränsningen av skylines, även kallad skylinedetektion, i tilltäppta och utmanande miljöer där befintliga skylineavgränsningsmetoder kan kämpa eller misslyckas. Avgränsade skylines kan användas i monokulära kameralokaliseringsmetoder genom att jämföra avgränsade skylines med digitala höjdmodelldata för att uppskatta en position baserat på känd terräng. Detta är särskilt användbart i GPS-nekas miljöer där aktiv avkänning är antingen opraktisk eller oönskad av olika skäl, så att passiv avkänning med användning av monokulära kameror är nödvändig och/eller strategiskt fördelaktig. Denna avhandling presenterar en ny metod för skylineavgränsning med användning av djupinlärningsbaserad semantisk segmentering av monokulära kamerabilder för att detektera naturliga skylines av avlägsna landskap i närvaro av ocklusioner. Horisonter extraheras från semantiska segmenteringsförutsägelser som gränsen mellan pixelkluster märkta som terräng till de märkta som himmel, med ytterligare segmenteringsklasser som representerar den kända uppsättningen potentiella ocklusioner i en given miljö. Dessutom tilldelas varje pixel i de detekterade skylinekonturerna ett konfidenspoäng baserat på lokala intensitetsgradienter för att minska den potentiella påverkan av felaktiga skylinekonturer på positionsuppskattning. Användbarheten av dessa avgränsade skylines demonstreras genom att erhålla orienterings- och positionsuppskattningar med hjälp av befintliga metoder för skylinebaserad lokalisering. I dessa metoder jämförs den avgränsade naturliga horisonten med renderade silhuetter med hjälp av digitala höjdmodelldata och positionsuppskattningen erhålls genom att hitta den närmaste matchningen. Resultat från den föreslagna metoden för skylineavgränsning med semantisk segmentering, med tillhörande lokaliseringsdemonstration, presenteras på två distinkta datamängder. Den första kommer från Perseverance Rover som verkar i Jezero Crater-regionen på Mars, och den andra erhålls från ett obemannat ytfartyg som verkar i Koperbukten, Slovenien.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-335106 |
| Date | January 2023 |
| Creators | William Coble, Kyle |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2023:575 |
Page generated in 0.0024 seconds