Robust detection, localization, and tracking of objects are essential for autonomous driving. Computer vision has largely driven development based on camera sensors in recent years, but 3D localization from images is still challenging. Sensors such as LiDAR or RADAR are used to compute depth; each having its own advantages and drawbacks. The main idea of the project is to be able to mix images from the camera and RADAR detections in order to estimate depths for the objects appearing in the images. Fusion strategies can be considered the solution to give a more detailed description of the environment by utilizing both the 3D localization capabilities of range sensors and the higher spatial resolution of image data. The idea is to fuse 3D detections from the RADAR onto the image plane, this requires a high level of synchronization of the sensors and projections of the RADAR data on the required image. / Robust detektering, lokalisering och spårning av objekt är avgörande för autonom körning. Datorseende har till stor del drivit utvecklingen baserad på kamerasensorer de senaste åren, men 3D-lokalisering från bilder är fortfarande utmanande. Sensorer som LiDAR eller RADAR används för att beräkna djup; var och en har sina egna fördelar och nackdelar. Huvudtanken med projektet är att kunna blanda bilder från kameran och RADAR-detektioner för att uppskatta djup för de objekt som förekommer i bilderna. Fusionsstrategier kan anses vara lösningen för att ge en mer detaljerad beskrivning av miljön med både 3D-lokaliseringsförmågan hos avståndssensorer och den högre rumsliga upplösningen av bilddata. Tanken är att smälta samman 3D-detektioner från RADAR till bildplanet, detta kräver en hög nivå av synkronisering av sensorerna och projektioner av RADAR-data på den önskade bilden.

Deep learning has shown to be successful on the task of semantic segmentation of three-dimensional (3D) point clouds, which has many interesting use cases in areas such as autonomous driving and defense applications. A common type of sensor used for collecting 3D point cloud data is Light Detection and Ranging (LiDAR) sensors. In this thesis, a time-correlated single-photon counting (TCSPC) LiDAR is used, which produces very accurate measurements over long distances up to several kilometers. The dataset collected by the TCSPC LiDAR used in the thesis contains two classes, person and other, and it comes with several challenges due to it being limited in terms of size and variation, as well as being extremely class imbalanced. The thesis aims to identify, analyze, and evaluate state-of-the-art deep learning models for semantic segmentation of point clouds produced by the TCSPC sensor. This is achieved by investigating different loss functions, data variations, and data augmentation techniques for a selected state-of-the-art deep learning architecture. The results showed that loss functions tailored for extremely imbalanced datasets performed the best with regard to the metric mean intersection over union (mIoU). Furthermore, an improvement in mIoU could be observed when some combinations of data augmentation techniques were employed. In general, the performance of the models varied heavily, with some achieving promising results and others achieving much worse results.

Light Detection and Ranging (LiDAR) sensors have many different application areas, from revealing archaeological structures to aiding navigation of vehicles. However, it is challenging to interpret and fully use the vast amount of unstructured data that LiDARs collect. Automatic classification of LiDAR data would ease the utilization, whether it is for examining structures or aiding vehicles. In recent years, there have been many advances in deep learning for semantic segmentation of automotive LiDAR data, but there is less research on aerial LiDAR data. This thesis investigates the current state-of-the-art deep learning architectures, and how well they perform on LiDAR data acquired by an Unmanned Aerial Vehicle (UAV). It also investigates different training techniques for class imbalanced and limited datasets, which are common challenges for semantic segmentation networks. Lastly, this thesis investigates if pre-training can improve the performance of the models. The LiDAR scans were first projected to range images and then a fully convolutional semantic segmentation network was used. Three different training techniques were evaluated: weighted sampling, data augmentation, and grouping of classes. No improvement was observed by the weighted sampling, neither did grouping of classes have a substantial effect on the performance. Pre-training on the large public dataset SemanticKITTI resulted in a small performance improvement, but the data augmentation seemed to have the largest positive impact. The mIoU of the best model, which was trained with data augmentation, was 63.7% and it performed very well on the classes Ground, Vegetation, and Vehicle. The other classes in the UAV dataset, Person and Structure, had very little data and were challenging for most models to classify correctly. In general, the models trained on UAV data performed similarly as the state-of-the-art models trained on automotive data.

This research proposes a novel approach for improving autonomous mobile system navigation in dynamic and potentially occluded environments. The research introduces a tracking framework that combines data from stationary sensing units and on-board sensors, addressing challenges of computational efficiency, reliability, and scalability. The work innovates by integrating spatially-distributed LiDAR and RGB-D Camera sensors, with the optional inclusion of on-board IMU-based dead-reckoning, forming a robust and efficient coordination framework for autonomous systems. Two key developments are achieved. Firstly, a point cloud object detection technique, "Generalized L-Shape Fitting”, is advanced, enhancing bounding box fitting over point cloud data. Secondly, a new estimation framework, the Distributed Edge Node Switching Filter (DENS-F), is established. The DENS-F optimizes resource utilization and coordination, while minimizing reliance on on-board computation. Furthermore, it incorporates a short-term predictive feature, thanks to the Adaptive-Constant Acceleration motion model, which utilizes behaviour-based control inputs. The findings indicate that the DENS-F substantially improves accuracy and computational efficiency compared to the Kalman Consensus Filter (KCF), particularly when additional inertial data is provided by the vehicle. The type of sensor deployed and the consistency of the vehicle's path are also found to significantly influence the system's performance. The research opens new viewpoints for enhancing autonomous vehicle tracking, highlighting opportunities for future exploration in prediction models, sensor selection, and precision coordination. / Denna forskning föreslår en ny metod för att förbättra autonom mobil systemsnavigering i dynamiska och potentiellt skymda miljöer. Forskningen introducerar ett spårningsramverk som kombinerar data från stationära sensorenheter och ombordssensorer, vilket hanterar utmaningar med beräkningsefektivitet, tillförlitlighet och skalbarhet. Arbetet innoverar genom att integrera spatialt distribuerade LiDAR- och RGB-D-kamerasensorer, med det valfria tillägget av ombord IMU-baserad dödräkning, vilket skapar ett robust och efektivt samordningsramverk för autonoma system. Två nyckelutvecklingar uppnås. För det första avanceras en punktmolnsobjektdetekteringsteknik, “Generaliserad L-formig anpassning”, vilket förbättrar anpassning av inneslutande rutor över punktmolnsdata. För det andra upprättas ett nytt uppskattningssystem, det distribuerade kantnodväxlingsfltret (DENSF). DENS-F optimerar resursanvändning och samordning, samtidigt som det minimerar beroendet av ombordberäkning. Vidare införlivar det en kortsiktig prediktiv funktion, tack vare den adaptiva konstanta accelerationsrörelsemodellen, som använder beteendebaserade styrentréer. Resultaten visar att DENS-F väsentligt förbättrar noggrannhet och beräknings-efektivitet jämfört med Kalman Consensus Filter (KCF), särskilt när ytterligare tröghetsdata tillhandahålls av fordonet. Den typ av sensor som används och fordonets färdvägs konsekvens påverkar också systemets prestanda avsevärt. Forskningen öppnar nya synvinklar för att förbättra spårning av autonoma fordon, och lyfter fram möjligheter för framtida utforskning inom förutsägelsemodeller, sensorval och precisionskoordinering. / Questa ricerca propone un nuovo approccio per migliorare la navigazione dei sistemi mobili autonomi in ambienti dinamici e potenzialmente ostruiti. La ricerca introduce un sistema di tracciamento che combina dati da unità di rilevazione stazionarie e sensori di bordo, afrontando le sfde dell’effcienza computazionale, dell’affdabilità e della scalabilità. Il lavoro innova integrando sensori LiDAR e telecamere RGB-D distribuiti nello spazio, con l’inclusione opzionale di una navigazione inerziale basata su IMU di bordo, formando un robusto ed effciente quadro di coordinamento per i sistemi autonomi. Vengono raggiunti due sviluppi chiave. In primo luogo, viene perfezionata una tecnica di rilevazione di oggetti a nuvola di punti, “Generalized L-Shape Fitting”, migliorando l’adattamento del riquadro di delimitazione sui dati della nuvola di punti. In secondo luogo, viene istituito un nuovo framework di stima, il Distributed Edge Node Switching Filter (DENS-F). Il DENS-F ottimizza l’utilizzo delle risorse e il coordinamento, riducendo al minimo la dipendenza dal calcolo di bordo. Inoltre, incorpora una caratteristica di previsione a breve termine, grazie al modello di movimento Adaptive-Constant Acceleration, che utilizza input di controllo basati sul comportamento del veicolo. I risultati indicano che il DENS-F migliora notevolmente l’accuratezza e l’effcienza computazionale rispetto al Kalman Consensus Filter (KCF), in particolare quando il veicolo fornisce dati inerziali aggiuntivi. Si scopre anche che il tipo di sensore impiegato e la coerenza del percorso del veicolo infuenzano signifcativamente le prestazioni del sistema. La ricerca apre nuovi punti di vista per migliorare il tracciamento dei veicoli autonomi, evidenziando opportunità per future esplorazioni nei modelli di previsione, nella selezione dei sensori e nel coordinamento di precisione.

Terrestrial laser scanning systems provide quick three-dimensional data acquisition with high spatial resolution. The technology can serve multiple applications such as monitoring and 3D modeling but several problems arise when scanning long objects such as tunnels, bridges, and corridors. Uncertainties in the data tend to propagate when conducting sequential registration on a long strip of point clouds and the errors can reach unacceptable levels only with a few scans. This thesis aims to examine this propagation of uncertainty caused by long strip registration and its effects on point cloud accuracy and precision. It further aims to evaluate the results of different ground control point distributions used for georeferencing and finally to construct guidelines and recommendations for the planning of terrestrial laser scanning projects of long objects. The thesis was divided into an analytical- and an experimental study. The analytical study explored the theoretical effects of long strip registration on a point cloud’s uncertainty by simulating repeated target-based registration in a 95-meter-long and 2.5-meter-wide corridor. This resulted in standard uncertainties of the point cloud coordinates on dm-level after the last registration and a clear trend in exponential growth. Tie point distribution in the overlaps between scans proved to have a big effect on the precision of the final point cloud. In the experimental study, a corridor of the same dimension was scanned from 16 stations and georeferenced in a local control network established at the scan site. Indirect registration in two steps was used, first by performing automatic feature-based registration in RealWorks before the point cloud was georeferenced. The results of different ground control point (GCP) scenarios were compared and evaluated by studying check point residuals. All scenarios had numerous check points that failed verification as the residuals exceeded the limit set to 15 mm. An even distribution of almost one GCP in every scan scene yielded the best results with a maximum check point residual of 3 cm in 3D. When the GCPs were clustered at one side of the corridor the check point residuals reached dm level at the opposite end. Also, a linear trend of increasing residuals as a function of distance from the point to the nearest GCP was evident. The linear trend was less evident when the GCPs were distributed evenly across the corridor. Their distribution proved more important than their quantity. The vertical coordinate component and the horizontal component perpendicular to the long side of the object proved less precise and accurate after long strip registration. This was apparent in both the analytical and the experimental study. / Terrester laserskaning erbjuder snabb, tre-dimensionell datafångst med hög punkttäthet. Teknologin täcker flertalet användningsområden såsom monitorering och 3D-modellering men problem kan uppstå vid skanning av långa objekt såsom tunnlar, broar och korridorer. Osäkerheter i data tenderar att fortplantas när registrering av en lång rad punktmoln genomförs sekventiellt och felen kan nå oacceptabla nivåer bara med några få skanningar. Detta examensarbete syftar till att undersöka denna fortplantning av mätosäkerhet orsakad vid registrering av långsträckta objekt och dess påverkan på punktmolnets noggrannhet och precision. Vidare syftar arbetet till att utvärdera resultatet av olika distributioner av utgångspunkter vid georeferering och slutligen till att utforma riktlinjer och rekommendationer för planering av terrestra laserskanningsprojekt över långa objekt.  Arbetet delades upp i en analytisk- och en experimentell studie. Den analytiska studien undersökte de teoretiska effekterna av långsträckt registrering på ett punktmolns osäkerhet genom att simulera upprepad punktbaserad registrering i en 95-meter-lång och 2.5-meter-bred korridor. Detta resulterade i standardosäkerheter av punktmolnets koordinater på dm-nivå efter den sista registreringen samt en tydlig exponentiell ökning. Distributionen av konnektionspunkter i överlappen mellan skanningarna visade sig ha en stor effekt på precisionen av det slutliga punktmolnet. I den experimentella studien skannades en korridor av samma dimensioner från 16 stationer innan det georefererades till ett lokalt stomnät som etablerats på platsen. Indirekt georeferering i två steg användes, först genomfördes automatisk objektbaserad registrering i RealWorks innan punktmolnet georefererades. Resultatet av olika scenarion av utgångspunkter jämfördes och utvärderades genom att studera avvikelser hos kontrollpunkter. Alla scenarion hade flertalet kontrollpunkter vars avvikelser överskred den satta gränsen på 15 mm. En jämn distribution med upp till en utgångspunkt i för varje skanning medförde de bästa resultaten med en maximal avvikelse hos kontrollpunkterna på 3 cm i 3D. När utgångspunkterna var placerade på ena änden av korridoren så nådde avvikelserna dm-nivå på den motsatta änden. Dessutom så uppstod en tydlig linjär trend med ökande avvikelser som en funktion av avståndet till närmsta utgångspunkt. Den linjära trenden var mindre tydlig när utgångspunkterna var jämnt fördelade över korridoren. Deras distribution visade sig vara viktigare än deras kvantitet. Punktkoordinaternas höjdkomponent och plana komponent vinkelrätt mot objektets långsida visade sig vara mindre precis och noggrann efter långsträckt registrering. Detta var tydligt både i den analytiska och den experimentella studien.

Fotogrammetri är en viktig metod för att skapa 3D-representationer av terräng och strukturer, men utmaningar kvarstår när det gäller noggrannheten på grund av faktorer som bildkvalitet, kamerakalibrering och positionsdata. Användningen av drönare för byggnadsdetaljmätning möjliggör snabb och kostnadseffektiv datainsamling, men noggrannheten kan påverkas av bildkvalitet och skuggning. Avhandlingen syftar till att jämföra noggrannheten och kvaliteten hos punktmoln genererade med två olika tekniker: terrester laserskanning (TLS) och struktur-från-rörelse (SfM) fotogrammetri med drönare. För att testa båda metodernas osäkerhet och noggrannhet vid detaljmätning av bostäder. Genom att utföra mätningar på en villa har data samlats in med både TLS och drönare utrustade med 48 MP kamera, samt georeferering med markstöd (GCP). SfM-punktmoln bearbetades med Agisoft Metashape. Jämförelser gjordes mellan SfM- och TLS-punktmoln avseende täckning, lägesskillnad och lägesosäkerhet. Genom att följa riktlinjer från HMK - Terrester Laserskanning och tillämpa HMK Standardnivå 3 säkerställs hög noggrannhet i mätningarna. Kontroll av lägesosäkerhet av båda punktmolnen resulterade i en lägesosäkerhet som understeg toleranser satta enligt HMK - Terrester laserskanner Standardnivå 3.  Kontrollen av lägesosäkerheten visade att kvadratiska medelfelet(RMSE) i plan och höjd var 0.011m respektive 0.007m för TLS-punktmolnet, och 0.02m respektive 0.015m för drönar-SfM-punktmolnet, vilket låg under toleransen enligt HMK- Terrester Detaljmätning 2021. Resultaten tyder på att Structure-from-Motion fotogrammetri med drönare kan generera punktmoln med god detaljrikedom, inte lika noggrann som med terrester laserskanner på sin lägsta inställning. TLS uppvisade mindre osäkerhet enligt kontrollen av lägesosäkerhet, ungefär en halvering av RMSE i både plan och höjd. I studien framgick det att TLS presterar sämre vid svåråtkomliga ytor med skymd sikt och ogynnsamma infallsvinklar, där effekten blir en lägre punkttäthet för punktmolnet. Vid gynnsamma förhållanden erbjuder TLS en högre noggrannhet och detaljnivå jämfört med SfM punktmoln. Enligt M3C2 punktmoln analys, med TLS punktmolnet som referens, antydde det att SfM punktmolnet genererade största felen vid takfot samt vid buskage. De större felen vid takfot tyder på att SfM presterar sämre gällande detaljnivå och fel vid buskageområdet varierar inte från det som dokumenterats om fotogrammetriska fel vid mappning av vegetation. SfM kan utföra en effektiv datainsamling för större samt svåråtkomliga ytor men kräver lång bearbetningstid med diverse hjälpmedel för att uppnå hög noggrannhet. TLS kräver istället en lång datainsamlingsprocess men kan generera ett detaljerat och noggrant punktmoln direkt utan långa bearbetningsprocesser. Val av metod styrs därmed baserat på specifika projektkrav. Långsiktiga implikationer inkluderar förbättrad effektivitet och säkerhet inom bygg- och anläggningsprojekt, samt potentialen för kostnadsbesparingar och mer detaljerade inspektioner. / Photogrammetry is a crucial method for creating 3D representations of terrain and structures, yet challenges remain regarding accuracy due to factors such as image quality, camera calibration, and positional data. The use of drones for building detail measurements enables rapid and cost-effective data collection, but accuracy can be affected by image quality and shading. This thesis aims to compare the accuracy and quality of point clouds generated using two different techniques: terrestrial laser scanning (TLS) and Structure-from-Motion (SfM) photogrammetry with drones. The objective is to test the uncertainty and accuracy of both methods in residential surveying. Data collection was performed on a villa using both TLS and a drone equipped with a 48 MP camera, along with georeferencing with ground control points (GCP). SfM point clouds were processed with Agisoft Metashape. Comparisons were made between SfM and TLS point clouds in terms of coverage, positional difference, and positional uncertainty. By following guidelines from HMK - Terrester laserskanning 2021 and applying HMK Standard Level 3, high measurement accuracy was ensured. Positional uncertainty checks of both point clouds resulted in positional uncertainty within tolerances set by HMK - Terrestrial Laser Scanning Standard Level 3. The positional uncertainty, with a sample of 41 points showed that the root mean square error (RMSE) in plane and height was 0.011m and 0.007m respectively for the TLS point cloud, and 0.02m and 0.015m for the drone-SfM point cloud, both within the tolerance according to HMK - Terrestrial Detail Measurement 2021. The results suggest that Structure-from-Motion photogrammetry with drones can generate point clouds with good detail, although not as accurate as terrestrial laser scanning at its lowest setting. TLS showed less uncertainty according to the positional uncertainty check, with approximately half the RMSE in both plan and height. The study found that TLS performs worse on difficult-to-access surfaces with obstructed views and unfavorable angles, resulting in lower point cloud density. Under favorable conditions, TLS offers higher accuracy and detail compared to SfM point clouds. According to M3C2 point cloud analysis, using the TLS point cloud as a reference, SfM point clouds showed the largest errors at eaves and shrubbery. The larger errors at eaves indicate that SfM performs worse in terms of detail level, and errors in the shrubbery area are consistent with documented photogrammetric errors in vegetation mapping. SfM can effectively collect data for larger and difficult-to-access areas but requires extensive processing time with various aids to achieve high accuracy. Conversely, TLS requires a long data collection process but can generate a detailed and accurate point cloud directly without lengthy processing. The choice of method thus depends on specific project requirements. Long-term implications include improved efficiency and safety in construction and infrastructure projects, as well as potential cost savings and more detailed inspections.