Tato práce se zabývá návrhem nových algoritmů pro zpracování řídkých 3D dat senzorů LiDAR, včetně kompletního návrhu batohovího mobilního mapovacího řešení. Tento výzkum byl motivován potřebou takových řešení v oblasti geodézie, mobilního průzkumu a výstavby. Nejprve je prezentován iterační algoritmus pro spolehlivou registraci mračen bodů a odhad odometrie z měření 3D LiDARu. Problém řídkosti a velikosti těchto dat je řešen pomocí náhodného vzorkování pomocí Collar Line Segments (CLS). Vyhodnocení na standardní datové sadě KITTI ukázalo vynikající přesnost oproti známému algoritmu General ICP. Konvoluční neuronové sítě hrají důležitou roli ve druhé metodě odhadu odometrie, která zpracovává kódovaná data LiDARu do 2D matic. Metoda je schopna online výkonu, zatímco je zachována přesnost, když požadujeme pouze parametry posunu. To může být užitečné v situacích, kdy je vyžadován online náhled mapování a parametry rotace mohou být spolehlivě poskytnuty např. senzorem IMU. Na základě algoritmu CLS bylo navrženo a implementováno batohové mobilní mapovací řešení 4RECON. S využitím kalibrovaného a synchronizovaného páru LiDARů Velodyne a s nasazením řešení GNSS/INS s duální anténou, byl vyvinut univerzální systém poskytující přesné 3D modelování malých vnitřních i velkých otevřených prostředí. Naše hodnocení prokázalo, že požadavky stanovené pro tento systém byly splněny -- relativní přesnost do $5$~cm a průměrná chyba georeferencí pod $12$~cm. Poslední stránky obsahují popis a vyhodnocení další metody založené na konvolučních neuronových sítích -- navržených pro segmentaci země v mračnech bodů 3D LiDARu. Tato metoda překonala současný stav techniky v této oblasti a představuje způsob, jakým může být sémantická informace vložena do 3D laserových dat.

Underwater navigation is a key technology for exploring the oceans and exploiting their resources. For autonomous underwater vehicles (AUVs) to explore the marine environment efficiently and securely, underwater simultaneous localization and mapping (SLAM) systems are often indispensable due to the lack of the global positioning system (GPS). In an underwater SLAM system, an AUV maps its surroundings and estimates its own pose at the same time. The pose of the AUV can be predicted by dead reckoning, but navigation errors accumulate over time. Therefore, sensors are needed to calibrate the state of the AUV. Among various sensors, the multibeam echosounder (MBES) is one of the most popular ones for underwater SLAM since it can acquire bathymetric point clouds with depth information of the surroundings. However, there are difficulties in data association for seabeds without distinct landmarks. Previous studies have focused more on traditional computer vision methods, which have limited performance on bathymetric data. In this thesis, a novel method based on deep learning is proposed to facilitate underwater perception. We conduct two experiments on place recognition and point cloud registration using data collected during a survey. The results show that, compared with the traditional methods, the proposed neural network is able to detect loop closures and register point clouds more efficiently. This work provides a better data association solution for designing underwater SLAM systems. / Undervattensnavigering är en viktig teknik för att utforska haven och utnyttja deras resurser. För att autonoma undervattensfordon (AUV) ska kunna utforska havsmiljön effektivt och säkert är underwater simultaneous localization and mapping (SLAM) system ofta oumbärliga på grund av bristen av det globala positioneringssystemet (GPS). I ett undervattens SLAM-system kartlägger ett AUV sin omgivning och uppskattar samtidigt sin egen position. AUV:s position kan förutsägas med hjälp av dödräkning, men navigeringsfel ackumuleras med tiden. Därför behövs sensorer för att kalibrera AUV:s tillstånd. Bland olika sensorer är multibeam ekolod (MBES) en av de mest populära för undervattens-SLAM eftersom den kan samla in batymetriska punktmoln med djupinformation om omgivningen. Det finns dock svårigheter med dataassociation för havsbottnar utan tydliga landmärken. Tidigare studier har fokuserat mer på traditionella datorvisionsmetoder som har begränsad prestanda för batymetriska data. I den här avhandlingen föreslås en ny metod baserad på djup inlärning för att underlätta undervattensuppfattning. Vi genomför två experiment på punktmolnregistrering med hjälp av data som samlats in under en undersökning. Resultaten visar att jämfört med de traditionella metoderna kan det föreslagna neurala nätverket upptäcka slingförslutningar och registrera punktmoln mer effektivt. Detta arbete ger en bättre lösning för dataassociation för utformning av undervattens SLAM-system.

L'imagerie numérique, de la synthèse d'images à la vision par ordinateur est en train de connaître une forte évolution, due entre autres facteurs à la démocratisation et au succès commercial des caméras 3D. Dans le même contexte, l'impression 3D grand public, qui est en train de vivre un essor fulgurant, contribue à la forte demande sur ce type de caméra pour les besoins de la numérisation 3D. L'objectif de cette thèse est d'acquérir et de maîtriser un savoir-faire dans le domaine de la capture/acquisition de modèles 3D en particulier sur l'aspect rendu réaliste. La réalisation d'un scanner 3D à partir d'une caméra RGB-D fait partie de l'objectif. Lors de la phase d'acquisition, en particulier pour un dispositif portable, on est confronté à deux problèmes principaux, le problème lié au référentiel de chaque capture et le rendu final de l'objet reconstruit. / Digital imaging, from the synthesis of images to computer vision isexperiencing a strong evolution, due among other factors to the democratization and commercial success of 3D cameras. In the same context, the consumer 3D printing, which is experiencing a rapid rise, contributes to the strong demand for this type of camera for the needs of 3D scanning. The objective of this thesis is to acquire and master a know-how in the field of the capture / acquisition of 3D models in particular on the rendered aspect. The realization of a 3D scanner from a RGB-D camera is part of the goal. During the acquisition phase, especially for a portable device, there are two main problems, the problem related to the repository of each capture and the final rendering of the reconstructed object.

When a Time-of-Flight (ToF) depth camera is used to monitor a region of interest, it has to be mounted correctly and have information regarding its position. Manual configuration currently require managing captured 3D ToF data in a 2D environment, which limits the user and might give rise to errors due to misinterpretation of the data. This thesis investigates if a real time 3D reconstruction mesh from a Microsoft HoloLens can be used as a target for point cloud registration using the ToF data, thus configuring the camera autonomously. Three registration algorithms, Fast Global Registration (FGR), Joint Registration Multiple Point Clouds (JR-MPC) and Prerejective RANSAC, were evaluated for this purpose. It was concluded that despite using different sensors it is possible to perform accurate registration. Also, it was shown that the registration can be done accurately within a reasonable time, compared with the inherent time to perform 3D reconstruction on the Hololens. All algorithms could solve the problem, but it was concluded that FGR provided the most satisfying results, though requiring several constraints on the data.

As the demand for 3D maps from LIDAR scanners increases, delivering high-quality maps becomes critical. One way to ensure the quality of such maps is through point cloud alignment classification, which aims to classify the alignment error between two registered point clouds. Specifically, we present the classifier FACT (Feature-Aware Classification Transformer), consisting of two main modules: feature extraction and classification. Descriptive features are extracted from the joint point cloud, which are then processed by a point transformer-based neural network to predict the alignment error class. In a ten-class point cloud alignment classification test, FACT achieved 92.4% accuracy, where the alignment error ranged from zero meters and radians to 0.9 meters and 0.09 radians. Remarkably, the classifier only made one misprediction beyond neighboring classes, exhibiting its ability to detect alignment errors as the classes have an inherent order. Furthermore, when benchmarked on two binary classification tasks, FACT showed significantly superior performance over the baseline and even obtained 100.0% accuracy for the easier of the two tasks. FACT not only detects potential errors in 3D maps but also estimates their magnitude, leading to more reliable 3D maps with quality estimations for each transformation.

Maintaining an inventory of transportation infrastructure assets is vital for effective management and maintenance. LiDAR (Light Detection and Ranging) can be a useful resource for this purpose by collecting detailed 3D information. Mobile Mapping Systems (MMS) refers to collecting geospatial data by mounting laser scanners on top of a moving vehicle, e.g. a car. The LiDAR collects XYZ-coordinates of the environment by emitting laser pulses toward the surveyed objects. This enables an effective way to store and survey built-up urban areas that otherwise would need an on-site presence. WSP uses Mobile Mapping (MM) to capture and visualize infrastructure, primarily for inventory purposes. Currently, the point cloud registration in the MM-process is labor-intensive, so the company is looking to automate it. This thesis aims to investigate methods to automate the process of point cloud registration that eliminates manual labor. The proposed method was evaluated with regards to its accuracy, advantages and disadvantages. The study area of the thesis was a light rail facility with surrounding residential buildings and vegetation. The proposed method was implemented in Python and utilizes open source libraries. The registration uses Fast Global Registration (FGR) for coarse alignment with Iterative Closest Point (ICP) for fine refinement. The FGR algorithm finds a rigid transformation between a pair of point clouds by establishing a feature correspondence set between the point clouds. The algorithm utilizes Fast Point Feature Histograms (FPFH) that simplifies the description of 3D point relationships as the feature descriptors. The object used for registration is the general area around catenary poles. The segments between poles is adjusted by linear interpolation of the obtained transformation matrices from the registration. The results of this thesis show that automatic point cloud registration is feasible. However, while the proposed method improves registration over raw data, it does not fully replace WSP's current procedure.  The advantages of the proposed method are that it does not require classified data and is open source. The main source of error in the method is the presence of vegetation, and an experiment was conducted to support this hypothesis. The experiment shows that dense vegetation skews the registration, and generates an incorrect transformation matrix. Furthermore, the proposed method is only semi-automated, as it still needs manual post-processing. Accuracy assessment showed that removing outlier, presumably caused by vegetation, improved the planar offsets. Further studies to improve the result could utilize machine learning which could identify and extract poles for registration or remove surrounding vegetation. / Att upprätthålla inventering av tillgångar av transportinfrastruktur är avgörande för effektiv förvaltning och underhåll samt för att tillhandahålla korrekta data och underlätta beslutsfattande. LiDAR-data (Light Detection and Ranging) kan vara ett användbart verktyg för detta ändamål genom att samla in detaljerad 3D-information. Mobile Mapping Systems (MMS) refererar till att samla geospatial data genom att montera laserskannrar ovanpå taket på ett rörligt fordon, exempelvis en bil. LiDAR samlar XYZ-koordinater av kringliggande miljö genom att sända ut laserpulser mot de undersökta objekten. Detta möjliggör ett effektivt sätt att förvara och undersöka bebyggda stadsmiljöer som annars skulle behöva fysisk närvaro. WSP använder Mobile Mapping (MM) för att samla och visualisera infrastruktur, främst för inventeringsändamål. För närvarande är punktmolnregistreringen i MM-processen manuellt arbetskrävande, och därför vill WSP se en automatisering av processen. Detta examensarbete syftar till att undersöka metoder för att automatisera processen för registrering av punktmoln som eliminerar manuellt arbete. Den utvecklade metoden kommer att utvärderas med avseende på dess noggrannhet, för- och nackdelar. Arbetets studieområde är en järnvägsanläggninng med omgivande av bostadshus och vegetation. Den föreslagna metoden implementerades i Python och använder sig av open source-bibliotek. Registeringen tillämpar Fast Global Registration (FGR) för grov justering av punktmolnen, och Iterative Closest Point (ICP) för finjustering. FGR-algoritmen hittar en stel transformation mellan två punktmoln genom att etablera ett set av korresponderande attribut. Algoritmen använder Fast Point Feature Histograms (FPFH) som förenklar euklidiska förhållanden till attributbaserade förhållanden. Objekt som används för registrering är det generella området kring kontaktledningsstolpar. Segmenten mellan stolpar justeras genom linjär interpolation av de erhållna transformationsmatriserna från registreringen. Resultaten av detta arbete visar att automatisk registrering av punktmoln är genomförbar, och att metoden förbättrar registreringen jämfört med den råa datan. Den är dock inte tillräckligt bra för att helt ersätta den nuvarande proceduren som används av WSP. Fördelarna med den föreslagna metoden är att den inte kräver klassificerad data och är open source. Den huvudsakliga felkällan i metoden är förekomsten av vegetation, och ett experiment utfördes för att stödja denna hypotes. Experimentet visar att tät vegetation snedvrider registreringen och genererar en felaktig transformationsmatris. Vidare, är den föreslagna metoden endast semi-automatiserad, eftersom den fortfarande kräver manuell efterbearbetning. Noggrannhetsbedömningn visade att borttagningen av avvikande värden, förmodligen orsakade av vegetation, förbättrade den plana förskjutningen. Vidare studier för att ge ett mer tillfredsställande resultatet kan möjligen vara att använda maskininlärning för att identifiera och extrahera stolpar för matching, samtidigt som växtligheten kan elimineras.