Research on forest ecosystems receives high attention, especially nowadays with regard to sustainable management of renewable resources and the climate change. In particular, accurate information on the 3D structure of a tree is important for forest science and bioclimatology, but also in the scope of commercial applications. Conventional methods to measure geometric plant features are labor- and time-intensive. For detailed analysis, trees have to be cut down, which is often undesirable. Here, Terrestrial Laser Scanning (TLS) provides a particularly attractive tool because of its contactless measurement technique. The object geometry is reproduced as a 3D point cloud. The objective of this thesis is the automatic retrieval of the spatial structure of trees from TLS data. We focus on forest scenes with comparably high stand density and with many occlusions resulting from it. The varying level of detail of TLS data poses a big challenge. We present two fully automatic methods to obtain skeletal structures from scanned trees that have complementary properties. First, we explain a method that retrieves the entire tree skeleton from 3D data of co-registered scans. The branching structure is obtained from a voxel space representation by searching paths from branch tips to the trunk. The trunk is determined in advance from the 3D points. The skeleton of a tree is generated as a 3D line graph. Besides 3D coordinates and range, a scan provides 2D indices from the intensity image for each measurement. This is exploited in the second method that processes individual scans. Furthermore, we introduce a novel concept to manage TLS data that facilitated the researchwork. Initially, the range image is segmented into connected components. We describe a procedure to retrieve the boundary of a component that is capable of tracing inner depth discontinuities. A 2D skeleton is generated from the boundary information and used to decompose the component into sub components. A Principal Curve is computed from the 3D point set that is associated with a sub component. The skeletal structure of a connected component is summarized as a set of polylines. Objective evaluation of the results remains an open problem because the task itself is ill-defined: There exists no clear definition of what the true skeleton should be w.r.t. a given point set. Consequently, we are not able to assess the correctness of the methods quantitatively, but have to rely on visual assessment of results and provide a thorough discussion of the particularities of both methods. We present experiment results of both methods. The first method efficiently retrieves full skeletons of trees, which approximate the branching structure. The level of detail is mainly governed by the voxel space and therefore, smaller branches are reproduced inadequately. The second method retrieves partial skeletons of a tree with high reproduction accuracy. The method is sensitive to noise in the boundary, but the results are very promising. There are plenty of possibilities to enhance the method’s robustness. The combination of the strengths of both presented methods needs to be investigated further and may lead to a robust way to obtain complete tree skeletons from TLS data automatically. / Die Erforschung des ÖkosystemsWald spielt gerade heutzutage im Hinblick auf den nachhaltigen Umgang mit nachwachsenden Rohstoffen und den Klimawandel eine große Rolle. Insbesondere die exakte Beschreibung der dreidimensionalen Struktur eines Baumes ist wichtig für die Forstwissenschaften und Bioklimatologie, aber auch im Rahmen kommerzieller Anwendungen. Die konventionellen Methoden um geometrische Pflanzenmerkmale zu messen sind arbeitsintensiv und zeitaufwändig. Für eine genaue Analyse müssen Bäume gefällt werden, was oft unerwünscht ist. Hierbei bietet sich das Terrestrische Laserscanning (TLS) als besonders attraktives Werkzeug aufgrund seines kontaktlosen Messprinzips an. Die Objektgeometrie wird als 3D-Punktwolke wiedergegeben. Basierend darauf ist das Ziel der Arbeit die automatische Bestimmung der räumlichen Baumstruktur aus TLS-Daten. Der Fokus liegt dabei auf Waldszenen mit vergleichsweise hoher Bestandesdichte und mit zahlreichen daraus resultierenden Verdeckungen. Die Auswertung dieser TLS-Daten, die einen unterschiedlichen Grad an Detailreichtum aufweisen, stellt eine große Herausforderung dar. Zwei vollautomatische Methoden zur Generierung von Skelettstrukturen von gescannten Bäumen, welche komplementäre Eigenschaften besitzen, werden vorgestellt. Bei der ersten Methode wird das Gesamtskelett eines Baumes aus 3D-Daten von registrierten Scans bestimmt. Die Aststruktur wird von einer Voxelraum-Repräsentation abgeleitet indem Pfade von Astspitzen zum Stamm gesucht werden. Der Stamm wird im Voraus aus den 3D-Punkten rekonstruiert. Das Baumskelett wird als 3D-Liniengraph erzeugt. Für jeden gemessenen Punkt stellt ein Scan neben 3D-Koordinaten und Distanzwerten auch 2D-Indizes zur Verfügung, die sich aus dem Intensitätsbild ergeben. Bei der zweiten Methode, die auf Einzelscans arbeitet, wird dies ausgenutzt. Außerdem wird ein neuartiges Konzept zum Management von TLS-Daten beschrieben, welches die Forschungsarbeit erleichtert hat. Zunächst wird das Tiefenbild in Komponenten aufgeteilt. Es wird eine Prozedur zur Bestimmung von Komponentenkonturen vorgestellt, die in der Lage ist innere Tiefendiskontinuitäten zu verfolgen. Von der Konturinformation wird ein 2D-Skelett generiert, welches benutzt wird um die Komponente in Teilkomponenten zu zerlegen. Von der 3D-Punktmenge, die mit einer Teilkomponente assoziiert ist, wird eine Principal Curve berechnet. Die Skelettstruktur einer Komponente im Tiefenbild wird als Menge von Polylinien zusammengefasst. Die objektive Evaluation der Resultate stellt weiterhin ein ungelöstes Problem dar, weil die Aufgabe selbst nicht klar erfassbar ist: Es existiert keine eindeutige Definition davon was das wahre Skelett in Bezug auf eine gegebene Punktmenge sein sollte. Die Korrektheit der Methoden kann daher nicht quantitativ beschrieben werden. Aus diesem Grund, können die Ergebnisse nur visuell beurteiltwerden. Weiterhinwerden die Charakteristiken beider Methoden eingehend diskutiert. Es werden Experimentresultate beider Methoden vorgestellt. Die erste Methode bestimmt effizient das Skelett eines Baumes, welches die Aststruktur approximiert. Der Detaillierungsgrad wird hauptsächlich durch den Voxelraum bestimmt, weshalb kleinere Äste nicht angemessen reproduziert werden. Die zweite Methode rekonstruiert Teilskelette eines Baums mit hoher Detailtreue. Die Methode reagiert sensibel auf Rauschen in der Kontur, dennoch sind die Ergebnisse vielversprechend. Es gibt eine Vielzahl von Möglichkeiten die Robustheit der Methode zu verbessern. Die Kombination der Stärken von beiden präsentierten Methoden sollte weiter untersucht werden und kann zu einem robusteren Ansatz führen um vollständige Baumskelette automatisch aus TLS-Daten zu generieren.

<p>Static terrestrial laser scanners have been increasingly used in three-dimensional data acquisition since it can rapidly provide accurate measurements with high resolution. Several scans from multiple viewpoints are necessary to achieve complete coverage of the surveyed objects due to occlusion and large object size. Therefore, in order to reconstruct three-dimensional models of the objects, the task of registration is required to transform several individual scans into a common reference frame. This thesis introduces three alternative approaches for the coarse registration of two adjacent scans, namely, feature-based approach, pseudo-conjugate point-based method, and closed-form solution. In the feature-based approach, linear and planar features in the overlapping area of adjacent scans are selected as registration primitives. The pseudo-conjugate point-based method utilizes non-corresponding points along common linear and planar features to estimate transformation parameters. The pseudo-conjugate point-based method is simpler than the feature-based approach since the partial derivatives are easier to compute. In the closed-form solution, a rotation matrix is first estimated by using a unit quaternion, which is a concise description of the rotation. Afterward, the translation parameters are estimated with non-corresponding points along the linear or planar features by using the pseudo-conjugate point-based method. Alternative approaches for fitting a line or plane to data with errors in three-dimensional space are investigated.</p><p><br></p><p>Experiments are conducted using simulated and real datasets to verify the effectiveness of the introduced registration procedures and feature fitting approaches. The proposed two approaches of line fitting are tested with simulated datasets. The results suggest that these two approaches can produce identical line parameters and variance-covariance matrix. The three registration approaches are tested with both simulated and real datasets. In the simulated datasets, all three registration approaches produced equivalent transformation parameters using linear or planar features. The comparison between the simulated linear and planar features shows that both features can produce equivalent registration results. In the real datasets, the three registration approaches using the linear or planar features also produced equivalent results. In addition, the results using real data indicates that the registration approaches using planar features produced better results than the approaches using linear features. The experiments show that the pseudo-conjugate point-based approach is easier to implement than the feature-based approach. The pseudo-conjugate point-based method and feature-based approach are nonlinear, so an initial guess of transformation parameters is required in these two approaches. Compared to the nonlinear approaches, the closed-form solution is linear and hence it can achieve the registration of two adjacent scans without the requirement of any initial guess for transformation parameters. Therefore, the pseudo-conjugate point-based method and closed-form solution are the preferred approaches for coarse registration using linear or planar features. In real practice, the planar features would have a better preference when compared to linear features since the linear features are derived indirectly by the intersection of neighboring planar features. To get enough lines with different orientations, planes that are far apart from each other have to be extrapolated to derive lines.</p><div><br></div>

Over the last years researchers proposed numerous indoor localisation and navigation systems. However, solutions that use WiFi or Radio Frequency Identification require infrastructure to be deployed in the navigation area and infrastructureless techniques, e.g. the ones based on mobile cell ID or dead reckoning suffer from large accuracy errors. In this Thesis, we present a novel approach of infrastructure-less indoor navigation system based on computer vision Structure from Motion techniques. We implemented a prototype localisation and navigation system which can build a navigation map using area photos as input and accurately locate a user in the map. In our client-server architecture based system, a client is a mobile application, which allows a user to locate her or his position by simply taking a photo. The server handles map creation, localisation queries and pathnding. After the implementation, we evaluated the localisation accuracy and latency of the system by benchmarking navigation queries and the model creation algorithm. The system is capable of successfully navigating in Aalto University computer science department library. We were able to achieve an average error of 0.26 metres for successfully localised photos. In the Thesis, we also present challenges that we solved to adapt computer vision techniques for localisation purposes. Finally we observe the possible future work topics to adapt the system to a wide use. / Forskare har de senaste åren framfört olika inomhusnavigations- och lokaliseringssystem. Dock kräver lösningar som använder WiFi eller radiofrekvens identifikation en utbyggdnad av stödjande infrastruktur i navigationsområdena. Även teknikerna som används lider av precisionsfel. I det här examensarbetet redovisar vi en ny taktik för inomhusnavigation som använder sig av datorvisualiserings Structure from Motion-tekniker. Vi implementerade en navigationssystemsprototyp som använder bilder för att bygga en navigationskarta och kartlägga användarens position. I vårt klient-server baserat system är en klient en mobilapplikation som tillåter användaren att hitta sin position genom att ta en bild. På server-sidan hanteras kartor, lokaliseringsförfrågor och mättningar av förfrågorna och algoritmerna som används. Systemet har lyckats navigera genom Aalto Universitets datorvetenskapsbiblioteket. Vi lyckades uppnå en felmarginal pa 0.26 meter för lyckade lokaliseringsbilder. I arbetet redovisar vi utmaningar som vi har löst för att anpassa datorvisualiseringstekniker for lokalisering. Vi har även diskuterat potentialla framtida implementationer for att utvidga systemet.

A large number of current mobile robots use 3D sensors as part of their sensor setup. Common 3D sensors, i.e., laser scanners or RGB-D cameras, emit a signal (laser light or infrared light for instance), and its reflection is recorded in order to estimate depth to a surface. The resulting set of measurement points is commonly referred to as 'point clouds'. In the first part of this dissertation an inherent problem of sensors that emit some light signal is addressed, namely that these signals can be reflected and/or refracted by transparent of highly specular surfaces, causing erroneous or missing measurements. A novel heuristic approach is introduced how such objects may nevertheless be identified and their size and shape reconstructed by fusing information from several viewpoints of the scene. In contrast to other existing approaches no prior knowledge about the objects is required nor is the shape of the reconstructed objects restricted to a limited set of geometric primitives. The thesis proceeds to illustrate problems caused by sensor noise and registration errors and introduces mechanisms to address these problems. Finally a quantitative comparison between equivalent directly measured objects, the reconstructions and "ground truth" is provided. The second part of the thesis addresses the problem of automatically determining the quality of the registration for a pair of point clouds. Although a different topic, these two problems are closely related, if modeled in the fashion of this thesis. After illustrating why the output parameters of a popular registration algorithm (ICP) are not suitable to deduce registration quality, several heuristic measures are developed that provide better insight. Experiments performed on different datasets were performed to showcase the applicability of the proposed measures in different scenarios.

Laserskanning har blivit en vanlig metod för dokumentation, övervakning, underhåll och ut­veckling av olika industrimiljöer. Särskilt för inmätning och visualisering av komplexa rörledningar på industrianläggningars tak är punktmoln från laserskanning ett viktigt verktyg för att på ett enkelt sätt hitta potentiella platser för installation av nya rörledningar. Detta examensarbete genomfördes i samarbete med konsultbolaget Swecos mätningsgrupp i Karlstad och undersökte om det är möj­ligt att ersätta punktmoln från terrester laserskanning med punktmoln skapade med flygbilder tagna med UAS (Unmanned Aerial System) för dokumentering av komplexa rördragningar på industritak. Studien genomfördes på ett mindre område (5x25 m) på reningsverket i stadsdelen Sjöstad (Sjö­stadsverket) i Karlstad. Området innehöll omfattande rörledningar i olika dimensioner och andra detaljer såsom rattar, flänsar och gallerluckor. Detta område ansågs därför vara lämpligt att använda för studiens syfte och tillträdet förutsatte dessutom inte omfattande och dyra säkerhetsutbildningar. Undersökningen genomfördes genom markering av ett sextiotal kontrollpunkter som sedan mättes in med totalstation i ett lokalt referenssystem. Bakåtobjekten användes även som fästpunkter för sfäriska måltavlor under laserskanningen. Dessutom mättes även målade markstödsignaler på bet­ongen in i samband med detta för att möjliggöra en georeferering av flygbilderna. Därefter genom­fördes terrester laserskanning inom undersökningsområdet från nio uppställningar med varierande instrumenthöjder samt två UAS-flygningar med flygfotografering från tio respektive 22 m flyghöjd. Efterbearbetningarna började med att etablera ett lokaltreferenssystem, vilket användes för geo­referering av både laserskanningspunkmolnet samt respektive flygfotograferingspunktmoln. De er­hållna lokala koordinaterna för kontrollpunkterna i respektive punktmoln jämfördes gentemot de totalstationsinmätta koordinaterna för att analysera lägesosäkerheten. Punktmolnet från terrester laserskanning innehöll 55 tydligt identifierbara kontrollpunkter medan punktmolnen från UAS-flygningen visade 53 respektive 22 identifierbara kontrollpunkter. Den kvadratiska medelavvikelsen (RMS) i 3D för dessa punkter uppgick till 8 mm i laserskann­ingspunktmolnet respektive 25 mm för båda flygbildspunktmoln. Efter detta analysmoment valdes punktmolnet från flygningen på 22 m höjd bort inför de fortsatta analyserna då cirka två tredjedelar av kontrollpunkterna inte var identifierbara. Även mät- och lägesosäkerheten från flygbildspunktmolnet från tio meters höjd visade sig dock i början vara otillräckligt för att kunna ersätta terrester laserskanning med flygfotografering med UAS. Ändå tillät detaljeringsgraden en identifiering av ett stort antal kontrollpunkter och vidare analyser visade att den stora lägesosäkerheten främst berodde på kontrollpunkter kopplade till vissa detaljtyper (dolda stödben och omarkerade bultar). En nyberäkning av lägesosäkerheten utan dessa kontrollpunkter gav betydligt bättre värden för lägesosäkerhet inom flygbildspunktmolnet från tio meters höjd, ett RMS i 3D på 12 mm. Eftersom användningarna där Sweco skulle vilja ersätta terrester laserskanning med flygfoto­graf­ering inte kräver en detaljnivå på bultstorlek visade sig därmed flygfotografering med UAS som en lämplig alternativ metod för att dokumentera komplexa rördragningar på industritak. / This study explored the possibility of using aerial photography from Unmanned Aerial Systems (UAS) as a replacement for terrestrial laser scanning in documenting complex pipeline systems on industrial roofs. The research, conducted in collaboration with Sweco's survey group in Karlstad, focused on visual qualities and positional uncertainty in point clouds generated by terrestrial laser scanning and aerial photography. Control points were marked and surveyed using a total station, then terrestrial laser scanning and UAS-aerial photography was performed to generate point clouds. Analysis revealed that the aerial photography at 22 m altitude was not suitable due to unrecognizable control points. However, the aerial photography at 10 m altitude, after excluding certain types of control points, showed improved positional uncertainty. As the desired applications did not require fine-level detail, UAS aerial photography proved to be a suitable alternative for documenting complex pipeline systems on industrial roofs.

Automatic bin picking is a well-known problem in industrial automation and computer vision, where a robot picks an object from a bin and places it somewhere else. There is continuous ongoing research for many years to improve the contemporary solution. With camera technology advancing rapidly and available fast computation resources, solving this problem with deep learning has become a current interest for several researchers. This thesis intends to leverage the current state-of-the-art deep learning based methods of 3D instance segmentation and point cloud registration and combine them to improve the bin picking solution by improving the performance and make them robust. The problem of bin picking becomes complex when the bin contains identical objects with heavy occlusion. To solve this problem, a 3D instance segmentation is performed with Fast Point Cloud Clustering (FPCC) method to detect and locate the objects in the bin. Further, an extraction strategy is proposed to choose one predicted instance at a time. Inthe next step, a point cloud registration technique is implemented based on PointNetLK method to estimate the pose of the selected object from the bin. The above implementation is trained, tested, and evaluated on synthetically generated datasets. The synthetic dataset also contains several noisy point clouds to imitate a real situation. The real data captured at the company ’SICK IVP’ is also tested with the implemented model. It is observed that the 3D instance segmentation can detect and locate the objects available in the bin. In a noisy environment, the performance degrades as the noise level increase. However, the decrease in the performance is found to be not so significant. Point cloud registration is observed to register best with the full point cloud of the object, when compared to point cloud with missing points.

Potholes are caused by erosion and as such always emerging on our roadnetwork. Potholes may not only cause great damages to vehicles, but can alsocause road accidents, which in the worst case are fatal. Today, the detection ofpotholes is usually based on citizen reports or ocular inspection by vehicle,where a loose description of the potholes properties and location can be given.Recent research has explored the possibility of aerial inspection of paved roadswith the new, cost effective, Structure-from-Motion (SfM) technique, whichcan produce 3D point clouds from photogrammetric data. SfM point cloudshave then been used in conjunction with processing algorithms toautomatically detect and extract potholes from paved surfaces. However, theresults have not been optimal for practical use. The purpose of this study is,therefore, to explore the possibility of using UAV LiDAR for potholedetection in paved roads as a better alternative to the currently popularStructure-from-Motion (SfM) technique. A LiDAR point cloud is derived by alaser scanner and may have several advantages over SfM, for instance, theinsensitivity to poor light conditions and modelling errors. This study is setout to answer how point clouds derived from UAV SfM and UAV LiDARcompare to each other regarding detecting potholes of different sizes, wheredetected potholes will be compared to ground truth data. An elevation check,consisting of 126 height control points along the paved road, will also be usedto evaluate the height accuracy in the clouds. Data collection is done with theUAV system mdLiDAR3000DL aaS containing a RIEGL miniVUX-1DLlaser scanner for LiDAR data and Sony RX1R II 42.4 megapixel camera forSfM data. The data for both methods are collected during the same flight. Theproposed method automatically detects and extracts potholes from a pavedsurface based on the vertical distance to local reference planes which representthe undamaged road surface. The point clouds are filtered in CloudComparebefore imported to TerraScan for detection and extraction of potholes. Theextraction results are then controlled by a set of terrestrial measurements bytotal station. The results show that potholes with a smaller width of at least16.5 cm and a depth of at least 2.7 cm can be detected and extracted frompoint clouds derived by UAV LiDAR at a flight altitude of 30 m. Theextracted potholes had a standard deviation of 1.40 cm in width and 6.7 mmin depth. Shadows on the road caused height anomalies in the point cloudproduced by Structure-from-Motion (SfM), which made pothole detectionimpossible with the proposed methodology. / Potthål skapas genom erosion i vägar och uppstår varje år i vägnätet. Skadornapåverkar inte bara fordonens skick, utan kan även vara orsaken till olyckorsom i vissa fall är dödliga. I dagsläget detekteras potthål genom ockulärt frånfordon av kommunala arbetare eller så rapporteras de in av medborgare via etjänst där en lös beskrivning kan ges angående potthålens egenskaper ochposition.På senare tid har studier utforskat möjligheterna för flygburen inspektion avasfalterade vägar med den nya, kostnadseffektiva, Structure-from-Motion(SfM) tekniken som kan producera 3D-punktmoln från fotogrammetrisk data.Punktmolnen som är framtagna genom denna metod har vidare använtstillsammans med bearbetningsalgoritmer för att detektion och extraktion avpotthål i asfalterade vägar. Dock har resultaten inte varit optimala för attmetoden ska fungera i praktiken. Syftet med den här studien är därför attutforska möjligheten för att använda UAV LiDAR som en bättre metod fördenna process. Punktmoln framtagna genom LiDAR-teknik, mer känt somlaserskanning, kan ha ett flertal potentiella fördelar över SfM som okänslighetmot modelleringsfel och dåliga ljusförhållanden.Denna studie ger svar på hur punktmoln framtagna genom UAV LiDAR ochUAV SfM förhåller sig till varandra när det gäller detektion av potthål i olikastorlekar från asfalterade vägar, där potthålens dimensioner kommer attjämföras mot markbundna kontrollmätningar. Vidare görs en höjdkontrollmot 126 höjdstöd i båda punktmolnen för att jämföra kvaliteten förhöjdmätningar på den asfalterade vägen genom respektive metod.Insamlingen av data gjordes samtidigt under samma flygning för bådametoderna. Drönaren som användes var Microdrones mdLiDAR3000DL aaSmed en RIEGL miniVUX-1DL laserskanner och en Sony RX1R II 42,4megapixelkamera monterad. Mjukvarorna som har använts för bearbetning ärCloudCompare för filtrering av brus med mera och TerraScan för självadetektions -och extraktionsprocessen.Resultatet visar att det är möjligt att extrahera potthål från LiDAR-baseradepunktmoln med en mindre bredd på minst 16,5 cm och ett djup på 2,7 cm.Standardavvikelsen för potthålens bredd är 1,4 cm och 6,7 mm i djup.Grupper av avvikande punkter skapades på vägen i det SfM-baseradepunktmolnen som en följd av ett modelleringsfel i skuggområden på vägen,vilket vidare gjorde detektion -och extraktionsprocessen omöjlig med denframtagna metoden.

Les Systèmes Mobiles de Cartographie basés LIDAR permettent d’obtenir des cartes 3D de l’environnement, qui sont géo-référencées grâce à d’autres capteurs embarqués sur le véhicule : GPS, centrale inertielle, ou encore odomètre sont de tels capteurs qui permettent de localiser le véhicule mobile pendant la campagne d’acquisition. Toutefois, ces cartes manquent de précisions et un affinage des cartes est essentiel dans de nombreux cas d’applications où une précision fine est requise sur les cartes 3D, comme pour des applications de classifications par exemple.Lors de la création de cartes 3D géoréférencées,les données sont tout d’abord acquises par le capteur LIDAR et référencées dans le repère cartésien du laser à l’aide d’un calibrage intrinsèque du capteur d’acquisition. Ensuite, un calibrage extrinsèque du capteur permet de caractériser la transformation entre le capteur et le véhicule, et permet de référencer les données dans le repère « body», lié au véhicule d’acquisition. Enfin, avec la trajectoire du véhicule obtenue en fusionnant les données issues des GPS, centrale inertielle et odomètre, il est possible de géoréférencer les données lasers.Nous proposons dans cette thèse d’affiner les relevés laser issus d’acquisitions effectuées à l’aide d’un véhicule mobile de cartographie, en optimisant plusieurs paramètres différents qui entrent en compte dans le géoréférencement des données. Nous nous sommes intéressés à l’affinement des nuages de points par optimisation des paramètres decalibrage extrinsèque dans un premier temps, puis par optimisation des paramètres de calibrage intrinsèque, et enfin par optimisation des paramètres de translations liés à la trajectoire du véhicule mobile. / LIDAR based Mobile Mapping Systems allowto get 3D maps of the environment, which are globally referenced with the help of others sensors embedded on the vehicle: GPS,Inertial Measurement Unit, or odometer are such sensors which allow localizing the vehicle during the acquisition process. However, these maps lack of precision, and are finement of the maps is necessary for manywork where a good precision is needed on the 3D maps, like classification applications for example.When creating the globally referenced 3D maps, the data are firstly acquired by the LIDAR sensor and referenced in the Cartesian reference frame of the sensor withan intrinsic calibration of the sensor. Then, anextrinsic calibration gives the transformation between the sensor and the vehicle, and gives data referenced in the « body »reference frame, linked to the vehicle. Finally, with the fusion of the data coming from the GPS, the Inertial Measurement Unit and theodometer, the laser data can be globally referenced.In this thesis, we propose to refine the point clouds coming from acquisitions done with a mobile mapping system, by optimizing some parameters which are used in the georeferencing process of the data. Firstly, we were interested in the refinement of point clouds by optimizing the extrinsic calibration parameters, and then we were interested in the refinement of point clouds by optimizing the intrinsic calibration parameters; finally by optimizing the translation parameters of the mobile vehicle trajectory.

<div>LiDAR units onboard airborne and terrestrial platforms have been established as a proven technology for the acquisition of dense point clouds for a wide range of applications, such as digital building model generation, transportation corridor monitoring, precision agriculture, and infrastructure monitoring. Furthermore, integrating such systems with one or more cameras would allow forward and backward projection between imagery and LiDAR data, thus facilitating several high-level data processing activities such as reliable feature extraction and colorization of point clouds. However, the attainment of the full 3D point positioning potential of such systems is contingent on an accurate calibration of the mobile mapping unit as a whole. </div><div> </div><div> This research aims at proposing a calibration procedure for terrestrial multi-unit LiDAR systems to directly estimate the mounting parameters relating several spinning multi-beam laser scanners to the onboard GNSS/INS unit in order to derive point clouds with high positional accuracy. To ensure the accuracy of the estimated mounting parameters, an optimal configuration of target primitives and drive-runs is determined by analyzing the potential impact of bias in mounting parameters of a LiDAR unit on the resultant point cloud for different orientations of target primitives and different drive-run scenarios. This impact is also verified experimentally by simulating a bias in each mounting parameter separately. Next, the optimal configuration is used within an experimental setup to evaluate the performance of the proposed calibration procedure. Then, this proposed multi-unit LiDAR system calibration strategy is extended for multi-LiDAR multi-camera systems in order to allow a simultaneous estimation of the mounting parameters relating the different laser scanners as well as cameras to the onboard GNSS/INS unit. Such a calibration improves the registration accuracy of point clouds derived from LiDAR data and imagery, along with their accuracy with respect to the ground truth. Finally, in order to qualitatively evaluate the calibration results for a generic mobile mapping system and allow the visualization of point clouds, imagery data, and their registration quality, an interface denoted as Image-LiDAR Interactive Visualization Environment (I-LIVE) is developed. Apart from its visualization functions (such as 3D point cloud manipulation and image display/navigation), I-LIVE mainly serves as a tool for the quality control of GNSS/INS-derived trajectory and LiDAR-camera system calibration. </div><div> </div><div> The proposed multi-sensor system calibration procedures are experimentally evaluated by calibrating several mobile mapping platforms with varying number of LiDAR units and cameras. For all cases, the system calibration is seen to attain accuracies better than the ones expected based on the specifications of the involved hardware components, i.e., the LiDAR units, cameras, and GNSS/INS units.</div>

Ein großes Anwendungsgebiet des Flugzeuglaserscannings ist in Bereichen der Forstwirtschaft und der Forstwissenschaft zu finden. Die Daten dienen flächendeckend zur Ableitung von digitalen Gelände- und Kronenmodellen, aus denen sich die Baumhöhe ableiten lässt. Aufgrund der Aufnahmerichtung aus der Luft lassen sich spezielle bodennahe Baumparameter wie Stammdurchmesser und Kronenansatzhöhe nur durch Modelle schätzen. Der Einsatz terrestrischer Laserscanner bietet auf Grund der hochauflösenden Datenakquisition eine gute Ergänzung zu den Flugzeuglaserscannerdaten. Inventurrelevante Baumparameter wie Brusthöhendurchmesser und Baumhöhe lassen sich ableiten und eine Verdichtung von digitalen Geländemodellen durch die terrestrisch erfassten Daten vornehmen. Aufgrund der dichten, dreidimensionalen Punktwolken ist ein hoher Dokumentationswert gegeben und eine Automatisierung der Ableitung der Geometrieparameter realisierbar. Um den vorhandenen Holzvorrat zu kontrollieren und zu bewirtschaften, werden in periodischen Zeitabständen Forstinventuren auf Stichprobenbasis durchgeführt. Geometrische Baumparameter, wie Baumhöhe, Baumposition und Brusthöhendurchmesser, werden gemessen und dokumentiert. Diese herkömmliche Erfassung ist durch einen hohen Arbeits- und Zeitaufwand gekennzeichnet. Aus diesem Grund wurden im Rahmen dieser Arbeit Algorithmen entwickelt, die eine automatische Ableitung der geometrischen Baumparameter aus terrestrischen Laserscannerpunktwolken ermöglichen. Die Daten haben neben der berührungslosen und lichtunabhängigen Datenaufnahme den Vorteil einer objektiven und schnellen Parameterbestimmung. Letztendlich wurden die Algorithmen in einem Programm zusammengefasst, das neben der Baumdetektion eine Bestimmung der wichtigsten Parameter in einem Schritt realisiert. An Datensätzen von drei verschiedenen Studiengebieten werden die Algorithmen getestet und anhand manuell gewonnener Baumparameter validiert. Aufgrund der natürlich gewachsenen Vegetationsstruktur sind bei Aufnahmen von einem Standpunkt gerade im Kronenraum Abschattungen vorhanden. Durch geeignete Scankonfigurationen können diese Abschattungen minimiert, allerdings nicht vollständig umgangen werden. Zusätzlich ist der Prozess der Registrierung gerade im Wald mit einem zeitlichen Aufwand verbunden. Die größte Schwierigkeit besteht in der effizienten Verteilung der Verknüpfungspunkte bei dichter Bodenvegetation. Deshalb wird ein Ansatz vorgestellt, der eine Registrierung über die berechneten Mittelpunkte der Brusthöhendurchmesser durchführt. Diese Methode verzichtet auf künstliche Verknüpfungspunkte und setzt Mittelpunkte von identischen Stammabschnitten in beiden Datensätzen voraus. Dennoch ist die größte Unsicherheit in der Z-Komponente der Translation zu finden. Eine Methode unter Verwendung der Lage der Baumachsen sowie mit einem identischen Verknüpfungspunkt führt zu besseren Ergebnissen, da die Datensätze an dem homologen Punkt fixiert werden. Anhand eines Studiengebietes werden die Methoden mit den herkömmlichen Registrierungsverfahren über homologe Punkte verglichen und analysiert. Eine Georeferenzierung von terrestrischen Laserscannerpunktwolken von Waldbeständen ist aufgrund der Signalabschattung der Satellitenpositionierungssysteme nur bedingt und mit geringer Genauigkeit möglich. Deshalb wurde ein Ansatz entwickelt, um Flugzeuglaserscannerdaten mit terrestrischen Punktwolken allein über die Kenntnis der Baumposition und des vorliegenden digitalen Geländemodells zu verknüpfen und zusätzlich das Problem der Georeferenzierung zu lösen. Dass ein terrestrischer Laserscanner nicht nur für Forstinventuren gewinnbringend eingesetzt werden kann, wird anhand von drei verschiedenen Beispielen beleuchtet. Neben der Ableitung von statischen Verformungsstrukturen an Einzelbäumen werden beispielsweise auch die Daten zur Bestimmung von Vegetationsmodellen auf Basis von Gitterstrukturen (Voxel) zur Simulation von turbulenten Strömungen in und über Waldbeständen eingesetzt. Das aus Laserscannerdaten abgeleitete Höhenbild einer Rinde führt unter Verwendung von Bildverarbeitungsmethoden (Texturanalyse) zur Klassifizierung der Baumart. Mit dem terrestrischen Laserscanning ist ein interessantes Werkzeug für den Einsatz im Forst gegeben. Bestehende Konzepte der Forstinventur können erweiterte werden und es eröffnen sich neue Felder in forstwirtschaftlichen und forstwissenschaftlichen Anwendungen, wie beispielsweise die Nutzung eines Scanners auf einem Harvester während des Erntevorganges. Mit der stetigen Weiterentwicklung der Laserscannertechnik hinsichtlich Gewicht, Reichweite und Geschwindigkeit wird der Einsatz im Forst immer attraktiver. / An important application field of airborne laser scanning is forestry and the science of forestry. The captured data serve as an area-wide determination of digital terrain and canopy models, with a derived tree height. Due to the nadir recording direction, near-ground tree parameters, such as diameter at breast height (dbh) and crown base height, are predicted using forest models. High resolution terrestrial laser scanner data complements the airborne laser scanner data. Forest inventory parameters, such as dbh and tree height can be derived directly and digital terrain models are created. As a result of the dense three dimensional point clouds captured, a high level of detail exists, and a high degree of automation of the determination of the parameters is possible. To control and manage the existing stock of wood, forest inventories are carried out at periodic time intervals, on the base of sample plots. Geometric tree parameters, such as tree height, tree position and dbh are measured and documented. This conventional data acquisition is characterised by a large amount of work and time. Because of this, algorithms are developed to automatically determine geometric tree parameters from terrestrial laser scanner point clouds. The data acquisition enables an objective and fast determination of parameters, remotely, and independent of light conditions. Finally the majority of the algorithms are combined into a single program, allowing tree detection and the determination of relevant parameters in one step. Three different sample plots are used to test the algorithms. Manually measured tree parameters are also used to validate the algorithms. The natural vegetation structure causes occlusions inside the crown when scanning from one position. These scan shadows can be minimized, though not completely avoided, via an appropriate scan configuration. Additional the registration process in forest scenes is time-consuming. The largest problem is to find a suitable distribution of tie points when dense ground vegetation exists. Therefore an approach is introduced that allows data registration with the determined centre points of the dbh. The method removes the need for artificial tie points. However, the centre points of identical stem sections in both datasets are assumed. Nevertheless the biggest uncertainness is found in the Z co-ordinate of the translation. A method using the tree axes and one homologous tie point, which fixes the datasets, shows better results. The methods are compared and analysed with the traditional registration process with tie points, using a single study area. Georeferencing of terrestrial laser scanner data in forest stands is problematic, due to signal shadowing of global navigation satellite systems. Thus an approach was developed to register airborne and terrestrial laser scanner data, taking the tree positions and the available digital terrain model. With the help of three examples the benefits of applying laser scanning to forest applications is shown. Besides the derivation of static deformation structures of single trees, the data is used to determine vegetation models on the basis of a grid structure (voxel space) for simulation of turbulent flows in and over forest stands. In addition, the derived height image of tree bark using image processing methods (texture analysis) can be used to classify the tree species. Terrestrial laser scanning is a valuable tool for forest applications. Existing inventory concepts can be enlarged, and new fields in forestry and the science of forestry are established, e. g. the application of scanners on a harvester. Terrestrial laser scanners are becoming increasingly important for forestry applications, caused by continuous technological enhancements that reduce the weight, whilst increasing the range and the data rate.