Aufgrund der weiter fortschreitenden Digitalisierung verändern sich die seit langer Zeit etablierten Prozesse im Bauwesen. Dies zeigt sich zum Beispiel in der stetig steigenden Bedeutung des Building Information Modelings (BIM). Eine der wesentlichen Grundideen von BIM besteht darin, das zentrale Modell über den gesamten Lebenszyklus des Bauwerks zu verwenden. Das digitale Bauwerksmodell stellt somit eine der zentralen Komponenten der BIM-Methode dar. Neben den rein geometrischen Ausprägungen des Bauwerks werden im Modell auch eine Vielzahl an semantischen Informationen vorgehalten. Da insbesondere bei größeren Bauwerken ein fortlaufender Veränderungsprozess stattfindet, muss das Modell entsprechend aktualisiert werden, um dem tatsächlichen Istzustand zu entsprechen. Diese Aktualisierung betrifft nicht nur Veränderungen in der Geometrie, sondern auch in den verknüpften Sachdaten. Bezüglich der Aktualisierung des Modells kann die Photogrammetrie mit ihren modernen Messverfahren wie zum Beispiel Structure-from-Motion (SfM) und daraus abgeleiteten Punktwolken einen wesentlichen Beitrag zur Datenerfassung des aktuellen Zustands leisten. Für die erfolgreiche Verknüpfung des photogrammetrisch erfassten Istzustands mit dem durch das Modell definierten Sollzustand müssen beide Datentöpfe in einem gemeinsamen Koordinatensystem vorliegen. In der Regel werden zur Registrierung photogrammetrischer Produkte im Bauwerkskoordinatensystem definierte Passpunkte verwendet. Der Registrierprozess über Passpunkte ist jedoch mit einem erheblichen manuellen Aufwand verbunden. Um den Aufwand der Registrierung möglichst gering zu halten, wurde daher in dieser Arbeit ein Konzept entwickelt, das es ermöglicht, kleinräumige Bildverbände und Punktwolken automatisiert mit einem digitalen Bauwerksmodell zu koregistrieren. Das Verfahren nutzt dabei geometrische Beziehungen zwischen aus den Bildern extrahierten 3D-Liniensegmenten und Begrenzungsflächen, die aus dem digitalen Bauwerksmodell gewonnen werden. Die aufgenommenen Bilder des Objektes dienen zu Beginn als Grundlage für die Extraktion von zweidimensionalen Linienstrukturen. Auf Basis eines über SfM durchgeführten Orientierungsprozesses können diese zweidimensionalen Kanten zu einer Rekonstruktion in Form von 3D-Liniensegmenten weiterverarbeitet werden. Die weiterhin benötigten Begrenzungsflächen werden aus einem mit Hilfe der Industry Foundation Classes (IFC) definierten BIM-Modell gewonnen. Das entwickelte Verfahren nutzt dabei auch die von IFC bereitgestellten Möglichkeiten der räumlichen Aggregationshierarchien. Im Zentrum des neuen Koregistrieransatzes stehen zwei große Komponenten. Dies ist einerseits der mittels eines Gauß-Helmert-Modells umgesetze Ausgleichungsvorgang zur Transformationsparameterbestimmung und andererseits der im Vorfeld der Ausgleichung angewandten Matching-Algorithmus zur automatischen Erstellung von Korrespondenzen zwischen den 3D-Liniensegmenten und den Begrenzungsflächen. Die so gebildeten Linien-Ebenen-Paare dienen dann als Beobachtung im Ausgleichungsprozess. Da während der Parameterschätzung eine durchgängige Betrachtung der stochastischen Informationen der Beobachtungen erfolgt, ist am Ende des Registrierprozesses eine Qualitätsaussage zu den berechneten Transformationsparametern möglich. Die Validierung des entwickelten Verfahrens erfolgt an zwei Datensätzen. Der Datensatz M24 diente dabei zum Nachweis der Funktionsfähigkeit unter Laborbedingungen. Über den Datensatz Eibenstock konnte zudem nachgewiesen werden, dass das Verfahren auch in praxisnahen Umgebungen auf einer realen Baustelle zum Einsatz kommen kann. Für beide Fälle konnte eine gute Registriergenauigkeit im Bereich weniger Zentimeter nachgewiesen werden.:Kurzfassung 3 Abstract 4 1. Einleitung 7 1.1. Photogrammetrie und BIM 7 1.2. Anwendungsbezug und Problemstellung 7 1.3. Zielsetzung und Forschungsfragen 9 1.4. Aufbau der Arbeit 10 2. Grundlagen 12 2.1. Photogrammetrie 12 2.1.1. Structure-from-Motion (SfM) 12 2.1.2. Räumliche Ähnlichkeitstransformation 14 2.2. Building Information Modeling (BIM) 16 2.2.1. Besonderheiten der geometrisch / topologischen Modellierung 18 2.2.2. Industry Foundation Classes (IFC) 19 2.3. Parameterschätzung und Statistik 21 2.3.1. Nicht lineares Gauß-Helmert-Modell mit Restriktionen 21 2.3.2. Random Sample Consensus (RANSAC) 23 2.3.3. Density-Based Spatial Clustering of Applications with Noise (DBSCAN) 24 3. Stand der Forschung 26 4. Automatische Koregistrierung von Bildverbänden 30 4.1. Überblick 30 4.2. Relative Orientierung des Bildverbandes und Extraktion der 3D-Liniensegmente 33 4.2.1. Line3D++ 33 4.2.2. Stochastische Informationen der 3D-Liniensegmente 36 4.3. Ebenenextraktion aus dem digitalen Gebäudemodell 37 4.4. Linien-Ebenen-Matching 42 4.4.1. Aufstellen von Ebenenhypothesen 42 4.4.2. Analyse und Clustern der Normalenvektorhypothesen 43 4.4.3. Erstellung von Minimalkonfigurationen 44 4.5. Berechnung von Näherungswerten für die Transformationsparameter 46 4.6. Implementiertes Ausgleichungsmodell 49 4.6.1. Funktionales Modell 49 4.6.2. Stochastisches Modell 50 4.7. Entscheidungskriterien der kombinatorischen Auswertung 51 5. Validierung der Methoden 56 5.1. Messung Seminarraum M24 HTW Dresden 56 5.1.1. Untersuchung des Einfluss der SfM2BIM -Programmparameter 59 5.1.2. Ergebnisse der Validierung 64 5.2. Messung LTV Eibenstock 71 6. Diskussion der Ergebnisse 81 6.1. Bewertung der erzielten Genauigkeit 81 6.2. Bewertung der Automatisierbarkeit 82 6.3. Bewertung der praktischen Anwendbarkeit 83 6.4. Beantwortung der Forschungsfragen 85 7. Zusammenfassung und Ausblick 88 Literaturverzeichnis 90 Abbildungsverzeichnis 94 Tabellenverzeichnis 96 A. Anhang 97 A.1. Systemarchitektur SfM2BIM 97 A.2. Untersuchung SfM2BIM Parameter 97 / Due to the ongoing digitalization, traditional and well-established processes in the construction industry face lasting transformations. The rising significance of Building Information Modeling (BIM) can be seen as an example for this development. One of the core principles of BIM is the usage of the model throughout the entire life cycle of the building. Therefore, the digital twin can be regarded as one of the central components of the BIM method. Besides of the pure geometry of the building the corresponding model also contains a huge amount of semantic data. Especially in large building complexes constant changes are taking place. Consequently, the model also has to be updated regularly in order to reflect the actual state. These actualizations include both changes in geometry and in the linked technical data. Photogrammetry with its modern measuring and reconstruction techniques like structure from motion can help to facilitate this update process. In order to establish a link between the photogrammetric recorded present state and the nominal state specified by the building model both datasets have to be available in a common reference frame. Usually ground control points are used for registering the photogrammetric results with the building coordinate system. However, using ground control points results in a very labor-intensive registration process. In order to keep the required effort as low as possible this work proposes a novel concept to automatically co-register local image blocks with a digital building model. The procedure makes use of geometric relationships between 3D-linesegments that get extracted from the input images and bounding surfaces that are derived from the building model. At first the captured images are used to extract two-dimensional line patterns. These edges get further processed to 3D line segments based on an orientation estimation using structure from motion. The additionally required bounding surfaces are derived from a building model defined by the Industry Foundation Classes (IFC). The spatial aggregation structures defined in the IFC are used for alleviating the procedure. Two big components form the core piece of the novel approach. On the one hand this is the adjustment calculation for the estimation of transformation parameters using a full Gauß-Helmert-Model and the developed matching algorithm for establishing line-plane-correspondences on the other hand. The so formed correspondences serve as the observation for the adjustment process. During the parameter estimation stochastic information of the observations is completely considered. Therefore, quality predictions can be made upon completion of the registration process. The validation of the developed was conducted using two datasets. The dataset M24 served as primary validation source since the results of the algorithm could be checked under laboratory conditions and compared with results obtained by ground control points. By examine the Eibenstock dataset it could be demonstrated that the procedure also works in practical conditions on a real construction site. For both cases the registration accuracy averages to a few centimeters.:Kurzfassung 3 Abstract 4 1. Einleitung 7 1.1. Photogrammetrie und BIM 7 1.2. Anwendungsbezug und Problemstellung 7 1.3. Zielsetzung und Forschungsfragen 9 1.4. Aufbau der Arbeit 10 2. Grundlagen 12 2.1. Photogrammetrie 12 2.1.1. Structure-from-Motion (SfM) 12 2.1.2. Räumliche Ähnlichkeitstransformation 14 2.2. Building Information Modeling (BIM) 16 2.2.1. Besonderheiten der geometrisch / topologischen Modellierung 18 2.2.2. Industry Foundation Classes (IFC) 19 2.3. Parameterschätzung und Statistik 21 2.3.1. Nicht lineares Gauß-Helmert-Modell mit Restriktionen 21 2.3.2. Random Sample Consensus (RANSAC) 23 2.3.3. Density-Based Spatial Clustering of Applications with Noise (DBSCAN) 24 3. Stand der Forschung 26 4. Automatische Koregistrierung von Bildverbänden 30 4.1. Überblick 30 4.2. Relative Orientierung des Bildverbandes und Extraktion der 3D-Liniensegmente 33 4.2.1. Line3D++ 33 4.2.2. Stochastische Informationen der 3D-Liniensegmente 36 4.3. Ebenenextraktion aus dem digitalen Gebäudemodell 37 4.4. Linien-Ebenen-Matching 42 4.4.1. Aufstellen von Ebenenhypothesen 42 4.4.2. Analyse und Clustern der Normalenvektorhypothesen 43 4.4.3. Erstellung von Minimalkonfigurationen 44 4.5. Berechnung von Näherungswerten für die Transformationsparameter 46 4.6. Implementiertes Ausgleichungsmodell 49 4.6.1. Funktionales Modell 49 4.6.2. Stochastisches Modell 50 4.7. Entscheidungskriterien der kombinatorischen Auswertung 51 5. Validierung der Methoden 56 5.1. Messung Seminarraum M24 HTW Dresden 56 5.1.1. Untersuchung des Einfluss der SfM2BIM -Programmparameter 59 5.1.2. Ergebnisse der Validierung 64 5.2. Messung LTV Eibenstock 71 6. Diskussion der Ergebnisse 81 6.1. Bewertung der erzielten Genauigkeit 81 6.2. Bewertung der Automatisierbarkeit 82 6.3. Bewertung der praktischen Anwendbarkeit 83 6.4. Beantwortung der Forschungsfragen 85 7. Zusammenfassung und Ausblick 88 Literaturverzeichnis 90 Abbildungsverzeichnis 94 Tabellenverzeichnis 96 A. Anhang 97 A.1. Systemarchitektur SfM2BIM 97 A.2. Untersuchung SfM2BIM Parameter 97

Le nuage de points 3D est la donnée obtenue par la majorité des méthodes de numérisation surfacique actuelles. Nous nous intéressons ainsi dans cette thèse à l'utilisation de nuages de points comme unique représentation explicite de surface. Cette thèse présente deux contributions en traitements basés points. La première contribution proposée est une nouvelle méthode de rendu de nuages de points bruts et massifs par opérateurs pyramidaux en espace image. Cette nouvelle méthode s'applique aussi bien à des nuages de points d'objets scannés, que de scènes complexes. La succession d'opérateurs en espace image permet alors de reconstruire en temps réel une surface et d'en estimer des normales, ce qui permet par la suite d'en obtenir un rendu par ombrage. De plus, l'utilisation d'opérateurs pyramidaux en espace image permet d'atteindre des fréquences d'affichage plus élevées d'un ordre de grandeur que l'état de l'art .La deuxième contribution présentée est une nouvelle méthode de simulation numérique en mécanique des fluides en volumes immergés par reconstruction implicite étendue. La méthode proposée se base sur une nouvelle définition de surface implicite par moindres carrés glissants étendue à partir d'un nuage de points. Cette surface est alors utilisée pour définir les conditions aux limites d'un solveur Navier-Stokes par éléments finis en volumes immergés, qui est utilisé pour simuler un écoulement fluide autour de l'objet représenté par le nuage de points. Le solveur est interfacé à un mailleur adaptatif anisotrope qui permet de capturer simultanément la géométrie du nuage de points et l'écoulement à chaque pas de temps de la simulation. / Most surface 3D scanning techniques produce 3D point clouds. This thesis tackles the problem of using points as only explicit surface representation. It presents two contributions in point-based processing. The first contribution is a new raw and massive point cloud screen-space rendering algorithm. This new method can be applied to a wide variety of data from small objects to complex scenes. A sequence of screen-space pyramidal operators is used to reconstruct in real-time a surface and estimate its normals, which are later used to perform deferred shading. In addition, the use of pyramidal operators allows to achieve framerate one order of magnitude higher than state of the art methods. The second proposed contribution is a new immersed boundary computational fluid dynamics method by extended implicit surface reconstruction. The proposed method is based on a new implicit surface definition from a point cloud by extended moving least squares. This surface is then used to define the boundary conditions of a finite-elements immersed boundary transient Navier-Stokes solver, which is used to compute flows around the object sampled by the point cloud. The solver is interfaced with an anisotropic and adaptive meshing algorithm which refines the computational grid around both the geometry defined by point cloud and the flow at each timestep of the simulation.

Dans cette thèse, nous étudions les problèmes de reconstruction statique et dynamique à partir de vues multiples et texturation, en s'appuyant sur des applications réelles et pratiques. Nous proposons trois méthodes de reconstruction destinées à l'estimation d'une représentation d'une scène statique/dynamique à partir d'un ensemble d'images/vidéos. Nous considérons ensuite le problème de texturation multi-vues en se concentrant sur la qualité visuelle de rendu..

The geometrical structure of a tree can consist of thousands, even millions, of branches, twigs and leaves in complex arrangements. The structure contains a lot of useful information and can be used for example to assess a tree's health or calculate parameters such as total wood volume or branch size distribution. Because of the complexity, capturing the structure of an entire tree used to be nearly impossible, but the increased availability and quality of particularly digital cameras and Light Detection and Ranging (LIDAR) instruments is making it increasingly possible. A set of digital images of a tree, or a point cloud of a tree from a LIDAR scan, contains a lot of data, but the information about the tree structure has to be extracted from this data through analysis. This work presents a method of reconstructing 3D models of trees from point clouds. The model is constructed from cylindrical segments which are added one by one. Bayesian inference is used to determine how to optimize the parameters of model segment candidates and whether or not to accept them as part of the model. A Hough transform for finding cylinders in point clouds is presented, and used as a heuristic to guide the proposals of model segment candidates. Previous related works have mainly focused on high density point clouds of sparse trees, whereas the objective of this work was to analyze low resolution point clouds of dense almond trees. The method is evaluated on artificial and real datasets and works rather well on high quality data, but performs poorly on low resolution data with gaps and occlusions.

Ce travail de thèse porte sur la reconstruction et la description des fonctions de distribution d'orientation (ODF) en imagerie de diffusion à haute résolution angulaire (HARDI) telle que l’imagerie par q-ball (QBI). Dans ce domaine, la fonction de distribution d’orientation (ODF) en QBI est largement utilisée pour étudier le problème de configuration complexe des fibres. Toutefois, jusqu’à présent, l’évaluation des caractéristiques ou de la qualité des ODFs reste essentiellement visuelle et qualitative, bien que l’utilisation de quelques mesures objectives de qualité ait également été reportée dans la littérature, qui sont directement empruntées de la théorie classique de traitement du signal et de l’image. En même temps, l’utilisation appropriée de ces mesures pour la classification des configurations des fibres reste toujours un problème. D'autre part, le QBI a souvent besoin d'un nombre important d’acquisitions pour calculer avec précision les ODFs. Ainsi, la réduction du temps d’acquisition des données QBI est un véritable défi. Dans ce contexte, nous avons abordé les problèmes de comment reconstruire des ODFs de haute qualité et évaluer leurs caractéristiques. Nous avons proposé un nouveau paradigme permettant de décrire les caractéristiques des ODFs de manière plus quantitative. Il consiste à regarder un ODF comme un nuage général de points tridimensionnels (3D), projeter ce nuage de points 3D sur un plan angle-distance (ADM), construire une matrice angle-distance (ADMAT), et calculer des caractéristiques morphologiques de l'ODF telles que le rapport de longueurs, la séparabilité et l'incertitude. En particulier, une nouvelle métrique, appelé PEAM (PEAnut Metric) et qui est basée sur le calcul de l'écart des ODFs par rapport à l’ODF (représenté par une forme arachide) d’une seule fibre, a été proposée et utilisée pour classifier des configurations intravoxel des fibres. Plusieurs méthodes de reconstruction des ODFs ont également été comparées en utilisant les paramètres proposés. Les résultats ont montré que les caractéristiques du nuage de points 3D peuvent être évaluées d'une manière relativement complète et quantitative. En ce qui concerne la reconstruction de l'ODF de haute qualité avec des données réduites, nous avons proposé deux méthodes. La première est basée sur une interpolation par triangulation de Delaunay et sur des contraintes imposées à la fois dans l’espace-q et dans l'espace spatial. La deuxième méthode combine l’échantillonnage aléatoire des directions de gradient de diffusion, le compressed sensing, l’augmentation de la densité de ré-échantillonnage, et la reconstruction des signaux de diffusion manquants. Les résultats ont montré que les approches de reconstruction des signaux de diffusion manquants proposées nous permettent d'obtenir des ODFs précis à partir d’un nombre relativement faible de signaux de diffusion. / This thesis concerns the reconstruction and description of orientation distribution functions (ODFs) in high angular resolution diffusion imaging (HARDI) such as q-ball imaging (QBI). QBI is used to analyze more accurately fiber structures (crossing, bending, fanning, etc.) in a voxel. In this field, the ODF reconstructed from QBI is widely used for resolving complex intravoxel fiber configuration problem. However, until now, the assessment of the characteristics or quality of ODFs remains mainly visual and qualitative, although the use of a few objective quality metrics is also reported that are directly borrowed from classical signal and image processing theory. At the same time, although some metrics such as generalized anisotropy (GA) and generalized fractional anisotropy (GFA) have been proposed for classifying intravoxel fiber configurations, the classification of the latters is still a problem. On the other hand, QBI often needs an important number of acquisitions (usually more than 60 directions) to compute accurately ODFs. So, reducing the quantity of QBI data (i.e. shortening acquisition time) while maintaining ODF quality is a real challenge. In this context, we have addressed the problems of how to reconstruct high-quality ODFs and assess their characteristics. We have proposed a new paradigm allowing describing the characteristics of ODFs more quantitatively. It consists of regarding an ODF as a general three-dimensional (3D) point cloud, projecting a 3D point cloud onto an angle-distance map (ADM), constructing an angle-distance matrix (ADMAT), and calculating morphological characteristics of the ODF such as length ratio, separability and uncertainty. In particular, a new metric, called PEAM (PEAnut Metric), which is based on computing the deviation of ODFs from a single fiber ODF represented by a peanut, was proposed and used to classify intravoxel fiber configurations. Several ODF reconstruction methods have also been compared using the proposed metrics. The results showed that the characteristics of 3D point clouds can be well assessed in a relatively complete and quantitative manner. Concerning the reconstruction of high-quality ODFs with reduced data, we have proposed two methods. The first method is based on interpolation by Delaunay triangulation and imposing constraints in both q-space and spatial space. The second method combines random gradient diffusion direction sampling, compressed sensing, resampling density increasing, and missing diffusion signal recovering. The results showed that the proposed missing diffusion signal recovering approaches enable us to obtain accurate ODFs with relatively fewer number of diffusion signals.

L'évaluation de la démarche humaine est l'une des composantes essentielles dans les soins de santé. Les systèmes à base de marqueurs avec plusieurs caméras sont largement utilisés pour faire cette analyse. Cependant, ces systèmes nécessitent généralement des équipements spécifiques à prix élevé et/ou des moyens de calcul intensif. Afin de réduire le coût de ces dispositifs, nous nous concentrons sur un système d'analyse de la marche qui utilise une seule caméra de profondeur. Le principe de notre travail est similaire aux systèmes multi-caméras, mais l'ensemble de caméras est remplacé par un seul capteur de profondeur et des miroirs. Chaque miroir dans notre configuration joue le rôle d'une caméra qui capture la scène sous un point de vue différent. Puisque nous n'utilisons qu'une seule caméra, il est ainsi possible d'éviter l'étape de synchronisation et également de réduire le coût de l'appareillage. Notre thèse peut être divisée en deux sections: reconstruction 3D et analyse de la marche. Le résultat de la première section est utilisé comme entrée de la seconde. Notre système pour la reconstruction 3D est constitué d'une caméra de profondeur et deux miroirs. Deux types de capteurs de profondeur, qui se distinguent sur la base du mécanisme d'estimation de profondeur, ont été utilisés dans nos travaux. Avec la technique de lumière structurée (SL) intégrée dans le capteur Kinect 1, nous effectuons la reconstruction 3D à partir des principes de l'optique géométrique. Pour augmenter le niveau des détails du modèle reconstruit en 3D, la Kinect 2 qui estime la profondeur par temps de vol (ToF), est ensuite utilisée pour l'acquisition d'images. Cependant, en raison de réflections multiples sur les miroirs, il se produit une distorsion de la profondeur dans notre système. Nous proposons donc une approche simple pour réduire cette distorsion avant d'appliquer les techniques d'optique géométrique pour reconstruire un nuage de points de l'objet 3D. Pour l'analyse de la démarche, nous proposons diverses alternatives centrées sur la normalité de la marche et la mesure de sa symétrie. Cela devrait être utile lors de traitements cliniques pour évaluer, par exemple, la récupération du patient après une intervention chirurgicale. Ces méthodes se composent d'approches avec ou sans modèle qui ont des inconvénients et avantages différents. Dans cette thèse, nous présentons 3 méthodes qui traitent directement les nuages de points reconstruits dans la section précédente. La première utilise la corrélation croisée des demi-corps gauche et droit pour évaluer la symétrie de la démarche, tandis que les deux autres methodes utilisent des autoencodeurs issus de l'apprentissage profond pour mesurer la normalité de la démarche. / The problem of assessing human gaits has received a great attention in the literature since gait analysis is one of key components in healthcare. Marker-based and multi-camera systems are widely employed to deal with this problem. However, such systems usually require specific equipments with high price and/or high computational cost. In order to reduce the cost of devices, we focus on a system of gait analysis which employs only one depth sensor. The principle of our work is similar to multi-camera systems, but the collection of cameras is replaced by one depth sensor and mirrors. Each mirror in our setup plays the role of a camera which captures the scene at a different viewpoint. Since we use only one camera, the step of synchronization can thus be avoided and the cost of devices is also reduced. Our studies can be separated into two categories: 3D reconstruction and gait analysis. The result of the former category is used as the input of the latter one. Our system for 3D reconstruction is built with a depth camera and two mirrors. Two types of depth sensor, which are distinguished based on the scheme of depth estimation, have been employed in our works. With the structured light (SL) technique integrated into the Kinect 1, we perform the 3D reconstruction based on geometrical optics. In order to increase the level of details of the 3D reconstructed model, the Kinect 2 with time-of-flight (ToF) depth measurement is used for image acquisition instead of the previous generation. However, due to multiple reflections on the mirrors, depth distortion occurs in our setup. We thus propose a simple approach for reducing such distortion before applying geometrical optics to reconstruct a point cloud of the 3D object. For the task of gait analysis, we propose various alternative approaches focusing on the problem of gait normality/symmetry measurement. They are expected to be useful for clinical treatments such as monitoring patient's recovery after surgery. These methods consist of model-free and model-based approaches that have different cons and pros. In this dissertation, we present 3 methods that directly process point clouds reconstructed from the previous work. The first one uses cross-correlation of left and right half-bodies to assess gait symmetry while the other ones employ deep auto-encoders to measure gait normality.

This thesis is aimed at detection of lines of horizontal road markings from a point cloud, which was obtained using mobile laser mapping. The system works interactively in cooperation with user, which marks the beginning of the traffic line. The program gradually detects the remaining parts of the traffic line and creates its vector representation. Initially, a point cloud is projected into a horizontal plane, crating a 2D image that is segmented by a U-Net convolutional neural network. Segmentation marks one traffic line. Segmentation is converted to a polyline, which can be used in a geo-information system. During testing, the U-Net achieved a segmentation accuracy of 98.8\%, a specificity of 99.5\% and a sensitivity of 72.9\%. The estimated polyline reached an average deviation of 1.8cm.

Tato práce popisuje konstrukci skenovacího systému pro tvorbu trojrozměrných modelů. Kombinace laserového scanneru a robotického manipulátoru tvoří velice flexibilní zařízení schopné snímat jak velké, tak malé a detailní objekty. Zařízení nachází uplatnění v mnoha aplikacích, zejména v lékařství, kde přináší řadu nesporných výhod proti stávajícím systémům. Práce popisuje mechanickou konstrukci zařízení, funkční principy a jeho kalibrační proceduru. Součástí práce je i software pro vizualizaci naměřených dat a jejich zpracování do podoby modelů se stínovaným povrchem. Výsledkem práce je funkční zařízení a rozsáhlý obslužný software.

This thesis describes methods of reconstruction of 3D scenes from photographs and videos using the Structure from motion approach. A new software capable of automatic reconstruction of point clouds and polygonal models from common images and videos was implemented based on these methods. The software uses variety of existing and custom solutions and clearly links them into one easily executable application. The reconstruction consists of feature point detection, pairwise matching, Bundle adjustment, stereoscopic algorithms and polygon model creation from point cloud using PCL library. Program is based on Bundler and PMVS. Poisson surface reconstruction algorithm, as well as simple triangulation and own reconstruction method based on plane segmentation were used for polygonal model creation.

Die vorliegende Arbeit beschäftigt sich mit der Konzeptionierung und Entwicklung eines neuartigen Fahrerassistenzsystems für Nutzfahrzeuge, welches die lichte Höhe von vor dem Fahrzeug befindlichen Hindernissen berechnet und über einen Abgleich mit der einstellbaren Fahrzeughöhe die Passierbarkeit bestimmt. Dabei werden die von einer Monokamera aufgenommenen Bildsequenzen genutzt, um durch indirekte und direkte Rekonstruktionsverfahren ein 3D-Abbild der Fahrumgebung zu erschaffen. Unter Hinzunahme einer Radodometrie-basierten Eigenbewegungsschätzung wird die erstellte 3D-Repräsentation skaliert und eine Prädiktion der longitudinalen und lateralen Fahrzeugbewegung ermittelt. Basierend auf dem vertikalen Höhenplan der Straßenoberfläche, welcher über die Aneinanderreihung mehrerer Ebenen modelliert wird, erfolgt die Klassifizierung des 3D-Raums in Fahruntergrund, Struktur und potentielle Hindernisse. Die innerhalb des Fahrschlauchs liegenden Hindernisse werden hinsichtlich ihrer Entfernung und Höhe bewertet. Ein daraus abgeleitetes Warnkonzept dient der optisch-akustischen Signalisierung des Hindernisses im Kombiinstrument des Fahrzeugs. Erfolgt keine entsprechende Reaktion durch den Fahrer, so wird bei kritischen Hindernishöhen eine Notbremsung durchgeführt. Die geschätzte Eigenbewegung und berechneten Hindernisparameter werden mithilfe von Referenzsensorik bewertet. Dabei kommt eine dGPS-gestützte Inertialplattform sowie ein terrestrischer und mobiler Laserscanner zum Einsatz. Im Rahmen der Arbeit werden verschiedene Umgebungssituationen und Hindernistypen im urbanen und ländlichen Raum untersucht und Aussagen zur Genauigkeit und Zuverlässigkeit des Verfahrens getroffen. Ein wesentlicher Einflussfaktor auf die Dichte und Genauigkeit der 3D-Rekonstruktion ist eine gleichmäßige Umgebungsbeleuchtung innerhalb der Bildsequenzaufnahme. Es wird in diesem Zusammenhang zwingend auf den Einsatz einer Automotive-tauglichen Kamera verwiesen. Die durch die Radodometrie bestimmte Eigenbewegung eignet sich im langsamen Geschwindigkeitsbereich zur Skalierung des 3D-Punktraums. Dieser wiederum sollte durch eine Kombination aus indirektem und direktem Punktrekonstruktionsverfahren erstellt werden. Der indirekte Anteil stützt dabei die Initialisierung des Verfahrens zum Start der Funktion und ermöglicht eine robuste Kameraschätzung. Das direkte Verfahren ermöglicht die Rekonstruktion einer hohen Anzahl an 3D-Punkten auf den Hindernisumrissen, welche zumeist die Unterkante beinhalten. Die Unterkante kann in einer Entfernung bis zu 20 m detektiert und verfolgt werden. Der größte Einflussfaktor auf die Genauigkeit der Berechnung der lichten Höhe von Hindernissen ist die Modellierung des Fahruntergrunds. Zur Reduktion von Ausreißern in der Höhenberechnung eignet sich die Stabilisierung des Verfahrens durch die Nutzung von zeitlich vorher zur Verfügung stehenden Berechnungen. Als weitere Maßnahme zur Stabilisierung wird zudem empfohlen die Hindernisausgabe an den Fahrer und den automatischen Notbremsassistenten mittels einer Hysterese zu stützen. Das hier vorgestellte System eignet sich für Park- und Rangiervorgänge und ist als kostengünstiges Fahrerassistenzsystem interessant für Pkw mit Aufbauten und leichte Nutzfahrzeuge. / The present work deals with the conception and development of a novel advanced driver assistance system for commercial vehicles, which estimates the clearance height of obstacles in front of the vehicle and determines the passability by comparison with the adjustable vehicle height. The image sequences captured by a mono camera are used to create a 3D representation of the driving environment using indirect and direct reconstruction methods. The 3D representation is scaled and a prediction of the longitudinal and lateral movement of the vehicle is determined with the aid of a wheel odometry-based estimation of the vehicle's own movement. Based on the vertical elevation plan of the road surface, which is modelled by attaching several surfaces together, the 3D space is classified into driving surface, structure and potential obstacles. The obstacles within the predicted driving tube are evaluated with regard to their distance and height. A warning concept derived from this serves to visually and acoustically signal the obstacle in the vehicle's instrument cluster. If the driver does not respond accordingly, emergency braking will be applied at critical obstacle heights. The estimated vehicle movement and calculated obstacle parameters are evaluated with the aid of reference sensors. A dGPS-supported inertial measurement unit and a terrestrial as well as a mobile laser scanner are used. Within the scope of the work, different environmental situations and obstacle types in urban and rural areas are investigated and statements on the accuracy and reliability of the implemented function are made. A major factor influencing the density and accuracy of 3D reconstruction is uniform ambient lighting within the image sequence. In this context, the use of an automotive camera is mandatory. The inherent motion determined by wheel odometry is suitable for scaling the 3D point space in the slow speed range. The 3D representation however, should be created by a combination of indirect and direct point reconstruction methods. The indirect part supports the initialization phase of the function and enables a robust camera estimation. The direct method enables the reconstruction of a large number of 3D points on the obstacle outlines, which usually contain the lower edge. The lower edge can be detected and tracked up to 20 m away. The biggest factor influencing the accuracy of the calculation of the clearance height of obstacles is the modelling of the driving surface. To reduce outliers in the height calculation, the method can be stabilized by using calculations from older time steps. As a further stabilization measure, it is also recommended to support the obstacle output to the driver and the automatic emergency brake assistant by means of hysteresis. The system presented here is suitable for parking and maneuvering operations and is interesting as a cost-effective driver assistance system for cars with superstructures and light commercial vehicles.