Registering partial shapes plays an important role in numerous applications in the fields of robotics, vision, and graphics. An essential problem of registration algorithms is the determination of correspondences between surfaces. In this paper, we provide a in-depth evaluation of an approach that computes high-quality correspondences for pair-wise closest point-based iterative registration and compare the results with state-of-the-art registration algorithms. Instead of using a discrete point set for correspondence search, the approach is based on a locally reconstructed continuous moving least squares surface to overcome sampling mismatches in the input shapes. Furthermore, MLS-based correspondences are highly robust to noise. We demonstrate that this strategy outperforms existing approaches in terms of registration accuracy by combining it with the SparseICP local registration algorithm. Our extensive evaluation over several thousand scans from different sources verify that MLS-based approach results in a significant increase in alignment accuracy, surpassing state-of-theart feature-based and probabilistic methods. At the same time, it allows an efficient implementation that introduces only a modest computational overhead.

Registering natural photos to existing 3D surface models, particularly on low-power mobile devices, gathers increasing attention to a variety of application domains. The paper discusses up-to-date computation insights of the technique, condensing available literature and knowledge obtained from experiments across multiple research groups. Challenges like smartphone camera calibration or the sensor-based estimation of location and orientation are current research subjects, for which new data and experimental results are presented. Moreover, computing-related, practical challenges (e.g. device variability) are detailed to increase the technological understanding and reasoning on the limits of mobile devices. An overview of running projects utilising image-to-geometry registration methods shows the potential for mobile devices to, amongst others, improve flood hazard mitigation and hydrocarbon exploration with crowdsourced data.

Ein großes Anwendungsgebiet des Flugzeuglaserscannings ist in Bereichen der Forstwirtschaft und der Forstwissenschaft zu finden. Die Daten dienen flächendeckend zur Ableitung von digitalen Gelände- und Kronenmodellen, aus denen sich die Baumhöhe ableiten lässt. Aufgrund der Aufnahmerichtung aus der Luft lassen sich spezielle bodennahe Baumparameter wie Stammdurchmesser und Kronenansatzhöhe nur durch Modelle schätzen. Der Einsatz terrestrischer Laserscanner bietet auf Grund der hochauflösenden Datenakquisition eine gute Ergänzung zu den Flugzeuglaserscannerdaten. Inventurrelevante Baumparameter wie Brusthöhendurchmesser und Baumhöhe lassen sich ableiten und eine Verdichtung von digitalen Geländemodellen durch die terrestrisch erfassten Daten vornehmen. Aufgrund der dichten, dreidimensionalen Punktwolken ist ein hoher Dokumentationswert gegeben und eine Automatisierung der Ableitung der Geometrieparameter realisierbar. Um den vorhandenen Holzvorrat zu kontrollieren und zu bewirtschaften, werden in periodischen Zeitabständen Forstinventuren auf Stichprobenbasis durchgeführt. Geometrische Baumparameter, wie Baumhöhe, Baumposition und Brusthöhendurchmesser, werden gemessen und dokumentiert. Diese herkömmliche Erfassung ist durch einen hohen Arbeits- und Zeitaufwand gekennzeichnet. Aus diesem Grund wurden im Rahmen dieser Arbeit Algorithmen entwickelt, die eine automatische Ableitung der geometrischen Baumparameter aus terrestrischen Laserscannerpunktwolken ermöglichen. Die Daten haben neben der berührungslosen und lichtunabhängigen Datenaufnahme den Vorteil einer objektiven und schnellen Parameterbestimmung. Letztendlich wurden die Algorithmen in einem Programm zusammengefasst, das neben der Baumdetektion eine Bestimmung der wichtigsten Parameter in einem Schritt realisiert. An Datensätzen von drei verschiedenen Studiengebieten werden die Algorithmen getestet und anhand manuell gewonnener Baumparameter validiert. Aufgrund der natürlich gewachsenen Vegetationsstruktur sind bei Aufnahmen von einem Standpunkt gerade im Kronenraum Abschattungen vorhanden. Durch geeignete Scankonfigurationen können diese Abschattungen minimiert, allerdings nicht vollständig umgangen werden. Zusätzlich ist der Prozess der Registrierung gerade im Wald mit einem zeitlichen Aufwand verbunden. Die größte Schwierigkeit besteht in der effizienten Verteilung der Verknüpfungspunkte bei dichter Bodenvegetation. Deshalb wird ein Ansatz vorgestellt, der eine Registrierung über die berechneten Mittelpunkte der Brusthöhendurchmesser durchführt. Diese Methode verzichtet auf künstliche Verknüpfungspunkte und setzt Mittelpunkte von identischen Stammabschnitten in beiden Datensätzen voraus. Dennoch ist die größte Unsicherheit in der Z-Komponente der Translation zu finden. Eine Methode unter Verwendung der Lage der Baumachsen sowie mit einem identischen Verknüpfungspunkt führt zu besseren Ergebnissen, da die Datensätze an dem homologen Punkt fixiert werden. Anhand eines Studiengebietes werden die Methoden mit den herkömmlichen Registrierungsverfahren über homologe Punkte verglichen und analysiert. Eine Georeferenzierung von terrestrischen Laserscannerpunktwolken von Waldbeständen ist aufgrund der Signalabschattung der Satellitenpositionierungssysteme nur bedingt und mit geringer Genauigkeit möglich. Deshalb wurde ein Ansatz entwickelt, um Flugzeuglaserscannerdaten mit terrestrischen Punktwolken allein über die Kenntnis der Baumposition und des vorliegenden digitalen Geländemodells zu verknüpfen und zusätzlich das Problem der Georeferenzierung zu lösen. Dass ein terrestrischer Laserscanner nicht nur für Forstinventuren gewinnbringend eingesetzt werden kann, wird anhand von drei verschiedenen Beispielen beleuchtet. Neben der Ableitung von statischen Verformungsstrukturen an Einzelbäumen werden beispielsweise auch die Daten zur Bestimmung von Vegetationsmodellen auf Basis von Gitterstrukturen (Voxel) zur Simulation von turbulenten Strömungen in und über Waldbeständen eingesetzt. Das aus Laserscannerdaten abgeleitete Höhenbild einer Rinde führt unter Verwendung von Bildverarbeitungsmethoden (Texturanalyse) zur Klassifizierung der Baumart. Mit dem terrestrischen Laserscanning ist ein interessantes Werkzeug für den Einsatz im Forst gegeben. Bestehende Konzepte der Forstinventur können erweiterte werden und es eröffnen sich neue Felder in forstwirtschaftlichen und forstwissenschaftlichen Anwendungen, wie beispielsweise die Nutzung eines Scanners auf einem Harvester während des Erntevorganges. Mit der stetigen Weiterentwicklung der Laserscannertechnik hinsichtlich Gewicht, Reichweite und Geschwindigkeit wird der Einsatz im Forst immer attraktiver. / An important application field of airborne laser scanning is forestry and the science of forestry. The captured data serve as an area-wide determination of digital terrain and canopy models, with a derived tree height. Due to the nadir recording direction, near-ground tree parameters, such as diameter at breast height (dbh) and crown base height, are predicted using forest models. High resolution terrestrial laser scanner data complements the airborne laser scanner data. Forest inventory parameters, such as dbh and tree height can be derived directly and digital terrain models are created. As a result of the dense three dimensional point clouds captured, a high level of detail exists, and a high degree of automation of the determination of the parameters is possible. To control and manage the existing stock of wood, forest inventories are carried out at periodic time intervals, on the base of sample plots. Geometric tree parameters, such as tree height, tree position and dbh are measured and documented. This conventional data acquisition is characterised by a large amount of work and time. Because of this, algorithms are developed to automatically determine geometric tree parameters from terrestrial laser scanner point clouds. The data acquisition enables an objective and fast determination of parameters, remotely, and independent of light conditions. Finally the majority of the algorithms are combined into a single program, allowing tree detection and the determination of relevant parameters in one step. Three different sample plots are used to test the algorithms. Manually measured tree parameters are also used to validate the algorithms. The natural vegetation structure causes occlusions inside the crown when scanning from one position. These scan shadows can be minimized, though not completely avoided, via an appropriate scan configuration. Additional the registration process in forest scenes is time-consuming. The largest problem is to find a suitable distribution of tie points when dense ground vegetation exists. Therefore an approach is introduced that allows data registration with the determined centre points of the dbh. The method removes the need for artificial tie points. However, the centre points of identical stem sections in both datasets are assumed. Nevertheless the biggest uncertainness is found in the Z co-ordinate of the translation. A method using the tree axes and one homologous tie point, which fixes the datasets, shows better results. The methods are compared and analysed with the traditional registration process with tie points, using a single study area. Georeferencing of terrestrial laser scanner data in forest stands is problematic, due to signal shadowing of global navigation satellite systems. Thus an approach was developed to register airborne and terrestrial laser scanner data, taking the tree positions and the available digital terrain model. With the help of three examples the benefits of applying laser scanning to forest applications is shown. Besides the derivation of static deformation structures of single trees, the data is used to determine vegetation models on the basis of a grid structure (voxel space) for simulation of turbulent flows in and over forest stands. In addition, the derived height image of tree bark using image processing methods (texture analysis) can be used to classify the tree species. Terrestrial laser scanning is a valuable tool for forest applications. Existing inventory concepts can be enlarged, and new fields in forestry and the science of forestry are established, e. g. the application of scanners on a harvester. Terrestrial laser scanners are becoming increasingly important for forestry applications, caused by continuous technological enhancements that reduce the weight, whilst increasing the range and the data rate.

Bildgesteuerte, perkutane Interventionen stellen bei vielen diagnostischen und therapeutischen Fragestellungen eine Alternative zum chirurgischen Vorgehen dar. Hierbei kommen bevorzugt die Sonographie und die Computertomographie (CT) zum Einsatz. Zu den Indikationen für eine gezielte Nutzung der Magnetresonanztomographie (MRT) zählen Befunde, die sich mit anderen Modalitäten nicht ausreichend darstellen lassen, die fehlende Strahlenexposition (CT) sowie Alleinstellungsmerkmale wie der hervorragende native Weichteilkontrast oder die Möglichkeiten zur Darstellung von Temperaturen oder Diffusionsprozessen. Zu den Nachteilen zählen die langen Messzeiten, das starke Magnetfeld sowie die räumliche Enge in den meist röhrenförmigen Geräten, die ein interventionelles Vorgehen oft erschweren. Stereotaktische Führungs- und Navigationshilfen sind kein notwendiger Bestandteil der interventionellen Ausrüstung, ermöglichen jedoch oft eine gezieltere Planung, bessere Visualisierung oder vereinfachte Durchführung, insbesondere gegenüber einer rein kognitiven Einbeziehung der MRT-Informationen. Assistenzsysteme für geschlossene MRT-Geräte sind meist rahmenbasiert und beschränken sich auf bestimmte Regionen, z. B. die Mamma, die Prostata oder das muskuloskelettale System. Diese Arbeit beschreibt hingegen eine leistungsstarke rahmenlose Assistenztechnik (Navigation), die sich praktisch in beliebigen Körperregionen einsetzen lässt. Der Operateur orientiert sich dabei anhand von hochwertigen MRT-Ansichten, die gemäß der in Echtzeit erfassten Nadellage aus einem kurz zuvor erhobenen Referenzdatensatz reformatiert werden. Ausgehend von der Implementierung an einem speziellen offenen MRT-System (0,5 T) werden interventionelle Komponenten und Methoden beschrieben, die erfolgreich auf ein herkömmliches MRT-System (1,5 T) übertragen wurden. Die Einschränkungen des geschlossenen Systems führten dabei zu einer speziellen Registrierungstechnik mit Hilfe einer kompakten, frei positionierbaren Referenzplatte mit resonanten Miniatur-Hochfrequenzspulen (semiaktiv) als MR-Positionsmarker. Im Vordergrund stand die systematische Prüfung der Marker hinsichtlich Signalverhalten und Sicherheit sowie die Zuverlässigkeit und Genauigkeit einer vollautomatischen, bildbasierten 3D-Lokalisation unter experimentellen und klinischen Randbedingungen. Gegenüber herkömmlichen, passiven (Kontrastmittel-) Markern zeichnet sich die semiaktive Technik dadurch aus, dass sie gleichzeitig, auch mehrere, beliebig über das gesamte Messvolumen verteilte Marker, praktisch unabhängig von sämtlichen anatomischen Strukturen lokalisieren kann. Sowohl die Festlegung einer Position (ein Marker) oder einer Ebene (drei Marker) wie auch die navigierte Platzierung einer Nadel zeigten im Experiment ausreichend hohe Genauigkeiten. Auf Basis einer zeitlich optimierten (Subsekunden-) Markerbildgebung konnte experimentell eine robotisch geführte Nadel direkt im MRT bildgebend verfolgt werden, was weitere Anwendungen der Lokalisationstechnik in Aussicht stellt. Navigierte Biopsien an einem Gewebephantom zeigten nach ausschließlich stereotaktischer Positionierung – ohne Kontrollbildgebung – unabhängig vom Erfahrungsgrad der medizinischen Anwender ausreichend hohe Trefferquoten. Gleichzeitig lieferte die Studie wertvolle, auch anwenderspezifische Erkenntnisse über die Bedienbarkeit sowie den Zeitbedarf für einzelne Interventionsschritte. Im Vergleich mit anderen prototypischen oder kommerziellen Systemen zeigte sich die vorgestellte Assistenztechnik – am Beispiel muskuloskelettaler Interventionen – als klinisch flexibel einsetzbar.

Ein großes Anwendungsgebiet des Flugzeuglaserscannings ist in Bereichen der Forstwirtschaft und der Forstwissenschaft zu finden. Die Daten dienen flächendeckend zur Ableitung von digitalen Gelände- und Kronenmodellen, aus denen sich die Baumhöhe ableiten lässt. Aufgrund der Aufnahmerichtung aus der Luft lassen sich spezielle bodennahe Baumparameter wie Stammdurchmesser und Kronenansatzhöhe nur durch Modelle schätzen. Der Einsatz terrestrischer Laserscanner bietet auf Grund der hochauflösenden Datenakquisition eine gute Ergänzung zu den Flugzeuglaserscannerdaten. Inventurrelevante Baumparameter wie Brusthöhendurchmesser und Baumhöhe lassen sich ableiten und eine Verdichtung von digitalen Geländemodellen durch die terrestrisch erfassten Daten vornehmen. Aufgrund der dichten, dreidimensionalen Punktwolken ist ein hoher Dokumentationswert gegeben und eine Automatisierung der Ableitung der Geometrieparameter realisierbar. Um den vorhandenen Holzvorrat zu kontrollieren und zu bewirtschaften, werden in periodischen Zeitabständen Forstinventuren auf Stichprobenbasis durchgeführt. Geometrische Baumparameter, wie Baumhöhe, Baumposition und Brusthöhendurchmesser, werden gemessen und dokumentiert. Diese herkömmliche Erfassung ist durch einen hohen Arbeits- und Zeitaufwand gekennzeichnet. Aus diesem Grund wurden im Rahmen dieser Arbeit Algorithmen entwickelt, die eine automatische Ableitung der geometrischen Baumparameter aus terrestrischen Laserscannerpunktwolken ermöglichen. Die Daten haben neben der berührungslosen und lichtunabhängigen Datenaufnahme den Vorteil einer objektiven und schnellen Parameterbestimmung. Letztendlich wurden die Algorithmen in einem Programm zusammengefasst, das neben der Baumdetektion eine Bestimmung der wichtigsten Parameter in einem Schritt realisiert. An Datensätzen von drei verschiedenen Studiengebieten werden die Algorithmen getestet und anhand manuell gewonnener Baumparameter validiert. Aufgrund der natürlich gewachsenen Vegetationsstruktur sind bei Aufnahmen von einem Standpunkt gerade im Kronenraum Abschattungen vorhanden. Durch geeignete Scankonfigurationen können diese Abschattungen minimiert, allerdings nicht vollständig umgangen werden. Zusätzlich ist der Prozess der Registrierung gerade im Wald mit einem zeitlichen Aufwand verbunden. Die größte Schwierigkeit besteht in der effizienten Verteilung der Verknüpfungspunkte bei dichter Bodenvegetation. Deshalb wird ein Ansatz vorgestellt, der eine Registrierung über die berechneten Mittelpunkte der Brusthöhendurchmesser durchführt. Diese Methode verzichtet auf künstliche Verknüpfungspunkte und setzt Mittelpunkte von identischen Stammabschnitten in beiden Datensätzen voraus. Dennoch ist die größte Unsicherheit in der Z-Komponente der Translation zu finden. Eine Methode unter Verwendung der Lage der Baumachsen sowie mit einem identischen Verknüpfungspunkt führt zu besseren Ergebnissen, da die Datensätze an dem homologen Punkt fixiert werden. Anhand eines Studiengebietes werden die Methoden mit den herkömmlichen Registrierungsverfahren über homologe Punkte verglichen und analysiert. Eine Georeferenzierung von terrestrischen Laserscannerpunktwolken von Waldbeständen ist aufgrund der Signalabschattung der Satellitenpositionierungssysteme nur bedingt und mit geringer Genauigkeit möglich. Deshalb wurde ein Ansatz entwickelt, um Flugzeuglaserscannerdaten mit terrestrischen Punktwolken allein über die Kenntnis der Baumposition und des vorliegenden digitalen Geländemodells zu verknüpfen und zusätzlich das Problem der Georeferenzierung zu lösen. Dass ein terrestrischer Laserscanner nicht nur für Forstinventuren gewinnbringend eingesetzt werden kann, wird anhand von drei verschiedenen Beispielen beleuchtet. Neben der Ableitung von statischen Verformungsstrukturen an Einzelbäumen werden beispielsweise auch die Daten zur Bestimmung von Vegetationsmodellen auf Basis von Gitterstrukturen (Voxel) zur Simulation von turbulenten Strömungen in und über Waldbeständen eingesetzt. Das aus Laserscannerdaten abgeleitete Höhenbild einer Rinde führt unter Verwendung von Bildverarbeitungsmethoden (Texturanalyse) zur Klassifizierung der Baumart. Mit dem terrestrischen Laserscanning ist ein interessantes Werkzeug für den Einsatz im Forst gegeben. Bestehende Konzepte der Forstinventur können erweiterte werden und es eröffnen sich neue Felder in forstwirtschaftlichen und forstwissenschaftlichen Anwendungen, wie beispielsweise die Nutzung eines Scanners auf einem Harvester während des Erntevorganges. Mit der stetigen Weiterentwicklung der Laserscannertechnik hinsichtlich Gewicht, Reichweite und Geschwindigkeit wird der Einsatz im Forst immer attraktiver. / An important application field of airborne laser scanning is forestry and the science of forestry. The captured data serve as an area-wide determination of digital terrain and canopy models, with a derived tree height. Due to the nadir recording direction, near-ground tree parameters, such as diameter at breast height (dbh) and crown base height, are predicted using forest models. High resolution terrestrial laser scanner data complements the airborne laser scanner data. Forest inventory parameters, such as dbh and tree height can be derived directly and digital terrain models are created. As a result of the dense three dimensional point clouds captured, a high level of detail exists, and a high degree of automation of the determination of the parameters is possible. To control and manage the existing stock of wood, forest inventories are carried out at periodic time intervals, on the base of sample plots. Geometric tree parameters, such as tree height, tree position and dbh are measured and documented. This conventional data acquisition is characterised by a large amount of work and time. Because of this, algorithms are developed to automatically determine geometric tree parameters from terrestrial laser scanner point clouds. The data acquisition enables an objective and fast determination of parameters, remotely, and independent of light conditions. Finally the majority of the algorithms are combined into a single program, allowing tree detection and the determination of relevant parameters in one step. Three different sample plots are used to test the algorithms. Manually measured tree parameters are also used to validate the algorithms. The natural vegetation structure causes occlusions inside the crown when scanning from one position. These scan shadows can be minimized, though not completely avoided, via an appropriate scan configuration. Additional the registration process in forest scenes is time-consuming. The largest problem is to find a suitable distribution of tie points when dense ground vegetation exists. Therefore an approach is introduced that allows data registration with the determined centre points of the dbh. The method removes the need for artificial tie points. However, the centre points of identical stem sections in both datasets are assumed. Nevertheless the biggest uncertainness is found in the Z co-ordinate of the translation. A method using the tree axes and one homologous tie point, which fixes the datasets, shows better results. The methods are compared and analysed with the traditional registration process with tie points, using a single study area. Georeferencing of terrestrial laser scanner data in forest stands is problematic, due to signal shadowing of global navigation satellite systems. Thus an approach was developed to register airborne and terrestrial laser scanner data, taking the tree positions and the available digital terrain model. With the help of three examples the benefits of applying laser scanning to forest applications is shown. Besides the derivation of static deformation structures of single trees, the data is used to determine vegetation models on the basis of a grid structure (voxel space) for simulation of turbulent flows in and over forest stands. In addition, the derived height image of tree bark using image processing methods (texture analysis) can be used to classify the tree species. Terrestrial laser scanning is a valuable tool for forest applications. Existing inventory concepts can be enlarged, and new fields in forestry and the science of forestry are established, e. g. the application of scanners on a harvester. Terrestrial laser scanners are becoming increasingly important for forestry applications, caused by continuous technological enhancements that reduce the weight, whilst increasing the range and the data rate.

Die in den letzten Jahrzehnten aufgenommenen Satellitenbilder zur Erdbeobachtung bieten eine ideale Grundlage für eine genaue Langzeitüberwachung und Kartierung der Erdoberfläche und Atmosphäre. Unterschiedliche Sensoreigenschaften verhindern jedoch oft eine synergetische Nutzung. Daher besteht ein dringender Bedarf heterogene Multisensordaten zu kombinieren und als geometrisch und spektral harmonisierte Zeitreihen nutzbar zu machen. Diese Dissertation liefert einen vorwiegend methodischen Beitrag und stellt zwei neu entwickelte Open-Source-Algorithmen zur Sensorfusion vor, die gründlich evaluiert, getestet und validiert werden. AROSICS, ein neuer Algorithmus zur Co-Registrierung und geometrischen Harmonisierung von Multisensor-Daten, ermöglicht eine robuste und automatische Erkennung und Korrektur von Lageverschiebungen und richtet die Daten an einem gemeinsamen Koordinatengitter aus. Der zweite Algorithmus, SpecHomo, wurde entwickelt, um unterschiedliche spektrale Sensorcharakteristika zu vereinheitlichen. Auf Basis von materialspezifischen Regressoren für verschiedene Landbedeckungsklassen ermöglicht er nicht nur höhere Transformationsgenauigkeiten, sondern auch die Abschätzung einseitig fehlender Spektralbänder. Darauf aufbauend wurde in einer dritten Studie untersucht, inwieweit sich die Abschätzung von Brandschäden aus Landsat mittels synthetischer Red-Edge-Bänder und der Verwendung dichter Zeitreihen, ermöglicht durch Sensorfusion, verbessern lässt. Die Ergebnisse zeigen die Effektivität der entwickelten Algorithmen zur Verringerung von Inkonsistenzen bei Multisensor- und Multitemporaldaten sowie den Mehrwert einer geometrischen und spektralen Harmonisierung für nachfolgende Produkte. Synthetische Red-Edge-Bänder erwiesen sich als wertvoll bei der Abschätzung vegetationsbezogener Parameter wie z. B. Brandschweregraden. Zudem zeigt die Arbeit das große Potenzial zur genaueren Überwachung und Kartierung von sich schnell entwickelnden Umweltprozessen, das sich aus einer Sensorfusion ergibt. / Earth observation satellite data acquired in recent years and decades provide an ideal data basis for accurate long-term monitoring and mapping of the Earth's surface and atmosphere. However, the vast diversity of different sensor characteristics often prevents synergetic use. Hence, there is an urgent need to combine heterogeneous multi-sensor data to generate geometrically and spectrally harmonized time series of analysis-ready satellite data. This dissertation provides a mainly methodical contribution by presenting two newly developed, open-source algorithms for sensor fusion, which are both thoroughly evaluated as well as tested and validated in practical applications. AROSICS, a novel algorithm for multi-sensor image co-registration and geometric harmonization, provides a robust and automated detection and correction of positional shifts and aligns the data to a common coordinate grid. The second algorithm, SpecHomo, was developed to unify differing spectral sensor characteristics. It relies on separate material-specific regressors for different land cover classes enabling higher transformation accuracies and the estimation of unilaterally missing spectral bands. Based on these algorithms, a third study investigated the added value of synthesized red edge bands and the use of dense time series, enabled by sensor fusion, for the estimation of burn severity and mapping of fire damage from Landsat. The results illustrate the effectiveness of the developed algorithms to reduce multi-sensor, multi-temporal data inconsistencies and demonstrate the added value of geometric and spectral harmonization for subsequent products. Synthesized red edge information has proven valuable when retrieving vegetation-related parameters such as burn severity. Moreover, using sensor fusion for combining multi-sensor time series was shown to offer great potential for more accurate monitoring and mapping of quickly evolving environmental processes.

Aufgrund der weiter fortschreitenden Digitalisierung verändern sich die seit langer Zeit etablierten Prozesse im Bauwesen. Dies zeigt sich zum Beispiel in der stetig steigenden Bedeutung des Building Information Modelings (BIM). Eine der wesentlichen Grundideen von BIM besteht darin, das zentrale Modell über den gesamten Lebenszyklus des Bauwerks zu verwenden. Das digitale Bauwerksmodell stellt somit eine der zentralen Komponenten der BIM-Methode dar. Neben den rein geometrischen Ausprägungen des Bauwerks werden im Modell auch eine Vielzahl an semantischen Informationen vorgehalten. Da insbesondere bei größeren Bauwerken ein fortlaufender Veränderungsprozess stattfindet, muss das Modell entsprechend aktualisiert werden, um dem tatsächlichen Istzustand zu entsprechen. Diese Aktualisierung betrifft nicht nur Veränderungen in der Geometrie, sondern auch in den verknüpften Sachdaten. Bezüglich der Aktualisierung des Modells kann die Photogrammetrie mit ihren modernen Messverfahren wie zum Beispiel Structure-from-Motion (SfM) und daraus abgeleiteten Punktwolken einen wesentlichen Beitrag zur Datenerfassung des aktuellen Zustands leisten. Für die erfolgreiche Verknüpfung des photogrammetrisch erfassten Istzustands mit dem durch das Modell definierten Sollzustand müssen beide Datentöpfe in einem gemeinsamen Koordinatensystem vorliegen. In der Regel werden zur Registrierung photogrammetrischer Produkte im Bauwerkskoordinatensystem definierte Passpunkte verwendet. Der Registrierprozess über Passpunkte ist jedoch mit einem erheblichen manuellen Aufwand verbunden. Um den Aufwand der Registrierung möglichst gering zu halten, wurde daher in dieser Arbeit ein Konzept entwickelt, das es ermöglicht, kleinräumige Bildverbände und Punktwolken automatisiert mit einem digitalen Bauwerksmodell zu koregistrieren. Das Verfahren nutzt dabei geometrische Beziehungen zwischen aus den Bildern extrahierten 3D-Liniensegmenten und Begrenzungsflächen, die aus dem digitalen Bauwerksmodell gewonnen werden. Die aufgenommenen Bilder des Objektes dienen zu Beginn als Grundlage für die Extraktion von zweidimensionalen Linienstrukturen. Auf Basis eines über SfM durchgeführten Orientierungsprozesses können diese zweidimensionalen Kanten zu einer Rekonstruktion in Form von 3D-Liniensegmenten weiterverarbeitet werden. Die weiterhin benötigten Begrenzungsflächen werden aus einem mit Hilfe der Industry Foundation Classes (IFC) definierten BIM-Modell gewonnen. Das entwickelte Verfahren nutzt dabei auch die von IFC bereitgestellten Möglichkeiten der räumlichen Aggregationshierarchien. Im Zentrum des neuen Koregistrieransatzes stehen zwei große Komponenten. Dies ist einerseits der mittels eines Gauß-Helmert-Modells umgesetze Ausgleichungsvorgang zur Transformationsparameterbestimmung und andererseits der im Vorfeld der Ausgleichung angewandten Matching-Algorithmus zur automatischen Erstellung von Korrespondenzen zwischen den 3D-Liniensegmenten und den Begrenzungsflächen. Die so gebildeten Linien-Ebenen-Paare dienen dann als Beobachtung im Ausgleichungsprozess. Da während der Parameterschätzung eine durchgängige Betrachtung der stochastischen Informationen der Beobachtungen erfolgt, ist am Ende des Registrierprozesses eine Qualitätsaussage zu den berechneten Transformationsparametern möglich. Die Validierung des entwickelten Verfahrens erfolgt an zwei Datensätzen. Der Datensatz M24 diente dabei zum Nachweis der Funktionsfähigkeit unter Laborbedingungen. Über den Datensatz Eibenstock konnte zudem nachgewiesen werden, dass das Verfahren auch in praxisnahen Umgebungen auf einer realen Baustelle zum Einsatz kommen kann. Für beide Fälle konnte eine gute Registriergenauigkeit im Bereich weniger Zentimeter nachgewiesen werden.:Kurzfassung 3 Abstract 4 1. Einleitung 7 1.1. Photogrammetrie und BIM 7 1.2. Anwendungsbezug und Problemstellung 7 1.3. Zielsetzung und Forschungsfragen 9 1.4. Aufbau der Arbeit 10 2. Grundlagen 12 2.1. Photogrammetrie 12 2.1.1. Structure-from-Motion (SfM) 12 2.1.2. Räumliche Ähnlichkeitstransformation 14 2.2. Building Information Modeling (BIM) 16 2.2.1. Besonderheiten der geometrisch / topologischen Modellierung 18 2.2.2. Industry Foundation Classes (IFC) 19 2.3. Parameterschätzung und Statistik 21 2.3.1. Nicht lineares Gauß-Helmert-Modell mit Restriktionen 21 2.3.2. Random Sample Consensus (RANSAC) 23 2.3.3. Density-Based Spatial Clustering of Applications with Noise (DBSCAN) 24 3. Stand der Forschung 26 4. Automatische Koregistrierung von Bildverbänden 30 4.1. Überblick 30 4.2. Relative Orientierung des Bildverbandes und Extraktion der 3D-Liniensegmente 33 4.2.1. Line3D++ 33 4.2.2. Stochastische Informationen der 3D-Liniensegmente 36 4.3. Ebenenextraktion aus dem digitalen Gebäudemodell 37 4.4. Linien-Ebenen-Matching 42 4.4.1. Aufstellen von Ebenenhypothesen 42 4.4.2. Analyse und Clustern der Normalenvektorhypothesen 43 4.4.3. Erstellung von Minimalkonfigurationen 44 4.5. Berechnung von Näherungswerten für die Transformationsparameter 46 4.6. Implementiertes Ausgleichungsmodell 49 4.6.1. Funktionales Modell 49 4.6.2. Stochastisches Modell 50 4.7. Entscheidungskriterien der kombinatorischen Auswertung 51 5. Validierung der Methoden 56 5.1. Messung Seminarraum M24 HTW Dresden 56 5.1.1. Untersuchung des Einfluss der SfM2BIM -Programmparameter 59 5.1.2. Ergebnisse der Validierung 64 5.2. Messung LTV Eibenstock 71 6. Diskussion der Ergebnisse 81 6.1. Bewertung der erzielten Genauigkeit 81 6.2. Bewertung der Automatisierbarkeit 82 6.3. Bewertung der praktischen Anwendbarkeit 83 6.4. Beantwortung der Forschungsfragen 85 7. Zusammenfassung und Ausblick 88 Literaturverzeichnis 90 Abbildungsverzeichnis 94 Tabellenverzeichnis 96 A. Anhang 97 A.1. Systemarchitektur SfM2BIM 97 A.2. Untersuchung SfM2BIM Parameter 97 / Due to the ongoing digitalization, traditional and well-established processes in the construction industry face lasting transformations. The rising significance of Building Information Modeling (BIM) can be seen as an example for this development. One of the core principles of BIM is the usage of the model throughout the entire life cycle of the building. Therefore, the digital twin can be regarded as one of the central components of the BIM method. Besides of the pure geometry of the building the corresponding model also contains a huge amount of semantic data. Especially in large building complexes constant changes are taking place. Consequently, the model also has to be updated regularly in order to reflect the actual state. These actualizations include both changes in geometry and in the linked technical data. Photogrammetry with its modern measuring and reconstruction techniques like structure from motion can help to facilitate this update process. In order to establish a link between the photogrammetric recorded present state and the nominal state specified by the building model both datasets have to be available in a common reference frame. Usually ground control points are used for registering the photogrammetric results with the building coordinate system. However, using ground control points results in a very labor-intensive registration process. In order to keep the required effort as low as possible this work proposes a novel concept to automatically co-register local image blocks with a digital building model. The procedure makes use of geometric relationships between 3D-linesegments that get extracted from the input images and bounding surfaces that are derived from the building model. At first the captured images are used to extract two-dimensional line patterns. These edges get further processed to 3D line segments based on an orientation estimation using structure from motion. The additionally required bounding surfaces are derived from a building model defined by the Industry Foundation Classes (IFC). The spatial aggregation structures defined in the IFC are used for alleviating the procedure. Two big components form the core piece of the novel approach. On the one hand this is the adjustment calculation for the estimation of transformation parameters using a full Gauß-Helmert-Model and the developed matching algorithm for establishing line-plane-correspondences on the other hand. The so formed correspondences serve as the observation for the adjustment process. During the parameter estimation stochastic information of the observations is completely considered. Therefore, quality predictions can be made upon completion of the registration process. The validation of the developed was conducted using two datasets. The dataset M24 served as primary validation source since the results of the algorithm could be checked under laboratory conditions and compared with results obtained by ground control points. By examine the Eibenstock dataset it could be demonstrated that the procedure also works in practical conditions on a real construction site. For both cases the registration accuracy averages to a few centimeters.:Kurzfassung 3 Abstract 4 1. Einleitung 7 1.1. Photogrammetrie und BIM 7 1.2. Anwendungsbezug und Problemstellung 7 1.3. Zielsetzung und Forschungsfragen 9 1.4. Aufbau der Arbeit 10 2. Grundlagen 12 2.1. Photogrammetrie 12 2.1.1. Structure-from-Motion (SfM) 12 2.1.2. Räumliche Ähnlichkeitstransformation 14 2.2. Building Information Modeling (BIM) 16 2.2.1. Besonderheiten der geometrisch / topologischen Modellierung 18 2.2.2. Industry Foundation Classes (IFC) 19 2.3. Parameterschätzung und Statistik 21 2.3.1. Nicht lineares Gauß-Helmert-Modell mit Restriktionen 21 2.3.2. Random Sample Consensus (RANSAC) 23 2.3.3. Density-Based Spatial Clustering of Applications with Noise (DBSCAN) 24 3. Stand der Forschung 26 4. Automatische Koregistrierung von Bildverbänden 30 4.1. Überblick 30 4.2. Relative Orientierung des Bildverbandes und Extraktion der 3D-Liniensegmente 33 4.2.1. Line3D++ 33 4.2.2. Stochastische Informationen der 3D-Liniensegmente 36 4.3. Ebenenextraktion aus dem digitalen Gebäudemodell 37 4.4. Linien-Ebenen-Matching 42 4.4.1. Aufstellen von Ebenenhypothesen 42 4.4.2. Analyse und Clustern der Normalenvektorhypothesen 43 4.4.3. Erstellung von Minimalkonfigurationen 44 4.5. Berechnung von Näherungswerten für die Transformationsparameter 46 4.6. Implementiertes Ausgleichungsmodell 49 4.6.1. Funktionales Modell 49 4.6.2. Stochastisches Modell 50 4.7. Entscheidungskriterien der kombinatorischen Auswertung 51 5. Validierung der Methoden 56 5.1. Messung Seminarraum M24 HTW Dresden 56 5.1.1. Untersuchung des Einfluss der SfM2BIM -Programmparameter 59 5.1.2. Ergebnisse der Validierung 64 5.2. Messung LTV Eibenstock 71 6. Diskussion der Ergebnisse 81 6.1. Bewertung der erzielten Genauigkeit 81 6.2. Bewertung der Automatisierbarkeit 82 6.3. Bewertung der praktischen Anwendbarkeit 83 6.4. Beantwortung der Forschungsfragen 85 7. Zusammenfassung und Ausblick 88 Literaturverzeichnis 90 Abbildungsverzeichnis 94 Tabellenverzeichnis 96 A. Anhang 97 A.1. Systemarchitektur SfM2BIM 97 A.2. Untersuchung SfM2BIM Parameter 97

Die Objekterkennung ist ein natürlicher Prozess im Menschlichen Gehirn. Sie ndet im visuellen Kortex statt und nutzt die binokulare Eigenschaft der Augen, die eine drei- dimensionale Interpretation von Objekten in einer Szene erlaubt. Kameras ahmen das menschliche Auge nach. Bilder von zwei Kameras, in einem Stereokamerasystem, werden von Algorithmen für eine automatische, dreidimensionale Interpretation von Objekten in einer Szene benutzt. Die Entwicklung von Hard- und Software verbessern den maschinellen Prozess der Objek- terkennung und erreicht qualitativ immer mehr die Fähigkeiten des menschlichen Gehirns. Das Hauptziel dieses Forschungsfeldes ist die Entwicklung von robusten Algorithmen für die Szeneninterpretation. Sehr viel Aufwand wurde in den letzten Jahren in der zweidimen- sionale Objekterkennung betrieben, im Gegensatz zur Forschung zur dreidimensionalen Erkennung. Im Rahmen dieser Arbeit soll demnach die dreidimensionale Objekterkennung weiterent- wickelt werden: hin zu einer besseren Interpretation und einem besseren Verstehen von sichtbarer Realität wie auch der Beziehung zwischen Objekten in einer Szene. In den letzten Jahren aufkommende low-cost Verbrauchersensoren, wie die Microsoft Kinect, generieren Farb- und Tiefendaten einer Szene, um menschenähnliche visuelle Daten zu generieren. Das Ziel hier ist zu zeigen, wie diese Daten benutzt werden können, um eine neue Klasse von dreidimensionalen Objekterkennungsalgorithmen zu entwickeln - analog zur Verarbeitung im menschlichen Gehirn. / Object recognition is a natural process of the human brain performed in the visual cor- tex and relies on a binocular depth perception system that renders a three-dimensional representation of the objects in a scene. Hitherto, computer and software systems are been used to simulate the perception of three-dimensional environments with the aid of sensors to capture real-time images. In the process, such images are used as input data for further analysis and development of algorithms, an essential ingredient for simulating the complexity of human vision, so as to achieve scene interpretation for object recognition, similar to the way the human brain perceives it. The rapid pace of technological advancements in hardware and software, are continuously bringing the machine-based process for object recognition nearer to the inhuman vision prototype. The key in this eld, is the development of algorithms in order to achieve robust scene interpretation. A lot of recognisable and signi cant e ort has been successfully carried out over the years in 2D object recognition, as opposed to 3D. It is therefore, within this context and scope of this dissertation, to contribute towards the enhancement of 3D object recognition; a better interpretation and understanding of reality and the relationship between objects in a scene. Through the use and application of low-cost commodity sensors, such as Microsoft Kinect, RGB and depth data of a scene have been retrieved and manipulated in order to generate human-like visual perception data. The goal herein is to show how RGB and depth information can be utilised in order to develop a new class of 3D object recognition algorithms, analogous to the perception processed by the human brain.