The term global climate change is omnipresent since the beginning of the last decade. Changes in the global climate are associated with an increase in heavy rainfalls that can cause nearly unpredictable flash floods. Consequently, spatio-temporally high-resolution monitoring of rivers becomes increasingly important. Water gauging stations continuously and precisely measure water levels. However, they are rather expensive in purchase and maintenance and are preferably installed at water bodies relevant for water management. Small-scale catchments remain often ungauged. In order to increase the data density of hydrometric monitoring networks and thus to improve the prediction quality of flood events, new, flexible and cost-effective water level measurement technologies are required. They should be oriented towards the accuracy requirements of conventional measurement systems and facilitate the observation of water levels at virtually any time, even at the smallest rivers. A possible solution is the development of a photogrammetric smartphone application (app) for crowdsourcing water levels, which merely requires voluntary users to take pictures of a river section to determine the water level. Today’s smartphones integrate high-resolution cameras, a variety of sensors, powerful processors, and mass storage. However, they are designed for the mass market and use low-cost hardware that cannot comply with the quality of geodetic measurement technology. In order to investigate the potential for mobile measurement applications, research was conducted on the smartphone as a photogrammetric measurement instrument as part of the doctoral project. The studies deal with the geometric stability of smartphone cameras regarding device-internal temperature changes and with the accuracy potential of rotation parameters measured with smartphone sensors. The results show a high, temperature-related variability of the interior orientation parameters, which is why the calibration of the camera should be carried out during the immediate measurement. The results of the sensor investigations show considerable inaccuracies when measuring rotation parameters, especially the compass angle (errors up to 90° were observed). The same applies to position parameters measured by global navigation satellite system (GNSS) receivers built into smartphones. According to the literature, positional accuracies of about 5 m are possible in best conditions. Otherwise, errors of several 10 m are to be expected. As a result, direct georeferencing of image measurements using current smartphone technology should be discouraged. In consideration of the results, the water gauging app Open Water Levels (OWL) was developed, whose methodological development and implementation constituted the core of the thesis project. OWL enables the flexible measurement of water levels via crowdsourcing without requiring additional equipment or being limited to specific river sections. Data acquisition and processing take place directly in the field, so that the water level information is immediately available. In practice, the user captures a short time-lapse sequence of a river bank with OWL, which is used to calculate a spatio-temporal texture that enables the detection of the water line. In order to translate the image measurement into 3D object space, a synthetic, photo-realistic image of the situation is created from existing 3D data of the river section to be investigated. Necessary approximations of the image orientation parameters are measured by smartphone sensors and GNSS. The assignment of camera image and synthetic image allows for the determination of the interior and exterior orientation parameters by means of space resection and finally the transfer of the image-measured 2D water line into the 3D object space to derive the prevalent water level in the reference system of the 3D data. In comparison with conventionally measured water levels, OWL reveals an accuracy potential of 2 cm on average, provided that synthetic image and camera image exhibit consistent image contents and that the water line can be reliably detected. In the present dissertation, related geometric and radiometric problems are comprehensively discussed. Furthermore, possible solutions, based on advancing developments in smartphone technology and image processing as well as the increasing availability of 3D reference data, are presented in the synthesis of the work. The app Open Water Levels, which is currently available as a beta version and has been tested on selected devices, provides a basis, which, with continuous further development, aims to achieve a final release for crowdsourcing water levels towards the establishment of new and the expansion of existing monitoring networks. / Der Begriff des globalen Klimawandels ist seit Beginn des letzten Jahrzehnts allgegenwärtig. Die Veränderung des Weltklimas ist mit einer Zunahme von Starkregenereignissen verbunden, die nahezu unvorhersehbare Sturzfluten verursachen können. Folglich gewinnt die raumzeitlich hochaufgelöste Überwachung von Fließgewässern zunehmend an Bedeutung. Pegelmessstationen erfassen kontinuierlich und präzise Wasserstände, sind jedoch in Anschaffung und Wartung sehr teuer und werden vorzugsweise an wasserwirtschaftlich-relevanten Gewässern installiert. Kleinere Gewässer bleiben häufig unbeobachtet. Um die Datendichte hydrometrischer Messnetze zu erhöhen und somit die Vorhersagequalität von Hochwasserereignissen zu verbessern, sind neue, kostengünstige und flexibel einsetzbare Wasserstandsmesstechnologien erforderlich. Diese sollten sich an den Genauigkeitsanforderungen konventioneller Messsysteme orientieren und die Beobachtung von Wasserständen zu praktisch jedem Zeitpunkt, selbst an den kleinsten Flüssen, ermöglichen. Ein Lösungsvorschlag ist die Entwicklung einer photogrammetrischen Smartphone-Anwendung (App) zum Crowdsourcing von Wasserständen mit welcher freiwillige Nutzer lediglich Bilder eines Flussabschnitts aufnehmen müssen, um daraus den Wasserstand zu bestimmen. Heutige Smartphones integrieren hochauflösende Kameras, eine Vielzahl von Sensoren, leistungsfähige Prozessoren und Massenspeicher. Sie sind jedoch für den Massenmarkt konzipiert und verwenden kostengünstige Hardware, die nicht der Qualität geodätischer Messtechnik entsprechen kann. Um das Einsatzpotential in mobilen Messanwendungen zu eruieren, sind Untersuchungen zum Smartphone als photogrammetrisches Messinstrument im Rahmen des Promotionsprojekts durchgeführt worden. Die Studien befassen sich mit der geometrischen Stabilität von Smartphone-Kameras bezüglich geräteinterner Temperaturänderungen und mit dem Genauigkeitspotential von mit Smartphone-Sensoren gemessenen Rotationsparametern. Die Ergebnisse zeigen eine starke, temperaturbedingte Variabilität der inneren Orientierungsparameter, weshalb die Kalibrierung der Kamera zum unmittelbaren Messzeitpunkt erfolgen sollte. Die Ergebnisse der Sensoruntersuchungen zeigen große Ungenauigkeiten bei der Messung der Rotationsparameter, insbesondere des Kompasswinkels (Fehler von bis zu 90° festgestellt). Selbiges gilt auch für Positionsparameter, gemessen durch in Smartphones eingebaute Empfänger für Signale globaler Navigationssatellitensysteme (GNSS). Wie aus der Literatur zu entnehmen ist, lassen sich unter besten Bedingungen Lagegenauigkeiten von etwa 5 m erreichen. Abseits davon sind Fehler von mehreren 10 m zu erwarten. Infolgedessen ist von einer direkten Georeferenzierung von Bildmessungen mittels aktueller Smartphone-Technologie abzusehen. Unter Berücksichtigung der gewonnenen Erkenntnisse wurde die Pegel-App Open Water Levels (OWL) entwickelt, deren methodische Entwicklung und Implementierung den Kern der Arbeit bildete. OWL ermöglicht die flexible Messung von Wasserständen via Crowdsourcing, ohne dabei zusätzliche Ausrüstung zu verlangen oder auf spezifische Flussabschnitte beschränkt zu sein. Datenaufnahme und Verarbeitung erfolgen direkt im Feld, so dass die Pegelinformationen sofort verfügbar sind. Praktisch nimmt der Anwender mit OWL eine kurze Zeitraffersequenz eines Flussufers auf, die zur Berechnung einer Raum-Zeit-Textur dient und die Erkennung der Wasserlinie ermöglicht. Zur Übersetzung der Bildmessung in den 3D-Objektraum wird aus vorhandenen 3D-Daten des zu untersuchenden Flussabschnittes ein synthetisches, photorealistisches Abbild der Aufnahmesituation erstellt. Erforderliche Näherungen der Bildorientierungsparameter werden von Smartphone-Sensoren und GNSS gemessen. Die Zuordnung von Kamerabild und synthetischem Bild erlaubt die Bestimmung der inneren und äußeren Orientierungsparameter mittels räumlichen Rückwärtsschnitt. Nach Rekonstruktion der Aufnahmesituation lässt sich die im Bild gemessene 2D-Wasserlinie in den 3D-Objektraum projizieren und der vorherrschende Wasserstand im Referenzsystem der 3D-Daten ableiten. Im Soll-Ist-Vergleich mit konventionell gemessenen Pegeldaten zeigt OWL ein erreichbares Genauigkeitspotential von durchschnittlich 2 cm, insofern synthetisches und reales Kamerabild einen möglichst konsistenten Bildinhalt aufweisen und die Wasserlinie zuverlässig detektiert werden kann. In der vorliegenden Dissertation werden damit verbundene geometrische und radiometrische Probleme ausführlich diskutiert sowie Lösungsansätze, auf der Basis fortschreitender Entwicklungen von Smartphone-Technologie und Bildverarbeitung sowie der zunehmenden Verfügbarkeit von 3D-Referenzdaten, in der Synthese der Arbeit vorgestellt. Mit der gegenwärtig als Betaversion vorliegenden und auf ausgewählten Geräten getesteten App Open Water Levels wurde eine Basis geschaffen, die mit kontinuierlicher Weiterentwicklung eine finale Freigabe für das Crowdsourcing von Wasserständen und damit den Aufbau neuer und die Erweiterung bestehender Monitoring-Netzwerke anstrebt.

Registering natural photos to existing 3D surface models, particularly on low-power mobile devices, gathers increasing attention to a variety of application domains. The paper discusses up-to-date computation insights of the technique, condensing available literature and knowledge obtained from experiments across multiple research groups. Challenges like smartphone camera calibration or the sensor-based estimation of location and orientation are current research subjects, for which new data and experimental results are presented. Moreover, computing-related, practical challenges (e.g. device variability) are detailed to increase the technological understanding and reasoning on the limits of mobile devices. An overview of running projects utilising image-to-geometry registration methods shows the potential for mobile devices to, amongst others, improve flood hazard mitigation and hydrocarbon exploration with crowdsourced data.

Airborne Laserbathymetrie stellt eine effiziente und flächenhafte Messmethode für die Erfassung der sich ständig im Wandel befindlichen Gewässersohlen von Inlandgewässern und küstennahen Flachwasserbereichen dar. Bei diesem Verfahren wird ein kurzer grüner Laserpuls ausgesandt, welcher mit allen Objekten entlang des Laserpulspfades interagiert (z.B. Wasseroberfläche und Gewässerboden). Die zum Sensor zurückgestreuten Laserpulsanteile (Echos) werden in einem zeitlich hochaufgelösten Messsignal (Full-Waveform) digitalisiert und gespeichert. Allerdings ist das Messverfahren aufgrund von Gewässertrübung in seiner Eindringtiefe in den Wasserkörper limitiert. Die Gewässerbodenechos werden bei zunehmender Gewässertiefe schwächer, bis sie nicht mehr zuverlässig detektierbar sind. Diese Arbeit zeigt, wie mit neuartigen Methoden schwache Gewässerbodenechos in Full-Waveforms detektiert werden können, welche durch die Standardauswerteverfahren nicht mehr berücksichtigt werden. Im Kernstück der Arbeit werden zwei Verfahren vorgestellt, die auf einer gemeinsamen Auswertung dicht benachbarter Messdaten basieren. Unter der Annahme eines stetigen Gewässerbodens mit geringer bis moderater Geländeneigung führt die Zusammenfassung mehrerer Full-Waveforms zu einer Verbesserung des Signal/Rausch-Verhältnisses und einer Verstärkung von schwachen Gewässerbodenechos, welche folglich zuverlässiger detektiert werden können. Die Ergebnisse zeigen eine erhebliche Erhöhung der auswertbaren Gewässertiefe (bis zu +30 %), wodurch eine deutlich größere Fläche des Gewässerbodens abgedeckt werden konnte (Flächenzuwachs von bis zu +113 %). In umfassenden Analysen der Ergebnisse konnte nachgewiesen werden, dass die hinzugewonnenen Gewässerbodenpunkte eine gute Repräsentation des Gewässerbodens darstellen. Somit leisten die in dieser Arbeit entwickelten Verfahren einen wertvollen Beitrag zur Steigerung der eingangs beschriebenen Effizienz der Airborne Laserbathymetrie.:Kurzfassung Abstract 1 Einleitung 1.1 Motivation 1.2 Ziele der Dissertation 1.3 Aufbau der Arbeit 2 Einführung in bathymetrische Messverfahren 2.1 Hydrographie und Bathymetrie 2.2 Airborne LiDAR Bathymetrie 2.2.1 Grundlagen Airborne Laserscanning 2.2.2 Der Pfad des Laserpulses 2.2.3 Fehlereinflüsse 2.3 Die Full-Waveform 2.3.1 Aufbau und Merkmale einer Full-Waveform 2.3.2 Systemwaveform 2.3.3 Full-Waveform Auswerteverfahren 2.4 Hydroakustische Messverfahren 2.4.1 Messprinzip 2.4.2 Echolot Varianten 2.4.3 Fehlereinflüsse 3 Nichtlineare Full-Waveform Stacking-Verfahren zur Detektion und Extraktion von Gewässerbodenpunkten – Beitrag 1, Beitrag 2, Beitrag 3 3.1 Signalbasiertes nichtlineares Full-Waveform Stacking 3.2 Volumetrisches nichtlineares Ortho-Full-Waveform Stacking 4 Anwendung von nichtlinearen Full-Waveform Stacking-Methoden auf maritime Gewässer – Beitrag 4 4.1 Studiengebiet in der Nordsee 4.2 Datengrundlage 4.3 Erste Ergebnisse einer Pilotstudie in küstennahen Bereichen der Nordsee 4.4 Untersuchungsgebiet 4.5 Klassifikation der Wasseroberflächenpunkte 4.6 Visualisierung der Ergebnisse 4.7 Genauigkeit und Zuverlässigkeit 4.8 Mehrwert der Verfahren 5 Potential der Full-Waveform Stacking-Methoden zur Ableitung der Gewässertrübung – Beitrag 5 6 Diskussion und weiterführende Arbeiten 6.1 Geometrische Modellierung der Laserpulsausbreitung 6.2 Einfluss der Gewässereigenschaften auf die Gewässerbodenbestimmung 6.3 Unterschätzung der Wasseroberfläche 6.4 Nutzung von Gewässertrübungsinformation für die Beurteilung der Zuverlässigkeit der Gewässertiefenbestimmung 6.5 Auswirkung der Nachbarschaftsdefinition beim signalbasiertem Full-Waveform Stacking 6.6 Gegenüberstellung signalbasiertes und volumetrisches Full-Waveform Stacking 6.7 Erweiterung des Full-Waveform Stackings mit dem Multi-Layer-Ansatz 7 Fazit der Dissertation 7.1 Zusammenfassung 7.2 Einordnung der Dissertation 7.3 Mehrwert der Dissertation Literaturverzeichnis Abbildungsverzeichnis Tabellenverzeichnis Symbolverzeichnis Abkürzungsverzeichnis / Airborne laser bathymetry is an efficient and area-wide measurement method for the detection of the permanently changing water bottoms of inland waters and shallow water areas close to the coast. In this method, a short green laser pulse is emitted, which interacts with all objects along the laser pulse path (e.g. water surface and bottom). The backscattered laser pulse components (echoes) are digitized and stored in a high temporal resolution measurement signal (full-waveform). However, the measurement method is limited in its penetration depth into the water body due to water turbidity. The water bottom echoes become weaker as the water depth increases until they are no longer reliably detectable. This work shows how novel methods can be used to detect weak water bottom echoes in full-waveforms that are no longer accounted for by standard processing methods. In the core of the work, two methods are presented which are based on a joint evaluation of closely adjacent measurement data. Under the assumption of a steady water bottom with low to moderate slope, the combination of several full-waveforms leads to an improvement of the signal-to-noise ratio and an enhancement of weak water bottom echoes, which consequently can be detected more reliably. The results show a significant increase in the analyzable water depth (up to +30 %), allowing a much larger area of the water bottom to be covered (increase up to +113 %). Comprehensive analyses of the results proved that the added water bottom points are a good representation of the water bottom. Thus, the methods developed in this work constitute a valuable contribution to increase the efficiency of airborne laser bathymetry described at the beginning.:Kurzfassung Abstract 1 Einleitung 1.1 Motivation 1.2 Ziele der Dissertation 1.3 Aufbau der Arbeit 2 Einführung in bathymetrische Messverfahren 2.1 Hydrographie und Bathymetrie 2.2 Airborne LiDAR Bathymetrie 2.2.1 Grundlagen Airborne Laserscanning 2.2.2 Der Pfad des Laserpulses 2.2.3 Fehlereinflüsse 2.3 Die Full-Waveform 2.3.1 Aufbau und Merkmale einer Full-Waveform 2.3.2 Systemwaveform 2.3.3 Full-Waveform Auswerteverfahren 2.4 Hydroakustische Messverfahren 2.4.1 Messprinzip 2.4.2 Echolot Varianten 2.4.3 Fehlereinflüsse 3 Nichtlineare Full-Waveform Stacking-Verfahren zur Detektion und Extraktion von Gewässerbodenpunkten – Beitrag 1, Beitrag 2, Beitrag 3 3.1 Signalbasiertes nichtlineares Full-Waveform Stacking 3.2 Volumetrisches nichtlineares Ortho-Full-Waveform Stacking 4 Anwendung von nichtlinearen Full-Waveform Stacking-Methoden auf maritime Gewässer – Beitrag 4 4.1 Studiengebiet in der Nordsee 4.2 Datengrundlage 4.3 Erste Ergebnisse einer Pilotstudie in küstennahen Bereichen der Nordsee 4.4 Untersuchungsgebiet 4.5 Klassifikation der Wasseroberflächenpunkte 4.6 Visualisierung der Ergebnisse 4.7 Genauigkeit und Zuverlässigkeit 4.8 Mehrwert der Verfahren 5 Potential der Full-Waveform Stacking-Methoden zur Ableitung der Gewässertrübung – Beitrag 5 6 Diskussion und weiterführende Arbeiten 6.1 Geometrische Modellierung der Laserpulsausbreitung 6.2 Einfluss der Gewässereigenschaften auf die Gewässerbodenbestimmung 6.3 Unterschätzung der Wasseroberfläche 6.4 Nutzung von Gewässertrübungsinformation für die Beurteilung der Zuverlässigkeit der Gewässertiefenbestimmung 6.5 Auswirkung der Nachbarschaftsdefinition beim signalbasiertem Full-Waveform Stacking 6.6 Gegenüberstellung signalbasiertes und volumetrisches Full-Waveform Stacking 6.7 Erweiterung des Full-Waveform Stackings mit dem Multi-Layer-Ansatz 7 Fazit der Dissertation 7.1 Zusammenfassung 7.2 Einordnung der Dissertation 7.3 Mehrwert der Dissertation Literaturverzeichnis Abbildungsverzeichnis Tabellenverzeichnis Symbolverzeichnis Abkürzungsverzeichnis

Mit der Einführung hochautomatisierter Assistenzfunktionen soll Fahrzeugführern in naher Zukunft eine Abwendung von der Fahraufgabe ermöglicht werden. Neben der Steigerung des individuellen Komforts besteht die Erwartung an eine gleichzeitig erhöhte oder zumindest vergleichbare Sicherheitsbilanz im weiterhin öffentlichen Straßenverkehr. Um eine langfristige, systemische Verantwortungsübernahme zur Verkehrsbeobachtung und Reaktion zu realisieren, muss die durchgängige Beherrschbarkeit erwartbarer Situationen ohne Fahrereingriff in der ausgewiesenen Betriebsdomäne sichergestellt werden. Für die Motor- und Bremsenansteuerung des Egofahrzeugs ist dabei die Erfassung und Auswahl relevanter Verkehrsteilnehmer eine entscheidende Herausforderung - insbesondere bei Einschermanövern in die eigene Spur. Sie kann je nach Kritikalität der eintretenden Situation und in Abhängigkeit von der Reaktionsfähigkeit zur Kollision führen. Den technisch-sicherheitsrelevanten Anforderungen zur Realisierung einer fahrerlosen Steuerung stehen den Automobilherstellern dabei u.a. die wirtschaftlichen und normativen Vorgaben gegenüber: Unter Verwendung zahlreicher Steuergeräte und Sensoren, die vorverarbeitete Informationen der erfassten Objekte liefern, muss eine hinreichende Erfüllung der gesetzlichen und marktspezifischen Anforderungen zum Serieneinsatz unter gleichzeitiger Berücksichtigung des Aufwands erfolgen. Ziel der vorliegenden Arbeit ist die Analyse der notwendigen sensorischen Leistungsfähigkeit zur rechtzeitigen Detektion von Spurwechseln anderer Verkehrsteilnehmer in der Betriebsdomäne einer hochautomatisierten Fahrfunktion zur Ermöglichung einer kollisionsvermeidenden Bremsreaktion. Neben der Darstellung der spezifischen Anforderungen dieser Assistenzstufe im Vergleich zu in Serie befindlichen Systemen wird im ersten Schritt die menschliche Leistungsfähigkeit aus zwei Simulatorstudien bestimmt, um eine Vergleichbarkeit der Risikobilanz für die nachfolgenden Modelle zu ermöglichen. Im nächsten Schritt werden aus den analysierten Eigenschaften der Spurwechselcharakteristik, den Normen zur Straßenanlage und den Bewegungen des sensortragenden Egofahrzeugs die Anforderungen an den sensorisch abzudeckenden Merkmalsraum formuliert. Unter Zuhilfenahme einer existierenden, algorithmischen Modellierung mittels Bayesschen Netzen können die sensorischen Daten zur Erkennung des Spurwechselvorgangs probabilistisch überführt werden. Die Parametrierung des Modells wird im Umfang dieser Arbeit unter Einbezug von Realdaten maschinell trainiert und eine Steigerung der Sensitivität ermöglicht. Für die individuellen, fehlerbehafteten sensorischen Eingangsgrößen wird folglich die Eignung im Gesamtkontext der Spurwechselerkennung simulativ untersucht und in Feldversuchen mit übergeordneter Genauigkeit bewertet. Dabei wird abschließend der für den Automobileinsatz bestimmte und einführend vorgestellte Laserscanner Ibeo ScaLa evaluiert. Die Bewertung der ermittelten Genauigkeiten der Objektdetektion sowie der bereitgestellten Fehlerschätzung erfolgen in Bezug zur erwarteten Risikobilanz des hochautomatisierten Fahrens. Als Ergebnis dieser Arbeit kann für die Spurwechseldetektion anderer Verkehrsteilnehmer neben der ermittelten Reaktionsleistung menschlicher Fahrer auch die damit verbundene, weitreichende Anforderungserfüllung für den betrachteten Laserscanner attestiert werden. Die in Extremfällen fehlende Abdeckung im Randbereich des Sichtfeldes lässt sich durch einfache Erweiterungen in der Fahrstrategie der hochautomatisierten Betriebsdomäne beherrschen. Die experimentell ermittelten Gütemaße erlauben eine Detektion der erwartbaren Spurwechsel bis zu einer durch das verbesserte Modell limitierten Dynamikgrenze. Kollisionen können bei kritischen Spurwechseln bis zu dieser Einschränkung vermieden werden.

The ongoing process of digitization in archives is providing access to ever-increasing historical image collections. In many of these repositories, images can typically be viewed in a list or gallery view. Due to the growing number of digitized objects, this type of visualization is becoming increasingly complex. Among other things, it is difficult to determine how many photographs show a particular object and spatial information can only be communicated via metadata. Within the scope of this thesis, research is conducted on the automated determination and provision of this spatial data. Enhanced visualization options make this information more eas- ily accessible to scientists as well as citizens. Different types of visualizations can be presented in three-dimensional (3D), Virtual Reality (VR) or Augmented Reality (AR) applications. However, applications of this type require the estimation of the photographer’s point of view. In the photogrammetric context, this is referred to as estimating the interior and exterior orientation parameters of the camera. For determination of orientation parameters for single images, there are the established methods of Direct Linear Transformation (DLT) or photogrammetric space resection. Using these methods requires the assignment of measured object points to their homologue image points. This is feasible for single images, but quickly becomes impractical due to the large amount of images available in archives. Thus, for larger image collections, usually the Structure-from-Motion (SfM) method is chosen, which allows the simultaneous estimation of the interior as well as the exterior orientation of the cameras. While this method yields good results especially for sequential, contemporary image data, its application to unsorted historical photographs poses a major challenge. In the context of this work, which is mainly limited to scenarios of urban terrestrial photographs, the reasons for failure of the SfM process are identified. In contrast to sequential image collections, pairs of images from different points in time or from varying viewpoints show huge differences in terms of scene representation such as deviations in the lighting situation, building state, or seasonal changes. Since homologue image points have to be found automatically in image pairs or image sequences in the feature matching procedure of SfM, these image differences pose the most complex problem. In order to test different feature matching methods, it is necessary to use a pre-oriented historical dataset. Since such a benchmark dataset did not exist yet, eight historical image triples (corresponding to 24 image pairs) are oriented in this work by manual selection of homologue image points. This dataset allows the evaluation of frequently new published methods in feature matching. The initial methods used, which are based on algorithmic procedures for feature matching (e.g., Scale Invariant Feature Transform (SIFT)), provide satisfactory results for only few of the image pairs in this dataset. By introducing methods that use neural networks for feature detection and feature description, homologue features can be reliably found for a large fraction of image pairs in the benchmark dataset. In addition to a successful feature matching strategy, determining camera orientation requires an initial estimate of the principal distance. Hence for historical images, the principal distance cannot be directly determined as the camera information is usually lost during the process of digitizing the analog original. A possible solution to this problem is to use three vanishing points that are automatically detected in the historical image and from which the principal distance can then be determined. The combination of principal distance estimation and robust feature matching is integrated into the SfM process and allows the determination of the interior and exterior camera orientation parameters of historical images. Based on these results, a workflow is designed that allows archives to be directly connected to 3D applications. A search query in archives is usually performed using keywords, which have to be assigned to the corresponding object as metadata. Therefore, a keyword search for a specific building also results in hits on drawings, paintings, events, interior or detailed views directly connected to this building. However, for the successful application of SfM in an urban context, primarily the photographic exterior view of the building is of interest. While the images for a single building can be sorted by hand, this process is too time-consuming for multiple buildings. Therefore, in collaboration with the Competence Center for Scalable Data Services and Solutions (ScaDS), an approach is developed to filter historical photographs by image similarities. This method reliably enables the search for content-similar views via the selection of one or more query images. By linking this content-based image retrieval with the SfM approach, automatic determination of camera parameters for a large number of historical photographs is possible. The developed method represents a significant improvement over commercial and open-source SfM standard solutions. The result of this work is a complete workflow from archive to application that automatically filters images and calculates the camera parameters. The expected accuracy of a few meters for the camera position is sufficient for the presented applications in this work, but offer further potential for improvement. A connection to archives, which will automatically exchange photographs and positions via interfaces, is currently under development. This makes it possible to retrieve interior and exterior orientation parameters directly from historical photography as metadata which opens up new fields of research.:1 Introduction 1 1.1 Thesis structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Historical image data and archives . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 Structure-from-Motion for historical images . . . . . . . . . . . . . . . . . . . 4 1.3.1 Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.3.2 Selection of images and preprocessing . . . . . . . . . . . . . . . . . . 5 1.3.3 Feature detection, feature description and feature matching . . . . . . 6 1.3.3.1 Feature detection . . . . . . . . . . . . . . . . . . . . . . . . 7 1.3.3.2 Feature description . . . . . . . . . . . . . . . . . . . . . . . 9 1.3.3.3 Feature matching . . . . . . . . . . . . . . . . . . . . . . . . 10 1.3.3.4 Geometric verification and robust estimators . . . . . . . . . 13 1.3.3.5 Joint methods . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.3.4 Initial parameterization . . . . . . . . . . . . . . . . . . . . . . . . . . 19 1.3.5 Bundle adjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.3.6 Dense reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.3.7 Georeferencing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 1.4 Research objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2 Generation of a benchmark dataset using historical photographs for the evaluation of feature matching methods 29 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.1.1 Image differences based on digitization and image medium . . . . . . . 30 2.1.2 Image differences based on different cameras and acquisition technique 31 2.1.3 Object differences based on different dates of acquisition . . . . . . . . 31 2.2 Related work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.3 The image dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.4 Comparison of different feature detection and description methods . . . . . . 35 2.4.1 Oriented FAST and Rotated BRIEF (ORB) . . . . . . . . . . . . . . . 36 2.4.2 Maximally Stable Extremal Region Detector (MSER) . . . . . . . . . 36 2.4.3 Radiation-invariant Feature Transform (RIFT) . . . . . . . . . . . . . 36 2.4.4 Feature matching and outlier removal . . . . . . . . . . . . . . . . . . 36 2.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.6 Conclusions and future work . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3 Photogrammetry as a link between image repository and 4D applications 45 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 IX Contents 3.2 Multimodal access on repositories . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.2.1 Conventional access . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.2.2 Virtual access using online collections . . . . . . . . . . . . . . . . . . 48 3.2.3 Virtual museums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 3.3 Workflow and access strategies . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.3.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.3.2 Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 3.3.3 Photogrammetry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 3.3.4 Browser access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 3.3.5 VR and AR access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 4 An adapted Structure-from-Motion Workflow for the orientation of historical images 69 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.2 Related Research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 4.2.1 Historical images for 3D reconstruction . . . . . . . . . . . . . . . . . 72 4.2.2 Algorithmic Feature Detection and Matching . . . . . . . . . . . . . . 73 4.2.3 Feature Detection and Matching using Convolutional Neural Networks 74 4.3 Feature Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 4.4 Workflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 4.4.1 Step 1: Data preparation . . . . . . . . . . . . . . . . . . . . . . . . . 78 4.4.2 Step 2.1: Feature Detection and Matching . . . . . . . . . . . . . . . . 78 4.4.3 Step 2.2: Vanishing Point Detection and Principal Distance Estimation 80 4.4.4 Step 3: Scene Reconstruction . . . . . . . . . . . . . . . . . . . . . . . 80 4.4.5 Comparison with Three Other State-of-the-Art SfM Workflows . . . . 81 4.5 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 4.6 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 4.7 Conclusions and Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.8 Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 4.A Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 5 Fully automated pose estimation of historical images 97 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 5.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.2.1 Image Retrieval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.2.2 Feature Detection and Matching . . . . . . . . . . . . . . . . . . . . . 101 5.3 Data Preparation: Image Retrieval . . . . . . . . . . . . . . . . . . . . . . . . 102 5.3.1 Experiment and Data . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 5.3.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 5.3.2.1 Layer Extraction Approach (LEA) . . . . . . . . . . . . . . . 104 5.3.2.2 Attentive Deep Local Features (DELF) Approach . . . . . . 105 5.3.3 Results and Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 106 5.4 Camera Pose Estimation of Historical Images Using Photogrammetric Methods 110 5.4.1 Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 5.4.1.1 Benchmark Datasets . . . . . . . . . . . . . . . . . . . . . . . 111 5.4.1.2 Retrieval Datasets . . . . . . . . . . . . . . . . . . . . . . . . 113 5.4.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 5.4.2.1 Feature Detection and Matching . . . . . . . . . . . . . . . . 115 5.4.2.2 Geometric Verification and Camera Pose Estimation . . . . . 116 5.4.3 Results and Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 117 5.5 Conclusions and Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 5.A Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 6 Related publications 129 6.1 Photogrammetric analysis of historical image repositores for virtual reconstruction in the field of digital humanities . . . . . . . . . . . . . . . . . . . . . . . 130 6.2 Feature matching of historical images based on geometry of quadrilaterals . . 131 6.3 Geo-information technologies for a multimodal access on historical photographs and maps for research and communication in urban history . . . . . . . . . . 132 6.4 An automated pipeline for a browser-based, city-scale mobile 4D VR application based on historical images . . . . . . . . . . . . . . . . . . . . . . . . . . 133 6.5 Software and content design of a browser-based mobile 4D VR application to explore historical city architecture . . . . . . . . . . . . . . . . . . . . . . . . 134 7 Synthesis 135 7.1 Summary of the developed workflows . . . . . . . . . . . . . . . . . . . . . . . 135 7.1.1 Error assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 7.1.2 Accuracy estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 7.1.3 Transfer of the workflow . . . . . . . . . . . . . . . . . . . . . . . . . . 141 7.2 Developments and Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 8 Appendix 149 8.1 Setup for the feature matching evaluation . . . . . . . . . . . . . . . . . . . . 149 8.2 Transformation from COLMAP coordinate system to OpenGL . . . . . . . . 150 References 151 List of Figures 165 List of Tables 167 List of Abbreviations 169 / Der andauernde Prozess der Digitalisierung in Archiven ermöglicht den Zugriff auf immer größer werdende historische Bildbestände. In vielen Repositorien können die Bilder typischerweise in einer Listen- oder Gallerieansicht betrachtet werden. Aufgrund der steigenden Zahl an digitalisierten Objekten wird diese Art der Visualisierung zunehmend unübersichtlicher. Es kann u.a. nur noch schwierig bestimmt werden, wie viele Fotografien ein bestimmtes Motiv zeigen. Des Weiteren können räumliche Informationen bisher nur über Metadaten vermittelt werden. Im Rahmen der Arbeit wird an der automatisierten Ermittlung und Bereitstellung dieser räumlichen Daten geforscht. Erweiterte Visualisierungsmöglichkeiten machen diese Informationen Wissenschaftlern sowie Bürgern einfacher zugänglich. Diese Visualisierungen können u.a. in drei-dimensionalen (3D), Virtual Reality (VR) oder Augmented Reality (AR) Anwendungen präsentiert werden. Allerdings erfordern Anwendungen dieser Art die Schätzung des Standpunktes des Fotografen. Im photogrammetrischen Kontext spricht man dabei von der Schätzung der inneren und äußeren Orientierungsparameter der Kamera. Zur Bestimmung der Orientierungsparameter für Einzelbilder existieren die etablierten Verfahren der direkten linearen Transformation oder des photogrammetrischen Rückwärtsschnittes. Dazu muss eine Zuordnung von gemessenen Objektpunkten zu ihren homologen Bildpunkten erfolgen. Das ist für einzelne Bilder realisierbar, wird aber aufgrund der großen Menge an Bildern in Archiven schnell nicht mehr praktikabel. Für größere Bildverbände wird im photogrammetrischen Kontext somit üblicherweise das Verfahren Structure-from-Motion (SfM) gewählt, das die simultane Schätzung der inneren sowie der äußeren Orientierung der Kameras ermöglicht. Während diese Methode vor allem für sequenzielle, gegenwärtige Bildverbände gute Ergebnisse liefert, stellt die Anwendung auf unsortierten historischen Fotografien eine große Herausforderung dar. Im Rahmen der Arbeit, die sich größtenteils auf Szenarien stadträumlicher terrestrischer Fotografien beschränkt, werden zuerst die Gründe für das Scheitern des SfM Prozesses identifiziert. Im Gegensatz zu sequenziellen Bildverbänden zeigen Bildpaare aus unterschiedlichen zeitlichen Epochen oder von unterschiedlichen Standpunkten enorme Differenzen hinsichtlich der Szenendarstellung. Dies können u.a. Unterschiede in der Beleuchtungssituation, des Aufnahmezeitpunktes oder Schäden am originalen analogen Medium sein. Da für die Merkmalszuordnung in SfM automatisiert homologe Bildpunkte in Bildpaaren bzw. Bildsequenzen gefunden werden müssen, stellen diese Bilddifferenzen die größte Schwierigkeit dar. Um verschiedene Verfahren der Merkmalszuordnung testen zu können, ist es notwendig einen vororientierten historischen Datensatz zu verwenden. Da solch ein Benchmark-Datensatz noch nicht existierte, werden im Rahmen der Arbeit durch manuelle Selektion homologer Bildpunkte acht historische Bildtripel (entspricht 24 Bildpaaren) orientiert, die anschließend genutzt werden, um neu publizierte Verfahren bei der Merkmalszuordnung zu evaluieren. Die ersten verwendeten Methoden, die algorithmische Verfahren zur Merkmalszuordnung nutzen (z.B. Scale Invariant Feature Transform (SIFT)), liefern nur für wenige Bildpaare des Datensatzes zufriedenstellende Ergebnisse. Erst durch die Verwendung von Verfahren, die neuronale Netze zur Merkmalsdetektion und Merkmalsbeschreibung einsetzen, können für einen großen Teil der historischen Bilder des Benchmark-Datensatzes zuverlässig homologe Bildpunkte gefunden werden. Die Bestimmung der Kameraorientierung erfordert zusätzlich zur Merkmalszuordnung eine initiale Schätzung der Kamerakonstante, die jedoch im Zuge der Digitalisierung des analogen Bildes nicht mehr direkt zu ermitteln ist. Eine mögliche Lösung dieses Problems ist die Verwendung von drei Fluchtpunkten, die automatisiert im historischen Bild detektiert werden und aus denen dann die Kamerakonstante bestimmt werden kann. Die Kombination aus Schätzung der Kamerakonstante und robuster Merkmalszuordnung wird in den SfM Prozess integriert und erlaubt die Bestimmung der Kameraorientierung historischer Bilder. Auf Grundlage dieser Ergebnisse wird ein Arbeitsablauf konzipiert, der es ermöglicht, Archive mittels dieses photogrammetrischen Verfahrens direkt an 3D-Anwendungen anzubinden. Eine Suchanfrage in Archiven erfolgt üblicherweise über Schlagworte, die dann als Metadaten dem entsprechenden Objekt zugeordnet sein müssen. Eine Suche nach einem bestimmten Gebäude generiert deshalb u.a. Treffer zu Zeichnungen, Gemälden, Veranstaltungen, Innen- oder Detailansichten. Für die erfolgreiche Anwendung von SfM im stadträumlichen Kontext interessiert jedoch v.a. die fotografische Außenansicht des Gebäudes. Während die Bilder für ein einzelnes Gebäude von Hand sortiert werden können, ist dieser Prozess für mehrere Gebäude zu zeitaufwendig. Daher wird in Zusammenarbeit mit dem Competence Center for Scalable Data Services and Solutions (ScaDS) ein Ansatz entwickelt, um historische Fotografien über Bildähnlichkeiten zu filtern. Dieser ermöglicht zuverlässig über die Auswahl eines oder mehrerer Suchbilder die Suche nach inhaltsähnlichen Ansichten. Durch die Verknüpfung der inhaltsbasierten Suche mit dem SfM Ansatz ist es möglich, automatisiert für eine große Anzahl historischer Fotografien die Kameraparameter zu bestimmen. Das entwickelte Verfahren stellt eine deutliche Verbesserung im Vergleich zu kommerziellen und open-source SfM Standardlösungen dar. Das Ergebnis dieser Arbeit ist ein kompletter Arbeitsablauf vom Archiv bis zur Applikation, der automatisch Bilder filtert und diese orientiert. Die zu erwartende Genauigkeit von wenigen Metern für die Kameraposition sind ausreichend für die dargestellten Anwendungen in dieser Arbeit, bieten aber weiteres Verbesserungspotential. Eine Anbindung an Archive, die über Schnittstellen automatisch Fotografien und Positionen austauschen soll, befindet sich bereits in der Entwicklung. Dadurch ist es möglich, innere und äußere Orientierungsparameter direkt von der historischen Fotografie als Metadaten abzurufen, was neue Forschungsfelder eröffnet.:1 Introduction 1 1.1 Thesis structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Historical image data and archives . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 Structure-from-Motion for historical images . . . . . . . . . . . . . . . . . . . 4 1.3.1 Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.3.2 Selection of images and preprocessing . . . . . . . . . . . . . . . . . . 5 1.3.3 Feature detection, feature description and feature matching . . . . . . 6 1.3.3.1 Feature detection . . . . . . . . . . . . . . . . . . . . . . . . 7 1.3.3.2 Feature description . . . . . . . . . . . . . . . . . . . . . . . 9 1.3.3.3 Feature matching . . . . . . . . . . . . . . . . . . . . . . . . 10 1.3.3.4 Geometric verification and robust estimators . . . . . . . . . 13 1.3.3.5 Joint methods . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.3.4 Initial parameterization . . . . . . . . . . . . . . . . . . . . . . . . . . 19 1.3.5 Bundle adjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.3.6 Dense reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.3.7 Georeferencing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 1.4 Research objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2 Generation of a benchmark dataset using historical photographs for the evaluation of feature matching methods 29 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.1.1 Image differences based on digitization and image medium . . . . . . . 30 2.1.2 Image differences based on different cameras and acquisition technique 31 2.1.3 Object differences based on different dates of acquisition . . . . . . . . 31 2.2 Related work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.3 The image dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.4 Comparison of different feature detection and description methods . . . . . . 35 2.4.1 Oriented FAST and Rotated BRIEF (ORB) . . . . . . . . . . . . . . . 36 2.4.2 Maximally Stable Extremal Region Detector (MSER) . . . . . . . . . 36 2.4.3 Radiation-invariant Feature Transform (RIFT) . . . . . . . . . . . . . 36 2.4.4 Feature matching and outlier removal . . . . . . . . . . . . . . . . . . 36 2.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.6 Conclusions and future work . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3 Photogrammetry as a link between image repository and 4D applications 45 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 IX Contents 3.2 Multimodal access on repositories . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.2.1 Conventional access . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.2.2 Virtual access using online collections . . . . . . . . . . . . . . . . . . 48 3.2.3 Virtual museums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 3.3 Workflow and access strategies . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.3.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.3.2 Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 3.3.3 Photogrammetry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 3.3.4 Browser access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 3.3.5 VR and AR access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 4 An adapted Structure-from-Motion Workflow for the orientation of historical images 69 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.2 Related Research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 4.2.1 Historical images for 3D reconstruction . . . . . . . . . . . . . . . . . 72 4.2.2 Algorithmic Feature Detection and Matching . . . . . . . . . . . . . . 73 4.2.3 Feature Detection and Matching using Convolutional Neural Networks 74 4.3 Feature Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 4.4 Workflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 4.4.1 Step 1: Data preparation . . . . . . . . . . . . . . . . . . . . . . . . . 78 4.4.2 Step 2.1: Feature Detection and Matching . . . . . . . . . . . . . . . . 78 4.4.3 Step 2.2: Vanishing Point Detection and Principal Distance Estimation 80 4.4.4 Step 3: Scene Reconstruction . . . . . . . . . . . . . . . . . . . . . . . 80 4.4.5 Comparison with Three Other State-of-the-Art SfM Workflows . . . . 81 4.5 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 4.6 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 4.7 Conclusions and Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.8 Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 4.A Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 5 Fully automated pose estimation of historical images 97 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 5.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.2.1 Image Retrieval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.2.2 Feature Detection and Matching . . . . . . . . . . . . . . . . . . . . . 101 5.3 Data Preparation: Image Retrieval . . . . . . . . . . . . . . . . . . . . . . . . 102 5.3.1 Experiment and Data . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 5.3.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 5.3.2.1 Layer Extraction Approach (LEA) . . . . . . . . . . . . . . . 104 5.3.2.2 Attentive Deep Local Features (DELF) Approach . . . . . . 105 5.3.3 Results and Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 106 5.4 Camera Pose Estimation of Historical Images Using Photogrammetric Methods 110 5.4.1 Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 5.4.1.1 Benchmark Datasets . . . . . . . . . . . . . . . . . . . . . . . 111 5.4.1.2 Retrieval Datasets . . . . . . . . . . . . . . . . . . . . . . . . 113 5.4.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 5.4.2.1 Feature Detection and Matching . . . . . . . . . . . . . . . . 115 5.4.2.2 Geometric Verification and Camera Pose Estimation . . . . . 116 5.4.3 Results and Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 117 5.5 Conclusions and Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 5.A Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 6 Related publications 129 6.1 Photogrammetric analysis of historical image repositores for virtual reconstruction in the field of digital humanities . . . . . . . . . . . . . . . . . . . . . . . 130 6.2 Feature matching of historical images based on geometry of quadrilaterals . . 131 6.3 Geo-information technologies for a multimodal access on historical photographs and maps for research and communication in urban history . . . . . . . . . . 132 6.4 An automated pipeline for a browser-based, city-scale mobile 4D VR application based on historical images . . . . . . . . . . . . . . . . . . . . . . . . . . 133 6.5 Software and content design of a browser-based mobile 4D VR application to explore historical city architecture . . . . . . . . . . . . . . . . . . . . . . . . 134 7 Synthesis 135 7.1 Summary of the developed workflows . . . . . . . . . . . . . . . . . . . . . . . 135 7.1.1 Error assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 7.1.2 Accuracy estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 7.1.3 Transfer of the workflow . . . . . . . . . . . . . . . . . . . . . . . . . . 141 7.2 Developments and Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 8 Appendix 149 8.1 Setup for the feature matching evaluation . . . . . . . . . . . . . . . . . . . . 149 8.2 Transformation from COLMAP coordinate system to OpenGL . . . . . . . . 150 References 151 List of Figures 165 List of Tables 167 List of Abbreviations 169

Massenbewegungen, Ausgleichs- und Verwitterungsprozesse sind geologisch-geomorphologisch natürliche Vorgänge in Gebirgen. Die stark zunehmenden Extremwetterereignisse einhergehend mit immer dichterer Besiedelung der Gebirgs- und Hangregionen verursachen bei Felsstürzen beträchtliche Schäden an Gebäuden und Infrastruktur und gefährden Menschenleben. Ziel von GeoRiS ist das Monitoring dieser Prozesse und Standsicherheitsentwicklung steinschlaggefährdeter Felshänge mittels hochauflösender, photogrammetrischer Messverfahren. Die Risiken sollen künftig auf der Grundlage einer präzisen, umfassenden aber vor allem objektiven und standardisierbaren Standortbegutachtung prognostizierbar sein, um anschließende Sicherungsmaßnahmen gezielt an Gefährdungsschwerpunkten einzusetzen. In den letzten Jahren haben sich neue Messverfahren und -methoden etabliert, deren Anwendungen mittlerweile in vielen Bereichen Einzug gehalten haben. Eines der Verfahren ist z.B. der Einsatz von UAVs / Drohen mit verschiedenen Sensoren an Bord. Nachfolgend möchten wir die möglichen aktuellen Auswertemethoden in der der Felserfassung vorstellen, einen Überblick über erreichbare Ergebnisse und Genauigkeiten geben sowie die methodischen Ansätze für die künftige gutachterliche Praxis vorstellen. Das Forschungs-, Technologie- und Innovationsprojekt „GeoRiS“ wird durch den Freistaat Thüringen und die Europäische Union gefördert. Die Ausführung verantwortet das Ingenieurbüro für Geotechnik Prof. Witt & Partner in Kooperation mit der TRIGIS GeoServices GmbH.

Diese Dissertation soll einen Beitrag zur Weiterentwicklung der luftgestützten Verkehrslageerfassung leisten. Als Plattform dafür dient ein flugzeuggetragenes Kamerasystem, welches mit einem Inertialsystem gekoppelt ist. Vorgestellt werden hauptsächlich bildverarbeitende Algorithmen, welche an die Bildaufnahme anschließend bis hin zur Ermittlung der verkehrstechnischen Kenngrößen zum Einsatz kommen. Nach kurzer Skizzierung der verwendeten Hardware wird die Kalibrierung der Kameraeinbauwinkel durch Testflüge erläutert und auf ihre Genauigkeit hin untersucht. Es wird gezeigt, dass die Orientierungsdaten nicht die vom Hersteller angegebene Genauigkeit erreichen, was jedoch für die Verkehrslageerfassung nur von geringer Bedeutung ist. Anschließend an die Bildaufbereitung, welche die Orthobildgenerierung sowie die Eingrenzung der verkehrsaktiven Flächen beinhaltet, wird zur Ermittlung der Fahrzeugdichte ein zweistufiger Fahrzeugerkennungsalgorithmus entwickelt, welcher zunächst auf Kantenfilterbasis möglichst schnell Hypothesen erstellt. Diese werden in einer zweiten Phase durch eine Support Vector Machine überprüft, wobei ein Großteil der Fehlhypothesen verworfen wird. Die Erkennung erreicht bei guten Voraussetzungen Vollständigkeiten bis zu 90 Prozent bei sehr geringem Anteil von Fehldetektionen. Anschließend wird ein auf Singulärwertzerlegung basierender Tracking-Algorithmus verwendet, um Fahrzeughypothesen in benachbarten Bildern zu assoziieren und die mittleren Geschwindigkeiten zu ermitteln. Die erhaltenen Geschwindigkeiten unterscheiden sich um weniger als zehn km/h von den manuell erhobenen. Abschließend wird eine alternative Orientierungsmethode vorgestellt, welche auf Basis von GPS-Positionen und Bildinformationen automatisch die Fluglage ermittelt. Dies geschieht durch die Extraktion und das Matching von Straßensegmenten sowie zusätzliche Passpunktverfolgung. Die Ergebnisse weisen Genauigkeiten von etwa 0,1 bis 0,2 Grad auf. / This dissertation should make a contribution to the further development of airborne traffic detection. The used hardware is an airborne camera system combined with an inertial measurement unit for orientation determination. Mainly computer vision algorithms are presented, which are applied afterwards the image acquisition up to the determination of the most important traffic data. After a short presentation of the used hardware the calibration of the camera''s alignment angles during test flights is explained and its accuracy is analyzed. It is shown that the orientation data doesn''t reach the specified accuracy, which is fortunately less important for traffic detection. After the image preparation, which contains the ortho image generation as well as the clipping of traffic areas, a two-stage vehicle detection algorithm is implemented, which at first rapidly creates hypotheses based on edge filters. In the second stage those hypotheses are verified by a Support Vector Machine which rejects most of the False Posititves. At good conditions the detection reaches completeness rates of up to 90 percent with a low contingent of FP detections. Subsequently a tracking algorithm based on singular value decomposition is applied to associate vehicle hypotheses in adjacent images and determine the average speed. The achieved velocities differ less than ten kph from the manually obtained data. Concluding an orientation method is presented, that automatically determines the airplane''s attitude based on GPS and image information. This is realized by extraction and matching of street segments and additional tracking of ground control points. The results have accuracies of around 0.1 to 0.2 degrees.

Flugzeug- und satellitengestützte Zeilenkameras ermöglichen eine sehr ökonomische Aufnahme von hoch aufgelösten Luftbildern mit großer Schwadbreite. Eine ungleichförmige Bewegung der Kamera kann sich auf die Bildqualität auswirken. Deswegen ist es unerlässlich, schnelle Orientierungsänderungen der Kamera mit angemessener Genauigkeit und Messrate zu erfassen. Deshalb ist es unerlässlich, die Orientierung der Kamera genau zu messen, um sicher zu stellen, dass die resultierenden Bilder in einem Nachbearbeitungsschritt geometrisch korrigiert werden können. Angemessene High-End-Navigationssysteme sind groß und teuer und ihre Genauigkeit und Messrate dennoch für viele denkbare Anwendungen unzureichend. Aus diesen Gründen besteht ein großes Interesse an Methoden zur Unterstützung der Orientierungsmessung durch die Nutzung optischer Informationen vom Hauptobjektiv bzw. Teleskop. In dieser Arbeit werden zwei unterschiedliche Verfahren vorgestellt, die es erlauben, schnelle Orientierungsänderungen der Kamera auf optischem Wege zu ermitteln. Ersteres basiert auf zusätzlichen Bildsensoren mit kleiner Fläche. Der optische Fluss auf diesen Bildsensoren wird ermittelt und zur Bestimmung von Orientierungsänderungen beliebiger Fernerkundungssysteme verwendet. Das zweite Verfahren beruht ausschließlich auf den Inhalten der Zeilenbilder und der gemessenen Kameratrajektorie. Hierfür macht sich das Verfahren die typische Geometrie multispektraler Zeilenkameras zu Nutze. Zunächst werden homologe Punkte in den möglicherweise stark verzerrten Zeilenbildern unterschiedlicher Spektralbänder extrahiert. Diese Punkte werden dann dazu benutzt, die Orientierungsänderungen der Kamera zu ermitteln. Schließlich wird gezeigt, dass es möglich ist, die absolute Orientierung einer luftgestützten Zeilenkamera anhand der optisch ermittelten Orientierungsänderungen hochgenau zu ermitteln. / Airborne and spaceborne line cameras allow a very economic acquisition of high resolution and wide swath images of the Earth. They generate two-dimensional images while rotating or translating, which causes a non-rigid image geometry. Nonuniform motion of the camera can negatively affect the image quality. Due to this, a key requirement for line cameras is that fast orientation changes have to be measured with a very high rate and precision. Therefore, it is essential to measure the camera’s orientation accurately to ensure that the resulting imagery products can be geometrically corrected in a later processing step. Adequate high-end measurement systems are large and expensive and their angular and temporal resolution can be still too low for many possible applications. Due to these reasons there is great interest in approaches to support the orientation measurement by using optical information received through the main optics or telescope. In this thesis two different approaches are presented that allow the determination of a line camera’s orientation changes optically. One approach to determine fast orientation changes is based on small auxiliary frame image sensors. The optical flow on these sensors is determined and used to derive orientation changes of any remote sensing system. The second approach does not require any additional sensors to determine orientation changes. It relies only on the images of a line camera and a rough estimate of its trajectory by taking advantage of the typical geometry of multi-spectral line cameras. In a first step homologous points are detected within the distorted images of different spectral bands. These points are used to calculate the orientation changes of the camera with a high temporal and angular resolution via bundle adjustment. Finally it is shown how the absolute exterior orientation of an airborne line camera can completely be derived from the optically determined orientation changes.

Results of the investigation has been presented to derive digital elevation models of forest areas for the determination of the parallax measuring accuracy from AATE (Adaptive Automatic Terrian Extraction) with the PCI software Geomatica. It has been used the informations from the threefold overlaps of aerial stereoscopic pairs. The parallax measuring errors on forest areas are three times larger than on the arable and pasturelands. It has been shown that the third dimension can be used for the derivative of crown of tree profiles and their roughness and the rates of timber growth can be derived with sufficiently high accuracy from the repeatability flying.

Sand and mud traversed by tidal inlets and channels, which split in subtle branches, salt marshes at the coast, the tide, harsh weather conditions and a high diversity of fauna and flora characterize the ecosystem Wadden Sea. No other landscape on the Earth changes in such a dynamic manner. Therefore, land cover classification and monitoring of vulnerable ecosystems is one of the most important approaches in remote sensing and has drawn much attention in recent years. The Wadden Sea in the southeastern part of the North Sea is one such vulnerable ecosystem, which is highly dynamic and diverse. The tidal flats of the Wadden Sea are the zone of interaction between marine and terrestrial environments and are at risk due to climate change, pollution and anthropogenic pressure. Due to that, the European Union has implemented various directives, which formulate objectives such as achieving or maintaining a good environmental status respectively a favourable conservation status within a given time. In this context, a permanent observation for the estimation of the ecological condition is needed. Moreover, changes can be tracked or even foreseen and an appropriate response is possible. Therefore, it is important to distinguish between short-term changes, which are related to the dynamic manner of the ecosystem, and long-term changes, which are the result of extraneous influences. The accessibility both from sea and land is very poor, which makes monitoring and mapping of tidal flat environments from in situ measurements very difficult and cost-intensive. For the monitoring of big areas, time-saving applications are needed. In this context, remote sensing offers great possibilities, due to its provision of a large spatial coverage and non-intrusive measurements of the Earth’s surface. Previous studies in remote sensing have focused on the use of electro-optical and radar sensors for remote sensing of tidal flats, whereas microwave systems using synthetic aperture radar (SAR) can be a complementary tool for tidal flat observation, especially due to their high spatial resolution and all-weather imaging capability. Nevertheless, the repetitive tidal event and dynamic sedimentary processes make an integrated observation of tidal flats from multi-sourced datasets essential for mapping and monitoring. The main challenge for remote sensing of tidal flats is to isolate the sediment, vegetation or shellfish bed features in the spectral signature or backscatter intensity from interference by water, the atmosphere, fauna and flora. In addition, optically active materials, such as plankton, suspended matter and dissolved organics, affect the scattering and absorption of radiation. Tidal flats are spatially complex and temporally quite variable and thus mapping tidal land cover requires satellites or aircraft imagers with high spatial and temporal resolution and, in some cases, hyperspectral data. In this research, a hierarchical knowledge-based decision tree applied to multi-sensor remote sensing data is introduced and the results have been visually and numerically evaluated and subsequently analysed. The multi-sensor approach comprises electro-optical data from RapidEye, SAR data from TerraSAR-X and airborne LiDAR data in a decision tree. Moreover, spectrometric and ground truth data are implemented into the analysis. The aim is to develop an automatic or semi-automatic procedure for estimating the distribution of vegetation, shellfish beds and sediments south of the barrier island Norderney. The multi-sensor approach starts with a semi-automatic pre-processing procedure for the electro-optical data of RapidEye, LiDAR data, spectrometric data and ground truth data. The decision tree classification is based on a set of hierarchically structured algorithms that use object and texture features. In each decision, one satellite dataset is applied to estimate a specific class. This helps to overcome the drawbacks that arise from a combined usage of all remote sensing datasets for one class. This could be shown by the comparison of the decision tree results with a popular state-of-the-art supervised classification approach (random forest). Subsequent to the classification, a discrimination analysis of various sediment spectra, measured with a hyperspectral sensor, has been carried out. In this context, the spectral features of the tidal sediments were analysed and a feature selection method has been developed to estimate suitable wavelengths for discrimination with very high accuracy. The developed feature selection method ‘JMDFS’ (Jeffries-Matusita distance feature selection) is a filter-based supervised band elimination technique and is based on the local Euclidean distance and the Jeffries-Matusita distance. An iterative process is used to subsequently eliminate wavelengths and calculate a separability measure at the end of each iteration. If distinctive thresholds are achieved, the process stops and the remaining wavelengths are applied in the further analysis. The results have been compared with a standard feature selection method (ReliefF). The JMDFS method obtains similar results and runs 216 times faster. Both approaches are quantitatively and qualitatively evaluated using reference data and standard methodologies for comparison. The results show that the proposed approaches are able to estimate the land cover of the tidal flats and to discriminate the tidal sediments with moderate to very high accuracy. The accuracies of each land cover class vary according to the dataset used. Furthermore, it is shown that specific reflection features can be identified that help in discriminating tidal sediments and which should be used in further applications in tidal flats.