We describe a new direct method for estimating structure and motion from image intensities of multiple views. We extend the direct methods of Horn- and-Weldon to three views. Adding the third view enables us to solve for motion, and compute a dense depth map of the scene, directly from image spatio -temporal derivatives in a linear manner without first having to find point correspondences or compute optical flow. We describe the advantages and limitations of this method which are then verified through simulation and experiments with real images.

Photogrammetrische Methoden gewinnen zunehmend an Bedeutung im bau­tech­nischen Versuchswesen. Die Auswertung von Bildsequenzen ermöglicht eine kontakt­lose, flächenhafte, hochaufgelöste und hochgenaue Veränderungs­detek­tion von Ober­flächen in der Materialprüfung und Bauwerksüberwachung. Diese Arbeit behan­delt einige Aspekte der Deformationsanalyse auf Basis von Bild­sequenzen mit Hilfe triangulierter Verschiebungsfelder. Zunächst wird auf Unter­suchungen zu Defor­ma­tionen ebener Objektoberflächen, die mit mono­kularen Bild­sequenzen beo­bachtet wurden, eingegangen. Im weiteren Verlauf wird auf Stereobildsequenzen über­ge­gangen, die Deformations­mes­sungen für beliebige Ober­flächen erlauben. Im ersten Teil der Arbeit wird gezeigt, wie Verschiebungsfelder in monokularen Bild­sequenzen bestimmt werden können. Die Bildpunkte, an welche die Verschie­bungen geknüpft sind, werden zu einem Dreiecksnetz trianguliert. Jedes einzelne Dreieck wird auf Änderungen zu der Referenzepoche, die als die erste Epoche ohne jegliche Defor­mation definiert ist, untersucht. Ein gängiges Verfahren zur Analyse solcher Verän­derungen ist die Berechnung von Haupt­dehnungen für jedes Dreieck. Schwell­werte können zur Erkennung deformierter Bereiche und die farbkodierte Darstellung der Hauptdehnungen für eine visuelle Betrachtung genutzt werden. In den räumlich verteilten Hauptdehnungen sowie im zeitlichen Ablauf treten Rausch­effekte auf. Deshalb werden verschiedene Filtermethoden zur Rausch­unter­drückung untersucht. Dabei kommt ein Filter zum Einsatz, der gleichzeitig in der räumlichen sowie der zeitlichen Dimension filtert. Es werden aber auch Filter unter­sucht, die in beiden Dimensionen getrennt filtern. Aus den Hauptdehnungen können nicht direkt Rissbreiten abgeleitet werden. Diese spielen für die Materialprüfung im Bauwesen allerdings eine wichtige Rolle, wes­wegen sich diese Arbeit auch mit der Berechnung von Riss­breiten in Dreiecks­netzen befasst. Als deformierte Dreiecke werden diejenigen detektiert, deren Hauptdehnung einen Schwellwert überschreiten. Für diese Kandidaten werden im Folgenden Rissbreiten bestimmt. Drei verschiedene Verfahren für die Ermittlung von Rissbreiten werden vorgestellt und verglichen. Die Dehnbarkeit faserbewehrter Komposite, die unter anderem zur Verstärkung von Mauern und anderen Bauwerken verwendet werden, wird bei Belastung durch die Bildung multipler Rissstrukturen gewährleistet. Auf Grund dessen widmet sich ein weiterer Teil der Dissertation der Auswertung multipler Riss­strukturen. Hierzu werden dichte Verschiebungsfelder berechnet. Dann wird zunächst eine Auswahl der verfolgten Punkte genutzt, um ein grobes Dreiecks­netz zu generieren. Deformierte Dreiecke der ausgedünnten triangu­lierten Punktmenge werden mit dem Betrag des relativen Trans­lations­vektors, der als Deformations­maß eingeführt wird, detektiert. Eine iterative Verdichtung des Dreiecknetzes in defor­mierten Bereichen ermöglicht die Auswertung enger Riss­muster. Zudem erlaubt eine Ausgleichung, dass nicht-triangulierte Punkte des dichten Verschie­bungs­feldes in die Rissbreiten­berechnung einbe­zogen werden können. Ein weiterer Bestandteil der Arbeit ist die Betrachtung unebener Oberflächen, die mit Stereokamerasystemen beobachtet werden. Dazu werden die Algorithmen für die zweidimensionale Auswertung entsprechend übertragen und erweitert. Auf Basis von Verschiebungsfeldern dreidimensionaler Punkte wird auch hier ein Dreiecksnetz zur Änderungsdetektion genutzt. So wird am Beispiel von dynamischen Dehnungstests an zylindrischen Probe­körpern ein Algorithmus zur Rissbreitenmessung auf nicht ebenen Ober­flächen vorge­stellt. Dabei wird angenommen, dass die Defor­mationen ausschließlich tangential zur Oberfläche auftreten. Dies erlaubt die Transformation (Kongruenz­abbildung) der Dreiecke in einen zwei­dimen­sionalen Raum und auch eine zwei­dimensionale Auswertung. Außerdem wird eine Methode zur Berechnung des dreidimensionalen Riss­öffnungs­vektors präsentiert. Dieses Verfahren ist eine Erweiterung zum vorher­gehenden Algorithmus und erlaubt zudem die Vermessung vertikaler Defor­ma­tionen. Defor­mierte Dreiecke im trian­gulierten dreidimensionalen Verschie­bungs­feld werden mit Hilfe des zwei­dimen­sionalen Relativ­translations­vektor­betrags der in den zwei­dimen­sionalen Raum transformierten Dreiecke detek­tiert. Anschließend folgt für alle defor­mierten Dreiecke durch Hinzunahme min­des­tens eines undeformierten Nachbar­dreiecks die Berechnung eines drei­dimen­sionalen relativen Trans­lations­vektors, mit Hilfe dessen die Komponenten des Riss­öffnungsvektors ermittelt werden.:Kurzfassung iii Abstract v 1. Einführung 1 1.1. Struktur der Arbeit 1 1.2. Motivation 2 1.3. Verwandte Arbeiten 4 1.4. Ziele der Arbeit 7 2. Photogrammetrische Deformationsmessung in monokularen Bildsequenzen 8 2.1. Filtermethoden in Dreiecksnetzen 9 2.2. Rissbreitenberechnung mit Hilfe von Dreiecksnetzen 19 2.3. Strategie zur Rissbreitenmessung für multiple Rissstrukturen 29 3. Photogrammetrische Deformationsmessung in Stereobildsequenzen 50 3.1. Rissbreitenberechnung für tangentiale Deformationen auf nicht ebenen Oberflächen mit gegebenem 3D-Verschiebungsfeld 51 3.2. Berechnung des dreidimensionalen Rissöffnungsvektors bei gegebenem 3D-Verschiebungsfeld 59 4. Diskussion 70 5. Ausblick 77 5.1. Bestimmung der Anzahl der Risse 77 5.2. Rissspitzenbestimmung und -verfolgung 78 5.3. Anwendung der entwickelten Algorithmen auf Voxeldaten 78 5.4. Modellerweiterung durch Relativrotation 82 5.5. Genauigkeitssteigerungen für die Rissposition 82 5.6 Verbesserung der Rissnormalenschätzung 82 Literaturverzeichnis 83 Abkürzungsverzeichnis 89 Tabellenverzeichnis 90 Abbildungsverzeichnis 90 / Photogrammetric methods are gaining importance in civil engineering material testing and structural health monitoring. The analysis of image sequences ensures an extensive change detection of surfaces with a high spatial resolution and a high accuracy. This thesis deals with some aspects of deformation analysis based on image sequences and triangulated displacement fields. At the beginning, the examination of planar surfaces of specimens observed with monocular image sequences is considered. Later, a transition to stereo image sequences is given because they allow a deformation measurement of arbitrary surfaces. The first part of the thesis shows how to derive displacement fields from monocular image sequences. The matching points corresponding to the displace­ments are triangulated into a mesh. Each triangle is compared to the reference epoch which is defined as the first time epoch under zero load without any deformation. As a current method, principal strains are used to detect deformations. Thresholds can be used to find deformed areas. In addition, color-coded maps of the principal strains are helpful for a visual detection. In the field of the principal strains, noise effects appear in the spatial as well as in the temporal domain. Therefore, different filter methods are applied to reduce noise. In addition to filter techniques that are applied independently in the time and the spatial domain, a combined spatio-temporal filter is tested. Crack widths cannot be derived directly from principal strains but crack widths are an important issue in civil engineering material testing. For this reason, this thesis also gives attention to the computation of crack widths in triangle meshes. The principal strains of the triangles are tested for exceeding a threshold to detect deformed triangles. For the deformed triangles, crack widths are computed. Three different methods for the crack width determination are presented and compared. Multiple cracking ensures the ductility of loaded fiber-reinforced composites used to strengthen walls among other things. Therefore, another part of the dissertation deals with the photogrammetric analysis of multiple crack patterns. Herein, dense displacement fields are computed. Then, a thinned-out set of points is triangulated into a mesh. For each triangle, the norm of the relative translations vector defined as a new quantity to detect deformations is deter­mined and used to find cracked triangles. The mesh is densified iteratively in deformed areas to ensure an analysis of narrow crack structures. In addition, a least squares algorithm is presented which allows that points of the displace­ment field, that are not part of the mesh, can be included in the crack width computation. A further part of the dissertation deals with non-planar surfaces observed with stereo camera systems. The algorithms of the two dimensional analysis are adapted and extended to use them for these applications. These methods are based on three dimensional displacement fields and also use triangle meshes to detect deformed areas. One algorithm concentrates on the crack width measurement of non-planar surfaces with deformations that are only tangential to the surface. The method is applied on a cylindrical specimen in a dynamic tension test. The assumption that deformations are tangential to the surface allows the transformation of the triangles in the two dimensional space and also a two dimensional analysis. In addition, an algorithm for the computation of the three dimensional crack opening vectors is presented. This method is an extension to the foregoing algorithm and is capable of measuring vertical deformations. To find deformed triangles in the triangulated three dimensional displacement field, the triangles are transformed in the two dimensional space in a first step. In a second step, the norm of the two dimensional relative translation vector is determined and tested if it exceeds a threshold. In the following, for each deformed triangle, the three dimensional relative translation vector is computed using a undeformed neighbor triangle. At the end, the three dimensional relative translation vectors can be transformed to the crack opening vectors.:Kurzfassung iii Abstract v 1. Einführung 1 1.1. Struktur der Arbeit 1 1.2. Motivation 2 1.3. Verwandte Arbeiten 4 1.4. Ziele der Arbeit 7 2. Photogrammetrische Deformationsmessung in monokularen Bildsequenzen 8 2.1. Filtermethoden in Dreiecksnetzen 9 2.2. Rissbreitenberechnung mit Hilfe von Dreiecksnetzen 19 2.3. Strategie zur Rissbreitenmessung für multiple Rissstrukturen 29 3. Photogrammetrische Deformationsmessung in Stereobildsequenzen 50 3.1. Rissbreitenberechnung für tangentiale Deformationen auf nicht ebenen Oberflächen mit gegebenem 3D-Verschiebungsfeld 51 3.2. Berechnung des dreidimensionalen Rissöffnungsvektors bei gegebenem 3D-Verschiebungsfeld 59 4. Diskussion 70 5. Ausblick 77 5.1. Bestimmung der Anzahl der Risse 77 5.2. Rissspitzenbestimmung und -verfolgung 78 5.3. Anwendung der entwickelten Algorithmen auf Voxeldaten 78 5.4. Modellerweiterung durch Relativrotation 82 5.5. Genauigkeitssteigerungen für die Rissposition 82 5.6 Verbesserung der Rissnormalenschätzung 82 Literaturverzeichnis 83 Abkürzungsverzeichnis 89 Tabellenverzeichnis 90 Abbildungsverzeichnis 90

This work investigates the process of automating reconstruction of buildings from video imagery. New metrics were developed to detect the least blurred images in a sequence for further processing. Phase correlation for point matching was investigated and new metrics were developed to identify successful matches. Direct relative orientation algorithms were investigated in-depth. A significant finding was a new 6-point algorithm which outperformed previously published algorithms for a number of calibrated camera and target geometries. The development of the new metrics and the outcomes from the comprehensive investigations conducted have contributed to a better understanding of the challenging problem of automatically reconstructing 3D objects from image sequences.