In den letzten Jahren kommen immer mehr nicht perspektivische Kamerasysteme beim maschinellen Sehen zur Anwendung, die vor allem ein deutlich erweitertes Blickfeld bieten. Das klassische perspektivische Abbildungsmodell lässt sich hier häufig nicht mehr erfolgreich anwenden. In dieser Arbeit wird ein generisches Abbildungsmodell vorgestellt, welches übliche Kamerasysteme akkurat modellieren kann. Solche Kamerasysteme schließen insbesondere klassische perspektivische Systeme, aber auch Fischaugen- und Spiegellinsen-Kamerasysteme ein. Die Nutzung eines einheitlichen Abbildungsmodells ermöglicht schließlich eine einfache Verwendung und Kalibrierung von heterogenen Stereokamerasystemen, also einer Kombination von unterschiedlichen Kameratypen, die vorteilhafte Eigenschaften gegenüber klassischen Stereosystemen bieten. Nicht zuletzt trägt die in dieser Arbeit vorgestellte einheitliche Modellierung und Kalibrierung von Mono- und Stereokamerasystemen dazu bei, Fehler durch falschen Umgang oder falsche Wahl von Methoden der Modellierung oder Kalibrierung zu vermeiden und den Kamerakalibrierprozess insgesamt zu vereinfachen. In dieser Arbeit wurden verschiedene Ansätze der Modellierung untersucht und evaluiert. Es wurde eine generische Modellierung vorgeschlagen, die die untersuchten spezifischen Abbildungsmodelle vollständig ersetzen kann. Für die Kalibrierung nicht linearer Abbildungsmodelle wurde eine einheitliche Methode zur Startwertbestimmung vorgeschlagen und evaluiert. Die Genauigkeit der Kalibrierung mittels einheitlicher Methoden wurde anhand diverser realer Kamerasysteme untersucht und bewertet. Es konnte gezeigt werden, dass die dabei auftretenden Fehler deutlich im Subpixelbereich liegen. Durch Erweiterung des klassischen Konzepts der Epipolargeometrie um die generische Abbildungsmodellierung konnten schließlich heterogene Stereokamerasysteme kalibriert und genaue Stereomodelle abgeleitet werden. / The application of perspective camera systems in photogrammetry and computer vision is state of the art. In recent years non-perspective and especially omnidirectional camera systems have increasingly been used in close-range photogrammetry tasks. In general, the perspective camera model, i.e. pinhole model, cannot be applied when using non-perspective camera systems. However, several camera models for different omnidirectional camera systems are proposed in literature. Using different types of cameras in a heterogeneous camera system may lead to an advantageous combination. The advantages of different camera systems, e.g. field of view and resolution, result in a new enhanced camera system. If these different kinds of cameras can be modeled, using a unified camera model, the total calibration process can be simplified. Sometimes it is not possible to give the specific camera model in advance. In these cases a generic approach is helpful too. Furthermore, a simple stereo reconstruction becomes possible when using a fisheye and a perspective camera for example. In this work camera models for perspective, wide-angle and omnidirectional camera systems were evaluated. A generic camera model were introduced that fully substitutes specific camera models. The crucial initialization of the model''s parameters is conducted using a new generic method that is independent of the particular camera system. The accuracy of this generic camera calibration approach is validated by the calibration of a dozen of real camera systems up to subpixel accuracy. Finally, it has been shown that a unified method of modeling, parameter approximation and calibration of interior and exterior orientation can be applied to a generic stereo system to derive precise 3D object data.

Das Bereitstellen von Parametern bezüglich Auflösungsvermögen und effektiver Auflösung ist ein gut erforschtes Wissenschaftsfeld, dennoch sind noch einige offen Fragen zu klären, wenn eine standardisierte Erhebung angestrebt wird. Zu diesem Zweck ist im Rahmen der vorliegenden Arbeit ein Framework definiert und mathematisch und methodologisch beschrieben worden unter Einbeziehung aller untergeordneten Prozesse. Weiterhin liefert sie einen detaillierten Überblick zu den verwendeten Methoden und Strukturen, um räumliche Auflösung zu messen. Das zuvor definierte Framework wird darüber hinaus genutzt, um alle zugehörigen Probleme bezüglich eines genormten Prozesses zu identifizieren und zu lösen. Der so definierte Prozess ist außerdem Teil der bevorstehenden, neuen Norm: DIN 18740-8. Im Hinblick auf die Norm sind alle Messeinflüsse an den möglichen Stellen quantifiziert worden und an Stellen, wo dies nicht möglich ist, wurden Vorkehrungen definiert, die diese Einflüsse mindern. Darüber hinaus wurde ein zugehöriges Softwaretool entwickelt, das ebenfalls die neue Norm unterstützt. Als weiterer Schwerpunkt dieser Arbeit wurde ein Verfahren zur Verbesserung der räumlichen Auflösung entwickelt und bewertet. Das zugehörige Softwaretool kombiniert dabei verschiedene Super-Resolution-Ansätze unter Einbeziehung zusätzlicher Kenntnis über die Bildqualität. Der neuartige Super-Resolution-Ansatz verbessert die räumliche Auflösung von Luftbildern und True-Ortho-Mosaiken indem er ein Set von niedrig aufgelösten Rohbildern, deren optimierter, äußerer und innerer Orientierung und die abgeleitete 3D-Oberfläche als Eingangsdaten akzeptiert. Anschließend werden ein oder mehrere hochaufgelöste Bilder als hybride Kombination von klassischen Super-Resolution-Methoden und De-Mosaikierung berechnet, unter Berücksichtigung der photogrammetrischen Projektionen auf die 3D-Oberfläche. Dabei werden Limitierungen der Bildkoregistrierung mit üblich verwendeten Optical-Flow-Ansätzen überwunden. / Although acquisition of resolving power and effective spatial resolution is a well-studied field of research, there are still several scientific questions to be answered when it comes to a standardized determination. Therefore, this thesis provides a description of a framework for the imaging process of remote sensing sensors mathematically and methodologically including imaging components and subsequent processes. Furthermore, a detailed review for different structures and methods to measure spatial resolution is included. Aforementioned framework then is utilized to identify related issues to a standardized process obtaining spatial resolution parameters as an image quality criterion to support an upcoming standard DIN 18740-8. With respect to define the norm-procedure every measurement influence is quantified where possible and in other cases arrangements are specified to diminish their influence. Moreover, the development of an associated software measurement tool has been accomplished as part of this thesis, which also supports the norm for aerial image quality, spatial resolution in particular. As part of a further objective of this thesis, a super-resolution approach to improve spatial resolution of aerial images has been developed and evaluated. The related software tool is able to combine different super-resolution techniques and includes known image quality parameter in subsequent calculations. The novel super-resolution approach improves spatial resolution of aerial imagery and true ortho-mosaics by taking a set of multiple low-resolved raw images (color filter array), their optimized exterior and interior orientation parameters and the derived 3D-surface as input. Then, one or more super-resolved images are calculated as a hybrid of classic super-resolution method and demosaicing while considering photogrammetric back-projections onto the 3D-surface. Thereby, limitations of image co-registration with commonly used optical flow approaches can be neglected.

Fotorealistische Modellierung von Menschen ist in der Computer Grafik von besonderer Bedeutung, da diese allgegenwärtig in Film- und Computerspiel-Produktionen benötigt wird. Heutige Modellierungs-Software vereinfacht das Generieren realistischer Modelle. Hingegen ist das Erstellen realitätsgetreuer Abbilder real existierender Personen nach wie vor eine anspruchsvolle Aufgabe. Die vorliegende Arbeit adressiert die automatische Modellierung von realen Menschen und die Verfolgung ihrer Bewegung. Ein Skinning-basierter Ansatz wurde gewählt, um effizientes Generieren von Animationen zu ermöglichen. Für gesteigerte Realitätstreue wurde eine artefaktfreie Skinning-Funktion um den Einfluss mehrerer kinematischer Gelenke erweitert. Dies ermöglicht eine große Vielfalt an real wirkenden komplexen Bewegungen. Zum Erstellen eines Personen-spezifischen Modells wird hier ein automatischer, datenbasierter Ansatz vorgeschlagen. Als Eingabedaten werden registrierte, geschlossene Beispiel-Meshes verschiedener Posen genutzt. Um bestmöglich die Trainingsdaten zu approximieren, werden in einer Schleife alle Komponenten des Modells optimiert: Vertices, Gelenke und Skinning-Gewichte. Zwecks Tracking von Sequenzen verrauschter und nur teilweise erfasster 3D Rekonstruktionen wird ein markerfreier modelladaptiver Ansatz vorgestellt. Durch die nicht-parametrische Formulierung werden die Gelenke des generischen initialien Tracking-Modells uneingeschränkt optimiert, als auch die Oberfläche frei deformiert und somit individuelle Eigenheiten des Subjekts extrahiert. Integriertes a priori Wissen über die menschliche Gestalt, extrahiert aus Trainingsdaten, gewährleistet realistische Modellanpassungen. Das resultierende Modell mit Animationsparametern ist darauf optimiert, bestmöglich die Eingabe-Sequenz wiederzugeben. Zusammengefasst ermöglichen die vorgestellten Ansätze realitätsgetreues und automatisches Modellieren von Menschen und damit akkurates Tracking aus 3D Daten. / Photorealistic modeling of humans in computer graphics is of special interest because it is required for modern movie- and computer game productions. Modeling realistic human models is relatively simple with current modeling software, but modeling an existing real person in detail is still a very cumbersome task. This dissertation focuses on realistic and automatic modeling as well as tracking human body motion. A skinning based approach is chosen to support efficient realistic animation. For increased realism, an artifact-free skinning function is enhanced to support blending the influence of multiple kinematic joints. As a result, natural appearance is supported for a wide range of complex motions. To setup a subject-specific model, an automatic and data-driven optimization framework is introduced. Registered, watertight example meshes of different poses are used as input. Using an efficient loop, all components of the animatable model are optimized to closely resemble the training data: vertices, kinematic joints and skinning weights. For the purpose of tracking sequences of noisy, partial 3D observations, a markerless motion capture method with simultaneous detailed model adaptation is proposed. The non-parametric formulation supports free-form deformation of the model’s shape as well as unconstrained adaptation of the kinematic joints, thereby allowing to extract individual peculiarities of the captured subject. Integrated a-prior knowledge on human shape and pose, extracted from training data, ensures that the adapted models maintain a natural and realistic appearance. The result is an animatable model adapted to the captured subject as well as a sequence of animation parameters, faithfully resembling the input data. Altogether, the presented approaches provide realistic and automatic modeling of human characters accurately resembling sequences of 3D input data.

Diese Arbeit befasst sich mit der Entwicklung eines echtzeitfähigen Systems zur Erstellung von Tiefeninformation aus Stereobildpaaren, das in einer Reihe von Anwendungen zur dreidimensionalen Vermessung des Raumes herangezogen werden kann. Als Hauptanwendungsgebiete sind in erster Linie mobile Robotikapplikationen vorgesehen, die sehr strenge Anforderungen sowohl bezüglich des Ressourcenverbrauchs als auch im Hinblick auf die Messeigenschaften und das Laufzeitverhalten stellen. Ein Merkmal des in dieser Arbeit entworfenen Systems ist die in Echtzeit stattfindende Ausführung der verwendeten Algorithmen in Kombination mit sehr guten Messeigenschaften. Das verwendete Stereo-Matching-Verfahren basiert auf einem globalen Ansatz und liefert im Vergleich zu den alternativen echtzeitfähigen Methoden sehr gute Ergebnisse. Im Vordergrund steht dabei der Semi-Global-Matching-Algorithmus. Aufgrund der Komplexität globaler Ansätze finden in Echtzeitapplikationen nur lokale Stereo-Verfahren Verwendung. Lokale Verfahren liefern jedoch im Vergleich zu den globalen Methoden qualitativ schlechte Disparitätskarten. Ein neuer globaler Matching-Algorithmus Efficient-Semi-Global-Matching (eSGM) wird vorgestellt und in das Konzept für mobile Robotikanwendungen umgesetzt. Wegen der begrenzten Ressourcen der realen Hardware wurde eine Weiterentwicklung des eSGM-Algorithmus für die Realisierung genutzt. Abschließend wird das System anhand der drei Kerneigenschaften Laufzeit, Ressourcenverbrauch und Qualität der Tiefeninformation gegenüber den Verfahren nach dem Stand der Technik bewertet. Der in dieser Arbeit vorgestellte FPGA-Ansatz, die eingesetzte Entwurfsmethode und die vorgestellten Algorithmen ermöglichten es, ein leistungsfähiges Stereo-Bildverarbeitungssystem zu entwickeln, das den hohen Anforderungen bezüglich des Laufzeitverhaltens und der Qualität des Ergebnisses gerecht wird. / This work presents a realtime stereo image matching system that takes advantage of a global image matching method. The system is designed to provide depth information for mobile robotic applications. Typical tasks of the proposed system are to assist in obstacle avoidance, SLAM and path planning of mobile robots, that pose strong requirements on the size, energy consumption, reliability, frame rate and quality of the calculated depth map. Current available systems either rely on active sensors or on local stereo-image matching algorithms. The first are only suitable in controlled environments while the second suffer from low quality depth-maps. Top ranking quality results are only achieved by an iterative approach using global image matching and colour segmentation techniques which are computationally demanding and therefore difficult to be executed in real time. Attempts were made to still reach real-time performance with global methods by simplifying the routines but led to degraded depth maps which are at the end almost comparable with local methods. An equally named semi-global algorithm was proposed earlier, that shows both very good image matching results and relatively simple execution at the same time. A memory efficient variant of the Semi-Global Matching algorithm is presented and adopted for an implementation based on reconfigurable hardware that is suitable for real-time operations in the field of robotics. It will be shown that the modified version of the efficient Semi-Global matching method is delivering equivalent result compared to the original algorithm. The complete design has been implemented within a hardware development framework that is also reviewed.

Mikroskopaufnahmen kompletter Organismen und ihrer Entwicklung ermöglichen die Erforschung ganzer Organismen oder Systeme und erzeugen Datensätze im Terabyte-Bereich. Solche großen Datensätze erfordern die Entwicklung von Computer-Vision-Tools, um Aufgaben wie Erkennung, Segmentierung, Klassifizierung und Registrierung durchzuführen. Es ist wünschenswert, Computer-Vision-Tools zu entwickeln, die nur eine minimale Menge an manuell annotierten Trainingsdaten benötigen. Ich demonstriere derartige Anwendungen in drei Projekte. Zunächst stelle ich ein Tool zur automatischen Registrierung von Drosophila-Flügeln (verschiedener Spezies) unter Verwendung von Landmarkenerkennung vor, das für die Untersuchung der Funktionsweise von Enhancern eingesetzt wird. Ich vergleiche die Leistung eines Shape-Model-Ansatzes mit der eines kleinen neuronalen Netz bei der Verfügbarkeit von nur 20 Trainingsbeispiele. Beide Methoden schneiden gut ab und ermöglichen eine präzise Registrierung von Tausenden von Flügeln. Das zweite Projekt ist ein hochauflösendes Zellkernmodell des C. elegans, das aus einem nanometeraufgelösten Elektronenmikroskopiedatensatz einer ganzen Dauerlarve erstellt wird. Diese Arbeit ist der erste Atlas der Dauerdiapause von C. elegans, der jemals erstellt wurde, und enthüllt die Anzahl der Zellkerne in diesem Stadium. Schließlich stelle ich eine Bildanalysepipeline vor, an der ich zusammen mit Laura Breimann und anderen gearbeitet habe. Die Pipeline umfasst die Punkterkennung von Einzelmolekül-Fluoreszenz-In-situ-Hybridisierung (smFISH), die Segmentierung von Objekten und die Vorhersage des Embryonalstadiums. Mit diesen drei Beispielen demonstriere ich sowohl generische Ansätze zur computergestützten Modellierung von Modellorganismen als auch maßgeschneiderte Lösungen für spezifische Probleme und die Verschiebung des Feldes in Richtung Deep-Learning. / Microscopy images of entire organisms and their development allows research in whole organisms or systems, producing terabyte scale datasets. Such big datasets require the development of computer vision tools to perform tasks such as detection, segmentation, classification, and registration. It is desirable to develop computer vision tools that require minimal manually annotated training data. I demonstrate such applications in three projects. First, I present a tool for automatic Drosophila wing (of various species) registration using landmark detection, for its application in studying enhancer function. I compare the performance of a shape model technique to a small CNN requiring only 20 training examples. Both methods perform well, and enable precise registration of thousands of wings. The second project is a high resolution nucleus model of the C. elegans, constructed from a nanometer-resolved electron microscopy dataset of an entire dauer larva. The nucleus model is constructed using a classical dynamic programing approach as well as a CNN approach. The resulting model is accessible via a web-based (CATMAID) open source and open access resource for the community. I also developed a CATMAID plugin for the annotation of segmentation objects (here, nucleus identity). This work is the first atlas of the C. elegans dauer diapause ever created and unveils the number of nuclei at that stage. Lastly, I detail an image analysis pipeline I collaborated on with Laura Breimann and others. The pipeline involves single molecule fluorescence in situ hybridization (smFISH) spot detection, object segmentation, and embryo stage prediction. The pipeline is used to study the dynamics of X specific transcriptional repression by condensin in the C. elegans embryo. With these three examples, I demonstrate both generic approaches to computational modeling of model organisms, as well as bespoke solutions to specific problems, and the shift in the field towards deep learning.

Das Problem des fehlenden Augenkontaktes vermindert den Eindruck einer natürlichen Kommunikationssituation bei Videokonferenzen. Während eine Person auf den Bildschirm blickt, wird sie von Kameras aufgenommen, die sich normalerweise direkt daneben befinden. Mit dem Aufkommen von massiv paralleler Computer Hardware und ganz speziell den sehr leistungsstarken Spielegrafikkarten ist es möglich geworden, viele Eingabeansichten für eine Echtzeit 3D Rekonstruktion zu verarbeiten. Eine größere Anzahl von Eingabeansichten mildert Verdeckungsprobleme ab und führt zu vollständigeren 3D Daten. In dieser Arbeit werden neue Algorithmen vorgeschlagen, welche eine hochqualitative Echtzeit 3D Rekonstruktion, die kontinuierliche Anpassung der photometrischen Kameraparameter und die benutzerunabhängige Schätzung der Augenkontaktkameras ermöglichen. Die Echtzeit 3D Analyse besteht aus zwei komplementären Ansätzen. Einerseits gibt es einen Algorithmus, der auf der Verarbeitung geometrischer Formen basiert und auf der anderen Seite steht eine patchbasierte Technik, die 3D Hypothesen durch das Vergleichen von Bildtexturen evaluiert. Zur Vorbereitung für die Bildsynthese ist es notwendig, Texturen von verschiedenen Ansichten anzugleichen. Hierfür wird die Anwendung eines neuen Algorithmus zur kontinuierlichen photometrischen Justierung der Kameraparameter vorgeschlagen. Die photometrische Anpassung wird iterativ, im Wechsel mit einer 3D Registrierung der entsprechenden Ansichten, ausgeführt. So ist die Qualität der photometrischen Parameter direkt mit jener der Ergebnisse der 3D Analyse verbunden und vice versa. Eine weitere wichtige Voraussetzung für eine korrekte Synthese der Augenkontaktansicht ist die Schätzung einer passenden virtuellen Augenkontaktkamera. Hierfür wird die Augenkontaktkamera kontinuierlich an die Augenposition der Benutzer angeglichen. Auf diese Weise wird eine virtuelle Kommunikationsumgebung geschaffen, die eine natürlichere Kommunikation ermöglicht. / A major problem, that decreases the naturalness of conversations via video communication, is missing eye contact. While a person is looking on the display, she or he is recorded from cameras that are usually attached next to the display frame. With the advent of massively parallel computer hardware and in particular very powerful consumer graphics cards, it became possible to simultaneously process multiple input views for real-time 3D reconstruction. Here, a greater amount of input views mitigate occlusion problems and lead to a more complete set of 3D data that is available for view synthesis. In this thesis, novel algorithms are proposed that enable for high quality real-time 3D reconstruction, the on-line alignment of photometric camera parameters, and the automatic and user independent estimation of the eye contact cameras. The real-time 3D analysis consist of two complementary approaches. On the one hand, a shape based algorithm and on the other hand, a patch based technique that evaluates 3D hypotheses via comparison of image textures. Preparative to rendering, texture from multiple views needs to be aligned. For this purpose, a novel algorithm for photometric on-line adjustment of the camera parameters is proposed. The photometric adjustment is carried out iteratively in alternation with a 3D registration of the respective views. In this way, the quality of photometric parameters is directly linked to the 3D analysis results and vice versa. Based on the textured 3D data, the eye contact view is rendered. An important prerequisite for this task is the estimation of a suitable virtual eye contact camera. In this thesis, a novel approach is formulated that enables for an automatic adaptation to arbitrary new users. Therefor, the eye contact camera is dynamically adapted to the current eye positions of the users. In this way, a virtual communication environment is created that allows for a more natural conversation.

Bei der Förderung von Erdöl wird auch Erdgas gefördert, das oft abgefackelt wird. Das Abfackeln von Erdgas ist sehr schädlich für die Umwelt und die Bewohner einer Umgebung in der Gas abgefackelt wird. Demzufolge ist die Reduktion dieses Prozesses eine wichtige Aufgabe, die durch Monitoring von Gasfackeln unterstützt werden kann. Dies gelingt am besten durch Fernerkundung mit Satellitendaten. Die vorliegende Dissertation widmet sich der Parametrisierung von Gasfackeln anhand von Infrarot-Satellitenaufnahmen. Eine Gruppe von Sensoren wurde verglichen, woraus optimale Eigenschaften eines Sensors zur Gasfackelanalyse abgeleitet wurden. Danach wurde ein Modell zur Berechnung des Gasflusses aus Infrarot-Satellitenaufnahmen entwickelt. Das vorgeschlagene Modell basiert auf der Physik der Verbrennung und wird von Teilmodellen zur Berechnung der Verbrennungsparameter unterstütz. Dadurch werden Prozesse mitberücksichtigt, die bisher in der Gasfackelforschung wenig adressiert wurden. Eine Experimentenreihe erlaubte eine Charakterisierung der Flamme in Bezug auf sich verändernde Bedingungen, z.B. Gasfluss. Zusätzlich wurde das Modell durch die Experimente validiert. Die abgeleitete Genauigkeit der Gasflusswerte ist verhältnismäßig hoch, insbesondere wenn man die Komplexität und Variabilität einer Gasflamme berücksichtigt. Durch Analysieren des Sensordesigns des BIROS Sensors aus der FireBIRD-Mission des Deutschen Zentrums für Luft- und Raumfahrt konnten die Sensorparameter charakterisiert und deren Einfluss auf ein abgeleitetes Bildprodukt quantifiziert werden. Die Fähigkeit des Modells mit unterschiedlichen Sensordaten zu funktionieren, wurde geprüft durch einen Vergleich der geschätzten Gasflusswerte aus Daten von zwei Satellitensensoren. Die verglichenen Gasflusswerte sind sehr ähnlich, was die Fähigkeit des Models mit unterschiedlichen Daten gut zu funktionieren, bestätigt. Das vorgeschlagene Model hat Potenzial, das globale Monitoring von Gasfackeln zu verbessern. / Routine gas flaring is harmful to the environment and people living in the vicinity of gas flares. Therefore, the reduction of this process is an important task, which can be supported by monitoring of gas flares, which can be done with remote sensing techniques. The presented work is devoted to the monitoring of gas flaring. The first aspect of the analysis was to compare a group of sensors with respect to the features crucial for gas flaring analysis. A set of requirements for an optimal sensor for this purpose was proposed. Next, a model for calculating gas flow from infrared satellite imagery was proposed, which relies on several other models, allowing to derive the values of the combustion parameters. By modelling these parameters in a gas flare, processes are accounted for that were scarcely addressed in the research conducted on gas flaring until now. To describe the characteristics of the flame coming from combustion in a flare, an experimental series was designed and conducted. The experimental series allowed to characterise the flame with respect to changing conditions, e.g. gas flow. Thus, the characteristics derived from the experiments could be included in the model for gas flow calculation. Additionally, the experiments served as a mean to validate the model. The accuracy of the derived gas flow values is relatively high, especially considering the variability of a gas flare flame. One design goal of the model for gas flow calculation was to ensure feasibility to work with data from different sensors producing equally accurate results. By analysing the design of the BIROS sensor of the DLR, the sensor parameters could be described, and their influence on the resulting imagery could be quantified. The feasibility was verified by comparing the gas flow values calculated using data from two different satellite sensors. The results obtained are very similar. The model proposed reveals potential to improve the global monitoring of gas flaring.

Im Rahmen dieser Arbeit wird ein Konzept entwickelt und umgesetzt, welches eine umfassende Bewertung von Daten flugzeuggetragener hyperspektraler Systeme ermöglicht. Es baut auf mehreren aktuellen Initiativen zur Erfassung der Datenqualität flugzeuggetragener Sensoren auf: Der ''European Facility for Airborne Reseach'', der ''Quality Assessment for Earth Observation Workgroup'' und dem ''Joint Committee for Guides in Metrology''. Bei der Befliegung eines Gebietes mit hyperspektralen Sensorsystemen werden mehrere, teilweise sich überlappende, Flugstreifen aufgenommen. Es wird vorgeschlagen, die Bildinformationen dieser Überlappungsbereiche als redundant anzusehen und so die innere Variabilität der Daten zu erfassen. Die jeweils zwischen zwei Flugstreifen auftretende Variabilität kann (aufgrund unterschiedlicher Blickrichtungen) als ungünstigster anzunehmender Fall (''worst-case'') betrachtet werden und ergänzt daher existierende Ansätze, die sich auf die Auswertung homogener Flächen konzentrieren. Das entwickelte Konzept ist auf unterschiedliche Sensorsysteme anwendbar, somit generisch und kann problemlos in die aktuelle Datenprozessierungskette des Deutschen Zentrums für Luft- und Raumfahrt e.V. integriert werden. Im ersten Abschnitt der Arbeit wird dargelegt, wie korrespondierende Pixelpaare, die in den jeweiligen Streifen an gleicher Geolokation liegen, ermittelt werden können. Darauf aufbauend erfolgt eine Plausibilitätsüberprüfung der erfaßten Pixelpaare unter Verwendung von Zuverlässigkeitsmetriken, die auf Basis höherwertigerer Datenprodukte berechnet werden. In einem weiteren Schritt werden die Ergebnisse genutzt, um die notwendigen Parameter für eine optimierte Bildauswertung - hier im Sinne der Zuverlässigkeit - abzuleiten. Abschließend werden die Pixelpaare benutzt, um die globale Variabilität der Reflektanzwerte abzuschätzen. Insgesamt werden durch diese Arbeit die existierenden Methoden zur Qualitätskontrolle optischer Bilddaten umfassend ergänzt. / This work proposes a methodology for performing a quality assessment on the complete airborne hyperspectral system, thus ranging from data acquisition up to land-product generation. It is compliant with other quality assessment initiatives, such as the European Facility for Airborne Research (EUFAR), the Quality Assessment for Earth observation work-group (QA4EO) and the Joint Committee for Guides in Metrology (JCGM). These are extended into a generic framework allowing for a flexible but reliable quality assessment strategy. Since airborne hyperspectral imagery is usually acquired in several partially overlapping flight-lines, it is proposed to use this information redundancy to retrieve the imagery''s internal variability. The underlying method is generic and can be easily introduced in the German Aerospace Center DLR''s hyperspectral processing chain. The comparison of two overlapping flight-lines is not straightforward, should it only be because the presence of geo-location errors present in the data. A first step consists in retrieving the relative variability of the pixel''s geo-locations, hence providing pairs of pixels imaging the same areas. Subsequently, these pairs of pixels are used to obtain quality indicators accounting for the reproducibility of mapping-products, thus extending the EUFAR''s quality layers up to land-products. The third stage of the analysis consists of using these reliability results to improve the mapping-products: it is proposed to maximise the reliability over the mapping-methods'' parameters. Finally, the repeatability assessment is back propagated to the hyperspectral data itself. As a result, an estimator of the reflectance variability (including model-, and scene-induced uncertainties) is proposed by means of a blind-deconvolution approach. Altogether, this complements and extends the EUFAR quality layers with estimates of the data and products repeatability while providing confidence intervals as recommended by JCGM and QA4EO.

Der Trend hin zu virtueller Realität (VR) hat neues Interesse an Themen wie der Modellierung menschlicher Körper geweckt, da sich neue Möglichkeiten für Unterhaltung, Konferenzsysteme und immersive Anwendungen bieten. Diese Dissertation stellt deshalb neue Ansätze für die Erstellung animierbarer/realistischer 3D-Kopfmodelle, zur computergestützten Gesichtsanimation aus Text/Sprache sowie zum fotorealistischen Echtzeit-Rendering vor. Um die 3D-Erfassung zu vereinfachen, wird ein hybrider Ansatz genutzt, der statistische Kopfmodelle mit dynamischen Texturen kombiniert. Das Modell erfasst Kopfhaltung und großflächige Deformationen, während die Texturen feine Details und komplexe Bewegungen kodieren. Anhand der erfassten Daten wird ein generatives Modell trainiert, das realistische Gesichtsausdrücke aus einem latenten Merkmalsvektor rekonstruiert. Zudem wird eine neue neuronale Rendering-Technik presentiert, die lernt den Vordergrund (Kopf) vom Hintergrund zu trennen. Das erhöht die Flexibilität während der Inferenz (z. B. neuer Hintergrund) und vereinfacht den Trainingsprozess, da die Segmentierung nicht vorab berechnet werden muss. Ein neuer Animationsansatz ermöglicht die automatische Synthese von Gesichtsvideos auf der Grundlage weniger Trainingssequenzen. Im Gegensatz zu bestehenden Arbeiten lernt das Verfahren einen latenten Merkmalsraum, der sowohl Emotionen als auch visuelle Variationen der Sprache erfasst, während gelernte Priors Animations-Artefakte und unrealistische Kopfbewegungen minimieren. Nach dem Training ist es möglich, realistische Sprachsequenzen zu erzeugen, während der latente Stil-Raum zusätzliche Gestaltungsmöglichkeiten bietet. Die vorgestellten Methoden bilden ein Komplettsystem für die realistische 3D-Modellierung, Animation und Darstellung von menschlichen Köpfen, das den Stand der Technik übertrifft. Dies wird in verschiedenen Experimenten, Ablations-/Nutzerstudien gezeigt und ausführlich diskutiert. / The recent trend of virtual reality (VR) has sparked new interest in human body modeling by offering new possibilities for entertainment, conferencing, and immersive applications (e.g., intelligent virtual assistants). Therefore, this dissertation presents new approaches to creating animatable and realistic 3D head models, animating human faces from text/speech, and the photo-realistic rendering of head models in real-time. To simplify complex 3D face reconstruction, a hybrid approach is introduced that combines a lightweight statistical head model for 3D geometry with dynamic textures. The model captures head orientation and large-scale deformations, while textures encode fine details and complex motions. A deep variational autoencoder trained on these textured meshes learns to synthesize realistic facial expressions from a compact vector. Additionally, a new neural-rendering technique is proposed that separates the head (foreground) from the background, providing more flexibility during inference (e.g., rendering on novel backgrounds) and simplifying the training process as no segmentation masks have to be pre-computed. This dissertation also presents a new neural-network-based approach to synthesizing novel face animations based on emotional speech videos of an actor. Unlike existing works, the proposed model learns a latent animation style space that captures emotions as well as natural variations in visual speech. Additionally, learned animation priors minimize animation artifacts and unrealistic head movements. After training, the animation model offers temporally consistent editing of the animation style according to the users’ needs. Together, the presented methods provide an end-to-end system for realistic 3D modeling, animation, and rendering of human heads. Various experimental results, ablation studies, and user evaluations demonstrate that the proposed approaches outperform the state-of-the-art.

Time-of-Flight (ToF)-Kameras erzeugen Tiefenbilder (3D-Bilder), indem sie Infrarotlicht aussenden und die Zeit messen, bis die Reflexion des Lichtes wieder empfangen wird. Durch den Einsatz mehrerer ToF-Kameras können ihre vergleichsweise geringere Auflösungen überwunden, das Sichtfeld vergrößert und Verdeckungen reduziert werden. Der gleichzeitige Betrieb birgt jedoch die Möglichkeit von Störungen, die zu fehlerhaften Tiefenmessungen führen. Das Problem der gegenseitigen Störungen tritt nicht nur bei Mehrkamerasystemen auf, sondern auch wenn mehrere unabhängige ToF-Kameras eingesetzt werden. In dieser Arbeit wird eine neue optische Synchronisation vorgestellt, die keine zusätzliche Hardware oder Infrastruktur erfordert, um ein Zeitmultiplexverfahren (engl. Time-Division Multiple Access, TDMA) für die Anwendung mit ToF-Kameras zu nutzen, um so die Störungen zu vermeiden. Dies ermöglicht es einer Kamera, den Aufnahmeprozess anderer ToF-Kameras zu erkennen und ihre Aufnahmezeiten schnell zu synchronisieren, um störungsfrei zu arbeiten. Anstatt Kabel zur Synchronisation zu benötigen, wird nur die vorhandene Hardware genutzt, um eine optische Synchronisation zu erreichen. Dazu wird die Firmware der Kamera um das Synchronisationsverfahren erweitert. Die optische Synchronisation wurde konzipiert, implementiert und in einem Versuchsaufbau mit drei ToF-Kameras verifiziert. Die Messungen zeigen die Wirksamkeit der vorgeschlagenen optischen Synchronisation. Während der Experimente wurde die Bildrate durch das zusätzliche Synchronisationsverfahren lediglich um etwa 1 Prozent reduziert. / Time-of-Flight (ToF) cameras produce depth images (three-dimensional images) by measuring the time between the emission of infrared light and the reception of its reflection. A setup of multiple ToF cameras may be used to overcome their comparatively low resolution, increase the field of view, and reduce occlusion. However, the simultaneous operation of multiple ToF cameras introduces the possibility of interference resulting in erroneous depth measurements. The problem of interference is not only related to a collaborative multicamera setup but also to multiple ToF cameras operating independently. In this work, a new optical synchronization for ToF cameras is presented, requiring no additional hardware or infrastructure to utilize a time-division multiple access (TDMA) scheme to mitigate interference. It effectively enables a camera to sense the acquisition process of other ToF cameras and rapidly synchronizes its acquisition times to operate without interference. Instead of requiring cables to synchronize, only the existing hardware is utilized to enable an optical synchronization. To achieve this, the camera’s firmware is extended with the synchronization procedure. The optical synchronization has been conceptualized, implemented, and verified with an experimental setup deploying three ToF cameras. The measurements show the efficacy of the proposed optical synchronization. During the experiments, the frame rate was reduced by only about 1% due to the synchronization procedure.