Die dynamische Schätzung der Fahrzeugposition durch Sensordatenfusion ist eine der grundlegenden Aufgaben für moderne Verkehrsanwendungen wie zum Beispiel fahrerlose Transportsysteme oder Pre-Crash-Sicherheitssysteme. In dieser Arbeit wird ein Verfahren zur dezentralen kooperativen Fahrzeuglokalisierung vorgestellt, das auf einer allgemeinen Methode zur Fusion von Informationen mehrerer Teilnehmer beruht. Sowohl die lokale als auch die übertragene Schätzung wird durch Partikel dargestellt. Innerhalb einer Simulation wird gezeigt, dass sich die Positionsschätzung der einzelnen Teilnehmer im Netzwerk im Vergleich zu einer reinen GPS-basierten Lösung verbessert.

Over the past decade, the public awareness and availability as well as methods for the creation and use of spatial data on the Web have steadily increased. Besides the establishment of governmental Spatial Data Infrastructures (SDIs), numerous volunteered and commercial initiatives had a major impact on that development. Nevertheless, data isolation still poses a major challenge. Whereas the majority of approaches focuses on data provision, means to dynamically link and combine spatial data from distributed, often heterogeneous data sources in an ad hoc manner are still very limited. However, such capabilities are essential to support and enhance information retrieval for comprehensive spatial decision making. To facilitate spatial data fusion in current SDIs, this thesis has two main objectives. First, it focuses on the conceptualization of a service-based fusion process to functionally extend current SDI and to allow for the combination of spatial data from different spatial data services. It mainly addresses the decomposition of the fusion process into well-defined and reusable functional building blocks and their implementation as services, which can be used to dynamically compose meaningful application-specific processing workflows. Moreover, geoprocessing patterns, i.e. service chains that are commonly used to solve certain fusion subtasks, are designed to simplify and automate workflow composition. Second, the thesis deals with the determination, description and exploitation of spatial data relations, which play a decisive role for spatial data fusion. The approach adopted is based on the Linked Data paradigm and therefore bridges SDI and Semantic Web developments. Whereas the original spatial data remains within SDI structures, relations between those sources can be used to infer spatial information by means of Semantic Web standards and software tools. A number of use cases were developed, implemented and evaluated to underpin the proposed concepts. Particular emphasis was put on the use of established open standards to realize an interoperable, transparent and extensible spatial data fusion process and to support the formalized description of spatial data relations. The developed software, which is based on a modular architecture, is available online as open source. It allows for the development and seamless integration of new functionality as well as the use of external data and processing services during workflow composition on the Web. / Die Entwicklung des Internet im Laufe des letzten Jahrzehnts hat die Verfügbarkeit und öffentliche Wahrnehmung von Geodaten, sowie Möglichkeiten zu deren Erfassung und Nutzung, wesentlich verbessert. Dies liegt sowohl an der Etablierung amtlicher Geodateninfrastrukturen (GDI), als auch an der steigenden Anzahl Communitybasierter und kommerzieller Angebote. Da der Fokus zumeist auf der Bereitstellung von Geodaten liegt, gibt es jedoch kaum Möglichkeiten die Menge an, über das Internet verteilten, Datensätzen ad hoc zu verlinken und zusammenzuführen, was mitunter zur Isolation von Geodatenbeständen führt. Möglichkeiten zu deren Fusion sind allerdings essentiell, um Informationen zur Entscheidungsunterstützung in Bezug auf raum-zeitliche Fragestellungen zu extrahieren. Um eine ad hoc Fusion von Geodaten im Internet zu ermöglichen, behandelt diese Arbeit zwei Themenschwerpunkte. Zunächst wird eine dienstebasierten Umsetzung des Fusionsprozesses konzipiert, um bestehende GDI funktional zu erweitern. Dafür werden wohldefinierte, wiederverwendbare Funktionsblöcke beschrieben und über standardisierte Diensteschnittstellen bereitgestellt. Dies ermöglicht eine dynamische Komposition anwendungsbezogener Fusionsprozesse über das Internet. Des weiteren werden Geoprozessierungspatterns definiert, um populäre und häufig eingesetzte Diensteketten zur Bewältigung bestimmter Teilaufgaben der Geodatenfusion zu beschreiben und die Komposition und Automatisierung von Fusionsprozessen zu vereinfachen. Als zweiten Schwerpunkt beschäftigt sich die Arbeit mit der Frage, wie Relationen zwischen Geodatenbeständen im Internet erstellt, beschrieben und genutzt werden können. Der gewählte Ansatz basiert auf Linked Data Prinzipien und schlägt eine Brücke zwischen diensteorientierten GDI und dem Semantic Web. Während somit Geodaten in bestehenden GDI verbleiben, können Werkzeuge und Standards des Semantic Web genutzt werden, um Informationen aus den ermittelten Geodatenrelationen abzuleiten. Zur Überprüfung der entwickelten Konzepte wurde eine Reihe von Anwendungsfällen konzipiert und mit Hilfe einer prototypischen Implementierung umgesetzt und anschließend evaluiert. Der Schwerpunkt lag dabei auf einer interoperablen, transparenten und erweiterbaren Umsetzung dienstebasierter Fusionsprozesse, sowie einer formalisierten Beschreibung von Datenrelationen, unter Nutzung offener und etablierter Standards. Die Software folgt einer modularen Struktur und ist als Open Source frei verfügbar. Sie erlaubt sowohl die Entwicklung neuer Funktionalität durch Entwickler als auch die Einbindung existierender Daten- und Prozessierungsdienste während der Komposition eines Fusionsprozesses.

Object detection is one of the key tasks of environment perception for highly automated vehicles. To achieve a high level of performance and fault tolerance, automated vehicles are equipped with an array of different sensors to observe their environment. Perception systems for automated vehicles usually rely on Bayesian fusion methods to combine information from different sensors late in the perception pipeline in a highly abstract, low-dimensional representation. Newer research on deep learning object detection proposes fusion of information in higher-dimensional space directly in the convolutional neural networks to significantly increase performance. However, the resulting deep learning architectures violate key non-functional requirements of a real-world safety-critical perception system for a series-production vehicle, notably modularity, fault tolerance and traceability. This dissertation presents a modular multimodal perception architecture for detecting objects using camera, lidar and radar data that is entirely based on deep learning and that was designed to respect above requirements. The presented method is applicable to any region-based, two-stage object detection architecture (such as Faster R-CNN by Ren et al.). Information is fused in the high-dimensional feature space of a convolutional neural network. The feature map of a convolutional neural network is shown to be a suitable representation in which to fuse multimodal sensor data and to be a suitable interface to combine different parts of object detection networks in a modular fashion. The implementation centers around a novel neural network architecture that learns a transformation of feature maps from one sensor modality and input space to another and can thereby map feature representations into a common feature space. It is shown how transformed feature maps from different sensors can be fused in this common feature space to increase object detection performance by up to 10% compared to the unimodal baseline networks. Feature extraction front ends of the architecture are interchangeable and different sensor modalities can be integrated with little additional training effort. Variants of the presented method are able to predict object distance from monocular camera images and detect objects from radar data. Results are verified using a large labeled, multimodal automotive dataset created during the course of this dissertation. The processing pipeline and methodology for creating this dataset along with detailed statistics are presented as well.

Smarte Prüfsysteme werden ein Schlüsselbaustein zur Qualitätssicherung in der industriellen Fertigung und Produktion sein. Insbesondere trifft dies auf komplexe Prüf- und Bewertungsprozesse zu. In den letzten Jahren haben sich hierfür lernbasierte Verfahren als besonders vielversprechend herauskristallisiert. Ihr Einsatz geht in der Regel mit erheblichen Performanceverbesserungen gegenüber konventionellen, regel- bzw. geometriebasierten Methoden einher. Der Black-Box-Charakter dieser Algorithmen führt jedoch dazu, dass die Interpretationen der berechneten Prognosegüten kritisch zu hinterfragen sind. Das Vertrauen in die Ergebnisse von Algorithmen, die auf maschinellem Lernen basieren, kann erhöht werden, wenn verschiedene, voneinander unabhängige Verfahren zum Einsatz kommen. Hierbei sind Datenfusionsstrategien anzuwenden, um die Resultate der verschiedenen Methoden zu einem Endergebnis zusammenzufassen. Im Konferenzbeitrag werden, aufbauend auf einer kurzen Vorstellung wichtiger Ansätze zur Objektklassifikation, entsprechende Fusionsstrategien präsentiert und an einem Fallbeispiel evaluiert. Im Anschluss wird auf Basis der Ergebnisse das Potential der Datenfusion in Bezug auf das Maschinelle Lernen erörtert.

Die in dieser Arbeit vorgestellten Studien untersuchen verschiedene Ansätze für die Analyse von spektroskopischen Daten für die Erforschung anderer Himmelskörper. Der Fokus lag hierbei auf der laserinduzierten Plasmaspektroskopie (LIBS, engl. laser-induced breakdown spectroscopy), aber auch Daten der Raman-Spektroskopie wurden analysiert. Das erste extraterrestrisch eingesetzte LIBS Instrument, ChemCam, auf dem Mars Science Laboratory (MSL) der NASA untersucht die Marsoberfläche seit 2012 und weitere Missionen mit LIBS und Raman Instrumenten zum Mars sind geplant. Neben analytischen Ansätzen wurden statistische Methoden, die als multivariate Datenanalysen (MVA) bekannt sind, verwendet und evaluiert. In dieser Arbeit werden insgesamt vier Studien vorgestellt. In der ersten Studie wurde die Normalisierung von LIBS Daten mit Plasmaparametern, also der Plasmatemperatur und der Elektronendichte, untersucht. In der zweiten Studie wurden LIBS Messungen unter Vakuumbedingungen im Hinblick auf den Ionisierungsgrad des Plasmas untersucht. In der dritten Studie wurden MVA Methoden wie die Hauptkomponentenanalyse (PCA) und die partielle Regression kleinster Quadrate (PLS-R) zur Identifizierung und Quantifizierung von Halogenen mittels molekularer Emissionen angewandt. Die Ergebnisse sind vielversprechend, da es möglich war z.B. Chlor in einem ausgewählten Konzentrationsbereich zu quantifizieren. In der letzten Studie wurden LIBS-Daten mit komplementären Raman-Daten von Mars relevanten Salzen in einem low-level Datenfusionsansatz kombiniert. Es wurden MVA Methoden angewandt und auch Konzepte der high-level Datenfusion implementiert. Mit der low-level LIBS und Raman Datenfusion konnten im Vergleich zu den einzelnen Techniken mehr Salze richtig identifiziert werden. Der Gewinn durch die low-level Datenfusion ist jedoch vergleichsweise gering und für konkrete Missionen müssen individuelle und angepasste Strategien für die gemeinsame Analyse von LIBS und Raman-Daten gefunden werden. / The studies presented in this thesis investigate different data analysis approaches for mainly laser-induced breakdown spectroscopy (LIBS) and also Raman data in the context of planetary in-situ exploration. Most studies were motivated by Mars exploration due to the first extraterrestrially employed LIBS instrument ChemCam on NASA's Mars Science Laboratory (MSL) and further planned LIBS and Raman instruments on upcoming missions to Mars. Next to analytical approaches, statistical methods known as multivariate data analysis (MVA) were applied and evaluated. In this thesis, four studies are presented in which LIBS and Raman data analysis strategies are evaluated. In the first study, LIBS data normalization with plasma parameters, namely the plasma temperature and the electron density, was studied. In the second study, LIBS measurements in vacuum conditions were investigated with a focus on the degree of ionization of the LIBS plasma. In the third study, the capability of MVA methods such as principal component analysis (PCA) and partial least squares regression (PLS-R) for the identification and quantification of halogens by means of molecular emissions was tested. The outcomes are promising, as it was possible to distinguish apatites and to quantify chlorine in a particular concentration range. In the fourth and last study, LIBS data was combined with complementary Raman data in a low-level data fusion approach using MVA methods. Also, concepts of high-level data fusion were implemented. Low-level LIBS and Raman data fusion can improve identification capabilities in comparison to the single datasets. However, the improvement is comparatively small regarding the higher amount of information in the low-level fused data and dedicated strategies for the joint analysis of LIBS and Raman data have to be found for particular scientific objectives.

Im Rahmen der vorliegenden Diplomarbeit werden Verfahren zur Clusteranalyse sowie deren Anwendungsmöglichkeiten zur Optimierung der Rechercheergebnisse von Information Retrievalsystemen untersucht. Die Grundlage der vergleichenden Evaluation erfolgversprechender Ansätze zur Clusteranalyse anhand der Domain Specific Monolingual Tasks des Cross-Language Evaluation Forums 2006 bildet die systematische Analyse der in der Forschung etablierten Verfahren zur Clusteranalyse. Die Implementierung ausgewählter Clusterverfahren wird innerhalb eines bestehenden, Lucene-basierten Retrievalsystems durchgeführt. Zusätzlich wird dieses System im Rahmen dieser Arbeit mit Komponenten zur Query Expansion und zur Datenfusion ausgestattet. Diese beiden Ansätze haben sich in der Forschung zur automatischen Optimierung von Retrievalergebnissen durchgesetzt und bilden daher die Bewertungsgrundlage für die implementierten Konzepte zur Optimierung von Rechercheergebnissen auf Basis der Clusteranalyse. Im Ergebnis erweist sich das lokale Dokument Clustering auf Basis des k-means Clustering-Algorithmus in Kombination mit dem Pseudo-Relevanz-Feedback Ansatz zur Selektion der Dokumente für die Query Expansion als besonders erfolgversprechend. Darüber hinaus wird gezeigt, dass mit Hilfe der Datenfusion auf Basis des Z-Score Operators die Ergebnisse verschiedener Indizierungsverfahren so kombiniert werden können, dass sehr gute und insbesondere sehr robuste Rechercheergebnisse erreicht werden. / Within the present diploma thesis, widely used Cluster Analysis approaches are studied in respect to their application to optimize the results of Information Retrieval systems. A systematic analysis of approved methods of the Cluster Analysis is the basis of the comparative evaluation of promising approaches to use the Cluster Analysis to optimize retrieval results. The evaluation is accomplished by the participation at the Domain Specific Monolingual Tasks of the Cross-Language Evaluation Forum 2006. The implementation of selected approaches for Clustering is realized within the framework of an existing Lucene-based retrieval system. Within the scope of work, this system will be supplemented with components for Query Expansion and Data Fusion. Both approaches have prevailed in the research of automatic optimization of retrieval results. Therefore, they are the basis of assessment of the implemented methods, which aim at improving the results of retrieval and are based on Cluster Analysis. The results show that selecting documents for Query Expansion with the help of local Document Clustering based on the k-means Clustering algorithm combined with the Blind Feedback approach is very promising. Furthermore, the Data Fusion approach based on the Z-Score operator proves to be very useful to combine retrieval results of different indexing methods. In fact, this approach achieves very good and in particular very robust results of retrieval.

Die dynamische Schätzung der Fahrzeugposition durch Sensordatenfusion ist eine der grundlegenden Aufgaben für moderne Verkehrsanwendungen wie zum Beispiel fahrerlose Transportsysteme oder Pre-Crash-Sicherheitssysteme. In dieser Arbeit wird ein Verfahren zur dezentralen kooperativen Fahrzeuglokalisierung vorgestellt, das auf einer allgemeinen Methode zur Fusion von Informationen mehrerer Teilnehmer beruht. Sowohl die lokale als auch die übertragene Schätzung wird durch Partikel dargestellt. Innerhalb einer Simulation wird gezeigt, dass sich die Positionsschätzung der einzelnen Teilnehmer im Netzwerk im Vergleich zu einer reinen GPS-basierten Lösung verbessert.

Gegenstand dieser Arbeit ist die Bewertung und Durchführung der Fusion von zwei Datensätzen, die auf Basis der Statistik der Straßenverkehrsunfälle des statistischen Bundesamtes konstruiert werden. Für die Fusionierung wird die Methode der statistischen Datenfusion angewendet. Die zu fusionierenden Datensätze werden auf die Ausgangslage der Datenfusion und Unfalldatenbanken angepasst. Anhand der Zusammenhangsstärke und Verteilung werden die passenden Variablen, die für die Datenfusion verwendet werden können, identifiziert und ausgewählt. Für die Datenfusion werden verschiedene nichtparametrische Verfahren unter der bedingten Unabhängigkeitsannahme (Distanz-Hot-Deck, Random-Hot-Deck) und unter der Beibehaltung der Unsicherheit (Imprecise Imputation) durchgeführt. Zusätzlich werden Qualitätsstufen mit einbezogen, um die Auswirkung von veränderten Variablen auszuwerten. Dabei zeigt sich, dass die Datenfusion unter der bedingten Unabhängigkeit allgemein eine unsichere Methode ist, die jedoch unter Umständen für bivariate Analysen vielversprechende Ergebnisse erzielen kann.:1. Einleitung 2. Grundlagen 3. Aufbau der simulierten Datensätze 4. Datenfusion 5. Ergebnisse 6. Zusammenfassung und Ausblick

Ermüdungsrissbildung ist ein gefährliches und kostenintensives Phänomen, welches frühzeitig erkannt werden muss. Weil kleine Fehlstellen jedoch hohe Testempfindlichkeit erfordern, wird die Prüfzuverlässigkeit durch Falschanzeigen vermindert. Diese Arbeit macht sich deshalb die Diversität unterschiedlicher zerstörungsfreier Oberflächenprüfmethoden zu Nutze, um mittels Datenfusion die Zuverlässigkeit der Fehlererkennung zu erhöhen. Der erste Beitrag dieser Arbeit in neuartigen Ansätzen zur Fusion von Prüfbildern. Diese werden durch Oberflächenabtastung mittels Wirbelstromprüfung, thermischer Prüfung und magnetischer Streuflussprüfung gewonnen. Die Ergebnisse zeigen, dass schon einfache algebraische Fusionsregeln gute Ergebnisse liefern, sofern die Daten adäquat vorverarbeitet wurden. So übertrifft Datenfusion den besten Einzelsensor in der pixelbasierten Falscherkennungsrate um den Faktor sechs bei einer Nutentiefe von 10 μm. Weiterhin wird die Fusion im Bildtransformationsbereich untersucht. Jedoch werden die theoretischen Vorteile solcher richtungsempfindlichen Transformationen in der Praxis mit den vorliegenden Daten nicht erreicht. Nichtsdestotrotz wird der Vorteil der Fusion gegenüber Einzelsensorprüfung auch hier bestätigt. Darüber hinaus liefert diese Arbeit neuartige Techniken zur Fusion auch auf höheren Ebenen der Signalabstraktion. Ein Ansatz, der auf Kerndichtefunktionen beruht, wird eingeführt, um örtlich verteilte Detektionshypothesen zu integrieren. Er ermöglicht, die praktisch unvermeidbaren Registrierungsfehler explizit zu modellieren. Oberflächenunstetigkeiten von 30 μm Tiefe können zuverlässig durch Fusion gefunden werden, wogegen das beste Einzelverfahren erst Tiefen ab 40–50 μm erfolgreich auffindet. Das Experiment wird auf einem zweiten Prüfkörper bestätigt. Am Ende der Arbeit werden Richtlinien für den Einsatz von Datenfusion gegeben, und die Notwendigkeit einer Initiative zum Teilen von Messdaten wird betont, um zukünftige Forschung zu fördern. / Fatigue cracking is a dangerous and cost-intensive phenomenon that requires early detection. But at high test sensitivity, the abundance of false indications limits the reliability of conventional materials testing. This thesis exploits the diversity of physical principles that different nondestructive surface inspection methods offer, by applying data fusion techniques to increase the reliability of defect detection. The first main contribution are novel approaches for the fusion of NDT images. These surface scans are obtained from state-of-the-art inspection procedures in Eddy Current Testing, Thermal Testing and Magnetic Flux Leakage Testing. The implemented image fusion strategy demonstrates that simple algebraic fusion rules are sufficient for high performance, given adequate signal normalization. Data fusion reduces the rate of false positives is reduced by a factor of six over the best individual sensor at a 10 μm deep groove. Moreover, the utility of state-of-the-art image representations, like the Shearlet domain, are explored. However, the theoretical advantages of such directional transforms are not attained in practice with the given data. Nevertheless, the benefit of fusion over single-sensor inspection is confirmed a second time. Furthermore, this work proposes novel techniques for fusion at a high level of signal abstraction. A kernel-based approach is introduced to integrate spatially scattered detection hypotheses. This method explicitly deals with registration errors that are unavoidable in practice. Surface discontinuities as shallow as 30 μm are reliably found by fusion, whereas the best individual sensor requires depths of 40–50 μm for successful detection. The experiment is replicated on a similar second test specimen. Practical guidelines are given at the end of the thesis, and the need for a data sharing initiative is stressed to promote future research on this topic.

Eine Voraussetzung um einen Flugregler für Flugroboter zu realisieren, ist die Wahrnehmung der Bewegungen dieses Roboters. Diese Arbeit beschreibt einen Ansatz zur Schätzung der Bewegung eines autonomen Flugroboters unter Verwendung relativ einfacher, leichter und kostengünstiger Sensoren. Mittels eines Erweiterten Kalman Filters werden Beschleunigungssensoren, Gyroskope, ein Ultraschallsensor, sowie ein Sensor zu Messung des optischen Flusses zu einer robusten Bewegungsschätzung kombiniert. Dabei wurden die einzelnen Sensoren hinsichtlich der Eigenschaften experimentell untersucht, welche für die anschließende Erstellung des Filters relevant sind. Am Ende werden die Resultate des Filters mit den Ergebnissen einer Simulation und eines externen Tracking-Systems verglichen.