Fusion is a fundamental human process that occurs in some form at all levels of sense organs such as visual and sound information received from eyes and ears respectively, to the highest levels of decision making such as our brain fuses visual and sound information to make decisions. Multi-sensor data fusion is concerned with gaining information from multiple sensors by fusing across raw data, features or decisions. The traditional frameworks for multi-sensor data fusion only concern fusion at specific points in time. However, many real world situations change over time. When the multi-sensor system is used for situation awareness, it is useful not only to know the state or event of the situation at a point in time, but also more importantly, to understand the causalities of those states or events changing over time. / Hence, we proposed a multi-agent framework for temporal fusion, which emphasises the time dimension of the fusion process, that is, fusion of the multi-sensor data or events derived over a period of time. The proposed multi-agent framework has three major layers: hardware, agents, and users. There are three different fusion architectures: centralized, hierarchical, and distributed, for organising the group of agents. The temporal fusion process of the proposed framework is elaborated by using the information graph. Finally, the core of the proposed temporal fusion framework – Dynamic Time Warping (DTW) temporal fusion agent is described in detail. / Fusing multisensory data over a period of time is a challenging task, since the data to be fused consists of complex sequences that are multi–dimensional, multimodal, interacting, and time–varying in nature. Additionally, performing temporal fusion efficiently in real–time is another challenge due to the large amount of data to be fused. To address these issues, we proposed the DTW temporal fusion agent that includes four major modules: data pre-processing, DTW recogniser, class templates, and decision making. The DTW recogniser is extended in various ways to deal with the variability of multimodal sequences acquired from multiple heterogeneous sensors, the problems of unknown start and end points, multimodal sequences of the same class that hence has different lengths locally and/or globally, and the challenges of online temporal fusion. / We evaluate the performance of the proposed DTW temporal fusion agent on two real world datasets: 1) accelerometer data acquired from performing two hand gestures, and 2) a benchmark dataset acquired from carrying a mobile device and performing pre-defined user scenarios. Performance results of the DTW based system are compared with those of a Hidden Markov Model (HMM) based system. The experimental results from both datasets demonstrate that the proposed DTW temporal fusion agent outperforms HMM based systems, and has the capability to perform online temporal fusion efficiently and accurately in real–time.

abstract: Modern intelligent transportation systems (ITS) make driving more efficient, easier, and safer. Knowledge of real-time traffic conditions is a critical input for operating ITS. Real-time freeway traffic state estimation approaches have been used to quantify traffic conditions given limited amount of data collected by traffic sensors. Currently, almost all real-time estimation methods have been developed for estimating laterally aggregated traffic conditions in a roadway segment using link-based models which assume homogeneous conditions across multiple lanes. However, with new advances and applications of ITS, knowledge of lane-based traffic conditions is becoming important, where the traffic condition differences among lanes are recognized. In addition, most of the current real-time freeway traffic estimators consider only data from loop detectors. This dissertation develops a bi-level data fusion approach using heterogeneous multi-sensor measurements to estimate real-time lane-based freeway traffic conditions, which integrates a link-level model-based estimator and a lane-level data-driven estimator. Macroscopic traffic flow models describe the evolution of aggregated traffic characteristics over time and space, which are required by model-based traffic estimation approaches. Since current first-order Lagrangian macroscopic traffic flow model has some unrealistic implicit assumptions (e.g., infinite acceleration), a second-order Lagrangian macroscopic traffic flow model has been developed by incorporating drivers’ anticipation and reaction delay. A multi-sensor extended Kalman filter (MEKF) algorithm has been developed to combine heterogeneous measurements from multiple sources. A MEKF-based traffic estimator, explicitly using the developed second-order traffic flow model and measurements from loop detectors as well as GPS trajectories for given fractions of vehicles, has been proposed which gives real-time link-level traffic estimates in the bi-level estimation system. The lane-level estimation in the bi-level data fusion system uses the link-level estimates as priors and adopts a data-driven approach to obtain lane-based estimates, where now heterogeneous multi-sensor measurements are combined using parallel spatial-temporal filters. Experimental analysis shows that the second-order model can more realistically reproduce real world traffic flow patterns (e.g., stop-and-go waves). The MEKF-based link-level estimator exhibits more accurate results than the estimator that uses only a single data source. Evaluation of the lane-level estimator demonstrates that the proposed new bi-level multi-sensor data fusion system can provide very good estimates of real-time lane-based traffic conditions. / Dissertation/Thesis / Doctoral Dissertation Industrial Engineering 2015

Cette thèse aborde le problèeme du suivi et de la classification de plusieurs objets simultanément.Il est montré dans la thèese que les fonctions de croyance permettent d'améliorer les résultatsfournis par des méthodes classiques à base d'approches Bayésiennes. En particulier, une précédenteapproche développée dans le cas d'un seul objet est étendue au cas de plusieurs objets. Il est montréque dans toutes les approches multi-objets, la phase d'association entre observations et objetsconnus est fondamentale. Cette thèse propose également de nouvelles méthodes d'associationcrédales qui apparaissent plus robustes que celles trouvées dans la littérature. Enfin, est abordée laquestion de la classification multi-capteurs qui nécessite une seconde phase d'association. Dans cedernier cas, deux architectures de fusion des données capteurs sont proposées, une dite centraliséeet une autre dite distribuée. De nombreuses comparaisons illustrent l'intérêt de ces travaux, queles classes des objets soient constantes ou variantes dans le temps. / This thesis deals with multi-objet tracking and classification problem. It was shown that belieffunctions allow the results of classical Bayesian methods to be improved. In particular, a recentapproach dedicated to a single object classification which is extended to multi-object framework. Itwas shown that detected observations to known objects assignment is a fundamental issue in multiobjecttracking and classification solutions. New assignment solutions based on belief functionsare proposed in this thesis, they are shown to be more robust than the other credal solutions fromrecent literature. Finally, the issue of multi-sensor classification that requires a second phase ofassignment is addressed. In the latter case, two different multi-sensor architectures are proposed, aso-called centralized one and another said distributed. Many comparisons illustrate the importanceof this work, in both situations of constant and changing objects classes.

Autonomous reconnaissance missions are called for in extreme environments, as well as in potentially hazardous (e.g., the theatre, disaster-stricken areas, etc.) or inaccessible operational areas (e.g., planetary surfaces, space). Such future missions will require increasing degrees of operational autonomy, especially when following up on transient events. Operational autonomy encompasses: (1) Automatic characterization of operational areas from different vantages (i.e., spaceborne, airborne, surface, subsurface); (2) automatic sensor deployment and data gathering; (3) automatic feature extraction including anomaly detection and region-of-interest identification; (4) automatic target prediction and prioritization; (5) and subsequent automatic (re-) deployment and navigation of robotic agents. This paper reports on progress towards several aspects of autonomous (CISR)-I-4 systems, including: Caltech-patented and NASA award-winning multi-tiered mission paradigm, robotic platform development (air, ground, water-based), robotic behavior motifs as the building blocks for autonomous telecommanding, and autonomous decision making based on a Caltech-patented framework comprising sensor-data-fusion (feature-vectors), anomaly detection (clustering and principal component analysis), and target prioritization (hypothetical probing).

L’objectif de cette thèse est de développer des méthodes permettant la cartographie d’un environnement tridimensionnel de grande dimension en combinant radar panoramique MMW et caméras optiques. Contrairement aux méthodes existantes de fusion de données multi-capteurs, telles que le SLAM, nous souhaitons réaliser un capteur de type RGB-D fournissant directement des mesures de profondeur enrichies par l’apparence (couleur, texture...). Après avoir modélisé géométriquement le système radar/caméra, nous proposons une méthode de calibrage originale utilisant des correspondances de points. Pour obtenir ces correspondances, des cibles permettant une mesure ponctuelle aussi bien par le radar que la caméra ont été conçues. L’approche proposée a été élaborée pour pouvoir être mise en oeuvre dans un environnement libre et par un opérateur non expert. Deuxièmement, une méthode de reconstruction de points tridimensionnels sur la base de correspondances de points radar et image a été développée. Nous montrons par une analyse théorique des incertitudes combinées des deux capteurs et par des résultats expérimentaux, que la méthode proposée est plus précise que la triangulation stéréoscopique classique pour des points éloignés comme on en trouve dans le cas de cartographie d’environnements extérieurs. Enfin, nous proposons une stratégie efficace de mise en correspondance automatique des données caméra et radar. Cette stratégie utilise deux caméras calibrées. Prenant en compte l’hétérogénéité des données radar et caméras, l’algorithme développé commence par segmenter les données radar en régions polygonales. Grâce au calibrage, l’enveloppe de chaque région est projetée dans deux images afin de définir des régions d’intérêt plus restreintes. Ces régions sont alors segmentées à leur tour en régions polygonales générant ainsi une liste restreinte d’appariement candidats. Un critère basé sur l’inter corrélation et la contrainte épipolaire est appliqué pour valider ou rejeter des paires de régions. Tant que ce critère n’est pas vérifié, les régions sont, elles même, subdivisées par segmentation. Ce processus, favorise l’appariement de régions de grande dimension en premier. L’objectif de cette approche est d’obtenir une cartographie sous forme de patchs localement denses. Les méthodes proposées, ont été testées aussi bien sur des données de synthèse que sur des données expérimentales réelles. Les résultats sont encourageants et montrent, à notre sens, la faisabilité de l’utilisation de ces deux capteurs pour la cartographie d’environnements extérieurs de grande échelle. / The main goal of this PhD work is to develop 3D mapping methods of large scale environment by combining panoramic radar and cameras. Unlike existing sensor fusion methods, such as SLAM (simultaneous localization and mapping), we want to build a RGB-D sensor which directly provides depth measurement enhanced with texture and color information. After modeling the geometry of the radar/camera system, we propose a novel calibration method using points correspondences. To obtain these points correspondences, we designed special targets allowing accurate point detection by both the radar and the camera. The proposed approach has been developed to be implemented by non-expert operators and in unconstrained environment. Secondly, a 3D reconstruction method is elaborated based on radar data and image point correspondences. A theoretical analysis is done to study the influence of the uncertainty zone of each sensor on the reconstruction method. This theoretical study, together with the experimental results, show that the proposed method outperforms the conventional stereoscopic triangulation for large scale outdoor scenes. Finally, we propose an efficient strategy for automatic data matching. This strategy uses two calibrated cameras. Taking into account the heterogeneity of cameras and radar data, the developed algorithm starts by segmenting the radar data into polygonal regions. The calibration process allows the restriction of the search by defining a region of interest in the pair of images. A similarity criterion based on both cross correlation and epipolar constraint is applied in order to validate or reject region pairs. While the similarity test is not met, the image regions are re-segmented iteratively into polygonal regions, generating thereby a shortlist of candidate matches. This process promotes the matching of large regions first which allows obtaining maps with locally dense patches. The proposed methods were tested on both synthetic and real experimental data. The results are encouraging and prove the feasibility of radar and vision sensor fusion for the 3D mapping of large scale urban environment.

Diplomová práce se zabývá návrhem algoritmu rozšířeného Kalmanova filtru, který integruje data z inerciálního navigačního systému (INS) a globálního polohovacího systému (GPS). Součástí algoritmu je i samotná mechanizace INS, určující na základě dat z akcelerometrů a gyroskopů údaje o rychlosti, zeměpisné pozici a polohových úhlech letadla. Vzhledem k rychlému nárůstu chybovosti INS je výstup korigován hodnotami rychlosti a pozice získané z GPS. Výsledný algoritmus je implementován v prostředí Simulink. Součástí práce je odvození jednotlivých stavových matic rozšířeného Kalmanova filtru.

Für viele Anwendungen auf bewegten Plattformen wird eine genaue Information zur Orientierung der Plattform benötigt. Zur Bestimmung der Lagewinkel werden dabei inertiale Messsensoren verwendet, welche zu einer inertialen Messeinheit (Inertial Measurement Unit, IMU) zusammengefasst werden. In dieser Arbeit werden vier IMUs aus dem Niedrigpreissegment auf die zu erhaltene Genauigkeit der Lagewinkel untersucht. Die untersuchten IMUs sind dabei als Mikrosysteme (Microelectromechanical systems) gefertigt, was neben den Vorteilen eines geringen Preises, eines geringen Gewichts und eines geringen Energieverbrauchs allerdings auch den Nachteil einer schlechteren Genauigkeit gegenüber klassischen IMUs hat. In dieser Arbeit wird die Genauigkeitsuntersuchung anhand eines Datensatzes einer Flugkampagne durchgeführt, für welche auch eine Referenzlösung vorliegt. Die Messungen der IMUs werden über ein Erweitertes Kalman-Filter mit einer genauen GNSS- (Global Navigation Satellite System) Lösung gestützt. Neben der Navigationslösung werden dabei auch die Fehler der Sensoren mitgeschätzt. Aufgrund von zu großen Fehlern der Startwerte kommt es bei einigen Schätzungen teilweise zur Divergenz. Zur Lösung dieses Problems wird eine iterative Auswertung angewendet, wodurch eine stabile Lösung möglich ist. Eine weitere Verbesserung wird über eine Glättung erzielt. Einzelne, kleine Fehler in der Zeitstempelung, welche sich stark auf die Genauigkeit der Lösung auswirken, werden über eine Interpolation der Daten auf Zeitstempel in regelmäßigen Abständen ausgeglichen. Damit können für zwei der vier untersuchten IMUs auf den Fluglinien Genauigkeiten der Roll-, Pitch- und Yaw-Winkel von 0,05°, 0,10° und 0,20° erreicht werden. Die Genauigkeiten der zwei weiteren IMUs fallen teilweise erheblich schlechter aus, was auf die ungenaue Zeitstempelung bei der Datenaufnahme zurückgeführt wird. Für die Anwendung von Laserscanning auf bewegten Plattformen wird in einer Genauigkeitsabschätzung gezeigt, dass Genauigkeiten der Höhenkomponente von besser als 1 dm mit den erhaltenen Lagewinkelgenauigkeiten der beiden besseren IMUs möglich sind.

Mit der vorliegenden Dissertation soll ein Beitrag zur Steigerung der Genauigkeit und Zuverlässigkeit einer sensorgestützten Objekterkennung im Fahrzeugumfeld geleistet werden. Aufbauend auf einem Erfassungssystem, bestehend aus einer Stereokamera und einem Mehrzeilen-Laserscanner, werden teils neu entwickelte Verfahren für die gesamte Verarbeitungskette vorgestellt. Zusätzlich wird ein neuartiges Framework zur Fusion heterogener Sensordaten eingeführt, welches über eine Zusammenführung der Fusionsergebnisse aus den unterschiedlichen Verarbeitungsebenen in der Lage ist, die Objektbestimmung zu verbessern. Nach einer Beschreibung des verwendeten Sensoraufbaus werden die entwickelten Verfahren zur Kalibrierung des Sensorpaares vorgestellt. Bei der Segmentierung der räumlichen Punktdaten werden bestehende Verfahren durch die Einbeziehung von Messgenauigkeit und Messspezifik des Sensors erweitert. In der anschließenden Objektverfolgung wird neben einem neuartigen berechnungsoptimierten Ansatz zur Objektassoziierung ein Modell zur adaptiven Referenzpunktbestimmung und –Verfolgung beschrieben. Durch das vorgestellte Fusions-Framework ist es möglich, die Sensordaten wahlweise auf drei unterschiedlichen Verarbeitungsebenen (Punkt-, Objekt- und Track-Ebene) zu vereinen. Hierzu wird ein sensorunabhängiger Ansatz zur Fusion der Punktdaten dargelegt, der im Vergleich zu den anderen Fusionsebenen und den Einzelsensoren die genaueste Objektbeschreibung liefert. Für die oberen Fusionsebenen wurden unter Ausnutzung der konkurrierenden Sensorinformationen neuartige Verfahren zur Bestimmung und Reduzierung der Detektions- und Verarbeitungsfehler entwickelt. Abschließend wird beschrieben, wie die fehlerreduzierenden Verfahren der oberen Fusionsebenen mit der optimalen Objektbeschreibung der unteren Fusionsebene für eine optimale Objektbestimmung zusammengeführt werden können. Die Effektivität der entwickelten Verfahren wurde durch Simulation oder in realen Messszenarien überprüft. / With the present thesis a contribution to the increase of the accuracy and reliability of a sensor-supported recognition and tracking of objects in a vehicle’s surroundings should be made. Based on a detection system, consisting of a stereo camera and a laser scanner, novel developed procedures are introduced for the whole processing chain of the sensor data. In addition, a new framework is introduced for the fusion of heterogeneous sensor data. By combining the data fusion results from the different processing levels the object detection can be improved. After a short description of the used sensor setup the developed procedures for the calibration and mutual orientation are introduced. With the segmentation of the spatial point data existing procedures are extended by the inclusion of measuring accuracy and specificity of the sensor. In the subsequent object tracking a new computation-optimized approach for the association of the related object hypotheses is presented. In addition, a model for a dynamic determination and tracking of an object reference point is described which exceeds the classical tracking of the object center in the track accuracy. By the introduced fusion framework it is possible to merge the sensor data at three different processing levels (point, object and track level). A sensor independent approach for the low fusion of point data is demonstrated which delivers the most precise object description in comparison to the other fusion levels and the single sensors. For the higher fusion levels new procedures were developed to discover and clean up the detection and processing mistakes benefiting from the competing sensor information. Finally it is described how the fusion results of the upper and lower levels can be brought together for an ideal object description. The effectiveness of the newly developed methods was checked either by simulation or in real measurement scenarios.

Interventional magnetic resonance imaging (MRI) aims at performing minimally invasive percutaneous interventions, such as tumor ablations and biopsies, under MRI guidance. During such interventions, the acquired MR image planes are typically aligned to the surgical instrument (needle) axis and to surrounding anatomical structures of interest in order to efficiently monitor the advancement in real-time of the instrument inside the patient's body. Object tracking inside the MRI is expected to facilitate and accelerate MR-guided interventions by allowing to automatically align the image planes to the surgical instrument. In this PhD thesis, an image-based workflow is proposed and refined for automatic image plane alignment. An automatic tracking workflow was developed, performing detection and tracking of a passive marker directly in clinical real-time images. This tracking workflow is designed for fully automated image plane alignment, with minimization of tracking-dedicated time. Its main drawback is its inherent dependence on the slow clinical MRI update rate. First, the addition of motion estimation and prediction with a Kalman filter was investigated and improved the workflow tracking performance. Second, a complementary optical sensor was used for multi-sensor tracking in order to decouple the tracking update rate from the MR image acquisition rate. Performance of the workflow was evaluated with both computer simulations and experiments using an MR compatible testbed. Results show a high robustness of the multi-sensor tracking approach for dynamic image plane alignment, due to the combination of the individual strengths of each sensor.

Bei der Entwicklung neuartiger und innovativer Fahrerassistenzsysteme kommt der Positions- und Ausrichtungsbestimmung von Fahrzeugen eine Schlüsselrolle zu. Dabei entscheidet die Güte der Positionsbestimmung über die Qualität, die Robustheit und den Einsatzbereich des Gesamtsystems. Verbesserungen in der Positionsbestimmung führen zu einer besseren Performanz bzw. sind die Grundvoraussetzung für die Realisierung dieser Fahrerassistenzsysteme. Ein Beispiel für solch ein neuartiges Fahrerassistenzsystem, welches auf eine hochgenaue Positionsbestimmung baut, ist der BMW TrackTrainer. Dieses Assistenzsystem soll den "normalgeübten" Autofahrer beim schnellen Erlernen der Ideallinie auf Rennstrecken unterstützen, indem das Fahrzeug die Rennstrecke völlig autonom auf einer vorher aufgezeichneten Ideallinie umrundet, während der Teilnehmer sich die Strecke aus Fahrerperspektive einprägt. Für die Realisierung eines derartigen Assistenzsystems ist eine hochgenaue Positionsbestimmung im cm-Bereich notwendig. Bisher wurde dafür eine GPS-gestützte Inertialplattform eingesetzt, welche unter guten GPS-Empfangsbedingungen die Anforderungen an die Positionierung erfüllt. Bei schlechten GPS-Empfangsbedingungen, wie sie beispielsweise auf der international bekannten Rennstrecke Nürburgring Nordschleife aufgrund von Verdeckung und Abschattung der Satellitensignale durch stark bebautes oder bewaldetes Gebiet auftreten, liefert das Positionierungssystem keine ausreichend genauen Werte, wodurch das autonome Fahren verhindert wird. Zwar gibt es neben GPS auch weitere Positionsbestimmungssysteme, die aber für den Einsatz auf Rennstrecken entweder zu ungenau sind, oder einen zu hohen Rüstaufwand erfordern würden. Um diese Lücke zu schließen, wurde im Rahmen dieser Arbeit ein hochgenaues Positionsbestimmungssystem entwickelt und evaluiert, welches auch unter schlechten GPS-Empfangsbedingungen den Anforderungen des autonomen Fahren auf Rennstrecken genügt und auf einer Fusion verschiedener Signalquellen in einem Positionsfilter beruht. Folgende Signalquellen wurden hinsichtlich Genauigkeit sowie Praxistauglichkeit für den Einsatz auf Rennstrecken experimentell untersucht: - GPS-gestützte Inertialplattform (GPS/INS) - Fahrzeugsensoren mit erweitertem Fahrzeugmodell - Digitaler Kompass - Laser-Reflexlichtschranken - Servo-Tachymeter - LIDAR-basierte Randbebauungserkennung - Videobasierte Spurerkennung - Digitale Karte. Obwohl eine GPS-gestützte Inertialplattform (GPS/INS) unter schlechten GPS-Empfangsbedingungen keine ausreichend genauen Positionswerte im cm-Bereich liefert, besitzt dieses System dennoch eine hohe Robustheit und Langzeitstabilität und stellt damit eine sehr gute Grundlage für die Positionsbestimmung auf Rennstrecken dar. Fahrzeugsensoren, bestehend aus Raddrehzahl- und Gierratensensor, schreiben die Fahrzeugposition mit Hilfe der Koppelnavigationsgleichung relativ für ca. 10s ohne eine Messung absoluter Positionswerte fort. Um die bestehenden Genauigkeitsanforderungen zu erfüllen, muss jedoch ab einer Geschwindigkeit von 30km/h das Fahrzeugmodell um eine Schwimmwinkelschätzung erweitert werden. Ein digitaler Kompass eignet sich nachweislich nicht für die Positionsbestimmung auf Rennstrecken. Hier treten aufgrund von magnetischen Interferenzen zu große Messfehler der Fahrzeugausrichtung auf, die eine Positionsstützung ungeeignet machen. Bei Referenzmessungen mit einem Servo-Tachymeter konnte die geforderte Genauigkeit dieser Messeinrichtung bei Fahrzeuggeschwindigkeiten kleiner 30km/h nachgewiesen werden. Bei höheren Geschwindigkeiten liefert das System jedoch keine Ergebnisse, was den Einsatz auf Rennstrecken ausschließt. Auf den Boden gerichtete Laser-Reflexlichtschranken können sehr präzise die Überfahrt über eine Bodenmarkierung detektieren. Da diese Überfahrten beim autonomen Fahren auf Rennstrecken nur sehr selten auftreten, ist diese Positionierungsmethode nicht geeignet. Mit Hilfe einer LIDAR-basierten Randbebauungserkennung kann die Fahrzeugposition in Kombination mit einer hochgenauen digitalen Karte der Randbebauung auf ca. 20-30cm genau geschätzt werden. Schwierigkeiten bereiten hier jedoch Unregelmäßigkeiten in der Geometrie der Randbebauung. Während parallel verlaufende Leitplanken neben der Strecke sehr gut erfasst werden können, liefern Sträucher, Erdwälle, etc. ungenaue Messergebnisse. Somit ist die LIDAR-basierte Randbebauungserkennung ein bedingt geeignetes System zur Positionsstützung auf Rennstrecken. Als vielversprechendster Ansatz zur Verbesserung der Positions- und Ausrichtungsbestimmung auf Rennstrecken konnte der Einsatz einer visuellen Spurerkennung in Verbindung mit einer hochgenauen digitalen Karte der Spurmarkierungen identifiziert werden. Hierfür wurde eine sich in Vorserie befindliche Bildverarbeitungseinheit der Firma MobileEye mit einer eigens entwi-ckelten Spurerkennung verglichen. Letztere bietet den Vorteil, Systemwissen über den Verlauf der Fahrspurmarkierung sowie negative Effekte der Fahrzeugeigendynamik mit in den Signalver-arbeitungsprozess einfließen zu lassen. Bei Vergleichsfahrten auf dem BMW eigenem Testgelände in Aschheim konnte der Vorteil der Spurdatenrückführung nachgewiesen werden. Die erwei-terte Spurerkennung hatte nachweislich gegenüber der Vorserienbildverarbeitung eine höhere Verfügbarkeit von gültigen Messwerten. Bei Messfahrten auf der Nordschleife stellte sich jedoch das Vorseriensystem von MobileEye als das deutlich robustere Spurerkennungssystem heraus. Hier führten verschmutzte Fahrbahnmarkierungen, schnell wechselnde Lichtverhältnisse sowie sonstige Straßenbeschriftungen dazu, dass die erweiterte Spurerkennung weitaus weniger gültige Messwerte lieferte als das Vorseriensystem. Aus diesem Grund fiel für Fahrten mit schlechten visuellen Bedingungen die Wahl auf das Vorserienbildverarbeitungssystem. Für den Entwurf des Positionsfilters wurden letztlich folgende Signalquellen verwendet: - GPS-gestützte Inertialplattform (GPS/INS) - Fahrzeugsensoren mit erweitertem Fahrzeugmodell - Videobasierte Spurerkennung in Kombination mit einer selbst aufgezeichneten hochge-nauen Karte der Spurmarkierungen der Teststrecke. Als Fusionsalgorithmus wurde ein erweiterter Kalman-Filter eingesetzt, da sich dieser besonders für die Zusammenführung unterschiedlicher Sensormessdaten eignet. Um eine optimale Zustandsschätzung der Fahrzeugposition und Ausrichtung zu erhalten, mussten die verwendeten Signalquellen zunächst zeitlich synchronisiert sowie auf Plausibilität geprüft werden. Als Synchronisationspunkt wurde der Messzeitpunkt der Signalquelle mit der größten Latenz verwendet. Dieser wurde mit 163ms durch für die videobasierte Spurerkennung bestimmt. Da jedoch eine verzögerte Positionsschätzung für eine stabile Reglung des Fahrzeugs für das autonome Fahren ungenügend ist, wurde die geschätzte Fahrzeugposition am Ausgang des Kalman-Filters mit Hilfe der Koppelnavigationsgleichung sowie der Fahrzeugsensoren auf den aktuellen Zeitpunkt (Latenz = 0s) prädiziert. Für die Detektion systematischer Fehler wie Radschlupf, falsch erkannte Spurmarkierung und GPS-Mehrwegeausbreitung kamen robuste Signalplausibilisierungsalgorithmen zum Einsatz. So erfolgte die Plausibilisierung der Spurerkennung unter anderem über die selbst aufgezeichnete hochgenaue Karte der Spurmarkierungen, da eine Spurerkennung nur da sinnvoll ist, wo Spurmarkierungsstützpunkte in hinterlegt sind. Für die Gültigkeitsüberprüfung der GPS-Messwerte wurde ein GPS-Offset-Beobachter entwickelt und angewendet. Die Evaluierung des entwickelten Positionsfilters wurde im Rahmen der Arbeit am Beispiel des BMW TrackTrainers auf drei ausgewählten Teststrecken mit steigendem Schwierigkeitsniveau (Verschlechterung der GPS-Empfangsbedingungen) durchgeführt. Hierfür wurde die in Echtzeit geschätzte Fahrzeugposition mit einer durch Post-Processing korrigierten Positionslösung referenziert. Die Auswertung der Ergebnisse bewies, dass der entwickelte Positionsfilter durch die Fusion einer GPS-gestützten Inertialplattform, den Fahrzeugsensoren zur Messung von Gierrate und Raddrehzahlen sowie einer visuellen Spurerkennung in Kombination mit einer hochgenauen Karte der Fahrspurmarkierungen die Anforderungen des autonomen Fahrens auch unter schlechten GPS-Empfangsbedingungen erfüllt. Mit diesem, im Rahmen der Arbeit entwickelten, hoch-genauen Positionsbestimmungssystem konnte erstmalig am 21.10.2009 das autonome Fahren auf der Nürburgring Nordschleife nachgewiesen werden.