Poškození zraku je jedním z nejčastějších tělesných postižení -- udává se, že až 3 % populace trpí vážným poškozením nebo ztrátou zraku. Oslepnutí výrazně zhoršuje schopnost orientace a pohybu v okolním prostředí -- bez znalosti uspořádání prostoru, jinak získané převážně pomocí zraku, postižený zkrátka neví, kudy se pohybovat ke svému cíli. Obvyklým řešením problému orientace v neznámých prostředích je doprovod nevidomého osobou se zdravým zrakem; tato služba je však velmi náročná a nevidomý se musí plně spolehnout na doprovod. Tato práce zkoumá možnosti, kterými by bylo možné postiženým ulehčit orientaci v prostoru, a to využitím existujících senzorických prostředků a vhodného zpracování jejich dat. Téma je zpracováno skrze analogii s mobilní robotikou, v jejímž duchu je rozděleno na část lokalizace a plánování cesty. Zatímco metody plánování cesty jsou vesměs k dispozici, lokalizace chodce často trpí značnými nepřesnostmi určení polohy a komplikuje tak využití standardních navigačních přístrojů nevidomými uživateli. Zlepšení odhadu polohy může být dosaženo vícero cestami, zkoumanými analytickou kapitolou. Předložená práce prvně navrhuje fúzi obvyklého přijímače systému GPS s chodeckou odometrickou jednotkou, což vede k zachování věrného tvaru trajektorie na lokální úrovni. Pro zmírnění zbývající chyby posunu odhadu je proveden návrh využití přirozených význačných bodů prostředí, které jsou vztaženy ke globální referenci polohy. Na základě existujících formalismů vyhledávání v grafu jsou zkoumána kritéria optimality vhodná pro volbu cesty nevidomého skrz městské prostředí. Generátor vysokoúrovňových instrukcí založený na fuzzy logice je potom budován s motivací uživatelského rozhraní působícího lidsky; doplňkem je okamžitý haptický výstup korigující odchylku směru. Chování navržených principů bylo vyhodnoceno na základě realistických experimentů zachycujících specifika cílového městského prostředí. Výsledky vykazují značná zlepšení jak maximálních, tak středních ukazatelů chyby určení polohy.

Modélisation 3D réaliste des bâtiments et d'autres objets de planification urbaine est un domaine de recherche actif dans le domaine de la modélisation 3D de la ville, la documentation du patrimoine, tourisme virtuel, la planification urbaine, la conception architecturale et les jeux d'ordinateur. La création de ces modèles, très souvent, nécessite la fusion des données provenant de diverses sources telles que les images optiques et de numérisation de nuages ​​de points laser. Pour imiter de façon aussi réaliste que possible les mises en page, les activités et les fonctionnalités d'un environnement du monde réel, ces modèles doivent atteindre de haute qualité et la précision de photo-réaliste en termes de la texture de surface (par exemple pierre ou de brique des murs) et de la morphologie (par exemple, les fenêtres et les portes) des objets réels. Rendu à base d'images est une alternative pour répondre à ces exigences. Il utilise des photos, prises soit au niveau du sol ou de l'air, à ajouter de la texture au modèle 3D ajoutant ainsi photo-réalisme.Pour revêtement de texture pleine de grandes façades des modèles de blocs 3D, des images qui dépeignent la même façade doivent être correctement combinée et correctement aligné avec le côté du bloc. Les photos doivent être fusionnés de manière appropriée afin que le résultat ne présente pas de discontinuités, de brusques variations de l'éclairage ou des lacunes. Parce que ces images ont été prises, en général, dans différentes conditions de visualisation (angles de vision, des facteurs de zoom, etc.) ils sont sous différentes distorsions de perspective, mise à l'échelle, de luminosité, de contraste et de couleur nuances, ils doivent être corrigés ou ajustés. Ce processus nécessite l'extraction de caractéristiques clés de leur contenu visuel d'images.Le but du travail proposé est de développer des méthodes basées sur la vision par ordinateur et les techniques de reconnaissance des formes, afin d'aider ce processus. En particulier, nous proposons une méthode pour extraire les lignes implicites à partir d'images de mauvaise qualité des bâtiments, y compris les vues de nuit où seules quelques fenêtres éclairées sont visibles, afin de préciser des faisceaux de lignes parallèles 3D et leurs points de fuite correspondants. Puis, sur la base de ces informations, on peut parvenir à une meilleure fusion des images et un meilleur alignement des images aux façades de blocs. / Realistic 3D modeling of buildings and other urban planning objects is an active research area in the field of 3D city modeling, heritage documentation, virtual touring, urban planning, architectural design and computer gaming. The creation of such models, very often, requires merging of data from diverse sources such as optical images and laser scan point clouds. To imitate as realistically as possible the layouts, activities and functionalities of a real-world environment, these models need to attain high photo-realistic quality and accuracy in terms of the surface texture (e.g. stone or brick walls) and morphology (e.g. windows and doors) of the actual objects. Image-based rendering is an alternative for meeting these requirements. It uses photos, taken either from ground level or from the air, to add texture to the 3D model thus adding photo-realism. For full texture covering of large facades of 3D block models, images picturing the same façade need to be properly combined and correctly aligned with the side of the block. The pictures need to be merged appropriately so that the result does not present discontinuities, abrupt variations in lighting or gaps. Because these images were taken, in general, under various viewing conditions (viewing angles, zoom factors etc) they are under different perspective distortions, scaling, brightness, contrast and color shadings, they need to be corrected or adjusted. This process requires the extraction of key features from their visual content of images. The aim of the proposed work is to develop methods based on computer vision and pattern recognition techniques in order to assist this process. In particular, we propose a method for extracting implicit lines from poor quality images of buildings, including night views where only some lit windows are visible, in order to specify bundles of 3D parallel lines and their corresponding vanishing points. Then, based on this information, one can achieve better merging of the images and better alignment of the images to the block façades. Another important application dealt in this thesis is that of 3D modeling. We propose an edge preserving interpolation, based on the mean shift algorithm, that operates jointly on the optical and the elevation data. It succeeds in increasing the resolution of the elevation data (LiDAR) while improving the quality (i.e. straightness) of their edges. At the same time, the color homogeneity of the corresponding imagery is also improved. The reduction of color artifacts in the optical data and the improvement in the spatial resolution of elevation data results in more accurate 3D building models. Finally, in the problem of building detection, the application of the proposed mean shift-based edge preserving smoothing for increasing the quality of aerial/color images improves the performance of binary building vs non-building pixel classification.

Ce travail de thèse a pour contexte la surveillance des systèmes homme-machine, où l'opérateur est le conducteur d'un système de transport ferroviaire. Notre objectif est d'améliorer la sécurité du système en prévenant et en évitant les facteurs pouvant augmenter le risque d'une erreur humaine. Deux verrous majeurs sont identifiés : l'aspect caractérisation, ou comment déterminer les phases indicatives et discernables de l'activité de conduite et l'aspect représentation, ou comment décrire et codifier les actions de conduite de l'opérateur et leurs répercussions sur le système ferroviaire dans un formalisme mathématique permettant une analyse sans équivoque. Pour solutionner ces verrous, nous proposons en premier lieu un modèle comportemental de l'opérateur humain permettant de représenter son comportement de contrôle en temps continu. Afin de tenir compte des différences inter- et intra-individuelles des opérateurs humains, ainsi des changements de situations, nous proposons une transformation du modèle comportemental initialement présenté, dans un nouveau espace de représentation. Cette transformation est basée sur la théorie des chaines cachées de Markov, et sur l'adaptation d'une technique particulière de reconnaissance de formes. Par la suite, nous définissons une modélisation comportementale en temps discret de l'opérateur humain, permettant en même temps de représenter ses actions et de tenir compte des erreurs et des évènements inattendus dans l'environnement de travail. Cette modélisation est inspirée des modèles cognitifs d’opérateur. Les deux aspects permettent d'interpréter les observables par rapport à des situations de référence. Afin de caractériser l'état global de l'opérateur humain, différentes informations sont prises en considération ; ces informations sont hétérogènes et entachées d’incertitudes de mesure, nécessitant une procédure de fusion de données robuste qui est effectuée à l'aide d'un réseau Bayésien. Au final, les méthodologies de modélisation et de fusion proposées sont exploitées pour la conception d'un système de vigilance fiable et non-intrusif. Ce système permet d'interpréter les comportements de conduite et de détecter les états à risque du conducteur (ex. l'hypovigilance). L'étude théorique a été testée en simulation pour vérifier sa validité. Puis, une étude de faisabilité a été menée sur des données expérimentales obtenues lors des expériences sur la plate-forme de conduite ferroviaire COR&GEST du laboratoire LAMIH. Ces résultats ont permis de planifier et de mettre en place les expérimentations à mener sur le futur simulateur de conduite multimodal "PSCHITT-PMR". / The scope of the thesis is the monitoring of human-machine systems, where the operator is the driver of rail-based transportation system. Our objective is to improve the security of the system preventing and avoiding factors that increase the risk of a human error. Two major problems are identified: characterization, or how to determine indicative and discernible phases of driver's activity and representation, or how to describe and codify driver's actions and its repercussions on the rail system in a mathematical formalism that will allow unequivocal analysis. In order to bring a solution to those problems, we propose, first-of-all, a behavioral model of the human operator representing his control behavior in continuous-time. To consider inter- and intra-individual differences of human operators and situation changes, we propose a transformation of the latter behavioral model in a new space of representation. This transformation is based on the theory of Hidden Markov Models, and on an adaptation of a special pattern recognition technique. Then, we propose a discrete-time behavioral modeling of the human operator, which represents his actions and takes account of errors and unexpected events in work environment. This model is inspired by cognitive models of human operators. These two aspects allow us to interpret observables with respect to reference situations in order to characterize the overall human operator state. Different information sources are considered; as a result the data are heterogeneous and subject to measuring uncertainties, needing a robust data fusion approach that is performed using a Bayesian Network. Finally, the proposed modeling and fusion methodologies are used to design a reliable and unintrusive vigilance system. This system can interpret driving behaviors and to detect driver’s risky states in order to prevent drowsiness. The theoretical study was tested in simulation to check the validity. Then, a feasibility study was conducted using data obtained during experiments on the LAMIH laboratory railroad platform “COR&GEST”. These results allowed us to plan and implement experiments to be conducted on the future multimodal driving simulator “PSCHITT-PMR”.

Gegenstand dieser Arbeit ist die Bewertung und Durchführung der Fusion von zwei Datensätzen, die auf Basis der Statistik der Straßenverkehrsunfälle des statistischen Bundesamtes konstruiert werden. Für die Fusionierung wird die Methode der statistischen Datenfusion angewendet. Die zu fusionierenden Datensätze werden auf die Ausgangslage der Datenfusion und Unfalldatenbanken angepasst. Anhand der Zusammenhangsstärke und Verteilung werden die passenden Variablen, die für die Datenfusion verwendet werden können, identifiziert und ausgewählt. Für die Datenfusion werden verschiedene nichtparametrische Verfahren unter der bedingten Unabhängigkeitsannahme (Distanz-Hot-Deck, Random-Hot-Deck) und unter der Beibehaltung der Unsicherheit (Imprecise Imputation) durchgeführt. Zusätzlich werden Qualitätsstufen mit einbezogen, um die Auswirkung von veränderten Variablen auszuwerten. Dabei zeigt sich, dass die Datenfusion unter der bedingten Unabhängigkeit allgemein eine unsichere Methode ist, die jedoch unter Umständen für bivariate Analysen vielversprechende Ergebnisse erzielen kann.:1. Einleitung 2. Grundlagen 3. Aufbau der simulierten Datensätze 4. Datenfusion 5. Ergebnisse 6. Zusammenfassung und Ausblick

Bei der Entwicklung neuartiger und innovativer Fahrerassistenzsysteme kommt der Positions- und Ausrichtungsbestimmung von Fahrzeugen eine Schlüsselrolle zu. Dabei entscheidet die Güte der Positionsbestimmung über die Qualität, die Robustheit und den Einsatzbereich des Gesamtsystems. Verbesserungen in der Positionsbestimmung führen zu einer besseren Performanz bzw. sind die Grundvoraussetzung für die Realisierung dieser Fahrerassistenzsysteme. Ein Beispiel für solch ein neuartiges Fahrerassistenzsystem, welches auf eine hochgenaue Positionsbestimmung baut, ist der BMW TrackTrainer. Dieses Assistenzsystem soll den "normalgeübten" Autofahrer beim schnellen Erlernen der Ideallinie auf Rennstrecken unterstützen, indem das Fahrzeug die Rennstrecke völlig autonom auf einer vorher aufgezeichneten Ideallinie umrundet, während der Teilnehmer sich die Strecke aus Fahrerperspektive einprägt. Für die Realisierung eines derartigen Assistenzsystems ist eine hochgenaue Positionsbestimmung im cm-Bereich notwendig. Bisher wurde dafür eine GPS-gestützte Inertialplattform eingesetzt, welche unter guten GPS-Empfangsbedingungen die Anforderungen an die Positionierung erfüllt. Bei schlechten GPS-Empfangsbedingungen, wie sie beispielsweise auf der international bekannten Rennstrecke Nürburgring Nordschleife aufgrund von Verdeckung und Abschattung der Satellitensignale durch stark bebautes oder bewaldetes Gebiet auftreten, liefert das Positionierungssystem keine ausreichend genauen Werte, wodurch das autonome Fahren verhindert wird. Zwar gibt es neben GPS auch weitere Positionsbestimmungssysteme, die aber für den Einsatz auf Rennstrecken entweder zu ungenau sind, oder einen zu hohen Rüstaufwand erfordern würden. Um diese Lücke zu schließen, wurde im Rahmen dieser Arbeit ein hochgenaues Positionsbestimmungssystem entwickelt und evaluiert, welches auch unter schlechten GPS-Empfangsbedingungen den Anforderungen des autonomen Fahren auf Rennstrecken genügt und auf einer Fusion verschiedener Signalquellen in einem Positionsfilter beruht. Folgende Signalquellen wurden hinsichtlich Genauigkeit sowie Praxistauglichkeit für den Einsatz auf Rennstrecken experimentell untersucht: - GPS-gestützte Inertialplattform (GPS/INS) - Fahrzeugsensoren mit erweitertem Fahrzeugmodell - Digitaler Kompass - Laser-Reflexlichtschranken - Servo-Tachymeter - LIDAR-basierte Randbebauungserkennung - Videobasierte Spurerkennung - Digitale Karte. Obwohl eine GPS-gestützte Inertialplattform (GPS/INS) unter schlechten GPS-Empfangsbedingungen keine ausreichend genauen Positionswerte im cm-Bereich liefert, besitzt dieses System dennoch eine hohe Robustheit und Langzeitstabilität und stellt damit eine sehr gute Grundlage für die Positionsbestimmung auf Rennstrecken dar. Fahrzeugsensoren, bestehend aus Raddrehzahl- und Gierratensensor, schreiben die Fahrzeugposition mit Hilfe der Koppelnavigationsgleichung relativ für ca. 10s ohne eine Messung absoluter Positionswerte fort. Um die bestehenden Genauigkeitsanforderungen zu erfüllen, muss jedoch ab einer Geschwindigkeit von 30km/h das Fahrzeugmodell um eine Schwimmwinkelschätzung erweitert werden. Ein digitaler Kompass eignet sich nachweislich nicht für die Positionsbestimmung auf Rennstrecken. Hier treten aufgrund von magnetischen Interferenzen zu große Messfehler der Fahrzeugausrichtung auf, die eine Positionsstützung ungeeignet machen. Bei Referenzmessungen mit einem Servo-Tachymeter konnte die geforderte Genauigkeit dieser Messeinrichtung bei Fahrzeuggeschwindigkeiten kleiner 30km/h nachgewiesen werden. Bei höheren Geschwindigkeiten liefert das System jedoch keine Ergebnisse, was den Einsatz auf Rennstrecken ausschließt. Auf den Boden gerichtete Laser-Reflexlichtschranken können sehr präzise die Überfahrt über eine Bodenmarkierung detektieren. Da diese Überfahrten beim autonomen Fahren auf Rennstrecken nur sehr selten auftreten, ist diese Positionierungsmethode nicht geeignet. Mit Hilfe einer LIDAR-basierten Randbebauungserkennung kann die Fahrzeugposition in Kombination mit einer hochgenauen digitalen Karte der Randbebauung auf ca. 20-30cm genau geschätzt werden. Schwierigkeiten bereiten hier jedoch Unregelmäßigkeiten in der Geometrie der Randbebauung. Während parallel verlaufende Leitplanken neben der Strecke sehr gut erfasst werden können, liefern Sträucher, Erdwälle, etc. ungenaue Messergebnisse. Somit ist die LIDAR-basierte Randbebauungserkennung ein bedingt geeignetes System zur Positionsstützung auf Rennstrecken. Als vielversprechendster Ansatz zur Verbesserung der Positions- und Ausrichtungsbestimmung auf Rennstrecken konnte der Einsatz einer visuellen Spurerkennung in Verbindung mit einer hochgenauen digitalen Karte der Spurmarkierungen identifiziert werden. Hierfür wurde eine sich in Vorserie befindliche Bildverarbeitungseinheit der Firma MobileEye mit einer eigens entwi-ckelten Spurerkennung verglichen. Letztere bietet den Vorteil, Systemwissen über den Verlauf der Fahrspurmarkierung sowie negative Effekte der Fahrzeugeigendynamik mit in den Signalver-arbeitungsprozess einfließen zu lassen. Bei Vergleichsfahrten auf dem BMW eigenem Testgelände in Aschheim konnte der Vorteil der Spurdatenrückführung nachgewiesen werden. Die erwei-terte Spurerkennung hatte nachweislich gegenüber der Vorserienbildverarbeitung eine höhere Verfügbarkeit von gültigen Messwerten. Bei Messfahrten auf der Nordschleife stellte sich jedoch das Vorseriensystem von MobileEye als das deutlich robustere Spurerkennungssystem heraus. Hier führten verschmutzte Fahrbahnmarkierungen, schnell wechselnde Lichtverhältnisse sowie sonstige Straßenbeschriftungen dazu, dass die erweiterte Spurerkennung weitaus weniger gültige Messwerte lieferte als das Vorseriensystem. Aus diesem Grund fiel für Fahrten mit schlechten visuellen Bedingungen die Wahl auf das Vorserienbildverarbeitungssystem. Für den Entwurf des Positionsfilters wurden letztlich folgende Signalquellen verwendet: - GPS-gestützte Inertialplattform (GPS/INS) - Fahrzeugsensoren mit erweitertem Fahrzeugmodell - Videobasierte Spurerkennung in Kombination mit einer selbst aufgezeichneten hochge-nauen Karte der Spurmarkierungen der Teststrecke. Als Fusionsalgorithmus wurde ein erweiterter Kalman-Filter eingesetzt, da sich dieser besonders für die Zusammenführung unterschiedlicher Sensormessdaten eignet. Um eine optimale Zustandsschätzung der Fahrzeugposition und Ausrichtung zu erhalten, mussten die verwendeten Signalquellen zunächst zeitlich synchronisiert sowie auf Plausibilität geprüft werden. Als Synchronisationspunkt wurde der Messzeitpunkt der Signalquelle mit der größten Latenz verwendet. Dieser wurde mit 163ms durch für die videobasierte Spurerkennung bestimmt. Da jedoch eine verzögerte Positionsschätzung für eine stabile Reglung des Fahrzeugs für das autonome Fahren ungenügend ist, wurde die geschätzte Fahrzeugposition am Ausgang des Kalman-Filters mit Hilfe der Koppelnavigationsgleichung sowie der Fahrzeugsensoren auf den aktuellen Zeitpunkt (Latenz = 0s) prädiziert. Für die Detektion systematischer Fehler wie Radschlupf, falsch erkannte Spurmarkierung und GPS-Mehrwegeausbreitung kamen robuste Signalplausibilisierungsalgorithmen zum Einsatz. So erfolgte die Plausibilisierung der Spurerkennung unter anderem über die selbst aufgezeichnete hochgenaue Karte der Spurmarkierungen, da eine Spurerkennung nur da sinnvoll ist, wo Spurmarkierungsstützpunkte in hinterlegt sind. Für die Gültigkeitsüberprüfung der GPS-Messwerte wurde ein GPS-Offset-Beobachter entwickelt und angewendet. Die Evaluierung des entwickelten Positionsfilters wurde im Rahmen der Arbeit am Beispiel des BMW TrackTrainers auf drei ausgewählten Teststrecken mit steigendem Schwierigkeitsniveau (Verschlechterung der GPS-Empfangsbedingungen) durchgeführt. Hierfür wurde die in Echtzeit geschätzte Fahrzeugposition mit einer durch Post-Processing korrigierten Positionslösung referenziert. Die Auswertung der Ergebnisse bewies, dass der entwickelte Positionsfilter durch die Fusion einer GPS-gestützten Inertialplattform, den Fahrzeugsensoren zur Messung von Gierrate und Raddrehzahlen sowie einer visuellen Spurerkennung in Kombination mit einer hochgenauen Karte der Fahrspurmarkierungen die Anforderungen des autonomen Fahrens auch unter schlechten GPS-Empfangsbedingungen erfüllt. Mit diesem, im Rahmen der Arbeit entwickelten, hoch-genauen Positionsbestimmungssystem konnte erstmalig am 21.10.2009 das autonome Fahren auf der Nürburgring Nordschleife nachgewiesen werden.:1. Einleitung 1 1.1. Bedeutung der Positionsbestimmung für moderne Fahrerassistenzsysteme 1 1.2. Kernaufgaben des autonomen Fahrens 3 1.3. Hochgenaue Positionsbestimmung für das autonome Fahren auf Rennstrecken 5 1.4. Zielsetzung der Arbeit und gewählter Lösungsweg 8 2. Grundlagen zur Positionsbestimmung 9 2.1. Allgemeines 9 2.1.1. Definitionen 9 2.1.2. Klassifikationen 9 2.1.3. Koordinatensysteme 11 2.1.4. Transformationen 13 2.2. Ortungsprinzipien 15 2.2.1. Koppelnavigation 16 2.2.2. Inertialnavigation 19 2.2.3. Trilateration/Pseudorange 23 2.2.4. Hyperbelnavigation 24 2.2.5. Triangulation 25 2.2.6. Zellortung 26 2.2.7. Map-Matching 26 2.2.8. Sensordatenfusion mit Erweitertem Kalman-Filter 27 2.3. Existierende Positionsbestimmungssysteme 29 2.3.1. GPS/Glonass/Galileo 29 2.3.2. GPS-gestützte Inertialplattform 33 2.3.3. Mobilfunkortung 34 2.3.4. WLAN-Ortung 34 2.3.5. Tachymeter 35 2.3.6. CAIROS 36 2.4. Sensorik im Fahrzeug 37 2.4.1. RADAR 38 2.4.2. LIDAR 38 2.4.3. Videokamera 39 2.4.4. Raddrehzahlsensor 39 2.4.5. Sensorcluster aus Beschleunigungs- und Gierratensensoren 39 2.4.6. Gierratensensor 40 2.4.7. Beschleunigungssensor 40 2.4.8. Kompass 41 2.5. Positionsbestimmung autonom fahrender Systeme 41 2.5.1. Transportwesen 42 2.5.2. Landwirtschaft 42 2.5.3. Öffentlicher Personennahverkehr 42 2.5.4. Militär 43 2.5.5. Automobilindustrie 43 2.6. Schlussfolgerung und Konkretisierung der Aufgabestellung 45 3. Ausgangssituation 46 3.1. Bewertung einer GPS-gestützten Inertialplattform auf ausgewählten Teststrecken 46 3.2. Rahmenbedingungen der Rennstrecke 49 3.3. Präzisierung der Genauigkeitsanforderungen 50 3.4. Vorauswahl potenzieller Signalquellen 51 3.5. Schlussfolgerung 54 4. Experimentelle Untersuchung und Bewertung potenzieller Signalquellen 56 4.1. GPS/INS 56 4.2. Fahrzeugsensoren und erweitertes Fahrzeugmodell 63 4.3. Digitale Karte 68 4.4. Digitaler Kompass 69 4.5. Videokamera mit Spurerkennung 72 4.6. Laser-Reflexlichtschranke 75 4.7. Servotachymeter 77 4.8. LIDAR-basierte Randbebauungserkennung 81 4.9. Schlussfolgerung und Auswahl geeigneter Signalquellen für die Fusion 84 5. Optimierung eines Ortungsverfahrens mittels visueller Spurerkennung 86 5.1. Hochgenaue digitale Karte für Spurmarkierungen 86 5.1.1. Straßenmodellierung 86 5.1.2. Vermessung der Spurmarkierungen 87 5.1.3. Aufbereitung der Spurmarkierungen 89 5.1.4. Map-Matching 98 5.2. Erweiterte Spurerkennung 99 5.2.1. Prädiktion des Spurverlaufs im Videobild 99 5.2.2. Kantendetektion im Videobild 101 5.2.3. Berechnung der Parameter des Spurmodells 105 5.2.4. Rollwinkelschätzung und Korrektur der erweiterten Bildverarbeitung 107 5.2.5. Vergleich zweier Spurerkennungssysteme 108 5.3. Schlussfolgerung 111 6. Fusion der Signalquellen 112 6.1. Messdatensynchronisierung 112 6.2. Signalplausibilisierung 114 6.3. Sensordatenfusion 117 6.4. Schnittstelle für das Autonome Fahren 120 6.5. Zusammenfassung 124 7. Validierung des Gesamtsystems 125 7.1. Referenzsystem 125 7.2. Experimentelle Ergebnisse auf ausgewählten Teststrecken 126 7.3. Schlussfolgerung 133 8. Zusammenfassung und Ausblick 134 Literaturverzeichnis 136 Abkürzungsverzeichnis 142 Liste der Formelzeichen 143

The last decade has seen great advances within the field of artificial intelligence. One of the most noteworthy areas is that of deep learning, which is nowadays used in everything from self driving cars to automated cancer screening. During the same time, the amount of spatial data encompassing not only two but three dimensions has also grown and whole cities and countries are being scanned. Combining these two technological advances enables the creation of detailed maps with a multitude of applications, civilian as well as military.This thesis aims at combining two data sources covering most of Sweden; laser data from LiDAR scans and surface model from aerial images, with deep learning to create maps of the terrain. The target is to learn a simplified version of orienteering maps as these are created with high precision by experienced map makers, and are a representation of how easy or hard it would be to traverse a given area on foot. The performance on different types of terrain are measured and it is found that open land and larger bodies of water is identified at a high rate, while trails are hard to recognize.It is further researched how the different densities found in the source data affect the performance of the models, and found that some terrain types, trails for instance, benefit from higher density data, Other features of the terrain, like roads and buildings are predicted with higher accuracy by lower density data.Finally, the certainty of the predictions is discussed and visualised by measuring the average entropy of predictions in an area. These visualisations highlight that although the predictions are far from perfect, the models are more certain about their predictions when they are correct than when they are not.

Building information extraction and reconstruction from satellite images is an essential task for many applications related to 3D city modeling, planning, disaster management, navigation, and decision-making. Building information can be obtained and interpreted from several data, like terrestrial measurements, airplane surveys, and space-borne imagery. However, the latter acquisition method outperforms the others in terms of cost and worldwide coverage: Space-borne platforms can provide imagery of remote places, which are inaccessible to other missions, at any time. Because the manual interpretation of high-resolution satellite image is tedious and time consuming, its automatic analysis continues to be an intense field of research. At times however, it is difficult to understand complex scenes with dense placement of buildings, where parts of buildings may be occluded by vegetation or other surrounding constructions, making their extraction or reconstruction even more difficult. Incorporation of several data sources representing different modalities may facilitate the problem. The goal of this dissertation is to integrate multiple high-resolution remote sensing data sources for automatic satellite imagery interpretation with emphasis on building information extraction and refinement, which challenges are addressed in the following: Building footprint extraction from Very High-Resolution (VHR) satellite images is an important but highly challenging task, due to the large diversity of building appearances and relatively low spatial resolution of satellite data compared to airborne data. Many algorithms are built on spectral-based or appearance-based criteria from single or fused data sources, to perform the building footprint extraction. The input features for these algorithms are usually manually extracted, which limits their accuracy. Based on the advantages of recently developed Fully Convolutional Networks (FCNs), i.e., the automatic extraction of relevant features and dense classification of images, an end-to-end framework is proposed which effectively combines the spectral and height information from red, green, and blue (RGB), pan-chromatic (PAN), and normalized Digital Surface Model (nDSM) image data and automatically generates a full resolution binary building mask. The proposed architecture consists of three parallel networks merged at a late stage, which helps in propagating fine detailed information from earlier layers to higher levels, in order to produce an output with high-quality building outlines. The performance of the model is examined on new unseen data to demonstrate its generalization capacity. The availability of detailed Digital Surface Models (DSMs) generated by dense matching and representing the elevation surface of the Earth can improve the analysis and interpretation of complex urban scenarios. The generation of DSMs from VHR optical stereo satellite imagery leads to high-resolution DSMs which often suffer from mismatches, missing values, or blunders, resulting in coarse building shape representation. To overcome these problems, a methodology based on conditional Generative Adversarial Network (cGAN) is developed for generating a good-quality Level of Detail (LoD) 2 like DSM with enhanced 3D object shapes directly from the low-quality photogrammetric half-meter resolution satellite DSM input. Various deep learning applications benefit from multi-task learning with multiple regression and classification objectives by taking advantage of the similarities between individual tasks. Therefore, an observation of such influences for important remote sensing applications such as realistic elevation model generation and roof type classification from stereo half-meter resolution satellite DSMs, is demonstrated in this work. Recently published deep learning architectures for both tasks are investigated and a new end-to-end cGAN-based network is developed, which combines different models that provide the best results for their individual tasks. To benefit from information provided by multiple data sources, a different cGAN-based work-flow is proposed where the generative part consists of two encoders and a common decoder which blends the intensity and height information within one network for the DSM refinement task. The inputs to the introduced network are single-channel photogrammetric DSMs with continuous values and pan-chromatic half-meter resolution satellite images. Information fusion from different modalities helps in propagating fine details, completes inaccurate or missing 3D information about building forms, and improves the building boundaries, making them more rectilinear. Lastly, additional comparison between the proposed methodologies for DSM enhancements is made to discuss and verify the most beneficial work-flow and applicability of the resulting DSMs for different remote sensing approaches.

Indiana University-Purdue University Indianapolis (IUPUI) / With the increasing availability of Electronic Health Records (EHRs) and advances in deep learning techniques, developing deep predictive models that use EHR data to solve healthcare problems has gained momentum in recent years. The majority of clinical predictive models benefit from structured data in EHR (e.g., lab measurements and medications). Still, learning clinical outcomes from all possible information sources is one of the main challenges when building predictive models. This work focuses mainly on two sources of information that have been underused by researchers; unstructured data (e.g., clinical notes) and a patient network. We propose a novel hybrid deep learning model, DeepNote-GNN, that integrates clinical notes information and patient network topological structure to improve 30-day hospital readmission prediction. DeepNote-GNN is a robust deep learning framework consisting of two modules: DeepNote and patient network. DeepNote extracts deep representations of clinical notes using a feature aggregation unit on top of a state-of-the-art Natural Language Processing (NLP) technique - BERT. By exploiting these deep representations, a patient network is built, and Graph Neural Network (GNN) is used to train the network for hospital readmission predictions. Performance evaluation on the MIMIC-III dataset demonstrates that DeepNote-GNN achieves superior results compared to the state-of-the-art baselines on the 30-day hospital readmission task. We extensively analyze the DeepNote-GNN model to illustrate the effectiveness and contribution of each component of it. The model analysis shows that patient network has a significant contribution to the overall performance, and DeepNote-GNN is robust and can consistently perform well on the 30-day readmission prediction task. To evaluate the generalization of DeepNote and patient network modules on new prediction tasks, we create a multimodal model and train it on structured and unstructured data of MIMIC-III dataset to predict patient mortality and Length of Stay (LOS). Our proposed multimodal model consists of four components: DeepNote, patient network, DeepTemporal, and score aggregation. While DeepNote keeps its functionality and extracts representations of clinical notes, we build a DeepTemporal module using a fully connected layer stacked on top of a one-layer Gated Recurrent Unit (GRU) to extract the deep representations of temporal signals. Independent to DeepTemporal, we extract feature vectors of temporal signals and use them to build a patient network. Finally, the DeepNote, DeepTemporal, and patient network scores are linearly aggregated to fit the multimodal model on downstream prediction tasks. Our results are very competitive to the baseline model. The multimodal model analysis reveals that unstructured text data better help to estimate predictions than temporal signals. Moreover, there is no limitation in applying a patient network on structured data. In comparison to other modules, the patient network makes a more significant contribution to prediction tasks. We believe that our efforts in this work have opened up a new study area that can be used to enhance the performance of clinical predictive models.

Indiana University-Purdue University Indianapolis (IUPUI) / Multiresolution image fusion is an emerging area of research for use in military and commercial applications. While many methods for image fusion have been developed, improvements can still be made. In many cases, image fusion methods are tailored to specific applications and are limited as a result. In order to make improvements to general image fusion, novel methods have been developed based on the wavelet transform and empirical variance. One particular novelty is the use of directional filtering in conjunction with wavelet transforms. Instead of treating the vertical, horizontal, and diagonal sub-bands of a wavelet transform the same, each sub-band is handled independently by applying custom filter windows. Results of the new methods exhibit better performance across a wide range of images highlighting different situations.

Thesis deals with data fusion and calibration of sensory system of Orpheus-X3 robot and EnvMap mapping robot. These robots are parts of Cassandra robotic system that is used for exploration of hazardous or inaccessible areas. Corrections of measured distances are determined for used laser scanners Velodyne HDL-64, Velodyne HDL-32 and range camera SwissRanger SR4000. Software MultiSensCalib has been created and is described. This software is used for determination of intrinsic parameters of heterogeneous cameras of the sensory head and for determination of mutual position and orientation of these sensors. Algorithm for data fusion of CCD camera stereo pair, thermal imager stereo pair and range camera is proposed. Achieved calibration and data-fusion parameters are evaluated by several experiments.