Die Detektion des Pankreaskarzinoms oder die Unterscheidung zwischen einem Karzinom und einer chronischen Pankreatitis bleibt ein diagnostisches Problem. Jedes bisher eingesetzte bildgebende Verfahren hat seine Vor- und Nachteile. Die Bildfusion macht sich die verschiedenen Stärken und Schwächen der einzelnen Bildgebungen zum Vorteil und kombiniert diese mit dem Ziel, die Stärken zu addieren und die Schwächen zu reduzieren. In dieser Arbeit werden Bilder der CT und der Positronenemissionstomographie miteinander kombiniert, um sowohl eine hohe anatomische Auflösung zu erreichen als auch auf Stoffwechseleigenschaften des Gewebes zurückgreifen zu können. Die Auswertung ergab, dass die Bildfusion hinsichtlich der Karzinomdetektion der CT und der PET überlegen ist. Auch für Umgebungsinfiltration, Lymphknotenbefall und Fernmetastasen ergab die Auswertung bessere Ergebnisse als für die jeweiligen Einzelmodalitäten. Die Bildfusion kann die Akkuratheit der verschiedenen Untersuchungen verbessern und ohne technisch großen Aufwand wie auch ohne weitere Patientenbelastung um wertvolle Information ergänzen. Damit stellt die Bildfusion eine wertvolle Methode zur Erkennung und Visualisierung vor allem kleiner und schwer zu lokalisierender Neoplasien dar. Ebenfalls bietet sie eine genaue Möglichkeit zur Biopsie- und Bestrahlungsplanung. / The differentiation between pancreatic carcinoma and inflammatory pancreatic diseases remains a diagnostic problem. Every imaging method available has its own lack of information. Image-fusion uses the strength and the disadvantage of each imaging method. Trough the combination of the images advantages are combined whereas the disadvantages are reduced. In this study images of CT and PET were fused to archive a high anatomic resolution and the information about tissue metabolism. The evaluation showed the superiority of fused images in comparison to the single modalities regarding the detection of lesions, the infiltration of surrounding tissue and lymph nodes as well as detection of distant metastases. Image fusion improves accuracy of CT and PET without huge technical effort or patient-strain while providing useful accessory information. For this reason image-fusion presents a valuable method for detection and visualisation of particularly small lesions in early tumor stage. Furthermore it offers administrable information for biopsy and radiation-planning.

Die Verfügbarkeit von Fernerkundungsdaten ist in den letzten Jahren stark gestiegen. Spätestens seit der Entwicklung von Google Earth wächst auch das Interesse der Allgemeinheit an Fernerkundungsdaten. Aktuell ist eine Vielzahl von Satelliten- und flugzeuggestützten Fernerkundungssystemen operationell verfügbar. Neue Techniken in der Fernerkundung erbringen immer höhere räumliche und zeitliche Auflösungen. Daten, die von den verschiedenen Sensoren aufgenommen werden, unterscheiden sich daher in spektraler, räumlicher sowie temporaler Auflösung. Eines haben die meisten dieser Sensoren aber gemeinsam, nämlich, dass die höchste räumliche Auflösung nur im panchromatischen Modus erzeugt werden kann. Das Verhältnis zwischen der hoch aufgelösten panchromatischen und der niedrig auflösenden multispektralen Aufnahme eines Sensors liegt dabei zwischen 1:2 (SPOT 4) und 1:8 (DMC - Beijing-1). Diese werden in der Regel auf Bilddaten angewandt, die vom gleichen Sensor zur gleichen Zeit aufgenommen wurden (unisensorale, unitemporale Fusion). Einige Sensoren erzeugen allerdings nur panchromatische Bilder, andere, wie das neue deutsche System RapidEye, nur multispektrale Daten. Zur Erzeugung von hoch bzw. höchst aufgelösten multispektralen Bildern müssen hier sensorübergreifend Bilddaten fusioniert werden, die zu verschiedenen Zeitpunkten aufgenommen wurden (multisensorale, multitemporale Fusion). Benutzt man Daten von unterschiedlichen Sensoren, so kann das Verhältnis zwischen der hoch aufgelösten panchromatischen und der niedrig auflösenden multispektralen Aufnahme sogar 1:30 (Ikonos-Panchromatisch : Landsat-Multispektral) oder höher betragen. Neben dem Verhältnis der panchromatischen Komponente zu der multispektralen Komponente ist die Veränderung der spektralen Werte bei der Fusion aber noch entscheidender. Die Mehrzahl der entwickelten Fusionsverfahren weist dabei Farbveränderungen auf. Zudem beeinflussen diese Farbveränderungen auch anschließende Analysen. Das allgemeine Ziel der Daten- bzw. auch der Bildfusion ist: verschiedene Daten zusammenzuführen und mehr Informationen aus diesen Daten zu erhalten als aus jedem der einzelnen Sensoren allein (1+1=3). Die Fragestellung, die auch dieser Arbeit zugrunde liegt, lautet: Kann man mehr Informationen aus den fusionierten Datensätzen extrahieren als aus den einzelnen Datensätzen allein? Und wenn ja, wie viel mehr Informationen können extrahiert werden? Das erste Ziel dieser Arbeit ist ein Verfahren zu finden, welches die zu untersuchenden Merkmale so verbessert, dass der Informationsgehalt maximiert wird und damit höher ist als in den einzelnen originalen Datensätzen. In Bezug auf die Fusion von hochaufgelösten panchromatischen mit niedriger aufgelösten multispektralen Daten bedeutet dies, dass die fusionierten Daten die gleich hohe Auflösung der panchromatischen Daten besitzen, ohne dass Farbveränderungen auftreten. Diese fusionierten Daten sollten sich nicht von einem Bild unterscheiden, das mit einem multispektralen Sensor in der räumlichen Auflösung der panchromatischen Eingangsdaten aufgenommen wurde. Um dieses Ziel zu erreichen, wurde die Fusion auf der Pixelebene ausgewählt, da diese für die Fernerkundung von höchster Relevanz ist, weil die ikonischen Bildfusionsverfahren am weitesten entwickelt sind und die Eingangsdaten am wenigsten vor der Anwendung der Fusionsmethode verändert werden. Da es eine große Anzahl an Verfahren im Bereich der Bildfusion gibt, wurde zunächst auf Basis einer Literaturrecherche eine Auswahl von Verfahren getroffen. Zur Beurteilung dieser Verfahren ist es notwendig, quantitativ-statistische Verfahren auszuwählen, da eine rein visuelle Auswertung, zu subjektiv ist. Um das zweite Ziel dieser Arbeit zu erreichen wurde eine Literaturrecherche durchgeführt. Die ausgewählten Evaluierungsverfahren sollten soweit wie möglich automatisch ablaufen und nur wenig manuellen Input benötigen. Das sichert eine erhöhte Objektivität. Das Endergebnis sollte ein Wert für jeden Kanal oder das Bild sein, so dass eindeutige Rückschlüsse auf die Qualität des Bildes möglich sind. Bei der Auswahl dieser Verfahren ist darauf zu achten, dass sowohl Evaluierungsverfahren ausgewählt werden, welche die spektrale Veränderung messen, aber auch solche, welche die räumliche Verbesserung messen. Die Evaluierungsverfahren wurden für 7 Kategorien ausgewählt. Für die Kategorie 1 wird der ERGAS eingesetzt. In der zweiten Kategorie sollen die Bilddifferenzen berechnet werden. Da die einfache Differenz zweier Bilder große Datenmengen produziert und nicht ein einzelner Wert verfügbar ist, wird die Grauwertabweichung pro Pixel als Kriterium ausgewählt. Mit der dritten Kategorie sollen Ähnlichkeiten im Bildaufbau gemessen werden. Dazu eignet sich am besten der Korrelationskoeffizient. In der vierten Kategorie werden die Ähnlichkeiten der räumlichen Details gemessen. Da es hier wieder um Ähnlichkeiten geht, bietet es sich erneut an, den Korrelationskoeffizienten auch hier einzusetzen. Diesmal allerdings die Korrelation nach Hochpassfilterung zwischen den panchromatischen Eingangsdaten und den fusionierten Bildern. Kategorie 5 betrifft die Qualität der lokalen räumlichen Verbesserungen. Dazu wird die Kantendetektion mit dem Canny Kantenoperator für diese Arbeit ausgewählt. Bei der sechsten Kategorie geht es um die Messung von Unstimmigkeiten in den Spektren. Der SAM wurde daher ausgewählt. Die siebte Kategorie beschreibt die globalen Unterschiede in den Bildern. Dazu wird der SSIM verwendet. Nachdem die Evaluierungsverfahren in den sieben Kategorien ausgewählt wurden, zeigte die Anwendung dieser Evaluierungsmethoden, dass die Ehlers Fusion das beste Fusionsverfahren ist. Die uantitativstatistischen Untersuchungen präsentierten die besten Ergebnisse für die Ehlers Fusion. Die Werte zur spektralen Untersuchung unterschieden sich nur im geringem Maße von den orginalen Werten. Aus diesem Grund wurde die Ehlers Fusion für weitere Untersuchungen in dieser Arbeit ausgewählt und optimiert. Um den Mehrwert von fusionierten Daten zu ermitteln, wurde die Interpretation der fusionierten Fernerkundungsdaten durchgeführt. Bei der unisensoralen Bildfusion hat sich gezeigt, dass die Mehrzahl der Verfahren eine Verbesserung bei der Interpretation der Daten erreicht. Objekte können genauer erkannt werden und auch die Farben bleiben erhalten. Bei den multitemporalen Datensätzen und insbesondere bei der Fusion von Radardaten erreicht dieses Ziel nur ein einziges Verfahren: die Ehlers Fusion. Die Interpretation der Daten wird auch bei den multitemporalen Daten erleichtert. Es werden nicht nur die Kanten von Objekten geschärft, wie beim Brovey Verfahren, sondern auch die spektralen Werte bleiben erhalten. Die Werterhaltung ist besonders wichtig, da durch Veränderung der Farbwerte die genaue Feldfrucht nicht mehr bestimmt werden kann und eine Interpretation dadurch erschwert bzw. unmöglich wird. Bei der CAPI (Computer Assisted Photo Interpretation) konnten durch die Ehlers Fusion vor allem zwei Faktoren der Interpretation deutlich verbessert werden: Zum einen gab es eine schärfere Abgrenzung der Flächengrenzen von unterschiedlich genutzten landwirtschaftlichen Flächen im Vergleich mit den originalen spektralen Daten und zum anderen können Pflanzen, z.B. Weinberge, die nur einen Teil des Bodens bedecken, besser erkannt werden. Bei der unitemporalen Klassifikation stellte sich heraus, dass die fusionierten Daten eine höhere Genauigkeit haben, wenn für die Klassifikation nur die multispektralen Daten verwendet werden. Werden zusätzlich noch die panchromatischen Daten als weiterer Kanal für die Klassifikation herangezogen, so ist die Genauigkeit gleich. Bei der multitemporalen Klassifikation zeigte sich dagegen, dass fusionierte Daten genauer klassifiziert werden können als die Daten mit einem zusätzlichen panchromatischen Kanal. Da bei der Klassifikation mit einem panchromatischen Kanal, der Aufnahmetermin nicht mit den multispektralen Daten übereinstimmt. Bei der Klassifikation mit fusionierten Radardaten zeigte sich, dass die fusionierten Daten eine detailliertere und damit verbesserte Klassifikation erzeugen. Fusionierte Daten können also dabei helfen, mehr Informationen aus den Eingangsdaten zu extrahieren als aus jeden der einzelnen Datensätze. Diese Arbeit hat gezeigt, dass die Genauigkeiten der Klassifikation sich erhöhen kann, wenn die Daten vorher fusioniert werden. Auch die Interpretation kann deutlich dadurch erleichtert werden, dass nicht der panchromatische Kanal und die multispektralen Kanäle getrennt voneinander betrachtet werden müssen. Man kann sich auf ein fusioniertes Bild konzentrieren und seine Interpretation durchführen.

The European Water Framework Directive (Directive 2000/60/EC) is a mandatory agreement that guides the member states of the European Union in the field of water policy to fulfil the requirements for reaching the aim of the good ecological status of water bodies. In the last years several work ows and methods were developed to determine and evaluate the haracteristics and the status of the water bodies. Due to their area measurements remote sensing methods are a promising approach to constitute a substantial additional value. With increasing availability of optical and radar remote sensing data the development of new methods to extract information from both types of remote sensing data is still in progress. Since most limitations of these data sets do not agree the fusion of both data sets to gain data with higher spectral resolution features the potential to obtain additional information in contrast to the separate processing of the data. Based thereupon this study shall research the potential of multispectral and radar remote sensing data and the potential of their fusion for the assessment of the parameters of water body structure. Due to the medium spatial resolution of the freely available multispectral Sentinel-2 data sets especially the surroundings of the water bodies and their land use are part of this study. SAR data is provided by the Sentinel-1 satellite. Different image fusion methods are tested and the combined products of both data sets are evaluated afterwards. The evaluation of the single data sets and the fused data sets is performed by means of a maximum-likelihood classification and several statistical measurements. The results indicate that the combined use of different remote sensing data sets can have an added value.

Infrared images could highlight the semantic areas like pedestrians and be robust to luminance changes, while visible images provide abundant background details and good visual effects. Multi-modal image fusion for surveillance application aims to generate an informative fused images from two source images real-time, so as to facilitate surveillance observatory or object detection tasks. In this work, we firstly investigate conventional methods like multi-scale transform-based methods and subspace-based methods, and deep learning-based methods like AE, CNN and GAN in details. After fully discussion of their advantages and disadvantages, CNN-based methods are chosen due to their robustness and end-to-end feature. A novel real-time CNN-based model is proposed with optimized model architecture and loss functions. The model is based on Dense net structure to reuse the previous features, but the number of layers and the depth are extremely optimized, so as to improve the fusion efficiency. The size of the feature maps keeps the same to avoid information losses. The loss function includes pixel intensity loss, gradient loss and decompose loss. The intensity and gradient loss use the maximum strategy to keep the highlighted semantic areas, and the decompose loss is to compare the reconstructed images and source images, so as to push the fusion model maintain more features. The model is trained on MSRS dataset, and evaluate on the LLVIP, MSRS and TNO datasets with other 9 state-of-the-art algorithms qualitatively and quantitatively. The good visual effect of our proposed model and the outstanding comparison results on 10 evaluation metrics comprehensively and objectively proves its good fusion ability. / Infraröda bilder kan markera semantiska områden så som fotgängare och vara robusta för ljusförändringar, medan synliga bilder ger rikliga bakgrundsdetaljer och goda visuella effekter. Multimodal bildfusion för övervakningsapplikation syftar till att generera en informativ samansatt bild från två källbilder i realtid, för att underlätta övervakningsobservatorium eller objektdetekteringsuppgifter. I detta arbete undersöker vi först konventionella metoder som flerskaliga transformbaserade metoder och subspace-baserade metoder, och djupinlärningsbaserade metoder som AE, CNN och GAN i detalj. Efter fullständig diskussion om deras fördelar och nackdelar väljs CNN-baserade metoder på grund av deras robusthet och end-to-end-funktion. En ny CNN-baserad modell i realtid föreslås med optimerad modellarkitektur och förlustfunktioner. Modellen är baserad på tät nätstruktur för att återanvända de tidigare funktionerna, men antalet lager och djupet är extremt optimerade för att förbättra fusionseffektiviteten. Storleken på funktionskartorna förblir densamma för att undvika informationsförluster. Förlustfunktionen inkluderar pixelintensitetsförlust, gradientförlust och sönderdelningsförlust. Intensitets- och gradientförlusten använder den maximala strategin för att behålla de markerade semantiska områdena, och nedbrytningsförlusten är att jämföra de rekonstruerade bilderna och källbilderna för att driva fusionsmodellen med fler funktioner. Modellen tränas på MSRS-datauppsättning och utvärderas på LLVIP-, MSRS- och TNO-dataset med andra 9 toppmoderna algoritmer kvalitativt och kvantitativt. Den goda visuella effekten av vår föreslagna modell och de enastående jämförelseresultaten på 10 utvärderingsmått bevisar omfattande och objektivt dess goda fusionsförmåga.