Levees provide protection for vast amounts of commercial and residential properties. However, these structures degrade over time, due to the impact of severe weather, sand boils, subsidence of land, seepage, etc. In this research, we focus on detecting sand boils. Sand boils occur when water under pressure wells up to the surface through a bed of sand. These make levees especially vulnerable. Object detection is a good approach to confirm the presence of sand boils from satellite or drone imagery, which can be utilized to assist in the automated levee monitoring methodology. Since sand boils have distinct features, applying object detection algorithms to it can result in accurate detection. To the best of our knowledge, this research work is the first approach to detect sand boils from images. In this research, we compare some of the latest deep learning methods, Viola Jones algorithm, and other non-deep learning methods to determine the best performing one. We also train a Stacking-based machine learning method for the accurate prediction of sand boils. The accuracy of our robust model is 95.4%.

Sequence labeling is a type of machine learning problem that involves as- signing a label to each sequence member. Deep learning has shown good per- formance for this problem. However, one disadvantage of this approach is its requirement of having a large amount of labeled data. Semi-supervised learning mitigates this problem by using cheaper unlabeled data together with labeled data. Currently, usage of semi-supervised deep learning for sequence labeling is limited. Therefore, the focus of this thesis is on the application of semi-super- vised deep learning in sequence labeling. Existing semi-supervised deep learning approaches are examined, and approaches for sequence labeling are proposed. The proposed approaches were implemented and experimentally evaluated on named-entity recognition and part-of-speech tagging tasks.

Multimodality in Machine Translation Jindřich Libovický Traditionally, most natural language processing tasks are solved within the lan- guage, relying on distributional properties of words. Representation learning abilities of deep learning recently allowed using additional information source by grounding the representations in the visual modality. One of the tasks that attempt to exploit the visual information is multimodal machine translation: translation of image captions when having access to the original image. The thesis summarizes joint processing of language and real-world images using deep learning. It gives an overview of the state of the art in multimodal machine translation and describes our original contribution to solving this task. We introduce methods of combining multiple inputs of possibly different modalities in recurrent and self-attentive sequence-to-sequence models and show results on multimodal machine translation and other tasks related to machine translation. Finally, we analyze how the multimodality influences the semantic properties of the sentence representation learned by the networks and how that relates to translation quality.

Recent advancements in the field of Computer Vision are a by-product of breakthroughs in the domain of Artificial Intelligence. Object detection in monocular images is now realized by an amalgamation of Computer Vision and Deep Learning. While most approaches detect objects as a mere two dimensional (2D) bounding box, there are a few that exploit rather traditional representation of the 3D object. Such approaches detect an object either as a 3D bounding box or exploit its shape primitives using active shape models which results in a wireframe-like detection. Such a wireframe detection is represented as combinations of detected keypoints (or landmarks) of the desired object. Apart from a faithful retrieval of the object’s true shape, wireframe based approaches are relatively robust in handling occlusions. The central task of this thesis was to find such an approach and to implement it with the goal of its performance evaluation. The object of interest is the vehicle class (cars, mini vans, trucks etc.) and the evaluation data is monocular traffic surveillance videos collected by the supervising chair. A wireframe type detection can aid several facets of traffic analysis by improved (compared to 2D bounding box) estimation of the detected object’s ground plane. The thesis encompasses the process of implementation of the chosen approach called Occlusion-Net [40], including its design details and a qualitative evaluation on traffic surveillance videos. The implementation reproduces most of the published results across several occlusion categories except the truncated car category. Occlusion-Net’s erratic detections are mostly caused by incorrect detection of the initial region of interest. It employs three instances of Graph Neural Networks for occlusion reasoning and localization. The thesis also provides a didactic introduction to the field of Machine and Deep Learning including intuitions of mathematical concepts required to understand the two disciplines and the implemented approach.:Contents 1 Introduction 1 2 Technical Background 7 2.1 AI, Machine Learning and Deep Learning 7 2.1.1 But what is AI ? 7 2.1.2 Representational composition by Deep Learning 10 2.2 Essential Mathematics for ML 14 2.2.1 Linear Algebra 15 2.2.2 Probability and Statistics 25 2.2.3 Calculus 34 2.3 Mathematical Introduction to ML 39 2.3.1 Ingredients of a Machine Learning Problem 39 2.3.2 The Perceptron 40 2.3.3 Feature Transformation 46 2.3.4 Logistic Regression 48 2.3.5 Artificial Neural Networks: ANN 53 2.3.6 Convolutional Neural Network: CNN 61 2.3.7 Graph Neural Networks 68 2.4 Specific Topics in Computer Vision 72 2.5 Previous work 76 3 Design of Implemented Approach 81 3.1 Training Dataset 81 3.2 Keypoint Detection : MaskRCNN 83 3.3 Occluded Edge Prediction : 2D-KGNN Encoder 84 3.4 Occluded Keypoint Localization : 2D-KGNN Decoder 86 3.5 3D Shape Estimation: 3D-KGNN Encoder 88 4 Implementation 93 4.1 Open-Source Tools and Libraries 93 4.1.1 Code Packaging: NVIDIA-Docker 94 4.1.2 Data Processing Libraries 94 4.1.3 Libraries for Neural Networks 95 4.1.4 Computer Vision Library 95 4.2 Dataset Acquisition and Training 96 4.2.1 Acquiring Dataset 96 4.2.2 Training Occlusion-Net 96 4.3 Refactoring 97 4.3.1 Error in Docker File 97 4.3.2 Image Directories as Input 97 4.3.3 Frame Extraction in Parallel 98 4.3.4 Video as Input 100 4.4 Functional changes 100 4.4.1 Keypoints In Output 100 4.4.2 Mismatched BB and Keypoints 101 4.4.3 Incorrect Class Labels 101 4.4.4 Bounding Box Overlay 101 5 Evaluation 103 5.1 Qualitative Evaluation 103 5.1.1 Evaluation Across Occlusion Categories 103 5.1.2 Performance on Moderate and Heavy Vehicles 105 5.2 Verification of Failure Analysis 106 5.2.1 Truncated Cars 107 5.2.2 Overlapping Cars 108 5.3 Analysis of Missing Frames 109 5.4 Test Performance 110 6 Conclusion 113 7 Future Work 117 Bibliography 119

In this thesis I will use state-of-the-art (SOTA) image denoising methods to denoise electron microscopy (EM) data. Then, I will present NoiseVoid a deep learning based self-supervised image denoising approach which is trained on single noisy observations. Eventually, I approach the missing wedge problem in tomography and introduce a novel image encoding, based on the Fourier transform which I am using to predict missing Fourier coefficients directly in Fourier space with Fourier Image Transformer (FIT). In the next paragraphs I will summarize the individual contributions briefly. Electron microscopy is the go to method for high-resolution images in biological research. Modern scanning electron microscopy (SEM) setups are used to obtain neural connectivity maps, allowing us to identify individual synapses. However, slow scanning speeds are required to obtain SEM images of sufficient quality. In (Weigert et al. 2018) the authors show, for fluorescence microscopy, how pairs of low- and high-quality images can be obtained from biological samples and use them to train content-aware image restoration (CARE) networks. Once such a network is trained, it can be applied to noisy data to restore high quality images. With SEM-CARE I present how this approach can be directly applied to SEM data, allowing us to scan the samples faster, resulting in $40$- to $50$-fold imaging speedups for SEM imaging. In structural biology cryo transmission electron microscopy (cryo TEM) is used to resolve protein structures and describe molecular interactions. However, missing contrast agents as well as beam induced sample damage (Knapek and Dubochet 1980) prevent acquisition of high quality projection images. Hence, reconstructed tomograms suffer from low signal-to-noise ratio (SNR) and low contrast, which makes post-processing of such data difficult and often has to be done manually. To facilitate down stream analysis and manual data browsing of cryo tomograms I present cryoCARE a Noise2Noise (Lehtinen et al. 2018) based denoising method which is able to restore high contrast, low noise tomograms from sparse-view low-dose tilt-series. An implementation of cryoCARE is publicly available as Scipion (de la Rosa-Trevín et al. 2016) plugin. Next, I will discuss the problem of self-supervised image denoising. With cryoCARE I exploited the fact that modern cryo TEM cameras acquire multiple low-dose images, hence the Noise2Noise (Lehtinen et al. 2018) training paradigm can be applied. However, acquiring multiple noisy observations is not always possible e.g. in live imaging, with old cryo TEM cameras or simply by lack of access to the used imaging system. In such cases we have to fall back to self-supervised denoising methods and with Noise2Void I present the first self-supervised neural network based image denoising approach. Noise2Void is also available as an open-source Python package and as a one-click solution in Fiji (Schindelin et al. 2012). In the last part of this thesis I present Fourier Image Transformer (FIT) a novel approach to image reconstruction with Transformer networks. I develop a novel 1D image encoding based on the Fourier transform where each prefix encodes the whole image at reduced resolution, which I call Fourier Domain Encoding (FDE). I use FIT with FDEs and present proof of concept for super-resolution and tomographic reconstruction with missing wedge correction. The missing wedge artefacts in tomographic imaging originate in sparse-view imaging. Sparse-view imaging is used to keep the total exposure of the imaged sample to a minimum, by only acquiring a limited number of projection images. However, tomographic reconstructions from sparse-view acquisitions are affected by missing wedge artefacts, characterized by missing wedges in the Fourier space and visible as streaking artefacts in real image space. I show that FITs can be applied to tomographic reconstruction and that they fill in missing Fourier coefficients. Hence, FIT for tomographic reconstruction solves the missing wedge problem at its source.:Contents Summary iii Acknowledgements v 1 Introduction 1 1.1 Scanning Electron Microscopy . . . . . . . . . . . . . . . . . . . . 3 1.2 Cryo Transmission Electron Microscopy . . . . . . . . . . . . . . . 4 1.2.1 Single Particle Analysis . . . . . . . . . . . . . . . . . . . . 5 1.2.2 Cryo Tomography . . . . . . . . . . . . . . . . . . . . . . . 7 1.3 Tomographic Reconstruction . . . . . . . . . . . . . . . . . . . . . 8 1.4 Overview and Contributions . . . . . . . . . . . . . . . . . . . . . 11 2 Denoising in Electron Microscopy 15 2.1 Image Denoising . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.2 Supervised Image Restoration . . . . . . . . . . . . . . . . . . . . 19 2.2.1 Training and Validation Loss . . . . . . . . . . . . . . . . 19 2.2.2 Neural Network Architectures . . . . . . . . . . . . . . . . 21 2.3 SEM-CARE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.3.1 SEM-CARE Experiments . . . . . . . . . . . . . . . . . . 23 2.3.2 SEM-CARE Results . . . . . . . . . . . . . . . . . . . . . 25 2.4 Noise2Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.5 cryoCARE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.5.1 Restoration of cryo TEM Projections . . . . . . . . . . . . 27 2.5.2 Restoration of cryo TEM Tomograms . . . . . . . . . . . . 29 2.5.3 Automated Downstream Analysis . . . . . . . . . . . . . . 31 2.6 Implementations and Availability . . . . . . . . . . . . . . . . . . 32 2.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.7.1 Tasks Facilitated through cryoCARE . . . . . . . . . . . 33 3 Noise2Void: Self-Supervised Denoising 35 3.1 Probabilistic Image Formation . . . . . . . . . . . . . . . . . . . . 37 3.2 Receptive Field . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 3.3 Noise2Void Training . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.3.1 Implementation Details . . . . . . . . . . . . . . . . . . . . 41 3.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.4.1 Natural Images . . . . . . . . . . . . . . . . . . . . . . . . 43 3.4.2 Light Microscopy Data . . . . . . . . . . . . . . . . . . . . 44 3.4.3 Electron Microscopy Data . . . . . . . . . . . . . . . . . . 47 3.4.4 Errors and Limitations . . . . . . . . . . . . . . . . . . . . 48 3.5 Conclusion and Followup Work . . . . . . . . . . . . . . . . . . . 50 4 Fourier Image Transformer 53 4.1 Transformers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.1.1 Attention Is All You Need . . . . . . . . . . . . . . . . . . 55 4.1.2 Fast-Transformers . . . . . . . . . . . . . . . . . . . . . . . 56 4.1.3 Transformers in Computer Vision . . . . . . . . . . . . . . 57 4.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 4.2.1 Fourier Domain Encodings (FDEs) . . . . . . . . . . . . . 57 4.2.2 Fourier Coefficient Loss . . . . . . . . . . . . . . . . . . . . 59 4.3 FIT for Super-Resolution . . . . . . . . . . . . . . . . . . . . . . . 60 4.3.1 Super-Resolution Data . . . . . . . . . . . . . . . . . . . . 60 4.3.2 Super-Resolution Experiments . . . . . . . . . . . . . . . . 61 4.4 FIT for Tomography . . . . . . . . . . . . . . . . . . . . . . . . . 63 4.4.1 Computed Tomography Data . . . . . . . . . . . . . . . . 64 4.4.2 Computed Tomography Experiments . . . . . . . . . . . . 66 4.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5 Conclusions and Outlook 71

No description available.

In the last decades, the increasing number of new generation satellite images characterized by a better spectral, spatial and temporal resolution with respect to the past has provided unprecedented source of information for monitoring climate changes.To exploit this wealth of data, powerful and automatic methods to analyze remote sensing images need to be implemented. Accordingly, the objective of this thesis is to develop advanced methods for the analysis of multitemporal multispectral remote sensing images to support climate change applications. The thesis is divided into two main parts and provides four novel contributions to the state-of-the-art. In the first part of the thesis, we exploit multitemporal and multispectral remote sensing data for accurately monitoring two essential climate variables. The first contribution presents a method to improve the estimation of the glacier mass balance provided by physically-based models. Unlike most of the literature approaches, this method integrates together physically-based models, remote sensing data and in-situ measurements to achieve an accurate and comprehensive glacier mass balance estimation. The second contribution addresses the land cover mapping for monitoring climate change at high spatial resolution. Within this work, we developed two processing chains: one for the production of a recent (2019) static high resolution (10 m) land cover map at subcontinental scale, and the other for the production of a long-term record of regional high resolution (30 m) land cover maps. The second part of this thesis addresses the common challenges faced while performing the analysis of multitemporal multispectral remote sensing data. In this context, the third contribution deals with the multispectral images cloud occlusions problem. Differently from the literature, instead of performing computationally expensive cloud restoration techniques, we study the robustness of deep learning architectures such as Long Short Term Memory classifier to cloud cover. Finally, we address the problem of the large scale training set definition for multispectral data classification. To this aim, we propose an approach that leverages on available low resolution land cover maps and domain adaptation techniques to provide representative training sets at large scale. The proposed methods have been tested on Sentinel-2 and Landsat 5, 7, 8 multispectral images. Qualitative and quantitative experimental results confirm the effectiveness of the methods proposed in this thesis.

Der Bulbus olfactorius (OB) spielt eine wichtige Rolle in der Wahrnehmung von Gerüchen. Das OB-Volumen korreliert mit der Riechfunktion und ist daher ein Biomarker für mehrere neurodegenerative Erkrankungen sowie für Riechstörungen. In mehreren Studien wurde gezeigt, dass eine Abnahme des OB-Volumens mit einer Abnahme der Geruchsempfindlichkeit einhergeht und umgekehrt. Dies bedeutet, dass die Messung des OB-Volumens für verschiedene Diagnose- und Forschungszwecke von großem Interesse ist. Bisher wurden diese Messungen manuell durchgeführt, was mit einem Zeitaufwand von 15-20 Minuten pro Probanden eine sehr langwierige Methode ist, die außerdem zu erheblichen Messungenauigkeiten führt. Dies erschwert die Verarbeitung großer Datensätze sowie den Vergleich verschiedener Studien. Um dieses Problem zu lösen, haben wir einen vollautomatisierten, auf Deep-Learning basierten Algorithmus zur Segmentierung des OB sowie zur Messung dessen Volumens entwickelt und ein einsatzbereites Tool zur Anwendung veröffentlicht. Des Weiteren wurde eine Studie an Patienten mit Mild Cognitive Impairment (MCI) durchgeführt, um den Effekt von Riechtraining auf funktionale und morphologische Veränderungen des OB und des Hippocampus zu untersuchen. Methoden: Wir haben unseren Algorithmus auf vier Datensätzen trainiert und getestet, die jeweils aus T1-gewichteten MRT-Aufnahmen des gesamten Gehirns sowie hochaufgelösten T2-gewichteten Aufnahmen der vorderen Schädelbasis und den entsprechenden klinischen Informationen über das Riechvermögen der Probanden bestehen. Ein Datensatz enthielt Patienten mit gesicherter Anosmie oder Hyposmie (N = 79). Die anderen drei Datensätze enthielten gesunde Probanden (N = 91). Um die Grundwahrheit für die OB-Segmentierung und die Volumenmessung zu erhalten, wurden die Datensätze von zwei erfahrenen wissenschaftlichen Mitarbeitern unabhängig voneinander nach einem einheitlichen Protokoll manuell segmentiert. Verglichen mit dem gesamten Gehirn nimmt der OB ein sehr kleines Volumen ein. Jedes Bild hat daher viel mehr Voxel, die dem Hintergrund angehören als solche, die zum OB gehören. Somit sind die Daten sehr unausgewogen, was eine Herausforderung für die automatische Lokalisierung des OB darstellt. Um dieses Problem zu lösen, haben wir zunächst die manuellen Segmentierungen mit dem Template des Montreal Neurological Institute (MNI) registriert und den Massenschwerpunkt (Center of Gravity, COG) ermittelt. Im Preprocessing übertragen wir die COG-Koordinaten aus dem MNI-Raum in den individuellen Raum der jeweiligen MR-Aufnahme und konstruieren eine Bounding Box um den OB. Anschließend selektieren wir den in der Bounding Box enthaltenen Bildanteil, in welchem dann der OB durch das 3D-U-Net-Modell segmentiert wird. Bei dem Modell handelt es sich um ein neuronales Netz, welches für die 3D-Bildsegmentierung entwickelt wurde und sich im Bereich der medizinischen Bildverarbeitung bewährt hat. Der Algorithmus gibt anschließend die binären Segmentierungsmasken und eine Datei mit den Volumina für den linken und rechten OB heraus. Im Rahmen der Studie an MCI-Patienten wurden 37 Patienten randomisiert in Verum- und Placebo-Gruppe eingeteilt. Das Riechtraining wurde zweimal täglich über einen Zeitraum von vier Monaten durchgeführt. Olfaktorische und kognitive Testungen sowie MRT-Bildgebung wurden zu Anfang und Ende der viermonatigen Studie durchgeführt. Ergebnisse : Zum Trainieren des neuronalen Netzes haben wir den Datensatz in einen Trainings- (60%; N = 191), einen Validierungs- (20%; N = 64) und einen Testdatensatz (20%; N = 64) aufgeteilt. Auf zuvor ungesehenen Daten (d. h. auf dem Testdatensatz) wurde ein mittlerer Dice-Koeffizient (DC) von 0,77 ± 0,05 erreicht, was dem zwischen den beiden manuellen Segmentierungen ermittelten DC von 0,79 ± 0,08 für dieselbe Kohorte sehr nahe kommt. Darüber hinaus wurden die von unserem Algorithmus erzeugten Segmentierungen von einem unabhängigen verblindeten Bewerter manuell auf einer standardisierten Skala evaluiert und erreichten eine vergleichbare Punktzahl von 5,95 ± 0,87 im Vergleich zu einer Bewertungszahl von 6,23 ± 0,87 für die erste und 5,92 ± 0,81 für die zweite Segmentierung. Diese Evaluierungsergebnisse zeigen, dass unser Algorithmus mit drei bis vier Minuten pro Probanden eine schnelle und zuverlässige automatische Segmentierung des OB ermöglicht, die der Genauigkeit der derzeitigen Goldstandard-Methode entspricht. In der Studie mit MCI-Patienten wurde nach Durchführung des viermonatigen Riechtrainings eine Zunahme der Riechfähigkeit sowie der kortikalen Schichtdicke des Hippocampus beidseits beobachtet. Sowohl in der Verum-Gruppe als auch in der Placebo-Gruppe konnte keine signifikante Zunahme des OB-Volumens festgestellt werden. Diskussion: Der von uns vorgeschlagene Algorithmus kann sowohl bei gesunden Probanden als auch bei Patienten mit diagnostizierten Riechstörungen eingesetzt werden und ist daher von hoher klinischer Relevanz. Er ermöglicht die schnelle Verarbeitung großer Datensätze und die Durchführung vergleichender Studien zur Entwicklung des OB-Volumens im Laufe der Zeit, da er zuverlässigere Ergebnisse liefert als die manuellen Annotationsmethoden. In der Studie an MCI-Patienten war das Riechtraining mit einer Zunahme der kortikalen Schichtdicke des Hippocampus assoziiert, nicht jedoch mit einer Zunahme des OB- oder Hippocampus-Volumens. Ein Grund hierfür könnte die Tendenz des OB-Volumens sein, in MCI-Patienten abzunehmen. Somit könnte das stabile OB-Volumen nach Riechtraining bereits als positiver Effekt gewertet werden. Andererseits könnte das unveränderte OB-Volumen auch auf die methodisch bedingten manuellen Messfehler zurückgeführt werden. Um das Problem der ungenauen manuellen Messungen zu lösen, haben wir ein auf Python basierendes, sofort einsetzbares Tool entwickelt, das Segmentierungsmasken sowie Messungen des linken und rechten OB-Volumens liefert. Es kann sowohl über eine Befehlszeilenschnittstelle als auch über eine grafische Benutzeroberfläche verwendet werden. Für die Segmentierung des OB werden T1-gewichtete MRT-Aufnahmen des gesamten Gehirns sowie hochaufgelöste T2-gewichtete Aufnahmen der vorderen Schädelbasis verwendet.

<p dir="ltr">In this dissertation, efforts and innovations are made to advance subtle pattern mining, edge computing, and system efficiency optimization for biomedical applications, thereby advancing precision medicine big data.</p><p dir="ltr">Brain visual dynamics encode rich functional and biological patterns of the neural system, promising for applications like intention decoding, cognitive load quantization and neural disorder measurement. We here focus on the understanding of the brain visual dynamics for the Amyotrophic lateral sclerosis (ALS) population. We leverage a deep learning framework for automatic feature learning and classification, which can translate the eye Electrooculography (EOG) signal to meaningful words. We then build an edge computing platform on the smart phone, for learning, visualization, and decoded word demonstration, all in real-time. In a further study, we have leveraged deep transfer learning to boost EOG decoding effectiveness. More specifically, the model trained on basic eye movements is leveraged and treated as an additional feature extractor when classifying the signal to the meaningful word, resulting in higher accuracy.</p><p dir="ltr">Efforts are further made to decoding functional Near-Infrared Spectroscopy (fNIRS) signal, which encodes rich brain dynamics like the cognitive load. We have proposed a novel Multi-view Multi-channel Graph Neural Network (mmGNN). More specifically, we propose to mine the multi-channel fNIRS dynamics with a multi-stage GNN that can effectively extract the channel- specific patterns, propagate patterns among channels, and fuse patterns for high-level abstraction. Further, we boost the learning capability with multi-view learning to mine pertinent patterns in temporal, spectral, time-frequency, and statistical domains.</p><p dir="ltr">Massive-device systems, like wearable massive-sensor computers and Internet of Things (IoTs), are promising in the era of big data. The crucial challenge is about how to maximize the efficiency under coupling constraints like energy budget, computing, and communication. We propose a deep reinforcement learning framework, with a pattern booster and a learning adaptor. This framework has demonstrated optimally maximizes the energy utilization and computing efficiency on the local massive devices under a one-center fifteen-device circumstance.</p><p dir="ltr">Our research and findings are expected to greatly advance the intelligent, real-time, and efficient big data harnessing, leveraging deep learning, edge computing, and efficiency optimization.</p>

Sekundärrohstoffe und darauf aufbauende Rohstoffkreisläufe erlangen, bedingt durch die Endlichkeit der Primärrohstoffe, steigende Preise und eine zunehmende Umweltbelastung durch fehlendes Recycling, eine immer stärkere Bedeutung in der nationalen und globalen Wirtschaft ein. Darüber hinaus wird die Notwendigkeit geschlossener Rohstoffkreisläufe auch politisch und gesellschaftlich durch die Forderung eines nachhaltigen Wirtschaftens abgebildet. Nicht zuletzt für die Einhaltung der Klimaschutzziele sind geschlossene Roh-stoffkreisläufe von entscheidender Bedeutung. Neben Metallen sind insbesondere Kunststoffe Materialien, die in eine ökonomische Wiederverwertung eingebracht werden können und sollten. Eine Vielzahl technischer Kunststoffe bestehen jedoch aus einem Materialmix verschiedener Kunststoffe und Additive und liegen somit als Komposite oder Hybridbauteile vor. Oftmals enthalten diese Kunststoffe einen Rußanteil zur Schwarzfärbung. Jedoch können gerade schwarze Kunststoffe kaum mittels klassischer optischer Methoden hinreichend genau klassifiziert werden. Trotz des hohen Materialwertes solcher technischen Kunststoffe sind diese daher derzeit nur teilweise oder gar nicht ökonomisch wiederverwertbar. Hauptgrund dafür ist, dass eine zuverlässig arbeitende Sensortechnologie zur Sortierung unterschiedlichster, aber insbesondere schwarzer Kunststoffmischungen nicht verfügbar ist. Das Ziel dieses Promotionsvorhabens ist daher die Entwicklung und Evaluierung einer schnellen und zuverlässigen Erkennungstechnologie für die Klassifizierung schwarzer Kunststoffgemische mit hoher Genauigkeit (bis zu 99,9 %) und einem hohen Durchsatz. Die Basis dafür bildet die bildgebende Laser-Fluoreszenzspektroskopie in Kombination mit künstlicher Intelligenz. Insbesondere soll die zu entwickelnde Technologie die Sortierung kleiner Partikel ermöglichen, wie sie beispielsweise bei der Zerkleinerung von Kompositbauteilen anfallen. Die Entwicklung der Methode zur Klassifizierung schwarzer Kunststoffe erfolgte anhand von zwölf Kunststoffklassen und wurde in drei Schritten durchgeführt. Zuerst wurden die Kunststoffe mit einer Reihe klassischer Spektroskopieverfahren untersucht. Einsatz der Raman-Spektroskopie deutete sich bereits an, dass die Kunststoffe teilweise eine Fluoreszenz aufweisen. Weitere Messungen der Fluoreszenz in Abhängigkeit der Anregungswellenlänge bestätigten dieses Verhalten und zeigten, dass für Anregungswellenlängen zwischen rund 500 nm und 600 nm die stärkste Fluoreszenz erhalten wird. Im nächsten Schritt wurde ein Labordemonstrator entwickelt und evaluiert, um die grundlegende Machbarkeit der Methode nachzuweisen. Der Labord-emonstrator arbeitet mit einer Hyperspektralkamera für den sichtbaren und nahinfraroten Spektralbereich, einer zeilenförmigen Laseranregung und einer zusätzlichen nahinfrarot Beleuchtung. Die Nahinfrarotbeleuchtung ermöglicht dabei eine bessere Erkennung der Position und Form der Kunststoffpartikel, insbesondere wenn diese kein oder nur ein schwaches Fluoreszenzsignal aufweisen. Für die Versuche wurden zwei Laser mit einer Wellenlänge von 532 nm und 450 nm eingesetzt. Das entwickelte System wurde kalibriert und charakterisiert und anschließend wurden Messungen von schwarzen Kunststoffpartikeln aus 12 Kunststoffklassen durchgeführt und die erhaltenen Daten wurden für Klassifikationsversuche eingesetzt. Bei diesen Klassifikationsexperimenten wurde die Gesamtgenauigkeit bei der Klassifikation aller zwölf Kunststoffklassen betrachtet und es erfolgte die Untersuchung unterschiedlicher Klassifikationsalgorithmen, unterschiedlicher Arten der Datenvorverarbeitung, sowie einer automatischen Optimierung der Hyperparameter der Klassifikationsalgorithmen. Die gleichzeitige Klassifikation aller 12 Kunststoffklassen ist im späteren Einsatz nicht relevant, da meist nur zwei bis drei Kunststoffarten gleichzeitig erkannt und sortiert werden müssen. Die durchgeführten Versuche dienten daher hauptsächlich dem grundsätzlichen Nachweis der Leistungsfähigkeit der Methode und dem Vergleich der unterschiedlichen Methoden des maschinellen Lernens und der Datenvorverarbeitung. Bei den betrachteten Klassifikationsalgorithmen handelt es sich um die Diskriminanzanalyse (DA), die k-Nächste-Nachbarn-Klassifikation (kNN), Ensembles von Entscheidungsbäumen (ENSEMBLE), Support Vector Machines (SVM) und Convolutional Neural Networks (CNN). Die Optimierung der Hyperparameter erfolgte durch zwei Verfahren: Random Search und Bayesian Optimization Algorithm. Es zeigte sich, dass die besten Klassifikationsgenauigkeiten für den CNN-, gefolgt von ENSEMBLE- und SVM-Algorithmus, erzielt werden können. Die höchste erhaltene Genauigkeit lag für den 450 nm Laser mit 93,5 % über der des 532 nm Lasers mit 87,9 %. Um eine realistische Einschätzung der Klassifikationsgenauigkeit für die im Anwendungsfall auftretenden Mischungen aus zwei bis drei Kunststoffklassen zu erhalten, wurden auch 41 Kunststoffmischungen hinsichtlich ihrer Klassifizierbarkeit untersucht. Bei diesen 41 Mischungen handelt es sich um industriell relevante Kombinationen der zwölf betrachteten Kunststoffklassen. Für nahezu alle der industriell relevanten Kunststoffmischungen konnte die Klassifikationsgenauigkeit von > 99,9 % erreicht werden. Aufbauend auf diesen Erkenntnissen wurde daher im dritten Schritt der vorliegenden Arbeit das Sensorsystem für einen industrienahen Demonstrator für die Sortierung schwarzer Kunststoffpartikel unter anwendungsnahen Bedingungen entwickelt, aufgebaut und evaluiert. Der entwickelte industrienahe Demonstrator wurde kalibriert und charakterisiert und anschließend wurden erneut Messungen der schwarzen Kunststoffpartikel durchgeführt. Mit den erhaltenen Daten wurden anschließend erneut Klassifikationsmodelle trainiert, optimiert und validiert. Die Ergebnisse der Klassifikationsversuche zeigen, dass die erhaltenen Genauigkeiten für das Demonstratorsystem geringer als für den Labordemonstrator ausfallen. Trotzdem konnte mit den besten Messparametern für fünf Mischungen, welche mit derzeitigen Methoden nicht sortierbar sind, eine sehr gute Klassifikationsgenauigkeit von > 99 % erreicht werden. Insgesamt sind die mit dem entwickelten industrienahen Demonstratorsystem erhaltenen Ergebnisse sehr vielversprechend. Für viele industriell relevante Kunststoffmischungen konnte bereits eine ausreichend hohe Klassifikationsgenauigkeit demonstriert werden. Es ist abzusehen, dass der entwickelte industrielle Demonstrator, mit nur wenigen, aber sehr effektiven Hardwaremodifikationen, auch für die Sortierung vieler weiterer Kunststoffmischungen eingesetzt werden kann. Es wurde also erfolgreich ein System zur Erkennung und Klassifizierung schwarzer Kunststoffpartikel entwickelt, welches ein ökonomisch sinnvolles Recycling dieser Kunststoffe ermöglicht und damit signifikant zum Aufbau einer nachhaltigen Kreislaufwirtschaft beitragen kann.:Inhaltsverzeichnis Inhaltsverzeichnis I Abbildungsverzeichnis V Tabellenverzeichnis XIII Abkürzungsverzeichnis XX Symbolverzeichnis XXIII 1 Einleitung 1 2 Theoretische Grundlagen 5 2.1 Stand der Technik des Kunststoffrecyclings 5 2.2 Kunststoffe 14 2.2.1 Eingesetzte Kunststoffe 15 2.2.2 Zusatzstoffe für Kunststoffe 17 2.2.3 Ökologische und Ökonomische Aspekte des Recyclings von Kunststoffen 18 2.3 Optische Spektroskopie 22 2.3.1 Grundlagen der Spektroskopie 22 2.3.2 Methoden der optische Spektroskopie 28 2.3.3 Hyperspektrale Bildgebung 30 2.3.4 Grundlagen zur Charakterisierung eines (Laser-)HSI Systems 32 2.4 Multivariate Datenanalyse 38 2.4.1 Datenvorverarbeitung, Datenreduktion und Explorative Datenanalyse 39 2.4.2 Klassifikationsalgorithmen 47 2.4.3 Hyperparameteroptimierung 61 2.4.4 Validierung von Klassifikationsverfahren 64 3 Experimentelle Durchführung 73 3.1 Untersuchte Kunststoffe 73 3.1.1 Eingesetzte Kunststoffgranulate 73 3.1.2 Kunststoffmischungen 74 3.2 Hardwarekonfiguration der entwickelten Laser-HSI-Systeme 76 3.2.1 Hardwarekonfiguration des Laser-HSI-Laborsystems 76 3.2.2 Hardwarekonfiguration des Laser-HSI-Demonstratorsystems 78 3.3 Eingesetzte Software und Computer-Hardware 80 3.3.1 imanto®Pro 80 3.3.2 Matlab® 81 3.3.3 Eingesetzte Computer-Hardware 81 3.4 Durchgeführte Messung mit den Laser-HSI-Systemen 82 3.4.1 Messung der schwarzen Kunststoffe mit dem Laser-HSI-Laborsystem 82 3.4.2 Messung der schwarzen Kunststoffe mit dem Laser-HSI-Demonstratorsystem 83 3.4.3 Verfügbarkeit der Daten 83 3.5 Spektroskopische Charakterisierung der Kunststoffproben 84 3.5.1 Fluoreszenz-Spektroskopie 84 3.5.2 Raman-Spektroskopie 84 3.5.3 Laser-HSI 85 4 Ergebnisse und Diskussion 88 4.1 Das Laser-HSI-Laborsystem 89 4.1.1 Anregungseinheit 89 4.1.2 System zur Strahlaufweitung 91 4.1.3 Detektionseinheit 94 4.1.4 Charakterisierung und Kalibrierung des bildgebenden Spektrometers 95 4.1.5 NIR-Beleuchtung 102 4.2 Laser-HSI-Demonstratorsystem zur Klassifikation schwarzer Kunststoffe 103 4.2.1 Anforderungen an das Demonstratorsystem 103 4.2.2 Aufbau des Sensormoduls des Demonstratorsystems 106 4.2.3 Kalibrierung und Charakterisierung des Sensormoduls des Demonstratorsystems 107 4.3 Spektroskopische Charakterisierung der schwarzen Kunststoffe 110 4.3.1 Fluoreszenz- und Raman-spektroskopische Untersuchungen der Kunststoffpartikel 111 4.3.2 Untersuchungen schwarzer Kunststoffpartikel mit dem Laser-HSI-Laborsystem 118 4.4 Klassifikations- und Optimierungsexperimente mit dem Laser-HSI-Laborsystem 124 4.4.1 Datenvorverarbeitung und Beschreibung der Daten 125 4.4.2 Explorative Datenanalyse 128 4.4.3 Untersuchungen zur Klassifikation der schwarzen Kunststoffe mit dem Laser-HSI-Laborsystem 135 4.4.4 Klassifikationsexperimente mittels klassischer Machine Learning-Verfahren 136 4.4.5 Hyperparameteroptimierung für die klassischen Machine Learning Verfahren 149 4.4.6 Untersuchung der Klassifikation durch Deep Learning Verfahren 157 4.4.7 Hyperparameteroptimierung für die Deep Learning-Verfahren 171 4.4.8 Vergleich und Diskussion der erhaltenen Klassifikationsmodelle 175 4.4.9 Übertragung der Ergebnisse auf die Klassifikation der industriell relevanten Kunststoffmischungen 177 4.4.10 Zusammenfassung 185 4.5 Untersuchungen zur Klassifikation der schwarzen Kunststoffe mit dem Demonstratorsystem 186 4.5.1 Beschreibung der Messungen mit dem Demonstratorsystem 186 4.5.2 Datenvorverarbeitung 190 4.5.3 Explorative Datenanalyse 193 4.5.4 Klassifikation der Kunststoffmischungen 198 4.5.5 Möglichkeiten für die Verbesserung der Klassifikationsgenauigkeit des Demonstratorsystems 210 5 Zusammenfassung und Ausblick 212 6 Literaturverzeichnis 219 7 Anhang I 7.1 Parameter der Raman-Messung der Kunststoffe I 7.2 Anregungs-Emissions-Matrices der schwarzen Kunststoffe II 7.3 Laser-HSI-Messungen IV 7.4 Modellparameter und Modellhyperprameter XII 7.5 Anderson-Darling-Test auf Normalverteilung XIX 7.5.1 Einfluss der Anzahl der verwendeten Hauptkomponenten XIX 7.5.2 Einfluss verschiedener Datenvorverarbeitungsmethoden XIX 7.5.3 Einfluss der Formparameter XXI 7.5.4 Durchführung der Hyperparameteroptimierung für das klassische Machine Learning XXI 7.5.5 Einfluss der Bildvorverarbeitung XXII 7.5.6 Einfluss der CNN-Topologie XXIII 7.5.7 Einfluss der Daten-Augmentierung XXIV 7.5.8 Durchführung der Hyperparameteroiptimierung für die Deep Learning-Verfahren XXIV 7.5.9 Vergleich und Diskussion der erhaltenen Klassifikationsmodelle XXV 7.6 Brown-Forsythe-Test auf Homoskedastizität XXV 7.6.1 Einfluss der Anzahl der verwendeten Hauptkomponenten XXV 7.6.2 Einfluss verschiedener Datenvorverarbeitungsmethoden XXV 7.6.3 Einfluss der Formparameter XXVI 7.6.4 Durchführung der Hyperparameteroptimierung für das klassische Machine Learning XXVI 7.6.5 Einfluss der Bildvorverarbeitung XXVII 7.6.6 Einfluss der CNN-Topologie XXVII 7.6.7 Einfluss der Daten-Augmentierung XXVII 7.6.8 Durchführung der Hyperparameteroptimierung für die Deep Learning-Verfahren XXVII 7.6.9 Vergleich und Diskussion der erhaltenen Klassifikationsmodelle XXVIII 7.7 Ergebnisse der Klassifikationsversuche mit den Daten des industrienahen Demonstrators XXVIII