A major goal in biological imaging is to visualize interactions of different tissues, often fluorescently labeled, during dynamic processes. Only a few of these labels fit into the available spectral range without overlap, but can be separated computationally if the full spectrum of every single pixel is known. In medical imaging, hyperspectral techniques show promise to identify different tissue types without any staining. Yet, microscopists still commonly acquire spectral information either with filters, thus integrating over a few broad bands only, or point-wise, dispersing the spectra onto a multichannel detector, which is inherently slow. Light sheet fluorescence microscopy (LSFM) and optical projection tomography (OPT) are two techniques to acquire 3D microscopic data fast, photon-efficiently and gently on the specimen. LSFM works in fluorescence mode and OPT in transmission. Both are based on a fast widefield detection scheme where a 2D detector records the spatial information but leaves no room to acquire dispersed spectra. Hyperspectral imaging had not yet been demonstrated for either technique. In this work, I developed a line-scanning hyperspectral LSFM and an excitation scanning OPT to acquire 5D data (3D spatial, 1D temporal, 1D spectral) and optimized the performance of both setups to minimize acquisition times without sacrificing image contrast, spatial or spectral information. I implemented and assessed different evaluation pipelines to classify and unmix relevant features. I demonstrate the efficiency of my workflow by acquiring up to five fluorescent markers and the autofluorescence in \\zf and fruit fly embryos on my hyperspectral LSFM. I extracted both concentration maps and spectra for each of these fluorophores from the multidimensional data. The same methods were applied to investigate the transmission data from my spectral OPT, where I found evidence that OPT image formation is governed by refraction, whereas scattering and absorption only play a minor role. Furthermore, I have implemented a robust, educational LSFM on which laymen have explored the working principles of modern microscopies. This eduSPIM has been on display in the Technische Sammlungen Dresden for one year during the UNESCO international year of light. / Ein wichtiges Ziel biologischer Bildgebung ist die Visualisierung des Zusammenspiels von verschiedenen, meist fluoreszent markierten, Geweben bei dynamischen Prozessen. Nur wenige dieser Farbstoffe passen ohne Überlapp in das zur Verfügung stehende Spektrum. Sie können jedoch rechnerisch getrennt werden, wenn das gesamte Spektrum jedes Pixels bekannt ist. In medizinischen Anwendungen versprechen hyperspektrale Techniken, verschiedene Gewebetypen markierungsfrei zu identifizieren. Dennoch ist es in der Mikroskopie noch immer üblich, spektrale Information entweder mit Filtern über breiten Bändern zu integrieren, oder Punktspektren mithilfe von Dispersion zu trennen und auf einem Multikanaldetektor aufzunehmen, was inhärent langsam ist. Light Sheet Fluorescence Microscopy (LSFM) und Optical Projection Tomography (OPT) nehmen 3D Mikroskopiedaten schnell, photoneneffizient und sanft für die Probe auf. LSFM arbeitet mit Fluoreszenz, OPT in Transmission. Beide basieren auf schneller Weitfelddetektion, wobei die räumliche Information mit einem 2D Detektor aufgenommen wird, der keinen Raum lässt, um die getrennten Spektren zu messen. Hyperspektrale Bildgebung wurde bis jetzt für keine der zwei Techniken gezeigt. Ich habe ein hyperspektrales LSFM mit Linienabtastung und ein OPT mit Wellenlängenabtastung entwickelt, um 5D Daten (3D räumlich, 1D zeitlich, 1D spektral) aufzunehmen. Beide Aufbauten wurden hinsichtlich minimaler Aufnahmezeit optimiert, ohne dabei Kontrast, räumliche oder spektrale Auflösung zu opfern. Ich habe verschiedene Abläufe zum Klassifizieren und Trennen der Hauptkomponenten implementiert. Ich nehme bis zu fünf Fluorophore und Autofluoreszenz in Zebrafisch- und Fruchtfliegenembryos mit dem hyperspektralen LSFM auf und zeige die Effizienz des gesamten Ablaufes, indem ich Spektren und räumliche Verteilung aller Marker extrahiere. Die Transmissionsdaten des spektralen OPT werden mit denselben Methoden untersucht. Ich konnte belegen, dass die Bildformation im OPT massgeblich von Brechung bestimmt ist, und Streuung und Absorption nur einen geringen Beitrag leisten. Außerdem habe ich ein robustes, didaktisches LSFM gebaut, damit Laien die Funktionsweise moderner Mikroskopie erkunden können. Dieses eduSPIM war ein Jahr lang in den Technischen Sammlungen Dresden ausgestellt.

A major goal in biological imaging is to visualize interactions of different tissues, often fluorescently labeled, during dynamic processes. Only a few of these labels fit into the available spectral range without overlap, but can be separated computationally if the full spectrum of every single pixel is known. In medical imaging, hyperspectral techniques show promise to identify different tissue types without any staining. Yet, microscopists still commonly acquire spectral information either with filters, thus integrating over a few broad bands only, or point-wise, dispersing the spectra onto a multichannel detector, which is inherently slow. Light sheet fluorescence microscopy (LSFM) and optical projection tomography (OPT) are two techniques to acquire 3D microscopic data fast, photon-efficiently and gently on the specimen. LSFM works in fluorescence mode and OPT in transmission. Both are based on a fast widefield detection scheme where a 2D detector records the spatial information but leaves no room to acquire dispersed spectra. Hyperspectral imaging had not yet been demonstrated for either technique. In this work, I developed a line-scanning hyperspectral LSFM and an excitation scanning OPT to acquire 5D data (3D spatial, 1D temporal, 1D spectral) and optimized the performance of both setups to minimize acquisition times without sacrificing image contrast, spatial or spectral information. I implemented and assessed different evaluation pipelines to classify and unmix relevant features. I demonstrate the efficiency of my workflow by acquiring up to five fluorescent markers and the autofluorescence in \\zf and fruit fly embryos on my hyperspectral LSFM. I extracted both concentration maps and spectra for each of these fluorophores from the multidimensional data. The same methods were applied to investigate the transmission data from my spectral OPT, where I found evidence that OPT image formation is governed by refraction, whereas scattering and absorption only play a minor role. Furthermore, I have implemented a robust, educational LSFM on which laymen have explored the working principles of modern microscopies. This eduSPIM has been on display in the Technische Sammlungen Dresden for one year during the UNESCO international year of light. / Ein wichtiges Ziel biologischer Bildgebung ist die Visualisierung des Zusammenspiels von verschiedenen, meist fluoreszent markierten, Geweben bei dynamischen Prozessen. Nur wenige dieser Farbstoffe passen ohne Überlapp in das zur Verfügung stehende Spektrum. Sie können jedoch rechnerisch getrennt werden, wenn das gesamte Spektrum jedes Pixels bekannt ist. In medizinischen Anwendungen versprechen hyperspektrale Techniken, verschiedene Gewebetypen markierungsfrei zu identifizieren. Dennoch ist es in der Mikroskopie noch immer üblich, spektrale Information entweder mit Filtern über breiten Bändern zu integrieren, oder Punktspektren mithilfe von Dispersion zu trennen und auf einem Multikanaldetektor aufzunehmen, was inhärent langsam ist. Light Sheet Fluorescence Microscopy (LSFM) und Optical Projection Tomography (OPT) nehmen 3D Mikroskopiedaten schnell, photoneneffizient und sanft für die Probe auf. LSFM arbeitet mit Fluoreszenz, OPT in Transmission. Beide basieren auf schneller Weitfelddetektion, wobei die räumliche Information mit einem 2D Detektor aufgenommen wird, der keinen Raum lässt, um die getrennten Spektren zu messen. Hyperspektrale Bildgebung wurde bis jetzt für keine der zwei Techniken gezeigt. Ich habe ein hyperspektrales LSFM mit Linienabtastung und ein OPT mit Wellenlängenabtastung entwickelt, um 5D Daten (3D räumlich, 1D zeitlich, 1D spektral) aufzunehmen. Beide Aufbauten wurden hinsichtlich minimaler Aufnahmezeit optimiert, ohne dabei Kontrast, räumliche oder spektrale Auflösung zu opfern. Ich habe verschiedene Abläufe zum Klassifizieren und Trennen der Hauptkomponenten implementiert. Ich nehme bis zu fünf Fluorophore und Autofluoreszenz in Zebrafisch- und Fruchtfliegenembryos mit dem hyperspektralen LSFM auf und zeige die Effizienz des gesamten Ablaufes, indem ich Spektren und räumliche Verteilung aller Marker extrahiere. Die Transmissionsdaten des spektralen OPT werden mit denselben Methoden untersucht. Ich konnte belegen, dass die Bildformation im OPT massgeblich von Brechung bestimmt ist, und Streuung und Absorption nur einen geringen Beitrag leisten. Außerdem habe ich ein robustes, didaktisches LSFM gebaut, damit Laien die Funktionsweise moderner Mikroskopie erkunden können. Dieses eduSPIM war ein Jahr lang in den Technischen Sammlungen Dresden ausgestellt.

Sekundärrohstoffe und darauf aufbauende Rohstoffkreisläufe erlangen, bedingt durch die Endlichkeit der Primärrohstoffe, steigende Preise und eine zunehmende Umweltbelastung durch fehlendes Recycling, eine immer stärkere Bedeutung in der nationalen und globalen Wirtschaft ein. Darüber hinaus wird die Notwendigkeit geschlossener Rohstoffkreisläufe auch politisch und gesellschaftlich durch die Forderung eines nachhaltigen Wirtschaftens abgebildet. Nicht zuletzt für die Einhaltung der Klimaschutzziele sind geschlossene Roh-stoffkreisläufe von entscheidender Bedeutung. Neben Metallen sind insbesondere Kunststoffe Materialien, die in eine ökonomische Wiederverwertung eingebracht werden können und sollten. Eine Vielzahl technischer Kunststoffe bestehen jedoch aus einem Materialmix verschiedener Kunststoffe und Additive und liegen somit als Komposite oder Hybridbauteile vor. Oftmals enthalten diese Kunststoffe einen Rußanteil zur Schwarzfärbung. Jedoch können gerade schwarze Kunststoffe kaum mittels klassischer optischer Methoden hinreichend genau klassifiziert werden. Trotz des hohen Materialwertes solcher technischen Kunststoffe sind diese daher derzeit nur teilweise oder gar nicht ökonomisch wiederverwertbar. Hauptgrund dafür ist, dass eine zuverlässig arbeitende Sensortechnologie zur Sortierung unterschiedlichster, aber insbesondere schwarzer Kunststoffmischungen nicht verfügbar ist. Das Ziel dieses Promotionsvorhabens ist daher die Entwicklung und Evaluierung einer schnellen und zuverlässigen Erkennungstechnologie für die Klassifizierung schwarzer Kunststoffgemische mit hoher Genauigkeit (bis zu 99,9 %) und einem hohen Durchsatz. Die Basis dafür bildet die bildgebende Laser-Fluoreszenzspektroskopie in Kombination mit künstlicher Intelligenz. Insbesondere soll die zu entwickelnde Technologie die Sortierung kleiner Partikel ermöglichen, wie sie beispielsweise bei der Zerkleinerung von Kompositbauteilen anfallen. Die Entwicklung der Methode zur Klassifizierung schwarzer Kunststoffe erfolgte anhand von zwölf Kunststoffklassen und wurde in drei Schritten durchgeführt. Zuerst wurden die Kunststoffe mit einer Reihe klassischer Spektroskopieverfahren untersucht. Einsatz der Raman-Spektroskopie deutete sich bereits an, dass die Kunststoffe teilweise eine Fluoreszenz aufweisen. Weitere Messungen der Fluoreszenz in Abhängigkeit der Anregungswellenlänge bestätigten dieses Verhalten und zeigten, dass für Anregungswellenlängen zwischen rund 500 nm und 600 nm die stärkste Fluoreszenz erhalten wird. Im nächsten Schritt wurde ein Labordemonstrator entwickelt und evaluiert, um die grundlegende Machbarkeit der Methode nachzuweisen. Der Labord-emonstrator arbeitet mit einer Hyperspektralkamera für den sichtbaren und nahinfraroten Spektralbereich, einer zeilenförmigen Laseranregung und einer zusätzlichen nahinfrarot Beleuchtung. Die Nahinfrarotbeleuchtung ermöglicht dabei eine bessere Erkennung der Position und Form der Kunststoffpartikel, insbesondere wenn diese kein oder nur ein schwaches Fluoreszenzsignal aufweisen. Für die Versuche wurden zwei Laser mit einer Wellenlänge von 532 nm und 450 nm eingesetzt. Das entwickelte System wurde kalibriert und charakterisiert und anschließend wurden Messungen von schwarzen Kunststoffpartikeln aus 12 Kunststoffklassen durchgeführt und die erhaltenen Daten wurden für Klassifikationsversuche eingesetzt. Bei diesen Klassifikationsexperimenten wurde die Gesamtgenauigkeit bei der Klassifikation aller zwölf Kunststoffklassen betrachtet und es erfolgte die Untersuchung unterschiedlicher Klassifikationsalgorithmen, unterschiedlicher Arten der Datenvorverarbeitung, sowie einer automatischen Optimierung der Hyperparameter der Klassifikationsalgorithmen. Die gleichzeitige Klassifikation aller 12 Kunststoffklassen ist im späteren Einsatz nicht relevant, da meist nur zwei bis drei Kunststoffarten gleichzeitig erkannt und sortiert werden müssen. Die durchgeführten Versuche dienten daher hauptsächlich dem grundsätzlichen Nachweis der Leistungsfähigkeit der Methode und dem Vergleich der unterschiedlichen Methoden des maschinellen Lernens und der Datenvorverarbeitung. Bei den betrachteten Klassifikationsalgorithmen handelt es sich um die Diskriminanzanalyse (DA), die k-Nächste-Nachbarn-Klassifikation (kNN), Ensembles von Entscheidungsbäumen (ENSEMBLE), Support Vector Machines (SVM) und Convolutional Neural Networks (CNN). Die Optimierung der Hyperparameter erfolgte durch zwei Verfahren: Random Search und Bayesian Optimization Algorithm. Es zeigte sich, dass die besten Klassifikationsgenauigkeiten für den CNN-, gefolgt von ENSEMBLE- und SVM-Algorithmus, erzielt werden können. Die höchste erhaltene Genauigkeit lag für den 450 nm Laser mit 93,5 % über der des 532 nm Lasers mit 87,9 %. Um eine realistische Einschätzung der Klassifikationsgenauigkeit für die im Anwendungsfall auftretenden Mischungen aus zwei bis drei Kunststoffklassen zu erhalten, wurden auch 41 Kunststoffmischungen hinsichtlich ihrer Klassifizierbarkeit untersucht. Bei diesen 41 Mischungen handelt es sich um industriell relevante Kombinationen der zwölf betrachteten Kunststoffklassen. Für nahezu alle der industriell relevanten Kunststoffmischungen konnte die Klassifikationsgenauigkeit von > 99,9 % erreicht werden. Aufbauend auf diesen Erkenntnissen wurde daher im dritten Schritt der vorliegenden Arbeit das Sensorsystem für einen industrienahen Demonstrator für die Sortierung schwarzer Kunststoffpartikel unter anwendungsnahen Bedingungen entwickelt, aufgebaut und evaluiert. Der entwickelte industrienahe Demonstrator wurde kalibriert und charakterisiert und anschließend wurden erneut Messungen der schwarzen Kunststoffpartikel durchgeführt. Mit den erhaltenen Daten wurden anschließend erneut Klassifikationsmodelle trainiert, optimiert und validiert. Die Ergebnisse der Klassifikationsversuche zeigen, dass die erhaltenen Genauigkeiten für das Demonstratorsystem geringer als für den Labordemonstrator ausfallen. Trotzdem konnte mit den besten Messparametern für fünf Mischungen, welche mit derzeitigen Methoden nicht sortierbar sind, eine sehr gute Klassifikationsgenauigkeit von > 99 % erreicht werden. Insgesamt sind die mit dem entwickelten industrienahen Demonstratorsystem erhaltenen Ergebnisse sehr vielversprechend. Für viele industriell relevante Kunststoffmischungen konnte bereits eine ausreichend hohe Klassifikationsgenauigkeit demonstriert werden. Es ist abzusehen, dass der entwickelte industrielle Demonstrator, mit nur wenigen, aber sehr effektiven Hardwaremodifikationen, auch für die Sortierung vieler weiterer Kunststoffmischungen eingesetzt werden kann. Es wurde also erfolgreich ein System zur Erkennung und Klassifizierung schwarzer Kunststoffpartikel entwickelt, welches ein ökonomisch sinnvolles Recycling dieser Kunststoffe ermöglicht und damit signifikant zum Aufbau einer nachhaltigen Kreislaufwirtschaft beitragen kann.:Inhaltsverzeichnis Inhaltsverzeichnis I Abbildungsverzeichnis V Tabellenverzeichnis XIII Abkürzungsverzeichnis XX Symbolverzeichnis XXIII 1 Einleitung 1 2 Theoretische Grundlagen 5 2.1 Stand der Technik des Kunststoffrecyclings 5 2.2 Kunststoffe 14 2.2.1 Eingesetzte Kunststoffe 15 2.2.2 Zusatzstoffe für Kunststoffe 17 2.2.3 Ökologische und Ökonomische Aspekte des Recyclings von Kunststoffen 18 2.3 Optische Spektroskopie 22 2.3.1 Grundlagen der Spektroskopie 22 2.3.2 Methoden der optische Spektroskopie 28 2.3.3 Hyperspektrale Bildgebung 30 2.3.4 Grundlagen zur Charakterisierung eines (Laser-)HSI Systems 32 2.4 Multivariate Datenanalyse 38 2.4.1 Datenvorverarbeitung, Datenreduktion und Explorative Datenanalyse 39 2.4.2 Klassifikationsalgorithmen 47 2.4.3 Hyperparameteroptimierung 61 2.4.4 Validierung von Klassifikationsverfahren 64 3 Experimentelle Durchführung 73 3.1 Untersuchte Kunststoffe 73 3.1.1 Eingesetzte Kunststoffgranulate 73 3.1.2 Kunststoffmischungen 74 3.2 Hardwarekonfiguration der entwickelten Laser-HSI-Systeme 76 3.2.1 Hardwarekonfiguration des Laser-HSI-Laborsystems 76 3.2.2 Hardwarekonfiguration des Laser-HSI-Demonstratorsystems 78 3.3 Eingesetzte Software und Computer-Hardware 80 3.3.1 imanto®Pro 80 3.3.2 Matlab® 81 3.3.3 Eingesetzte Computer-Hardware 81 3.4 Durchgeführte Messung mit den Laser-HSI-Systemen 82 3.4.1 Messung der schwarzen Kunststoffe mit dem Laser-HSI-Laborsystem 82 3.4.2 Messung der schwarzen Kunststoffe mit dem Laser-HSI-Demonstratorsystem 83 3.4.3 Verfügbarkeit der Daten 83 3.5 Spektroskopische Charakterisierung der Kunststoffproben 84 3.5.1 Fluoreszenz-Spektroskopie 84 3.5.2 Raman-Spektroskopie 84 3.5.3 Laser-HSI 85 4 Ergebnisse und Diskussion 88 4.1 Das Laser-HSI-Laborsystem 89 4.1.1 Anregungseinheit 89 4.1.2 System zur Strahlaufweitung 91 4.1.3 Detektionseinheit 94 4.1.4 Charakterisierung und Kalibrierung des bildgebenden Spektrometers 95 4.1.5 NIR-Beleuchtung 102 4.2 Laser-HSI-Demonstratorsystem zur Klassifikation schwarzer Kunststoffe 103 4.2.1 Anforderungen an das Demonstratorsystem 103 4.2.2 Aufbau des Sensormoduls des Demonstratorsystems 106 4.2.3 Kalibrierung und Charakterisierung des Sensormoduls des Demonstratorsystems 107 4.3 Spektroskopische Charakterisierung der schwarzen Kunststoffe 110 4.3.1 Fluoreszenz- und Raman-spektroskopische Untersuchungen der Kunststoffpartikel 111 4.3.2 Untersuchungen schwarzer Kunststoffpartikel mit dem Laser-HSI-Laborsystem 118 4.4 Klassifikations- und Optimierungsexperimente mit dem Laser-HSI-Laborsystem 124 4.4.1 Datenvorverarbeitung und Beschreibung der Daten 125 4.4.2 Explorative Datenanalyse 128 4.4.3 Untersuchungen zur Klassifikation der schwarzen Kunststoffe mit dem Laser-HSI-Laborsystem 135 4.4.4 Klassifikationsexperimente mittels klassischer Machine Learning-Verfahren 136 4.4.5 Hyperparameteroptimierung für die klassischen Machine Learning Verfahren 149 4.4.6 Untersuchung der Klassifikation durch Deep Learning Verfahren 157 4.4.7 Hyperparameteroptimierung für die Deep Learning-Verfahren 171 4.4.8 Vergleich und Diskussion der erhaltenen Klassifikationsmodelle 175 4.4.9 Übertragung der Ergebnisse auf die Klassifikation der industriell relevanten Kunststoffmischungen 177 4.4.10 Zusammenfassung 185 4.5 Untersuchungen zur Klassifikation der schwarzen Kunststoffe mit dem Demonstratorsystem 186 4.5.1 Beschreibung der Messungen mit dem Demonstratorsystem 186 4.5.2 Datenvorverarbeitung 190 4.5.3 Explorative Datenanalyse 193 4.5.4 Klassifikation der Kunststoffmischungen 198 4.5.5 Möglichkeiten für die Verbesserung der Klassifikationsgenauigkeit des Demonstratorsystems 210 5 Zusammenfassung und Ausblick 212 6 Literaturverzeichnis 219 7 Anhang I 7.1 Parameter der Raman-Messung der Kunststoffe I 7.2 Anregungs-Emissions-Matrices der schwarzen Kunststoffe II 7.3 Laser-HSI-Messungen IV 7.4 Modellparameter und Modellhyperprameter XII 7.5 Anderson-Darling-Test auf Normalverteilung XIX 7.5.1 Einfluss der Anzahl der verwendeten Hauptkomponenten XIX 7.5.2 Einfluss verschiedener Datenvorverarbeitungsmethoden XIX 7.5.3 Einfluss der Formparameter XXI 7.5.4 Durchführung der Hyperparameteroptimierung für das klassische Machine Learning XXI 7.5.5 Einfluss der Bildvorverarbeitung XXII 7.5.6 Einfluss der CNN-Topologie XXIII 7.5.7 Einfluss der Daten-Augmentierung XXIV 7.5.8 Durchführung der Hyperparameteroiptimierung für die Deep Learning-Verfahren XXIV 7.5.9 Vergleich und Diskussion der erhaltenen Klassifikationsmodelle XXV 7.6 Brown-Forsythe-Test auf Homoskedastizität XXV 7.6.1 Einfluss der Anzahl der verwendeten Hauptkomponenten XXV 7.6.2 Einfluss verschiedener Datenvorverarbeitungsmethoden XXV 7.6.3 Einfluss der Formparameter XXVI 7.6.4 Durchführung der Hyperparameteroptimierung für das klassische Machine Learning XXVI 7.6.5 Einfluss der Bildvorverarbeitung XXVII 7.6.6 Einfluss der CNN-Topologie XXVII 7.6.7 Einfluss der Daten-Augmentierung XXVII 7.6.8 Durchführung der Hyperparameteroptimierung für die Deep Learning-Verfahren XXVII 7.6.9 Vergleich und Diskussion der erhaltenen Klassifikationsmodelle XXVIII 7.7 Ergebnisse der Klassifikationsversuche mit den Daten des industrienahen Demonstrators XXVIII

Hyper-Raman-Streuung folgt anderen Symmetrieauswahlregeln als Raman-Streuung und profitiert als nicht-linearer Zweiphotonenprozess noch mehr von verstärkten elektromagnetischen Feldern an der Oberfläche plasmonischer Nanostrukturen. Damit könnte die oberflächenverstärkte Hyper-Raman-Streuung (SEHRS) praktische Bedeutung in der Spektroskopie erlangen. Durch die Kombination von SEHRS und oberflächenverstärkter Raman-Streuung (SERS) können komplementäre Strukturinformationen erhalten werden. Diese eignen sich aufgrund der Lokalisierung der Verstärkung auf die unmittelbare Umgebung der Nanostrukturen besonders für die Charakterisierung der Wechselwirkung zwischen Molekülen und Metalloberflächen. Ziel dieser Arbeit war es, ein tieferes Verständnis des SEHRS-Effekts zu erlangen und dessen Anwendbarkeit für analytische Fragestellungen einzuschätzen. Dazu wurden SEHRS-Experimente mit Anregung bei 1064 nm und SERS-Experimente mit Anregung bei derselben Wellenlänge sowie mit Anregung bei 532 nm - für eine Detektion von SEHRS und SERS im gleichen Spektralbereich - durchgeführt. Als Beispiel für nicht-resonante Anregung wurden die vom pH-Wert abhängigen SEHRS- und SERS-Spektren von para-Mercaptobenzoesäure untersucht. Mit diesen Spektren wurde die Wechselwirkung verschiedener Silbernanostrukturen mit den Molekülen charakterisiert. Anhand von beta-Carotin wurden Einflüsse von Resonanzverstärkung im SEHRS-Experiment durch die gleichzeitige Anregung eines molekularen elektronischen Übergangs untersucht. Dabei wurde durch eine Thiolfunktionalisierung des Carotins eine intensivere Wechselwirkung mit der Silberoberfläche erzielt, sodass nicht nur resonante SEHRS- und SERS-Spektren, sondern auch nicht-resonante SERS-Spektren von Carotin erhalten werden konnten. Die Anwendbarkeit von SEHRS für hyperspektrale Kartierung in Verbindung mit Mikrospektroskopie wurde durch die Untersuchung von Verteilungen verschiedener Farbstoffe auf strukturierten plasmonischen Oberflächen demonstriert. / Hyper-Raman scattering follows different symmetry selection rules than Raman scattering and, as a non-linear two-photon process, profits even more than Raman scattering from enhanced electromagnetic fields at the surface of plasmonic nanostructures. Surface-enhanced hyper-Raman scattering (SEHRS) could thus gain practical importance for spectroscopy. The combination of SEHRS and surface-enhanced Raman scattering (SERS) offers complementary structural information. Specifically, due to the localization of the enhancement to the close proximity of the nanostructures, this information can be utilized for the characterization of the interaction between molecules and metal surfaces. The aim of this work was to increase the understanding of the SEHRS effect and to assess its applicability to answer analytical questions. For that purpose, SEHRS experiments with excitation at 1064 nm and SERS experiments with excitation at the same wavelength, as well as with excitation at 532 nm - to detect SEHRS and SERS in the same spectral region - were conducted. As an example for non-resonant excitation, pH-dependent SEHRS and SERS spectra of para-mercaptobenzoic acid were examined. Based on these spectra, the interaction of different silver nanostructures with the molecules was characterized. beta-Carotene was used to study the influence of resonance enhancement by the excitation of a molecular electronic transition during SEHRS experiments. By the thiol-functionalization of carotene, a more intense interaction with the silver surface was achieved, which enables to obtain not only resonant SEHRS and SERS but also non-resonant SERS spectra of carotene. Hyperspectral SEHRS imaging in combination with microspectroscopy was demonstrated by analyzing the distribution of different dyes on structured plasmonic surfaces.

Stains and stained incipient lesions can be challenging to differentiate with established clinical tools. New diagnostic techniques are required for improved distinction to enable early noninvasive treatment. This in vitro study evaluates the performance of artificial intelligence (AI)-based classification of hyperspectral imaging data for early occlusal lesion detection and differentiation from stains. Sixty-five extracted permanent human maxillary and mandibular bicuspids and molars (International Caries Detection and Assessment System [ICDAS] II 0–4) were imaged with a hyperspectral camera (Diaspective Vision TIVITA® Tissue, Diaspective Vision, Pepelow, Germany) at a distance of 350 mm, acquiring spatial and spectral information in the wavelength range 505–1000 nm; 650 fissural spectra were used to train classification algorithms (models) for automated distinction between stained but sound enamel and stained lesions. Stratified 10-fold cross-validation was used. The model with the highest classification performance, a fine k-nearest neighbor classification algorithm, was used to classify five additional tooth fissural areas. Polarization microscopy of ground sections served as reference. Compared to stained lesions, stained intact enamel showed higher reflectance in the wavelength range 525–710 nm but lower reflectance in the wavelength range 710–1000 nm. A fine k-nearest neighbor classification algorithm achieved the highest performance with a Matthews correlation coefficient (MCC) of 0.75, a sensitivity of 0.95 and a specificity of 0.80 when distinguishing between intact stained and stained lesion spectra. The superposition of color-coded classification results on further tooth occlusal projections enabled qualitative assessment of the entire fissure’s enamel health. AI-based evaluation of hyperspectral images is highly promising as a complementary method to visual and radiographic examination for early occlusal lesion detection.

The advent of unoccupied aerial systems (UAS) as disruptive technology has a lasting impact on remote sensing, geophysics and most geosciences. Small, lightweight, and low-cost UAS enable researchers and surveyors to acquire earth observation data in higher spatial and spectral resolution as compared to airborne and satellite data. UAS-based applications range from rapid topographic mapping using photogrammetric techniques to hyperspectral and geophysical measurements of surface and subsurface geology. UAS surveys contribute to identifying metal deposits, monitoring of mine sites and can reveal arising environmental issues associated with mining. Further, affordable UAS technology will boost exploration data availability and expertise in the global south. This thesis investigates the application of UAS-based multi-sensor data for mineral exploration, in particular the integration of hyperspectral imagers, magnetometers and digital cameras (covering the visible red, green, blue light spectrum). UAS-based research is maturing, however the aforementioned methods are not unified effectively. RGB-based photogrammetry is used to investigate topography and surface texture. Image spectrometers measure mineral-specific surface signatures. Magnetometers detect geomagnetic field changes caused by magnetic minerals at surface and depth. The integration of such UAS sensor-based methods in this thesis augments exploration potential with non-invasive, high-resolution, safe, rapid and practical survey methods. UAS-based surveying acquired, processed and integrated data from three distinct test sites. The sites are located in Finland (Fe-Ti-V at Otanmäki; apatite at Siilinjärvi) and Greenland (Ni-Cu-PGE at Qullissat, Disko Island) and were chosen as geologically diverse areas in subarctic to arctic environments. Restricted accessibility, unfavourable atmospheric conditions, dark rocks, debris and vegetation cover and low solar illumination were common features. While the topography in Finland was moderately flat, a steep landscape challenged the Greenland field work. These restraints meant that acquisitions varied from site to site and how data was integrated and interpreted is dependent on the commodity of interest. Iron-based spectral absorption and magnetic mineral response were detected using hyperspectral and magnetic surveying in Otanmäki. Multi-sensor-based image feature detection and classification combined with magnetic forward modelling enabled seamless geologic mapping in Siilinjärvi. Detailed magnetic inversion and multispectral photogrammetry led to the construction of a comprehensive 3D model of magmatic exploration targets in Greenland. Ground truth at different intensity was employed to verify UAS-based data interpretations during all case studies. Laboratory analysis was applied when deemed necessary to acquire geologic-mineralogic validation (e.g., X-ray diffraction and optical microscopy for mineral identification to establish lithologic domains, magnetic susceptibility measurements for subsurface modelling), for example for trace amounts of magnetite in carbonatite (Siilinjärvi) and native iron occurrence in basalt (Qullissat). Technical achievements were the integration of a multicopter-based prototype fluxgate-magnetometer data from different survey altitudes with ground truth, and a feasibility study with a high-speed multispectral image system for fixed-wing UAS. The employed case studies transfer the experiences made towards general recommendations for UAS application-based multi-sensor integration. This thesis highlights the feasibility of UAS-based surveying at target scale (1–50 km2) and solidifies versatile survey approaches for multi-sensor integration. / Ziel dieser Arbeit war es, das Potenzial einer Drohnen-basierten Mineralexploration mit Multisensor-Datenintegration unter Verwendung optisch-spektroskopischer und magnetischer Methoden zu untersuchen, um u. a. übertragbare Arbeitsabläufe zu erstellen. Die untersuchte Literatur legt nahe, dass Drohnen-basierte Bildspektroskopie und magnetische Sensoren ein ausgereiftes technologisches Niveau erreichen und erhebliches Potenzial für die Anwendungsentwicklung bieten, aber es noch keine ausreichende Synergie von hyperspektralen und magnetischen Methoden gibt. Diese Arbeit umfasste drei Fallstudien, bei denen die Drohnengestützte Vermessung von geologischen Zielen in subarktischen bis arktischen Regionen angewendet wurde. Eine Kombination von Drohnen-Technologie mit RGB, Multi- und Hyperspektralkameras und Magnetometern ist vorteilhaft und schuf die Grundlage für eine integrierte Modellierung in den Fallstudien. Die Untersuchungen wurden in einem Gelände mit flacher und zerklüfteter Topografie, verdeckten Zielen und unter oft schlechten Lichtverhältnissen durchgeführt. Unter diesen Bedingungen war es das Ziel, die Anwendbarkeit von Drohnen-basierten Multisensordaten in verschiedenen Explorationsumgebungen zu bewerten. Hochauflösende Oberflächenbilder und Untergrundinformationen aus der Magnetik wurden fusioniert und gemeinsam interpretiert, dabei war eine selektive Gesteinsprobennahme und Analyse ein wesentlicher Bestandteil dieser Arbeit und für die Validierung notwendig. Für eine Eisenerzlagerstätte wurde eine einfache Ressourcenschätzung durchgeführt, indem Magnetik, bildspektroskopisch-basierte Indizes und 2D-Strukturinterpretation integriert wurden. Fotogrammetrische 3D-Modellierung, magnetisches forward-modelling und hyperspektrale Klassifizierungen wurden für eine Karbonatit-Intrusion angewendet, um einen kompletten Explorationsabschnitt zu erfassen. Eine Vektorinversion von magnetischen Daten von Disko Island, Grönland, wurden genutzt, um großräumige 3D-Modelle von undifferenzierten Erdrutschblöcken zu erstellen, sowie diese zu identifizieren und zu vermessen. Die integrierte spektrale und magnetische Kartierung in komplexen Gebieten verbesserte die Erkennungsrate und räumliche Auflösung von Erkundungszielen und reduzierte Zeit, Aufwand und benötigtes Probenmaterial für eine komplexe Interpretation. Der Prototyp einer Multispektralkamera, gebaut für eine Starrflügler-Drohne für die schnelle Vermessung, wurde entwickelt, erfolgreich getestet und zum Teil ausgewertet. Die vorgelegte Arbeit zeigt die Vorteile und Potenziale von Multisensor-Drohnen als praktisches, leichtes, sicheres, schnelles und komfortabel einsetzbares geowissenschaftliches Werkzeug, um digitale Modelle für präzise Rohstofferkundung und geologische Kartierung zu erstellen.