Die vorliegende Arbeit widmet sich der Untersuchung und Weiterentwicklung selbständig lernender maschineller Lernverfahren (Reinforcement Lernen) in der Anwendung auf visuelle Wahrnehmungen. Zuletzt wurden mit der Einführung speicherbasierter Methoden in das Reinforcement Lernen große Fortschritte beim Lernen an realen Systemen erzielt, aber der Umgang mit hochkomplexen visuellen Eingabedaten, wie sie z.B. von einer digitalen Kamera aufgezeichnet werden, stellt weiterhin ein ungelöstes Problem dar. Bestehende Methoden sind auf den Umgang mit niedrigdimensionalen Zustandsbeschreibungen beschränkt, was eine Anwendung dieser Verfahren direkt auf den Strom von Bilddaten bisher ausschließt und den vorgeschalteten Einsatz klassischer Methoden des Bildverstehens zur Extraktion und geeigneten Kodierung der relevanten Informationen erfordert. Einen Ausweg bietet der Einsatz von so genannten `tiefen Autoencodern'. Diese mehrschichtigen neuronalen Netze ermöglichen es, selbstorganisiert niedrigdimensionale Merkmalsräume zur Repräsentation hochdimensionaler Eingabedaten zu erlernen und so eine klassische, aufgabenspezifische Bildanalyse zu ersetzen. In typischen Objekterkennungsaufgaben konnten auf Basis dieser erlernten Repräsentationen bereits beeindruckende Ergebnisse erzielt werden. Im Rahmen der vorliegenden Arbeit werden nun die tiefen Autoencodernetze auf ihre grundsätzliche Tauglichkeit zum Einsatz im Reinforcement Lernen untersucht. Mit dem ``Deep Fitted Q''-Algorithmus wird ein neuer Algorithmus entwickelt, der das Training der tiefen Autoencodernetze auf effiziente Weise in den Reinforcement Lernablauf integriert und so den Umgang mit visuellen Wahrnehmungen beim Strategielernen ermöglicht. Besonderes Augenmerk wird neben der Dateneffizienz auf die Stabilität des Verfahrens gelegt. Im Anschluss an eine Diskussion der theoretischen Aspekte des Verfahrens wird eine ausführliche empirische Evaluation der erzeugten Merkmalsräume und der erlernten Strategien an simulierten und realen Systemen durchgeführt. Dabei gelingt es im Rahmen der vorliegenden Arbeit mit Hilfe der entwickelten Methoden erstmalig, Strategien zur Steuerung realer Systeme direkt auf Basis der unvorverarbeiteten Bildinformationen zu erlernen, wobei von außen nur das zu erreichende Ziel vorgegeben werden muss.

Personalized treatment strategies for oncological patient management can improve outcomes of patient populations with heterogeneous treatment response. The implementation of such a concept requires the identification of biomarkers that can precisely predict treatment outcome. In the context of this thesis, we develop and validate biomarkers from multimodal imaging data for the outcome prediction after treatment in patients with locally advanced rectal cancer (LARC) and in patients with newly diagnosed glioblastoma multiforme (GBM), using conventional feature-based radiomics and deep-learning (DL) based radiomics. For LARC patients, we identify promising radiomics signatures combining computed tomography (CT) and T2-weighted (T2-w) magnetic resonance imaging (MRI) with clinical parameters to predict tumour response to neoadjuvant chemoradiotherapy (nCRT). Further, the analyses of externally available radiomics models for LARC reveal a lack of reproducibility and the need for standardization of the radiomics process. For patients with GBM, we use postoperative [11C] methionine positron emission tomography (MET-PET) and gadolinium-enhanced T1-w MRI for the detection of the residual tumour status and to prognosticate time-to-recurrence (TTR) and overall survival (OS). We show that DL models built on MET-PET have an improved diagnostic and prognostic value as compared to MRI.

Sekundärrohstoffe und darauf aufbauende Rohstoffkreisläufe erlangen, bedingt durch die Endlichkeit der Primärrohstoffe, steigende Preise und eine zunehmende Umweltbelastung durch fehlendes Recycling, eine immer stärkere Bedeutung in der nationalen und globalen Wirtschaft ein. Darüber hinaus wird die Notwendigkeit geschlossener Rohstoffkreisläufe auch politisch und gesellschaftlich durch die Forderung eines nachhaltigen Wirtschaftens abgebildet. Nicht zuletzt für die Einhaltung der Klimaschutzziele sind geschlossene Roh-stoffkreisläufe von entscheidender Bedeutung. Neben Metallen sind insbesondere Kunststoffe Materialien, die in eine ökonomische Wiederverwertung eingebracht werden können und sollten. Eine Vielzahl technischer Kunststoffe bestehen jedoch aus einem Materialmix verschiedener Kunststoffe und Additive und liegen somit als Komposite oder Hybridbauteile vor. Oftmals enthalten diese Kunststoffe einen Rußanteil zur Schwarzfärbung. Jedoch können gerade schwarze Kunststoffe kaum mittels klassischer optischer Methoden hinreichend genau klassifiziert werden. Trotz des hohen Materialwertes solcher technischen Kunststoffe sind diese daher derzeit nur teilweise oder gar nicht ökonomisch wiederverwertbar. Hauptgrund dafür ist, dass eine zuverlässig arbeitende Sensortechnologie zur Sortierung unterschiedlichster, aber insbesondere schwarzer Kunststoffmischungen nicht verfügbar ist. Das Ziel dieses Promotionsvorhabens ist daher die Entwicklung und Evaluierung einer schnellen und zuverlässigen Erkennungstechnologie für die Klassifizierung schwarzer Kunststoffgemische mit hoher Genauigkeit (bis zu 99,9 %) und einem hohen Durchsatz. Die Basis dafür bildet die bildgebende Laser-Fluoreszenzspektroskopie in Kombination mit künstlicher Intelligenz. Insbesondere soll die zu entwickelnde Technologie die Sortierung kleiner Partikel ermöglichen, wie sie beispielsweise bei der Zerkleinerung von Kompositbauteilen anfallen. Die Entwicklung der Methode zur Klassifizierung schwarzer Kunststoffe erfolgte anhand von zwölf Kunststoffklassen und wurde in drei Schritten durchgeführt. Zuerst wurden die Kunststoffe mit einer Reihe klassischer Spektroskopieverfahren untersucht. Einsatz der Raman-Spektroskopie deutete sich bereits an, dass die Kunststoffe teilweise eine Fluoreszenz aufweisen. Weitere Messungen der Fluoreszenz in Abhängigkeit der Anregungswellenlänge bestätigten dieses Verhalten und zeigten, dass für Anregungswellenlängen zwischen rund 500 nm und 600 nm die stärkste Fluoreszenz erhalten wird. Im nächsten Schritt wurde ein Labordemonstrator entwickelt und evaluiert, um die grundlegende Machbarkeit der Methode nachzuweisen. Der Labord-emonstrator arbeitet mit einer Hyperspektralkamera für den sichtbaren und nahinfraroten Spektralbereich, einer zeilenförmigen Laseranregung und einer zusätzlichen nahinfrarot Beleuchtung. Die Nahinfrarotbeleuchtung ermöglicht dabei eine bessere Erkennung der Position und Form der Kunststoffpartikel, insbesondere wenn diese kein oder nur ein schwaches Fluoreszenzsignal aufweisen. Für die Versuche wurden zwei Laser mit einer Wellenlänge von 532 nm und 450 nm eingesetzt. Das entwickelte System wurde kalibriert und charakterisiert und anschließend wurden Messungen von schwarzen Kunststoffpartikeln aus 12 Kunststoffklassen durchgeführt und die erhaltenen Daten wurden für Klassifikationsversuche eingesetzt. Bei diesen Klassifikationsexperimenten wurde die Gesamtgenauigkeit bei der Klassifikation aller zwölf Kunststoffklassen betrachtet und es erfolgte die Untersuchung unterschiedlicher Klassifikationsalgorithmen, unterschiedlicher Arten der Datenvorverarbeitung, sowie einer automatischen Optimierung der Hyperparameter der Klassifikationsalgorithmen. Die gleichzeitige Klassifikation aller 12 Kunststoffklassen ist im späteren Einsatz nicht relevant, da meist nur zwei bis drei Kunststoffarten gleichzeitig erkannt und sortiert werden müssen. Die durchgeführten Versuche dienten daher hauptsächlich dem grundsätzlichen Nachweis der Leistungsfähigkeit der Methode und dem Vergleich der unterschiedlichen Methoden des maschinellen Lernens und der Datenvorverarbeitung. Bei den betrachteten Klassifikationsalgorithmen handelt es sich um die Diskriminanzanalyse (DA), die k-Nächste-Nachbarn-Klassifikation (kNN), Ensembles von Entscheidungsbäumen (ENSEMBLE), Support Vector Machines (SVM) und Convolutional Neural Networks (CNN). Die Optimierung der Hyperparameter erfolgte durch zwei Verfahren: Random Search und Bayesian Optimization Algorithm. Es zeigte sich, dass die besten Klassifikationsgenauigkeiten für den CNN-, gefolgt von ENSEMBLE- und SVM-Algorithmus, erzielt werden können. Die höchste erhaltene Genauigkeit lag für den 450 nm Laser mit 93,5 % über der des 532 nm Lasers mit 87,9 %. Um eine realistische Einschätzung der Klassifikationsgenauigkeit für die im Anwendungsfall auftretenden Mischungen aus zwei bis drei Kunststoffklassen zu erhalten, wurden auch 41 Kunststoffmischungen hinsichtlich ihrer Klassifizierbarkeit untersucht. Bei diesen 41 Mischungen handelt es sich um industriell relevante Kombinationen der zwölf betrachteten Kunststoffklassen. Für nahezu alle der industriell relevanten Kunststoffmischungen konnte die Klassifikationsgenauigkeit von > 99,9 % erreicht werden. Aufbauend auf diesen Erkenntnissen wurde daher im dritten Schritt der vorliegenden Arbeit das Sensorsystem für einen industrienahen Demonstrator für die Sortierung schwarzer Kunststoffpartikel unter anwendungsnahen Bedingungen entwickelt, aufgebaut und evaluiert. Der entwickelte industrienahe Demonstrator wurde kalibriert und charakterisiert und anschließend wurden erneut Messungen der schwarzen Kunststoffpartikel durchgeführt. Mit den erhaltenen Daten wurden anschließend erneut Klassifikationsmodelle trainiert, optimiert und validiert. Die Ergebnisse der Klassifikationsversuche zeigen, dass die erhaltenen Genauigkeiten für das Demonstratorsystem geringer als für den Labordemonstrator ausfallen. Trotzdem konnte mit den besten Messparametern für fünf Mischungen, welche mit derzeitigen Methoden nicht sortierbar sind, eine sehr gute Klassifikationsgenauigkeit von > 99 % erreicht werden. Insgesamt sind die mit dem entwickelten industrienahen Demonstratorsystem erhaltenen Ergebnisse sehr vielversprechend. Für viele industriell relevante Kunststoffmischungen konnte bereits eine ausreichend hohe Klassifikationsgenauigkeit demonstriert werden. Es ist abzusehen, dass der entwickelte industrielle Demonstrator, mit nur wenigen, aber sehr effektiven Hardwaremodifikationen, auch für die Sortierung vieler weiterer Kunststoffmischungen eingesetzt werden kann. Es wurde also erfolgreich ein System zur Erkennung und Klassifizierung schwarzer Kunststoffpartikel entwickelt, welches ein ökonomisch sinnvolles Recycling dieser Kunststoffe ermöglicht und damit signifikant zum Aufbau einer nachhaltigen Kreislaufwirtschaft beitragen kann.:Inhaltsverzeichnis Inhaltsverzeichnis I Abbildungsverzeichnis V Tabellenverzeichnis XIII Abkürzungsverzeichnis XX Symbolverzeichnis XXIII 1 Einleitung 1 2 Theoretische Grundlagen 5 2.1 Stand der Technik des Kunststoffrecyclings 5 2.2 Kunststoffe 14 2.2.1 Eingesetzte Kunststoffe 15 2.2.2 Zusatzstoffe für Kunststoffe 17 2.2.3 Ökologische und Ökonomische Aspekte des Recyclings von Kunststoffen 18 2.3 Optische Spektroskopie 22 2.3.1 Grundlagen der Spektroskopie 22 2.3.2 Methoden der optische Spektroskopie 28 2.3.3 Hyperspektrale Bildgebung 30 2.3.4 Grundlagen zur Charakterisierung eines (Laser-)HSI Systems 32 2.4 Multivariate Datenanalyse 38 2.4.1 Datenvorverarbeitung, Datenreduktion und Explorative Datenanalyse 39 2.4.2 Klassifikationsalgorithmen 47 2.4.3 Hyperparameteroptimierung 61 2.4.4 Validierung von Klassifikationsverfahren 64 3 Experimentelle Durchführung 73 3.1 Untersuchte Kunststoffe 73 3.1.1 Eingesetzte Kunststoffgranulate 73 3.1.2 Kunststoffmischungen 74 3.2 Hardwarekonfiguration der entwickelten Laser-HSI-Systeme 76 3.2.1 Hardwarekonfiguration des Laser-HSI-Laborsystems 76 3.2.2 Hardwarekonfiguration des Laser-HSI-Demonstratorsystems 78 3.3 Eingesetzte Software und Computer-Hardware 80 3.3.1 imanto®Pro 80 3.3.2 Matlab® 81 3.3.3 Eingesetzte Computer-Hardware 81 3.4 Durchgeführte Messung mit den Laser-HSI-Systemen 82 3.4.1 Messung der schwarzen Kunststoffe mit dem Laser-HSI-Laborsystem 82 3.4.2 Messung der schwarzen Kunststoffe mit dem Laser-HSI-Demonstratorsystem 83 3.4.3 Verfügbarkeit der Daten 83 3.5 Spektroskopische Charakterisierung der Kunststoffproben 84 3.5.1 Fluoreszenz-Spektroskopie 84 3.5.2 Raman-Spektroskopie 84 3.5.3 Laser-HSI 85 4 Ergebnisse und Diskussion 88 4.1 Das Laser-HSI-Laborsystem 89 4.1.1 Anregungseinheit 89 4.1.2 System zur Strahlaufweitung 91 4.1.3 Detektionseinheit 94 4.1.4 Charakterisierung und Kalibrierung des bildgebenden Spektrometers 95 4.1.5 NIR-Beleuchtung 102 4.2 Laser-HSI-Demonstratorsystem zur Klassifikation schwarzer Kunststoffe 103 4.2.1 Anforderungen an das Demonstratorsystem 103 4.2.2 Aufbau des Sensormoduls des Demonstratorsystems 106 4.2.3 Kalibrierung und Charakterisierung des Sensormoduls des Demonstratorsystems 107 4.3 Spektroskopische Charakterisierung der schwarzen Kunststoffe 110 4.3.1 Fluoreszenz- und Raman-spektroskopische Untersuchungen der Kunststoffpartikel 111 4.3.2 Untersuchungen schwarzer Kunststoffpartikel mit dem Laser-HSI-Laborsystem 118 4.4 Klassifikations- und Optimierungsexperimente mit dem Laser-HSI-Laborsystem 124 4.4.1 Datenvorverarbeitung und Beschreibung der Daten 125 4.4.2 Explorative Datenanalyse 128 4.4.3 Untersuchungen zur Klassifikation der schwarzen Kunststoffe mit dem Laser-HSI-Laborsystem 135 4.4.4 Klassifikationsexperimente mittels klassischer Machine Learning-Verfahren 136 4.4.5 Hyperparameteroptimierung für die klassischen Machine Learning Verfahren 149 4.4.6 Untersuchung der Klassifikation durch Deep Learning Verfahren 157 4.4.7 Hyperparameteroptimierung für die Deep Learning-Verfahren 171 4.4.8 Vergleich und Diskussion der erhaltenen Klassifikationsmodelle 175 4.4.9 Übertragung der Ergebnisse auf die Klassifikation der industriell relevanten Kunststoffmischungen 177 4.4.10 Zusammenfassung 185 4.5 Untersuchungen zur Klassifikation der schwarzen Kunststoffe mit dem Demonstratorsystem 186 4.5.1 Beschreibung der Messungen mit dem Demonstratorsystem 186 4.5.2 Datenvorverarbeitung 190 4.5.3 Explorative Datenanalyse 193 4.5.4 Klassifikation der Kunststoffmischungen 198 4.5.5 Möglichkeiten für die Verbesserung der Klassifikationsgenauigkeit des Demonstratorsystems 210 5 Zusammenfassung und Ausblick 212 6 Literaturverzeichnis 219 7 Anhang I 7.1 Parameter der Raman-Messung der Kunststoffe I 7.2 Anregungs-Emissions-Matrices der schwarzen Kunststoffe II 7.3 Laser-HSI-Messungen IV 7.4 Modellparameter und Modellhyperprameter XII 7.5 Anderson-Darling-Test auf Normalverteilung XIX 7.5.1 Einfluss der Anzahl der verwendeten Hauptkomponenten XIX 7.5.2 Einfluss verschiedener Datenvorverarbeitungsmethoden XIX 7.5.3 Einfluss der Formparameter XXI 7.5.4 Durchführung der Hyperparameteroptimierung für das klassische Machine Learning XXI 7.5.5 Einfluss der Bildvorverarbeitung XXII 7.5.6 Einfluss der CNN-Topologie XXIII 7.5.7 Einfluss der Daten-Augmentierung XXIV 7.5.8 Durchführung der Hyperparameteroiptimierung für die Deep Learning-Verfahren XXIV 7.5.9 Vergleich und Diskussion der erhaltenen Klassifikationsmodelle XXV 7.6 Brown-Forsythe-Test auf Homoskedastizität XXV 7.6.1 Einfluss der Anzahl der verwendeten Hauptkomponenten XXV 7.6.2 Einfluss verschiedener Datenvorverarbeitungsmethoden XXV 7.6.3 Einfluss der Formparameter XXVI 7.6.4 Durchführung der Hyperparameteroptimierung für das klassische Machine Learning XXVI 7.6.5 Einfluss der Bildvorverarbeitung XXVII 7.6.6 Einfluss der CNN-Topologie XXVII 7.6.7 Einfluss der Daten-Augmentierung XXVII 7.6.8 Durchführung der Hyperparameteroptimierung für die Deep Learning-Verfahren XXVII 7.6.9 Vergleich und Diskussion der erhaltenen Klassifikationsmodelle XXVIII 7.7 Ergebnisse der Klassifikationsversuche mit den Daten des industrienahen Demonstrators XXVIII

Der Einsatz von neuronalen Netzen in Edge-Geräten und deren Einbindung in unser tägliches Leben findet immer mehr Beachtung. Ihre hohen Rechenkosten machen jedoch viele eingebettete Anwendungen zu einer Herausforderung. Das Hauptziel meiner Doktorarbeit ist es, einen Beitrag zur Lösung dieses Dilemmas zu leisten: die Optimierung neuronaler Netze und die Entwicklung entsprechender neuronaler Verarbeitungseinheiten für Endgeräte. Diese Arbeit nahm die algorithmische Forschung als Ausgangspunkt und wandte dann deren Ergebnisse an, um das Architekturdesign von Neural Processing Units (NPUs) zu verbessern. Die Optimierung neuronaler Netzwerkmodelle begann mit der Quantisierung neuronaler Netzwerke mit einfacher Präzision und entwickelte sich zu gemischter Präzision. Die Entwicklung der NPU-Architektur folgte den Erkenntnissen der Algorithmusforschung, um ein Hardware/Software Co-Design zu erreichen. Darüber hinaus wurde ein neuartiger Ansatz zur gemeinsamen Entwicklung von Hardware und Software vorgeschlagen, um das Prototyping und die Leistungsbewertung von NPUs zu beschleunigen. Dieser Ansatz zielt auf die frühe Entwicklungsphase ab. Er hilft Entwicklern, sich auf das Design und die Optimierung von NPUs zu konzentrieren und verkürzt den Entwicklungszyklus erheblich. Im Abschlussprojekt wurde ein auf maschinellem Lernen basierender Ansatz angewendet, um die Rechen- und Speicherressourcen der NPU zu erkunden and optimieren. Die gesamte Arbeit umfasst mehrere verschiedene Bereiche, von der Algorithmusforschung bis zum Hardwaredesign. Sie alle arbeiten jedoch an der Verbesserung der Inferenz-Effizienz neuronaler Netze. Die Optimierung der Algorithmen zielt insbesondere darauf ab, den Speicherbedarf und die Rechenkosten von neuronalen Netzen zu verringern. Das NPU-Design hingegen konzentriert sich auf die Verbesserung der Nutzung von Hardwareressourcen. Der vorgeschlagene Ansatz zur gemeinsamen Entwicklung von Software und Hardware verkürzt den Entwurfszyklus und beschleunigt die Entwurfsiterationen. Die oben dargestellte Reihenfolge entspricht dem Aufbau dieser Dissertation. Jedes Kapitel ist einem Thema gewidmet und umfasst relevante Forschungsarbeiten, Methodik und Versuchsergebnisse.:1 Introduction 2 Convolutional Neural Networks 2.1 Convolutional layer 2.1.1 Padding 2.1.2 Convolution 2.1.3 Batch Normalization 2.1.4 Nonlinearity 2.2 Pooling Layer 2.3 Fully Connected Layer 2.4 Characterization 2.4.1 Composition of Operations and Parameters 2.4.2 Arithmetic Intensity 2.5 Optimization 3 Quantization with Double-Stage Squeeze-and-Threshold 19 3.1 Overview 3.1.1 Binarization 3.1.2 Multi-bit Quantization 3.2 Quantization of Convolutional Neural Networks 3.2.1 Quantization Scheme 3.2.2 Operator fusion of Conv2D 3.3 Activation Quantization with Squeeze-and-Threshold 3.3.1 Double-Stage Squeeze-and-Threshold 3.3.2 Inference Optimization 3.4 Experiment 3.4.1 Ablation Study of Squeeze-and-Threshold 3.4.2 Comparison with State-of-the-art Methods 3.5 Summary 4 Low-Precision Neural Architecture Search 39 4.1 Overview 4.2 Differentiable Architecture Search 4.2.1 Gumbel Softmax 4.2.2 Disadvantage and Solution 4.3 Low-Precision Differentiable Architecture Search 4.3.1 Convolution Sharing 4.3.2 Forward-and-Backward Scaling 4.3.3 Power Estimation 4.3.4 Architecture of Supernet 4.4 Experiment 4.4.1 Effectiveness of solutions to the dominance problem 4.4.2 Softmax and Gumbel Softmax 4.4.3 Optimizer and Inverted Learning Rate Scheduler 4.4.4 NAS Method Evaluation 4.4.5 Searched Model Analysis 4.4.6 NAS Cost Analysis 4.4.7 NAS Training Analysis 4.5 Summary 5 Configurable Sparse Neural Processing Unit 65 5.1 Overview 5.2 NPU Architecture 5.2.1 Buffer 5.2.2 Reshapeable Mixed-Precision MAC Array 5.2.3 Sparsity 5.2.4 Post Process Unit 5.3 Mapping 5.3.1 Mixed-Precision MAC 5.3.2 MAC Array 5.3.3 Support of Other Operation 5.3.4 Configurability 5.4 Experiment 5.4.1 Performance Analysis of Runtime Configuration 5.4.2 Roofline Performance Analysis 5.4.3 Mixed-Precision 5.4.4 Comparison with Cortex-M7 5.5 Summary 6 Agile Development and Rapid Design Space Exploration 91 6.1 Overview 6.1.1 Agile Development 6.1.2 Design Space Exploration 6.2 Agile Development Infrastructure 6.2.1 Chisel Backend 6.2.2 NPU Software Stack 6.3 Modeling and Exploration 6.3.1 Area Modeling 6.3.2 Performance Modeling 6.3.3 Layered Exploration Framework 6.4 Experiment 6.4.1 Efficiency of Agile Development Infrastructure 6.4.2 Effectiveness of Agile Development Infrastructure 6.4.3 Area Modeling 6.4.4 Performance Modeling 6.4.5 Rapid Exploration and Pareto Front 6.5 Summary 7 Summary and Outlook 123 7.1 Summary 7.2 Outlook A Appendix of Double-Stage ST Quantization 127 A.1 Training setting of ResNet-18 in Table 3.3 A.2 Training setting of ReActNet in Table 3.4 A.3 Training setting of ResNet-18 in Table 3.4 A.4 Pseudocode Implementation of Double-Stage ST B Appendix of Low-Precision Neural Architecture Search 131 B.1 Low-Precision NAS on CIFAR-10 B.2 Low-Precision NAS on Tiny-ImageNet B.3 Low-Precision NAS on ImageNet Bibliography 137 / Deploying neural networks on edge devices and bringing them into our daily lives is attracting more and more attention. However, its expensive computational cost makes many embedded applications daunting. The primary objective of my doctoral studies is to make contributions towards resolving this predicament: optimizing neural networks and designing corresponding efficient neural processing units for edge devices. This work took algorithmic research, specifically the optimization of deep neural networks, as a starting point and then applied its findings to steer the architecture design of Neural Processing Units (NPUs). The optimization of neural network models started with single precision neural network quantization and progressed to mixed precision. The NPU architecture development followed the algorithmic research findings to achieve hardware/software co-design. Furthermore, a new approach to hardware and software co-development was introduced, aimed at expediting the prototyping and performance assessment of NPUs. This approach targets early-stage development. It helps developers to focus on the design and optimization of NPUs and significantly shortens the development cycle. In the final project, a machine learning-based approach was applied to explore and optimize the computational and memory resources of the NPU. The entire work covers several different areas, from algorithmic research to hardware design. But they all work on improving the inference efficiency of neural networks. Specifically, algorithm optimization aims to reduce the memory footprint and computational cost of neural networks. The NPU design, on the other hand, focuses on improving the utilization of hardware resources. The proposed software and hardware co-development approach shortens the design cycle and speeds up the design iteration. The order presented above corresponds to the structure of this dissertation. Each chapter corresponds to a topic and covers relevant research, methodology, and experimental results.:1 Introduction 2 Convolutional Neural Networks 2.1 Convolutional layer 2.1.1 Padding 2.1.2 Convolution 2.1.3 Batch Normalization 2.1.4 Nonlinearity 2.2 Pooling Layer 2.3 Fully Connected Layer 2.4 Characterization 2.4.1 Composition of Operations and Parameters 2.4.2 Arithmetic Intensity 2.5 Optimization 3 Quantization with Double-Stage Squeeze-and-Threshold 19 3.1 Overview 3.1.1 Binarization 3.1.2 Multi-bit Quantization 3.2 Quantization of Convolutional Neural Networks 3.2.1 Quantization Scheme 3.2.2 Operator fusion of Conv2D 3.3 Activation Quantization with Squeeze-and-Threshold 3.3.1 Double-Stage Squeeze-and-Threshold 3.3.2 Inference Optimization 3.4 Experiment 3.4.1 Ablation Study of Squeeze-and-Threshold 3.4.2 Comparison with State-of-the-art Methods 3.5 Summary 4 Low-Precision Neural Architecture Search 39 4.1 Overview 4.2 Differentiable Architecture Search 4.2.1 Gumbel Softmax 4.2.2 Disadvantage and Solution 4.3 Low-Precision Differentiable Architecture Search 4.3.1 Convolution Sharing 4.3.2 Forward-and-Backward Scaling 4.3.3 Power Estimation 4.3.4 Architecture of Supernet 4.4 Experiment 4.4.1 Effectiveness of solutions to the dominance problem 4.4.2 Softmax and Gumbel Softmax 4.4.3 Optimizer and Inverted Learning Rate Scheduler 4.4.4 NAS Method Evaluation 4.4.5 Searched Model Analysis 4.4.6 NAS Cost Analysis 4.4.7 NAS Training Analysis 4.5 Summary 5 Configurable Sparse Neural Processing Unit 65 5.1 Overview 5.2 NPU Architecture 5.2.1 Buffer 5.2.2 Reshapeable Mixed-Precision MAC Array 5.2.3 Sparsity 5.2.4 Post Process Unit 5.3 Mapping 5.3.1 Mixed-Precision MAC 5.3.2 MAC Array 5.3.3 Support of Other Operation 5.3.4 Configurability 5.4 Experiment 5.4.1 Performance Analysis of Runtime Configuration 5.4.2 Roofline Performance Analysis 5.4.3 Mixed-Precision 5.4.4 Comparison with Cortex-M7 5.5 Summary 6 Agile Development and Rapid Design Space Exploration 91 6.1 Overview 6.1.1 Agile Development 6.1.2 Design Space Exploration 6.2 Agile Development Infrastructure 6.2.1 Chisel Backend 6.2.2 NPU Software Stack 6.3 Modeling and Exploration 6.3.1 Area Modeling 6.3.2 Performance Modeling 6.3.3 Layered Exploration Framework 6.4 Experiment 6.4.1 Efficiency of Agile Development Infrastructure 6.4.2 Effectiveness of Agile Development Infrastructure 6.4.3 Area Modeling 6.4.4 Performance Modeling 6.4.5 Rapid Exploration and Pareto Front 6.5 Summary 7 Summary and Outlook 123 7.1 Summary 7.2 Outlook A Appendix of Double-Stage ST Quantization 127 A.1 Training setting of ResNet-18 in Table 3.3 A.2 Training setting of ReActNet in Table 3.4 A.3 Training setting of ResNet-18 in Table 3.4 A.4 Pseudocode Implementation of Double-Stage ST B Appendix of Low-Precision Neural Architecture Search 131 B.1 Low-Precision NAS on CIFAR-10 B.2 Low-Precision NAS on Tiny-ImageNet B.3 Low-Precision NAS on ImageNet Bibliography 137

In der Protonentherapie können aufgrund verschiedener Unsicherheiten Reichweitenveränderungen von Protonen auftreten. Bei der Prompt-Gamma-Ray Timing Methode wird eine Reichweitenveränderung von Protonen anhand der zeitlichen Verteilung der erzeugten prompten Gammastrahlung ermittelt. Die Eignung von neuronalen Netzen zur Reichweitenbestimmung anhand der zeitlichen und spektralen Verteilung von prompten Gammastrahlen wurde untersucht. Es wurden Modelle für die Untersuchung von 1D-Zeitspektren und 2D-Energie-Zeit-Spektren erstellt. Die entwickelten Modelle wurden auf statisch applizierten Spots hoher Intensität trainiert und auf gescannten Spots mit niedrigerer Intensität validiert. Es wurde festgestellt, dass die parallele Analyse von Energie und Zeit die beste Vorhersagekraft der Modelle erreichte. Es wurden Reichweitenveränderungen für statisch applizierte Spots mit einer Genauigkeit von 3,10 mm detektiert, während für gescannt applizierte Spots unter Verwendung von Datenakkumulation ein RMSE von 3,70 mm erreicht wurde. Im Vergleich zu vorherigen multivariaten Modellen konnte keine Verbesserung mit neuronalen Netzen demonstriert werden. Komplexere Modelle und ein umfangreicherer Datensatz könnten die Genauigkeit der Reichweitenvorhersage mittels Deep Learning noch weiter verbessern.:1 Einleitung 1 2 Theoretische Grundlagen 3 2.1 Protonentherapien 3 2.1.1 Wechselwirkungen 3 2.1.2 Behandlungsverifikation 4 2.2 Gamma-Ray-basierte Behandlungsverifikation 6 2.2.1 Prompt Gamma-Ray Timing 7 2.2.2 Prompt Gamma-Ray Spectroscopy 9 2.3 Deep Learning 9 2.3.1 Allgemeine Funktionsweise 9 2.3.2 Feedforward Neural Network 10 2.3.3 Faltendes Neuronales Netz 12 2.3.4 Regression und Klassifikation 14 3 Material und Methoden 16 3.1 Softwareumgebung und Infrastruktur 16 3.2 Datengrundlage 16 3.2.1 Datenaufnahme 16 3.2.2 Datenvorverarbeitung 18 3.2.3 Datenakkumulation 20 3.3 Dateneinteilung 21 3.4 Regression und Klassifikation 22 3.5 Modellarchitekturen 22 3.5.1 FFNN 22 3.5.2 1D-CNN 23 3.5.3 2D-CNN 24 3.6 Voruntersuchungen 25 3.6.1 Konstante Hyperparameter 26 3.6.2 Schichtanzahl von FFNN und CNN 26 3.6.3 Filtergröße von CNNs 27 3.6.4 Datennormierung 27 3.6.5 Untersuchung der Architekturen und Energie 28 3.7 Finale Vorhersage der Reichweitenverschiebung 28 4 Ergebnisse 30 4.1 Voruntersuchungen 30 4.1.1 Schichtanzahl von FFNN und CNN 30 4.1.2 Filtergröße von CNNs 31 4.1.3 Datennormierung 32 4.1.4 Untersuchung der Architektur und Energie 32 4.2 Finale Vorhersage der Reichweitenverschiebung: Regression 35 4.3 Finale Vorhersage der Reichweitenverschiebung: Klassifikation 39 5 Diskussion und Ausblick 42 6 Zusammenfassung 48 Anhang A Loss 58 Anhang B Untergrundkorrektur 60 Anhang C Leistungsparameter 61 Anhang D Ergebnistabellen Regression 63 Anhang E Ergebnistabellen Klassifikation 67 / In proton therapy, changes in the range of protons can occur due to various uncertainties. In the prompt gamma-ray timing method, a change in the range of protons is determined based on the temporal and spectral distribution of the generated prompt gamma radiation. The suitability of neural networks for range determination based on the temporal distribution of prompt gamma rays was investigated. Models were created for the investigation of 1D time spectra and 2D energy-time spectra. The developed models were trained on statically applied high intensity spots and validated on scanned spots applied with lower intensity. It was found that the parallel analysis of energy and time achieved the best predictive power of the models. Range changes for statically applied spots were detected with a root mean square error (RMSE) of 3.10 mm, and for dynamically scanned spots, a RMSE of 3.70 mm was achieved when utilizing data accumulation. Compared to previous multivariate models, no improvement could be demonstrated using simple neural networks. More complex models and a more comprehensive data set could further improve the accuracy of range prediction from Deep Learning.:1 Einleitung 1 2 Theoretische Grundlagen 3 2.1 Protonentherapien 3 2.1.1 Wechselwirkungen 3 2.1.2 Behandlungsverifikation 4 2.2 Gamma-Ray-basierte Behandlungsverifikation 6 2.2.1 Prompt Gamma-Ray Timing 7 2.2.2 Prompt Gamma-Ray Spectroscopy 9 2.3 Deep Learning 9 2.3.1 Allgemeine Funktionsweise 9 2.3.2 Feedforward Neural Network 10 2.3.3 Faltendes Neuronales Netz 12 2.3.4 Regression und Klassifikation 14 3 Material und Methoden 16 3.1 Softwareumgebung und Infrastruktur 16 3.2 Datengrundlage 16 3.2.1 Datenaufnahme 16 3.2.2 Datenvorverarbeitung 18 3.2.3 Datenakkumulation 20 3.3 Dateneinteilung 21 3.4 Regression und Klassifikation 22 3.5 Modellarchitekturen 22 3.5.1 FFNN 22 3.5.2 1D-CNN 23 3.5.3 2D-CNN 24 3.6 Voruntersuchungen 25 3.6.1 Konstante Hyperparameter 26 3.6.2 Schichtanzahl von FFNN und CNN 26 3.6.3 Filtergröße von CNNs 27 3.6.4 Datennormierung 27 3.6.5 Untersuchung der Architekturen und Energie 28 3.7 Finale Vorhersage der Reichweitenverschiebung 28 4 Ergebnisse 30 4.1 Voruntersuchungen 30 4.1.1 Schichtanzahl von FFNN und CNN 30 4.1.2 Filtergröße von CNNs 31 4.1.3 Datennormierung 32 4.1.4 Untersuchung der Architektur und Energie 32 4.2 Finale Vorhersage der Reichweitenverschiebung: Regression 35 4.3 Finale Vorhersage der Reichweitenverschiebung: Klassifikation 39 5 Diskussion und Ausblick 42 6 Zusammenfassung 48 Anhang A Loss 58 Anhang B Untergrundkorrektur 60 Anhang C Leistungsparameter 61 Anhang D Ergebnistabellen Regression 63 Anhang E Ergebnistabellen Klassifikation 67

Die Dissertation untersucht das Potenzial von Machine-Learning-Methoden zur Verwaltung von Schwanzrisiken in nicht-stationären und hochdimensionalen Umgebungen. Dazu vergleichen wir auf robuste Weise datenabhängige Ansätze aus parametrischer oder nicht-parametrischer Statistik mit datenadaptiven Methoden. Da datengetriebene Methoden reproduzierbar sein müssen, um Vertrauen und Transparenz zu gewährleisten, schlagen wir zunächst eine neue Plattform namens Quantinar vor, die einen neuen Standard für wissenschaftliche Veröffentlichungen setzen soll. Im zweiten Kapitel werden parametrische, lokale parametrische und nicht-parametrische Methoden verglichen, um eine dynamische Handelsstrategie für den Schutz vor Schwanzrisiken in Bitcoin zu entwickeln. Das dritte Kapitel präsentiert die Portfolio-Allokationsmethode NMFRB, die durch eine Dimensionsreduktionstechnik hohe Dimensionen bewältigt. Im Vergleich zu klassischen Machine-Learning-Methoden zeigt NMFRB in zwei Universen überlegene risikobereinigte Renditen. Das letzte Kapitel kombiniert bisherige Ansätze zu einer Schwanzrisikoschutzstrategie für Portfolios. Die erweiterte NMFRB berücksichtigt Schwanzrisikomaße, behandelt nicht-lineare Beziehungen zwischen Vermögenswerten während Schwanzereignissen und entwickelt eine dynamische Schwanzrisikoschutzstrategie unter Berücksichtigung der Nicht-Stationarität der Vermögensrenditen. Die vorgestellte Strategie reduziert erfolgreich große Drawdowns und übertrifft andere moderne Schwanzrisikoschutzstrategien wie die Value-at-Risk-Spread-Strategie. Die Ergebnisse werden durch verschiedene Data-Snooping-Tests überprüft. / This dissertation shows the potential of machine learning methods for managing tail risk in a non-stationary and high-dimensional setting. For this, we compare in a robust manner data-dependent approaches from parametric or non-parametric statistics with data-adaptive methods. As these methods need to be reproducible to ensure trust and transparency, we start by proposing a new platform called Quantinar, which aims to set a new standard for academic publications. In the second chapter, we dive into the core subject of this thesis which compares various parametric, local parametric, and non-parametric methods to create a dynamic trading strategy that protects against tail risk in Bitcoin cryptocurrency. In the third chapter, we propose a new portfolio allocation method, called NMFRB, that deals with high dimensions thanks to a dimension reduction technique, convex Non-negative Matrix Factorization. This technique allows us to find latent interpretable portfolios that are diversified out-of-sample. We show in two universes that the proposed method outperforms other classical machine learning-based methods such as Hierarchical Risk Parity (HRP) concerning risk-adjusted returns. We also test the robustness of our results via Monte Carlo simulation. Finally, the last chapter combines our previous approaches to develop a tail-risk protection strategy for portfolios: we extend the NMFRB to tail-risk measures, we address the non-linear relationships between assets during tail events by developing a specific non-linear latent factor model, finally, we develop a dynamic tail risk protection strategy that deals with the non-stationarity of asset returns using classical econometrics models. We show that our strategy is successful at reducing large drawdowns and outperforms other modern tail-risk protection strategies such as the Value-at-Risk-spread strategy. We verify our findings by performing various data snooping tests.