This paper describes a wireless communication model based on IEEE 802.11n. Typical methods for channel equalisation and estimation are described, such as the least squares method and the minimum mean square error method. Equalization based on deep learning was used as well. Coded and uncoded bit error rate was used as a performance identifier. Experiments with topology of the neural network has been performed. Programming languages such as MATLAB and Python were used in this work.

Der Luftverkehr stellt ein komplexes Gesamtsystem dar, in welchem eine Prozessoptimierung aufgrund zahlreicher und verschiedenartiger Arbeitsabläufe verschiedener Unternehmen nur durch eine übergeordnete Leistungsbewertung möglich ist. Hierfür wurde im Bereich des leistungsbasierten Flughafenmanagements - sowohl auf wissenschaftlicher, als auch industrieller Ebene - bereits eine hohe Zahl individueller Lösungsansätze entwickelt, die jedoch aufgrund ihrer unterschiedlichen Struktur schwer zu vergleichende Ergebnisse hervorbringen. Des Weiteren werden Wechselbeziehungen zwischen ausschließlich eindimensional betrachteten Leistungsindikatoren, welche die verschiedenen Prozessschritte einzeln abbilden, außer Acht gelassen - die Dynamik des Systems spiegelt sich auf diese Art nicht auf Datenebene wider. Abhängigkeiten beeinflussen jedoch maßgeblich das Bewertungsergebnis und sind damit bei der Implementierung von Optimierungsstrategien innerhalb heutiger Konzepte essentiell. Der Kern dieser Dissertation umfasst die erweiterte datenbasierte Betrachtung des Luftverkehrssystems innerhalb des leistungsbasierten Ansatzes und einer damit einhergehenden Entkopplung von Modellierungsansätzen. Dies bedeutet, dass das betrachtete Luftverkehrssystem nur durch Leistungskennwerte beschrieben werden soll (z. B. Verspätungen, meteorologische Messungen). Der Einsatz künstlicher neuronaler Netze erhöht die Möglichkeiten zur Abbildung und Erfassung nicht-linearer und abhängiger Wert-diskreter Zeitreihen, welche im ständigen Vergleichsprozess wesentlich für die Strategiebildung sind. Die Datenquellen beziehen sich einerseits auf mikroskopische Analysen im Bereich des Boardings und damit verbundenen wissenschaftlichen Ausarbeitungen, andererseits auf die Beispielflughäfen Flughafen Hamburg (HAM) und Gatwick Airport (LGW) der Jahre 2012 - 2015 im makroskopischen Fokus. Die Implementierung des Wetters erfolgt über aggregierte meteorologische Kennzahlen, welche auf realen Wettermeldungen des entsprechenden Zeitraums beruhen. Von der Wahl und Definition eines Systems (Boarding, HAM und LGW) ausgehend, erfolgt eine geeignete Datenaggregation, welche Daten zur anschließenden Wissensgenerierung bereitstellt und damit Optimierungsansätze ermöglicht. Im Sinne des wachsenden Interesses der Forschung im Bereich des leistungsbasierten Luftverkehrsmanagements und der heutigen Wichtigkeit von Entscheidungsunterstützungssystemen bei der Strategieentwicklung, fokussiert sich diese Arbeit damit auf die Durchführung multivariater nicht-linearer Zeitreihenanalyse und -vorhersage mit neuronalen Netzen. Die damit einhergehende Nachvollziehbarkeit solcher Datenreihen liefert Möglichkeiten zur Systemidentifikation (datenbasiertes Erlernen der Systemdynamik). Das identifizierte Systemabbild des Luftverkehrs kann folglich für Simulation bekannter Eingabegrößen, als auch für die optimierte Kontrolle des Systems herangezogen werden und umfasst damit wesentliches Erweiterungspotential für heutige Management-Konzepte, um Entwicklungen hin zu einem kooperativen Betrieb zu unterstützen. Ableitend aus der Differenzierung in mehrere gekoppelte Bearbeitungsschritte innerhalb dieser Arbeit, erfolgt eine Fokussierung auf drei Kernfragen: a) Ist eine auf Leistungskennwerten des Luftverkehrs basierende Systemidentifikation mit derzeitigen Paradigmen neuronaler Netze möglich? b) Welche Einschränkungen sind gemäß des unterschiedlichen Charakters der Datensätze zu beachten und wie kann diesen durch eine, das Training der neuronalen Netze vorbereitenden, Datenstrukturanalyse und -Anpassung entgegengewirkt werden? c) Ist auf Basis der trainierten Netze eine erweiterte Optimierung und Vorhersage innerhalb vorhandener Strukturen des leistungsbasierten Luftverkehrsmanagements möglich?:I Grundlagen 1 Leistungsbasiertes Luftverkehrsmanagement 1.1 Allgemeine Definitionen & Begrifflichkeiten 1.2 Leistungsbewertungsrahmenwerke des Luftverkehrs 1.2.1 Interdependenzen von Leistungsindikatoren 1.2.2 Einflussfaktoren auf die Leistungsfähigkeit von Verkehrsflughäfen 1.2.3 Flugmeteorologische Datenaggregation 1.3 Grundkonzepte leistungsbasierten Luftverkehrsmanagements 1.3.1 Airport Collaborative Decision Making (A-CDM) 1.3.2 Total Airport Management (TAM) 1.3.3 Performance Based Airport Management (PBAM) 2 Künstliche neuronale Netze 2.1 Grundverfahren der Computational Intelligence 2.2 Biologische neuronale Netze 2.3 Topologie & Bestandteile künstlicher neuronaler Netze 2.4 Lernvorgang & Fehlerevaluierung 2.5 Netzparadigmen 2.5.1 Feedforward Netzwerke 2.5.2 Rekurrente (rückgekoppelte) Netzwerke 2.5.3 Faltende Netzwerke 2.6 Taxonomie der Zeitreihenverarbeitung mit künstlichen neuronalen Netzen 2.6.1 Zeitreihenregression 2.6.2 Zeitreihenklassifikation II Anwendung künstlicher neuronaler Netze im Luftverkehr 3 Methodische Konzeption 3.1 Datenbasierte Erfassung des Luftverkehrssystems 3.1.1 Prinzip des virtuellen Luftverkehrssystems 3.1.2 Systemidentifikation, Kontrolle & Simulation 3.2 Anwendungsgebiet Turnaround Management 3.2.1 Status Quo 3.2.2 Stochastische Boardingsimulation & Aggregationsmetrik 3.3 Anwendungsgebiet Air Traffic Flow Management 3.3.1 Status Quo 3.3.2 Datengrundlage der Flughäfen Hamburg & London Gatwick 4 Systemidentifikation mit künstlichen neuronalen Netzen 4.1 Modularisierung der Systemidentifikation 4.2 Problemidentifikation & Systemauswahl 4.3 Datenstrukturanalyse & -anpassung 4.3.1 Datenvoranalyse 4.3.2 Datenvorverarbeitung & Fehlerbereinigung 4.3.3 Datenanpassung für maschinelles Lernen 4.4 Paradigmenauswahl & Modellinitialisierung 4.5 Modellanwendung & -Überwachung 4.6 Nachgelagerte Analyse & Modellanpassung 5 Simulation & Kontrolle durch künstliche neuronale Netze 5.1 Sequenzprediktion zur Vorhersage bei bekannten Eingabemengen 5.1.1 Fehlerfortschreitung & Prognoseevaluierung 5.1.2 Robustheitsschätzung der Vorhersage 5.2 Nutzung des Modells als adaptive Kontrollstruktur 5.2.1 Extraktion von Zusammenhängen der Eingabegrößen 5.2.2 Metaheuristische Optimierung der Eingabemengen III Anwendung 6 Anwendungsgebiet Boarding als Teil des Turnaround-Prozesses 6.1 Systemidentifikation des Boarding-Subsystems 6.1.1 Datenstrukturanalyse 6.1.2 Experimenteller Aufbau & Modellanwendung 6.2 Simulation & Kontrolle des Boarding-Subsystems 6.2.1 Vorhersage des Boardingvorgangs unter verschiedenen Randbedingungen 6.2.2 Robustheitsprüfung der adaptiven Kontrollstruktur 6.2.3 Ableitung von Handlungsempfehlungen innerhalb des Prozesses 7 Anwendungsgebiet Air Traffic Flow Management 7.1 Systemidentifikation des Flugbetriebs in Hamburg & London Gatwick 7.1.1 Datenstrukturanalyse 7.1.2 Experimenteller Aufbau & Modellanwendung 7.2 Simulation & Kontrolle des Flugbetriebs in Hamburg & London Gatwick 7.2.1 Vorhersage von Verspätungen unter Berücksichtigung des Wetters 7.2.2 Robustheitsprüfung der adaptiven Kontrollstruktur 7.2.3 Eingabeempfehlungen zur Minimierung der Gesamtverspätung 8 Schlussbetrachtungen 8.1 Zusammenfassende Auswertung der Basisszenarien 8.2 Ausblick

Der Einsatz von neuronalen Netzen in Edge-Geräten und deren Einbindung in unser tägliches Leben findet immer mehr Beachtung. Ihre hohen Rechenkosten machen jedoch viele eingebettete Anwendungen zu einer Herausforderung. Das Hauptziel meiner Doktorarbeit ist es, einen Beitrag zur Lösung dieses Dilemmas zu leisten: die Optimierung neuronaler Netze und die Entwicklung entsprechender neuronaler Verarbeitungseinheiten für Endgeräte. Diese Arbeit nahm die algorithmische Forschung als Ausgangspunkt und wandte dann deren Ergebnisse an, um das Architekturdesign von Neural Processing Units (NPUs) zu verbessern. Die Optimierung neuronaler Netzwerkmodelle begann mit der Quantisierung neuronaler Netzwerke mit einfacher Präzision und entwickelte sich zu gemischter Präzision. Die Entwicklung der NPU-Architektur folgte den Erkenntnissen der Algorithmusforschung, um ein Hardware/Software Co-Design zu erreichen. Darüber hinaus wurde ein neuartiger Ansatz zur gemeinsamen Entwicklung von Hardware und Software vorgeschlagen, um das Prototyping und die Leistungsbewertung von NPUs zu beschleunigen. Dieser Ansatz zielt auf die frühe Entwicklungsphase ab. Er hilft Entwicklern, sich auf das Design und die Optimierung von NPUs zu konzentrieren und verkürzt den Entwicklungszyklus erheblich. Im Abschlussprojekt wurde ein auf maschinellem Lernen basierender Ansatz angewendet, um die Rechen- und Speicherressourcen der NPU zu erkunden and optimieren. Die gesamte Arbeit umfasst mehrere verschiedene Bereiche, von der Algorithmusforschung bis zum Hardwaredesign. Sie alle arbeiten jedoch an der Verbesserung der Inferenz-Effizienz neuronaler Netze. Die Optimierung der Algorithmen zielt insbesondere darauf ab, den Speicherbedarf und die Rechenkosten von neuronalen Netzen zu verringern. Das NPU-Design hingegen konzentriert sich auf die Verbesserung der Nutzung von Hardwareressourcen. Der vorgeschlagene Ansatz zur gemeinsamen Entwicklung von Software und Hardware verkürzt den Entwurfszyklus und beschleunigt die Entwurfsiterationen. Die oben dargestellte Reihenfolge entspricht dem Aufbau dieser Dissertation. Jedes Kapitel ist einem Thema gewidmet und umfasst relevante Forschungsarbeiten, Methodik und Versuchsergebnisse.:1 Introduction 2 Convolutional Neural Networks 2.1 Convolutional layer 2.1.1 Padding 2.1.2 Convolution 2.1.3 Batch Normalization 2.1.4 Nonlinearity 2.2 Pooling Layer 2.3 Fully Connected Layer 2.4 Characterization 2.4.1 Composition of Operations and Parameters 2.4.2 Arithmetic Intensity 2.5 Optimization 3 Quantization with Double-Stage Squeeze-and-Threshold 19 3.1 Overview 3.1.1 Binarization 3.1.2 Multi-bit Quantization 3.2 Quantization of Convolutional Neural Networks 3.2.1 Quantization Scheme 3.2.2 Operator fusion of Conv2D 3.3 Activation Quantization with Squeeze-and-Threshold 3.3.1 Double-Stage Squeeze-and-Threshold 3.3.2 Inference Optimization 3.4 Experiment 3.4.1 Ablation Study of Squeeze-and-Threshold 3.4.2 Comparison with State-of-the-art Methods 3.5 Summary 4 Low-Precision Neural Architecture Search 39 4.1 Overview 4.2 Differentiable Architecture Search 4.2.1 Gumbel Softmax 4.2.2 Disadvantage and Solution 4.3 Low-Precision Differentiable Architecture Search 4.3.1 Convolution Sharing 4.3.2 Forward-and-Backward Scaling 4.3.3 Power Estimation 4.3.4 Architecture of Supernet 4.4 Experiment 4.4.1 Effectiveness of solutions to the dominance problem 4.4.2 Softmax and Gumbel Softmax 4.4.3 Optimizer and Inverted Learning Rate Scheduler 4.4.4 NAS Method Evaluation 4.4.5 Searched Model Analysis 4.4.6 NAS Cost Analysis 4.4.7 NAS Training Analysis 4.5 Summary 5 Configurable Sparse Neural Processing Unit 65 5.1 Overview 5.2 NPU Architecture 5.2.1 Buffer 5.2.2 Reshapeable Mixed-Precision MAC Array 5.2.3 Sparsity 5.2.4 Post Process Unit 5.3 Mapping 5.3.1 Mixed-Precision MAC 5.3.2 MAC Array 5.3.3 Support of Other Operation 5.3.4 Configurability 5.4 Experiment 5.4.1 Performance Analysis of Runtime Configuration 5.4.2 Roofline Performance Analysis 5.4.3 Mixed-Precision 5.4.4 Comparison with Cortex-M7 5.5 Summary 6 Agile Development and Rapid Design Space Exploration 91 6.1 Overview 6.1.1 Agile Development 6.1.2 Design Space Exploration 6.2 Agile Development Infrastructure 6.2.1 Chisel Backend 6.2.2 NPU Software Stack 6.3 Modeling and Exploration 6.3.1 Area Modeling 6.3.2 Performance Modeling 6.3.3 Layered Exploration Framework 6.4 Experiment 6.4.1 Efficiency of Agile Development Infrastructure 6.4.2 Effectiveness of Agile Development Infrastructure 6.4.3 Area Modeling 6.4.4 Performance Modeling 6.4.5 Rapid Exploration and Pareto Front 6.5 Summary 7 Summary and Outlook 123 7.1 Summary 7.2 Outlook A Appendix of Double-Stage ST Quantization 127 A.1 Training setting of ResNet-18 in Table 3.3 A.2 Training setting of ReActNet in Table 3.4 A.3 Training setting of ResNet-18 in Table 3.4 A.4 Pseudocode Implementation of Double-Stage ST B Appendix of Low-Precision Neural Architecture Search 131 B.1 Low-Precision NAS on CIFAR-10 B.2 Low-Precision NAS on Tiny-ImageNet B.3 Low-Precision NAS on ImageNet Bibliography 137 / Deploying neural networks on edge devices and bringing them into our daily lives is attracting more and more attention. However, its expensive computational cost makes many embedded applications daunting. The primary objective of my doctoral studies is to make contributions towards resolving this predicament: optimizing neural networks and designing corresponding efficient neural processing units for edge devices. This work took algorithmic research, specifically the optimization of deep neural networks, as a starting point and then applied its findings to steer the architecture design of Neural Processing Units (NPUs). The optimization of neural network models started with single precision neural network quantization and progressed to mixed precision. The NPU architecture development followed the algorithmic research findings to achieve hardware/software co-design. Furthermore, a new approach to hardware and software co-development was introduced, aimed at expediting the prototyping and performance assessment of NPUs. This approach targets early-stage development. It helps developers to focus on the design and optimization of NPUs and significantly shortens the development cycle. In the final project, a machine learning-based approach was applied to explore and optimize the computational and memory resources of the NPU. The entire work covers several different areas, from algorithmic research to hardware design. But they all work on improving the inference efficiency of neural networks. Specifically, algorithm optimization aims to reduce the memory footprint and computational cost of neural networks. The NPU design, on the other hand, focuses on improving the utilization of hardware resources. The proposed software and hardware co-development approach shortens the design cycle and speeds up the design iteration. The order presented above corresponds to the structure of this dissertation. Each chapter corresponds to a topic and covers relevant research, methodology, and experimental results.:1 Introduction 2 Convolutional Neural Networks 2.1 Convolutional layer 2.1.1 Padding 2.1.2 Convolution 2.1.3 Batch Normalization 2.1.4 Nonlinearity 2.2 Pooling Layer 2.3 Fully Connected Layer 2.4 Characterization 2.4.1 Composition of Operations and Parameters 2.4.2 Arithmetic Intensity 2.5 Optimization 3 Quantization with Double-Stage Squeeze-and-Threshold 19 3.1 Overview 3.1.1 Binarization 3.1.2 Multi-bit Quantization 3.2 Quantization of Convolutional Neural Networks 3.2.1 Quantization Scheme 3.2.2 Operator fusion of Conv2D 3.3 Activation Quantization with Squeeze-and-Threshold 3.3.1 Double-Stage Squeeze-and-Threshold 3.3.2 Inference Optimization 3.4 Experiment 3.4.1 Ablation Study of Squeeze-and-Threshold 3.4.2 Comparison with State-of-the-art Methods 3.5 Summary 4 Low-Precision Neural Architecture Search 39 4.1 Overview 4.2 Differentiable Architecture Search 4.2.1 Gumbel Softmax 4.2.2 Disadvantage and Solution 4.3 Low-Precision Differentiable Architecture Search 4.3.1 Convolution Sharing 4.3.2 Forward-and-Backward Scaling 4.3.3 Power Estimation 4.3.4 Architecture of Supernet 4.4 Experiment 4.4.1 Effectiveness of solutions to the dominance problem 4.4.2 Softmax and Gumbel Softmax 4.4.3 Optimizer and Inverted Learning Rate Scheduler 4.4.4 NAS Method Evaluation 4.4.5 Searched Model Analysis 4.4.6 NAS Cost Analysis 4.4.7 NAS Training Analysis 4.5 Summary 5 Configurable Sparse Neural Processing Unit 65 5.1 Overview 5.2 NPU Architecture 5.2.1 Buffer 5.2.2 Reshapeable Mixed-Precision MAC Array 5.2.3 Sparsity 5.2.4 Post Process Unit 5.3 Mapping 5.3.1 Mixed-Precision MAC 5.3.2 MAC Array 5.3.3 Support of Other Operation 5.3.4 Configurability 5.4 Experiment 5.4.1 Performance Analysis of Runtime Configuration 5.4.2 Roofline Performance Analysis 5.4.3 Mixed-Precision 5.4.4 Comparison with Cortex-M7 5.5 Summary 6 Agile Development and Rapid Design Space Exploration 91 6.1 Overview 6.1.1 Agile Development 6.1.2 Design Space Exploration 6.2 Agile Development Infrastructure 6.2.1 Chisel Backend 6.2.2 NPU Software Stack 6.3 Modeling and Exploration 6.3.1 Area Modeling 6.3.2 Performance Modeling 6.3.3 Layered Exploration Framework 6.4 Experiment 6.4.1 Efficiency of Agile Development Infrastructure 6.4.2 Effectiveness of Agile Development Infrastructure 6.4.3 Area Modeling 6.4.4 Performance Modeling 6.4.5 Rapid Exploration and Pareto Front 6.5 Summary 7 Summary and Outlook 123 7.1 Summary 7.2 Outlook A Appendix of Double-Stage ST Quantization 127 A.1 Training setting of ResNet-18 in Table 3.3 A.2 Training setting of ReActNet in Table 3.4 A.3 Training setting of ResNet-18 in Table 3.4 A.4 Pseudocode Implementation of Double-Stage ST B Appendix of Low-Precision Neural Architecture Search 131 B.1 Low-Precision NAS on CIFAR-10 B.2 Low-Precision NAS on Tiny-ImageNet B.3 Low-Precision NAS on ImageNet Bibliography 137