Die vorliegende Arbeit umfasst die Entwicklung eines Rahmens zur Bewertung der Stabilität von (multistabilen) komplexen (vernetzten) dynamischen Systemen. Als ersten Beitrag schlagen wir die multiple-node basin stability (MNBS) vor, um die Stabilität vernetzter dynamischer Systeme als Reaktion auf nicht-infinitesimale Störungen zu messen, die gleichzeitig mehrere Knoten des Systems beeinflussen. Weiterhin beziehen wir uns auf das Konzept der Resilienz zur Charakterisierung von Multistabilität. Inspiriert vom Konzept der ökologischen Resilienz schlussfolgern wir, dass die Stabilität der verschiedenen Attraktoren eines multistabilen Systems von der Gesamtstruktur ihrer jeweiligen Einzugsgebiet bestimmt wird. Insbesondere identifizieren wir sowohl die lokale Dynamik des Systems im Zustandsraum als auch die relative Position des Attraktors im Einzugsgebiet zusätzlich zum dessen Volumen als entscheidende Aspekte, welche die Gesamtstabilität eines Attraktors charakterisieren. Die genannten Aspekte werden im Maß der integral stability (IS) für die ganzheitliche Quantifizierung von Multistabilität zusammengeführt. Komplementär lässt sich auch das Konzept der technischen Resilienz betrachten, welches sich auf die Rückkehrgeschwindigkeit eines Systems zu seinem Gleichgewicht, in Folge einer Störung, bezieht. Im spezifischen Kontext von vernetzten dynamischen Systemen definieren wir die single-node recovery time (SNRT). Diese stellt ein neues Maß zur Schätzung der relativen Zeitskalen dar, die der transienten Knotendynamik eines Netzwerks zugrunde liegen, welches nach einer nicht-infinitesimalen Störung an einem Knoten in seinen gewünschten Betriebszustand zurückkehrt. Schliesslich befassen wir uns mit der Untersuchung der Synchronisationsstabilität in speziellen komplexen Netzwerken, welche entweder die Kleine-Welt-Eigenschaft aufweisen oder eine Kombination aus skalenfreier Knotengradverteilung und hierarchischer Organisation zeigen. / The present endeavour comprises the development of a framework for the assessment of the stability of (multistable) complex (networked) dynamical systems. As a first contribution, we propose the framework of multiple-node basin stability (MNBS) for gauging the stability of networked dynamical systems in response to non-infinitesimal perturbations simultaneously affecting multiple nodes of the system. We then turn to the theoretical framework of resilience in identifying the different aspects characterizing multistability. Inspired by the concept of ecological resilience, we assert that the stability of the different attractors of a multistable system is determined by the overall structure of their respective basins of attraction. In particular, we identify the local dynamics of the system in the state space and the relative position of the attractor within the basin, in addition to the volume of the basin of attraction as crucial aspects determining overall stability of an attractor. We combine the aforementioned aspects in proposing the measure of integral stability (IS) for holistically quantifying multistability. We also draw inspiration from the concept of engineering resilience, which relates to the speed of return of the system to its equilibrium, following a perturbation. In the specific context of networked dynamical systems, we propose the framework of single-node recovery time (SNRT) for obtaining an estimate of the relative time scales underlying the transient dynamics of the nodes of a network returning to its desired operational state, following a non-infinitesimal perturbation to any specific node. Finally, we delve into the explicit investigation of the stability of synchronization on complex dynamical networks exhibiting small-world properties and of those, simultaneously displaying scale-free behaviour and hierarchical organization.

Die Organisation von Handelsstrukturen bringt seit je her weitreichende soziale, politische sowie ökonomische Implikationen mit sich. Da die zugrundeliegenden Dynamiken von Handelssystemen a priori unbekannt sind bieten Konzepte aus der Theorie komplexer Systeme nützliche Werkzeuge, um neue Muster zu entdecken, sowie neue Hypothesen zu den Vorgängen innerhalb der Handelssysteme zu entwickeln. Einen nützlichen Ansatz stellen dabei komplexe Netzwerke dar, da Handelsströme zwischen ökonomischen Einheiten sinnvoll als Knoten und Verbindungen im Netzwerk darstellbar sind. In dieser Arbeit erweitern wir spezielle Methoden auf komplexen Netzwerken, um die Netzwerk-Topologie des Handels auf globaler und auf nationaler Ebene zu untersuchen. Auf dem Level einzelner Industriesektoren erhalten wir neue Einblicke in die topologische Struktur des internationalen Handelsnetzwerks. Dazu führen wir neue Netzwerkmaße ein, welche die Funktion von Knoten in Subgraphen unter dem Blickwinkel, dass das Gesamtsystem durch ein Netzwerk aus mehreren Subnetzwerken dargestellt wird, beschreiben. Im Zuge der Globalisierung gewinnen bilaterale Handelsabkommen bei Entscheidungsträgern an Aufmerksamkeit und werden in zunehmender Zahl verhandelt. Wir entwickeln in dieser Arbeit einen neuen Ansatz, um die Auswirkungen dieser Abkommen auf die beteiligten Ökonomien zu analysieren und zu quantifizieren. Weiterhin behandeln wir die Fragestellung, in welchem Maß Handel als ein Übermittler von Nachfrage- und Angebotsveränderungen auf andere Industrien angesehen werden kann. Schließlich betrachten wir Handelsnetzwerke auf der Ebene von einzelnen Firmen und beschreiben die Funktion von einzelnen Knoten, insbesondere deren Rolle innerhalb von 3er-Motiven. Obwohl alle Methoden und Maße, die wir im Zuge dieser Arbeit einführen, aus Fragen im Kontext des Handels motiviert sind, sind die methodischen Konzepte auf komplexe Netzwerke in anderen Forschungsrichtungen anwendbar. / The organization of trade and its patterns and structures have always had far reaching implications among social, political and economic dimensions. The underlying dynamics of trade systems are often a priori unknown and concepts from complex system theory provide useful tools to discover new patterns and to develop new hypotheses on the mechanisms of the system. Complex networks offer a particularly useful approach to trade systems, as trade flows between economic entities can be intuitively and meaningfully represented as nodes and links in a network. In this thesis, we extend specific methods of complex networks with a focus on the relations between different subnetworks to investigate the network topology of trade on both the global and national scale. On an aggregation level considering individual industries as nodes, we obtain new insights about the topological structure of the international trade network by introducing new network measures that characterize the roles of nodes in subnetworks from a network of networks perspective. During the process of globalization bilateral trade agreements have received rising attention among policy makers and have been negotiated at an increasing pace. Here, we develop a framework to analyze and quantify impacts of these agreements on the involved economies. A further question that we address is to what extent trade can be regarded as a mediator of demand and supply spillovers to other industries. Finally, we look into trade networks at the scale of individual business firms and describe the role of nodes with a focus on 3-node motifs. Although all new methods and measures introduced in this thesis are motivated by questions in the context of trade, the methodological concepts are widely applicable to complex networks of other research disciplines.

Viele Probleme der Kombinatorik, Zahlentheorie, Wahrscheinlichkeitstheorie, Zuverlässigkeitstheorie und Statistik lassen sich durch Anwendung einer einheitlichen Methode lösen, die als Prinzip der Inklusion-Exklusion bekannt ist. Das Prinzip der Inklusion-Exklusion drückt die Indikatorfunktion einer Vereinigung endlich vieler Ereignisse als alternierende Summe der Indikatorfunktionen ihrer Durchschnitte aus. Die vorliegende Schrift befasst sich mit verbesserten Inklusions-Exklusions-Identitäten und verbesserten Bonferroni-Ungleichungen, die voraussetzen, dass die Ereignisfamilie gewissen strukturellen Anforderungen genügt. Solche wohl-strukturierten Ereignisfamilien finden sich u.a. in der schließenden Statistik, der kombinatorischen Zuverlässigkeitstheorie und der chromatischen Graphentheorie. / Many problems in combinatorics, number theory, probability theory , reliability theory and statistics can be solved by applying a unifying method, which is known as the principle of inclusion-exclusion. The principle of inclusion-exclusion expresses the indicator function of a union of finitely many events as an alternating sum of indicator functions of their intersections. This thesis deals with improved inclusion-exclusion identities and improved Bonferroni inequalities that require the family of events to satisfy some structural restrictions. Examples of such well-structured families arise in problems of statistical inference, combinatorial reliability theory and chromatic graph theory.

Der Einsatz von neuronalen Netzen in Edge-Geräten und deren Einbindung in unser tägliches Leben findet immer mehr Beachtung. Ihre hohen Rechenkosten machen jedoch viele eingebettete Anwendungen zu einer Herausforderung. Das Hauptziel meiner Doktorarbeit ist es, einen Beitrag zur Lösung dieses Dilemmas zu leisten: die Optimierung neuronaler Netze und die Entwicklung entsprechender neuronaler Verarbeitungseinheiten für Endgeräte. Diese Arbeit nahm die algorithmische Forschung als Ausgangspunkt und wandte dann deren Ergebnisse an, um das Architekturdesign von Neural Processing Units (NPUs) zu verbessern. Die Optimierung neuronaler Netzwerkmodelle begann mit der Quantisierung neuronaler Netzwerke mit einfacher Präzision und entwickelte sich zu gemischter Präzision. Die Entwicklung der NPU-Architektur folgte den Erkenntnissen der Algorithmusforschung, um ein Hardware/Software Co-Design zu erreichen. Darüber hinaus wurde ein neuartiger Ansatz zur gemeinsamen Entwicklung von Hardware und Software vorgeschlagen, um das Prototyping und die Leistungsbewertung von NPUs zu beschleunigen. Dieser Ansatz zielt auf die frühe Entwicklungsphase ab. Er hilft Entwicklern, sich auf das Design und die Optimierung von NPUs zu konzentrieren und verkürzt den Entwicklungszyklus erheblich. Im Abschlussprojekt wurde ein auf maschinellem Lernen basierender Ansatz angewendet, um die Rechen- und Speicherressourcen der NPU zu erkunden and optimieren. Die gesamte Arbeit umfasst mehrere verschiedene Bereiche, von der Algorithmusforschung bis zum Hardwaredesign. Sie alle arbeiten jedoch an der Verbesserung der Inferenz-Effizienz neuronaler Netze. Die Optimierung der Algorithmen zielt insbesondere darauf ab, den Speicherbedarf und die Rechenkosten von neuronalen Netzen zu verringern. Das NPU-Design hingegen konzentriert sich auf die Verbesserung der Nutzung von Hardwareressourcen. Der vorgeschlagene Ansatz zur gemeinsamen Entwicklung von Software und Hardware verkürzt den Entwurfszyklus und beschleunigt die Entwurfsiterationen. Die oben dargestellte Reihenfolge entspricht dem Aufbau dieser Dissertation. Jedes Kapitel ist einem Thema gewidmet und umfasst relevante Forschungsarbeiten, Methodik und Versuchsergebnisse.:1 Introduction 2 Convolutional Neural Networks 2.1 Convolutional layer 2.1.1 Padding 2.1.2 Convolution 2.1.3 Batch Normalization 2.1.4 Nonlinearity 2.2 Pooling Layer 2.3 Fully Connected Layer 2.4 Characterization 2.4.1 Composition of Operations and Parameters 2.4.2 Arithmetic Intensity 2.5 Optimization 3 Quantization with Double-Stage Squeeze-and-Threshold 19 3.1 Overview 3.1.1 Binarization 3.1.2 Multi-bit Quantization 3.2 Quantization of Convolutional Neural Networks 3.2.1 Quantization Scheme 3.2.2 Operator fusion of Conv2D 3.3 Activation Quantization with Squeeze-and-Threshold 3.3.1 Double-Stage Squeeze-and-Threshold 3.3.2 Inference Optimization 3.4 Experiment 3.4.1 Ablation Study of Squeeze-and-Threshold 3.4.2 Comparison with State-of-the-art Methods 3.5 Summary 4 Low-Precision Neural Architecture Search 39 4.1 Overview 4.2 Differentiable Architecture Search 4.2.1 Gumbel Softmax 4.2.2 Disadvantage and Solution 4.3 Low-Precision Differentiable Architecture Search 4.3.1 Convolution Sharing 4.3.2 Forward-and-Backward Scaling 4.3.3 Power Estimation 4.3.4 Architecture of Supernet 4.4 Experiment 4.4.1 Effectiveness of solutions to the dominance problem 4.4.2 Softmax and Gumbel Softmax 4.4.3 Optimizer and Inverted Learning Rate Scheduler 4.4.4 NAS Method Evaluation 4.4.5 Searched Model Analysis 4.4.6 NAS Cost Analysis 4.4.7 NAS Training Analysis 4.5 Summary 5 Configurable Sparse Neural Processing Unit 65 5.1 Overview 5.2 NPU Architecture 5.2.1 Buffer 5.2.2 Reshapeable Mixed-Precision MAC Array 5.2.3 Sparsity 5.2.4 Post Process Unit 5.3 Mapping 5.3.1 Mixed-Precision MAC 5.3.2 MAC Array 5.3.3 Support of Other Operation 5.3.4 Configurability 5.4 Experiment 5.4.1 Performance Analysis of Runtime Configuration 5.4.2 Roofline Performance Analysis 5.4.3 Mixed-Precision 5.4.4 Comparison with Cortex-M7 5.5 Summary 6 Agile Development and Rapid Design Space Exploration 91 6.1 Overview 6.1.1 Agile Development 6.1.2 Design Space Exploration 6.2 Agile Development Infrastructure 6.2.1 Chisel Backend 6.2.2 NPU Software Stack 6.3 Modeling and Exploration 6.3.1 Area Modeling 6.3.2 Performance Modeling 6.3.3 Layered Exploration Framework 6.4 Experiment 6.4.1 Efficiency of Agile Development Infrastructure 6.4.2 Effectiveness of Agile Development Infrastructure 6.4.3 Area Modeling 6.4.4 Performance Modeling 6.4.5 Rapid Exploration and Pareto Front 6.5 Summary 7 Summary and Outlook 123 7.1 Summary 7.2 Outlook A Appendix of Double-Stage ST Quantization 127 A.1 Training setting of ResNet-18 in Table 3.3 A.2 Training setting of ReActNet in Table 3.4 A.3 Training setting of ResNet-18 in Table 3.4 A.4 Pseudocode Implementation of Double-Stage ST B Appendix of Low-Precision Neural Architecture Search 131 B.1 Low-Precision NAS on CIFAR-10 B.2 Low-Precision NAS on Tiny-ImageNet B.3 Low-Precision NAS on ImageNet Bibliography 137 / Deploying neural networks on edge devices and bringing them into our daily lives is attracting more and more attention. However, its expensive computational cost makes many embedded applications daunting. The primary objective of my doctoral studies is to make contributions towards resolving this predicament: optimizing neural networks and designing corresponding efficient neural processing units for edge devices. This work took algorithmic research, specifically the optimization of deep neural networks, as a starting point and then applied its findings to steer the architecture design of Neural Processing Units (NPUs). The optimization of neural network models started with single precision neural network quantization and progressed to mixed precision. The NPU architecture development followed the algorithmic research findings to achieve hardware/software co-design. Furthermore, a new approach to hardware and software co-development was introduced, aimed at expediting the prototyping and performance assessment of NPUs. This approach targets early-stage development. It helps developers to focus on the design and optimization of NPUs and significantly shortens the development cycle. In the final project, a machine learning-based approach was applied to explore and optimize the computational and memory resources of the NPU. The entire work covers several different areas, from algorithmic research to hardware design. But they all work on improving the inference efficiency of neural networks. Specifically, algorithm optimization aims to reduce the memory footprint and computational cost of neural networks. The NPU design, on the other hand, focuses on improving the utilization of hardware resources. The proposed software and hardware co-development approach shortens the design cycle and speeds up the design iteration. The order presented above corresponds to the structure of this dissertation. Each chapter corresponds to a topic and covers relevant research, methodology, and experimental results.:1 Introduction 2 Convolutional Neural Networks 2.1 Convolutional layer 2.1.1 Padding 2.1.2 Convolution 2.1.3 Batch Normalization 2.1.4 Nonlinearity 2.2 Pooling Layer 2.3 Fully Connected Layer 2.4 Characterization 2.4.1 Composition of Operations and Parameters 2.4.2 Arithmetic Intensity 2.5 Optimization 3 Quantization with Double-Stage Squeeze-and-Threshold 19 3.1 Overview 3.1.1 Binarization 3.1.2 Multi-bit Quantization 3.2 Quantization of Convolutional Neural Networks 3.2.1 Quantization Scheme 3.2.2 Operator fusion of Conv2D 3.3 Activation Quantization with Squeeze-and-Threshold 3.3.1 Double-Stage Squeeze-and-Threshold 3.3.2 Inference Optimization 3.4 Experiment 3.4.1 Ablation Study of Squeeze-and-Threshold 3.4.2 Comparison with State-of-the-art Methods 3.5 Summary 4 Low-Precision Neural Architecture Search 39 4.1 Overview 4.2 Differentiable Architecture Search 4.2.1 Gumbel Softmax 4.2.2 Disadvantage and Solution 4.3 Low-Precision Differentiable Architecture Search 4.3.1 Convolution Sharing 4.3.2 Forward-and-Backward Scaling 4.3.3 Power Estimation 4.3.4 Architecture of Supernet 4.4 Experiment 4.4.1 Effectiveness of solutions to the dominance problem 4.4.2 Softmax and Gumbel Softmax 4.4.3 Optimizer and Inverted Learning Rate Scheduler 4.4.4 NAS Method Evaluation 4.4.5 Searched Model Analysis 4.4.6 NAS Cost Analysis 4.4.7 NAS Training Analysis 4.5 Summary 5 Configurable Sparse Neural Processing Unit 65 5.1 Overview 5.2 NPU Architecture 5.2.1 Buffer 5.2.2 Reshapeable Mixed-Precision MAC Array 5.2.3 Sparsity 5.2.4 Post Process Unit 5.3 Mapping 5.3.1 Mixed-Precision MAC 5.3.2 MAC Array 5.3.3 Support of Other Operation 5.3.4 Configurability 5.4 Experiment 5.4.1 Performance Analysis of Runtime Configuration 5.4.2 Roofline Performance Analysis 5.4.3 Mixed-Precision 5.4.4 Comparison with Cortex-M7 5.5 Summary 6 Agile Development and Rapid Design Space Exploration 91 6.1 Overview 6.1.1 Agile Development 6.1.2 Design Space Exploration 6.2 Agile Development Infrastructure 6.2.1 Chisel Backend 6.2.2 NPU Software Stack 6.3 Modeling and Exploration 6.3.1 Area Modeling 6.3.2 Performance Modeling 6.3.3 Layered Exploration Framework 6.4 Experiment 6.4.1 Efficiency of Agile Development Infrastructure 6.4.2 Effectiveness of Agile Development Infrastructure 6.4.3 Area Modeling 6.4.4 Performance Modeling 6.4.5 Rapid Exploration and Pareto Front 6.5 Summary 7 Summary and Outlook 123 7.1 Summary 7.2 Outlook A Appendix of Double-Stage ST Quantization 127 A.1 Training setting of ResNet-18 in Table 3.3 A.2 Training setting of ReActNet in Table 3.4 A.3 Training setting of ResNet-18 in Table 3.4 A.4 Pseudocode Implementation of Double-Stage ST B Appendix of Low-Precision Neural Architecture Search 131 B.1 Low-Precision NAS on CIFAR-10 B.2 Low-Precision NAS on Tiny-ImageNet B.3 Low-Precision NAS on ImageNet Bibliography 137

Vom Standpunkt des Physikers aus gesehen, ist die Erde ein dynamisches System von großer Komplexität. Funktionale Netzwerke werden aus Beobachtungs-, und Modelldaten abgeleitet oder aufgrund theoretischer Überlegungen konstruiert. Indem sie statistische Zusammenhänge oder kausale Wirkbeziehungen zwischen der Dynamik gewisser Objekte, z.B. verschiedenen Sphären des Erdsystems, Prozessen oder lokalen Feldvariablen darstellen, bieten funktionale Netzwerke einen natürlichen Ansatz zur Bearbeitung fundamentaler Probleme der Erdsystemanalyse. Dazu gehören Fragen nach dominanten, dynamischen Mustern, Telekonnektionen und Rückkopplungsschleifen in der planetaren Maschinerie, sowie nach kritischen Elementen wie Schwellwerten, sogn. Flaschenhälsen und Schaltern im Erdsystem. Der erste Teil dieser Dissertation behandelt die Theorie komplexer Netzwerke und die netzwerkbasierte Zeitreihenanalyse. Die Beiträge zur Theorie komplexer Netzwerke beinhalten Maße und Modelle zur Analyse der Topologie (i) von Netzwerken wechselwirkender Netzwerke und (ii) Netzwerken mit ungleichen Knotengewichten, sowie (iii) eine analytische Theorie zur Beschreibung von räumlichen Netzwerken. Zur Zeitreihenanalyse werden (i) Rekurrenznetzwerke als eine theoretisch gut begründete, nichtlineare Methode zum Studium multivariater Zeitreihen vorgestellt. (ii) Gekoppelte Klimanetzwerke werden als ein exploratives Werkzeug der Datenanalyse zur quantitativen Charakterisierung der komplexen statistischen Interdependenzstruktur innerhalb und zwischen distinkten Feldern von Zeitreihen eingeführt. Im zweiten Teil der Arbeit werden Anwendungen zur Detektion von dynamischen Übergängen (Kipppunkten) in Zeitreihen, sowie zum Studium von Flaschenhälsen in der atmosphärischen Zirkulationsstruktur vorgestellt. Die Analyse von Paläoklimadaten deutet auf mögliche Zusammenhänge zwischen großskaligen Veränderungen der afrikanischen Klimadynamik während des Plio-Pleistozäns und Ereignissen in der Menschheitsevolution hin. / The Earth, as viewed from a physicist''s perspective, is a dynamical system of great complexity. Functional complex networks are inferred from observational data and model runs or constructed on the basis of theoretical considerations. Representing statistical interdependencies or causal interactions between objects (e.g., Earth system subdomains, processes, or local field variables), functional complex networks are conceptually well-suited for naturally addressing some of the fundamental questions of Earth system analysis concerning, among others, major dynamical patterns, teleconnections, and feedback loops in the planetary machinery, as well as critical elements such as thresholds, bottlenecks, and switches. The first part of this thesis concerns complex network theory and network-based time series analysis. Regarding complex network theory, the novel contributions include consistent frameworks for analyzing the topology of (i) general networks of interacting networks and (ii) networks with vertices of heterogeneously distributed weights, as well as (iii) an analytical theory for describing spatial networks. In the realm of time series analysis, (i) recurrence network analysis is put forward as a theoretically founded, nonlinear technique for the study of single, but possibly multivariate time series. (ii) Coupled climate networks are introduced as an exploratory tool of data analysis for quantitatively characterizing the intricate statistical interdependency structure within and between several fields of time series. The second part presents applications for detecting dynamical transitions (tipping points) in time series and studying bottlenecks in the atmosphere''s general circulation structure. The analysis of paleoclimate data reveals a possible influence of large-scale shifts in Plio-Pleistocene African climate variability on events in human evolution.