Phase Space Reconstruction is a method that allows to reconstruct the phase space of a system using only an one dimensional time series as input. It can be used for calculating Lyapunov-exponents and detecting chaos. It helps to understand complex dynamics and their behavior. And it can reproduce datasets which were not measured. There are many different methods which produce correct reconstructions such as time-delay, Hilbert-transformation, derivation and integration. The most used one is time-delay but all methods have special properties which are useful in different situations. Hence, every reconstruction method has some situations where it is the best choice. Looking at all these different methods the questions are: Why can all these different looking methods be used for the same purpose? Is there any connection between all these functions? The answer is found in the frequency domain : Performing a Fourier transformation all these methods getting a similar shape: Every presented reconstruction method can be described as a multiplication in the frequency domain with a frequency-depending reconstruction function. This structure is also known as a filter. From this point of view every reconstructed dimension can be seen as a filtered version of the measured time series. It contains the original data but applies just a new focus: Some parts are amplified and other parts are reduced. Furthermore I show, that not every function can be used for reconstruction. In the thesis three characteristics are identified, which are mandatory for the reconstruction function. Under consideration of these restrictions one gets a whole bunch of new reconstruction functions. So it is possible to reduce noise within the reconstruction process itself or to use some advantages of already known reconstructions methods while suppressing unwanted characteristics of it. / Attraktorrekonstruktion („Phase Space Reconstruction“) ist eine Technik, die es ermöglicht, aus einer einzelnen Zeitreihe den vollständigen Phasenraum eines Systems zu rekonstruieren und somit Rückschlüsse auf topologische Eigenschaften dieses dynamischen Systems zu ziehen. Sie findet Verwendung in der Bestimmung von Lyapunov-Exponenten und zur Reproduktion von unbeobachteten Systemgrößen. Es gibt viele verschiedene Methoden zur Attraktorrekonstruktion wie z.B. die Time-Delay-Methode or Rekonstruktion durch Ableitung, Integration oder mithilfe einer Hilbert-Transformation. Zumeist wird der Time-Delay-Ansatz verwendet, es gibt jedoch auch diverse Problemstellungen, in welchen die alternativen Methoden bessere Ergebnisse liefern. Die Kernfragen, die beim Vergleich dieser Methoden entsteht, sind: Wie kommt es, dass alle Ansätze, trotz ihrer teilweise sehr unterschiedlichen Struktur, denselben Zweck erfüllen? Gibt es Übereinstimmungen zwischen all diesen Methoden? Die Antwort lässt sich im Frequenzraum finden: Nach einer Fourier-Transformation besitzen alle genannten Methoden plötzlich eine sehr ähnliche Struktur. Jede Methode transformiert sich im Frequenzraum zu einer einfachen Multiplikation des Eingangssignals mit einer frequenzabhängigen Rekonstruktionsfunktion. Diese Struktur ist in der Datenanalyse auch bekannt als Filter. Aus dieser Perspektive lässt sich jede Rekonstruktionsdimension als gefilterte Zeitreihe der ursprünglichen Zeitreihe interpretieren: Sie enthält den Originaldatensatz, allerdings mit einem verschobenen Fokus: Einige Eigenschaften der Originalzeitreihe werden unterdrückt, während andere Teile verstärkt wiedergegeben werden. Des weiteren zeige ich in der Diplomarbeit, dass nicht jede beliebige Funktion im Frequenzraum zur Rekonstruktion verwendet werden kann. Ich stelle drei Eigenschaften vor, welche jede Rekonstruktionsfunktion erfüllen muss. Unter Beachtung dieser Bedingungen ergeben sich nun diverse Möglichkeiten für neue Rekonstruktionsfunktionen. So ist es z.B. möglich gleichzeitig mit der Rekonstruktion das Ursprungssignal auch zu filtern, oder man kann bereits bestehende Rekonstruktionsfunktionen so abwandeln, dass unerwünschte Nebeneffekte der Rekonstruktion abgemildert oder gar ganz unterdrückt werden.

In the present work synchronization phenomena in complex dynamical systems exhibiting multiple time scales have been analyzed. Multiple time scales can be active in different manners. Three different systems have been analyzed with different methods from data analysis. The first system studied is a large heterogenous network of bursting neurons, that is a system with two predominant time scales, the fast firing of action potentials (spikes) and the burst of repetitive spikes followed by a quiescent phase. This system has been integrated numerically and analyzed with methods based on recurrence in phase space. An interesting result are the different transitions to synchrony found in the two distinct time scales. Moreover, an anomalous synchronization effect can be observed in the fast time scale, i.e. there is range of the coupling strength where desynchronization occurs. The second system analyzed, numerically as well as experimentally, is a pair of coupled CO₂ lasers in a chaotic bursting regime. This system is interesting due to its similarity with epidemic models. We explain the bursts by different time scales generated from unstable periodic orbits embedded in the chaotic attractor and perform a synchronization analysis of these different orbits utilizing the continuous wavelet transform. We find a diverse route to synchrony of these different observed time scales. The last system studied is a small network motif of limit cycle oscillators. Precisely, we have studied a hub motif, which serves as elementary building block for scale-free networks, a type of network found in many real world applications. These hubs are of special importance for communication and information transfer in complex networks. Here, a detailed study on the mechanism of synchronization in oscillatory networks with a broad frequency distribution has been carried out. In particular, we find a remote synchronization of nodes in the network which are not directly coupled. We also explain the responsible mechanism and its limitations and constraints. Further we derive an analytic expression for it and show that information transmission in pure phase oscillators, such as the Kuramoto type, is limited. In addition to the numerical and analytic analysis an experiment consisting of electrical circuits has been designed. The obtained results confirm the former findings. / In der vorliegenden Arbeit wurden Synchronisationsphänomene in komplexen Systemen mit mehreren Zeitskalen untersucht. Es gibt mehrere Möglichkeiten wie diese verschiedenen Zeitskalen vorkommen können. Drei verschiedene Systeme, jedes mit einer anderen Art von zeitlicher Multiskalität, wurden mit unterschiedlichen Methoden der Datenanalyse untersucht. Das erste untersuchte System ist ein ausgedehntes heterogenes Netzwerk von Neuronen mit zwei dominanten Zeitskalen, zum einen die schnelle Folge von Aktionspotenzialen und zum anderen einer abwechselnden Folge von einer Phase von Aktionspotenzialen und einer Ruhephase. Dieses System wurde numerisch integriert und mit Methoden der Phasenraumrekurrenz untersucht. Ein interessantes Ergebnis ist der unterschiedliche Übergang zur Synchronisation der Neuronen auf den beiden verschiedenen Zeitskalen. Des weiteren kann auf der schnellen Zeitskala eine anomale Synchronisation beobachtet werden, d.h. es gibt einen Bereich der Kopplungsstärke in dem es zu einer Desynchronisation kommt. Als zweites wurde, sowohl numerisch als auch experimentell, ein System von gekoppelten CO₂ Lasern untersucht, welche in einem chaotischen bursting Modus arbeiten. Dieses System ist auch durch seine Äquivalenz zu Epidemiemodellen interessant. Wir erklären die Bursts durch unterschiedliche Zeitskalen, welche durch in den chaotischen Attraktor eingebettete instabile periodische Orbits generiert werden. Wir führen eine Synchronisationsanalyse mit Hilfe der kontinuierlichen Wavelettransformation durch und finden einen unterschiedlichen Übergang zur Synchronisation auf den unterschiedlichen Zeitskalen. Das dritte analysierte System ist ein Netzwerkmotiv von Grenzzyklusoszillatoren. Genauer handelt es sich um ein Nabenmotiv, welches einen elementaren Grundbaustein von skalenfreien Netzwerken darstellt, das sind Netzwerke die eine bedeutende Rolle in vielen realen Anwendungen spielen. Diese Naben sind von besonderer Bedeutung für die Kommunikation und den Informationstransport in komplexen Netzwerken. Hierbei wurde eine detaillierte Untersuchung des Synchronisationsmechanismus in oszillatorischen Netzwerken mit einer breiten Frequenzverteilung durchgeführt. Insbesondere beobachten wir eine Fernsynchronisation von Netzwerkknoten, die nur indirekt über andere Oszillatoren miteinander gekoppelt sind. Wir erklären den zu Grunde liegenden Mechanismus und zeigen dessen Grenzen und Bedingungen auf. Des weiteren leiten wir einen analytischen Ausdruck für den Mechanismus her und zeigen, dass eine Informationsübertragung in reinen Phasenoszillatoren, wie beispielsweise vom Kuramototyp, eingeschränkt ist. Diese Ergebnisse konnten wir durch Experimente mit elektrischen Schaltkreisen bestätigen.

Netzwerke sind überall, von der elektrischen Stromversorgung über die Biochemie der Zellen, das Internet bis hin zu sozialen Netzen. Netzwerke als mathematisches Konzept haben sich in den letzten Jahren zu einem wichtigen Werkzeug der Beschreibung komplexer Systeme entwickelt. Ihre grundlegende Eigenschaft ist, dass sie aus einer grö{ss}en Anzahl dynamischer Elemente bestehen, die sich gegenseitig beeinflussen und dabei nicht linear gekoppelt sind. Die moderne Netzwerkwissenschaft will die Wechselwirkung zwischen den einzelnen Untereinheiten erklären und davon ausgehend verständlich machen, auf welche Weise Prozesse auf einem Netzwerk stattfinden können. Zum Beispiel wird untersucht, wie die Struktur sozialer Netze die Ausbreitung von Information oder von Krankheiten beeinflusst, wie die Topologie des World Wide Web das Surf-Verhalten oder die Funktionalität von Suchmaschinen beeinträchtigt oder welche Auswirkungen die Hierarchie in ökologischen Nischen auf die Populationsdynamik der einzelnen Spezies hat. Darüber hinaus gilt es herauszufinden, welche grundlegenden Prinzipien der Evolution realer Netzwerke zugrunde liegen, das heißt nach welchen Regeln sich einerseits die Untereinheiten entwickeln und welchen Einfluss andererseits deren Vernetzung hat. Die vorliegende Dissertation beschäftigt sich sowohl mit der Topologie verschiedener Netzwerke als auch mit den der Evolution zugrunde liegenden Prinzipien. Schwerpunkte liegen dabei auf den folgenden zwei Aspekten: erstens dem Einfluss von so gennanten ``vertex-pair correlations'''', das heißt Korrelationen zwischen den Untereinheiten, auf die Topologie und zweitens der Auswirkung der Geographie auf die Netzwerkentwicklung. Es wird der bedeutende Einfluss aufgezeigt, den die Korrelationen auf wichtige statistische Größen der Netzwerke haben. Weiterhin analysieren wir die Perkolationseigenschaften, die Aufschluss über die Empfindlichkeit gegenüber Störungen in der Vernetzung geben. Damit können zum Beispiel Fragen aus der Epidemiologie diskutiert werden. Es zeigt sich, dass die Topologie vieler Netzwerke und ihre Perkolationseigenschaften deutlich von Korrelationen beeinflusst werden. Schließlich untersuchen wir im letzten Teil dieser Arbeit, wie die Einbettung von Netzwerken in eine endlich-dimensionale Geographie auf die Modellierung und Entwicklung Web-ähnlicher Systeme Einfluss nimmt. / Networks are all around us, from electrical power grids to the biochemistry of cells, from the Internet to social webs. The mathematical concept of network has recently been turned into an important tool for describing complex systems, whose principal characteristic is that they consist of a large number of mutually interacting dynamical parts which are coupled in a nonlinear fashion. Modern network science attempts to explain the structure of interactions between the subunits of a system in order to understand their functioning and the processes taking place in them. It tries, for instance, to grasp how the structure of social networks affects the spread of information or human diseases, how the structure of the World Wide Web influences the search engines and surfing behavior, or how the hierarchy of ecological niches affects population dynamics. Beyond this, the ultimate goal of network science is to discover what generating principles exist behind the evolution of real systems. It tries to find the fundamental principles under which the subunits evolve, and the wiring of interactions. This thesis centres both on the study of the topological structure of networks and the analysis of the underlying principles responsible for their evolution. More specifically, it concentrates on the following aspects: the influence of vertex-pair correlations on network topology, the network percolation problem, which is closely related to the spreading of epidemics and the robustness of networks, and the effects of geography as a generating element. We show that important topological and percolation properties change considerably when modifying the connection probabilities between vertices, and that geography as well plays a crucial role in the modeling of evolving real web-like systems.

Ein wichtiger Aspekt der Analyse von dynamischen Systemen ist die Transiente einer Trajektorie. Im Kontext der Nachhaltigkeitsforschung bearbeite ich diesbezüglich zwei Fragen: (i) ”Wie kann man die Zeit zum Erreichen des Attraktors quantifizieren?“ und (ii) ”Kann man es verhindern, bestimmte Grenzen zu überschreiben und somit sicher zu bleiben?“ Bzgl. (i) analysiere ich mehrere Probleme, welche bei der Quantifizierung solcher transienter Zeiten auftreten, und definiere vier Bedingungen, die eine Antwort auf Frage (i) erfüllen soll. Weiterhin führe ich zwei Metriken, Area under Distance Curve und Regularized Reaching Time, ein, die verschiedene Aspekte der transienten Dynamik einfangen. Frage (ii) bezieht sich auf Systeme mit sowohl erwünschten und unerwünschten Zuständen als auch Möglichkeiten zur Beeinflussung. Ich stelle ”Topology of Sustainable Management“ als ein Werkzeug zur Analyse solcher Modelle vor. Diese baut auf ”Viabilitätstheorie“ auf, um den dazugehörigen Saint-Pierre Algorithmus (SPA) verwenden zu können. Ich erweitere den Algorithmus zur Schätzung von ”implicitly-defined Capure Basins“ und löse zwei substanzielle Probleme, welche häufig bei der Anwendung von SPA vorkommen. Zur Demonstration verwende ich ein Beispielmodell, das auf Klimawandel, Wirtschaftsleistung und die Transformation des Energiesystems fokussiert. Danach nutze ich funktionale Klimanetzwerke, um zu analysieren, wie sich die transien- te Phase nach großen Klimastörungen – die El Niño- und La Niña-Phasen von ENSO und die drei größten Vulkaneruptionen seit 1950 – die Telekonnektionsstruktur der globalen Oberflächentemperatur auswirkt. Die Resultate bestätigen den globalen Einfluss von ENSO durch das Zusammenbrechen der modularen Struktur des global SAT-Feldes. Dies zeigt die Emergenz starker Telekonnektionen. Weiterhin habe ich deutlich, qualitative Unterschiede zwischen diesen global Klimaextremsituationen identifizieren können. / An important feature of dynamical systems is the transient phase of a trajectory that I approach with two question: (i) “How can we properly quantify the time to reach a system’s attractor?” and (ii) “Can we avoid transgressing certain boundaries and stay safe (& just)?” In particular, I consider these questions in the context of sustainability science. Concerning (i), I analyze several problems that come up when quantifying such transient times and define four conditions that a metric answering question (i) should fulfill. Further, I introduce two metrics, Area under Distance Curve and Regularized Reaching Time, capturing two complementary aspects of the transient dynamics. Question (ii) concerns with systems having distinctions of the state space in desirable and undesirable, e.g. defined by “planetary boundaries”, and some sort of influencing/managing it. I present Topology of Sustainable Management as a tool to analyze such models. It is built on concepts from viability theory (VT) in order to use the Saint-Pierre algorithm (SPA). I extend the SPA to compute so-called implicitly defined capture basins and solve two substantial problems repeatedly occuring when using the SPA. For Demonstration, I use a three-dimensional model focusing on climate change, economic output and energy transformation. Finally, I use functional climate networks to analyze how the transient phase after major climate perturbations – the El Niño and La Niña phases of ENSO and three largest recent volcanic eruptions – influence the teleconnectivity structure of the surface area temperature field (SAT). The results confirm the existence of global effects of ENSO by breaking down the modular structure of the global SAT field, and I have identified distinct qualitative differences between theses two global climate extreme situation.

Der Zustandsraum ist ein sehr wichtiges und grundlegendes Konzept für die Untersuchung komplexer Systeme. Alle Eigenschaften des Systems können anhand der Struktur dieses Raumes verstanden werden. Aufgrund der immensen Größe des Zustandsraumes eines realen komplexen Systems ist eine vergröberte Beschreibung unumgänglich für dessen Analyse. In dieser Arbeit werden, aufbauend auf dem lang etablierten Modell der hierarchischen Bäume, spezielle Aspekte komplexer Systeme untersucht. Gleichzeitig wird das verwendete Modell in geeigneter Weise erweitert und verbessert. Im ersten Teil der Forschungsarbeit werden die Besonderheiten des Wahrscheinlichkeitsflusses an einem einzelnen Sattelpunkt einer Energielandschaft detailliert betrachtet. Die Einflüsse verschiedener Parameter wie Energietiefe, Zustandsdichte und Konnektivität werden unabhängig voneinander und im Zusammenspiel untersucht. Im zweiten Teil wird ein vollständiges System, das komplexes Verhalten zeigt, untersucht, wobei besonderes Gewicht auf seine Wechselwirkung, d.h. seinen Energieaustausch mit der Umgebung, gelegt wird. Es kann gezeigt werden, daß das hierarchische Relaxationsverhalten, welches bei anderen Varianten komplexer Systeme beobachtet werden konnte, im Baummodell bereits enthalten ist. Neben den bisher untersuchten, auf Energielandschaften basierenden Systemen besitzen auch turbulente Diffusionsprozesse hierarchische Strukturen. Im dritten Teil der Arbeit wird die Baumstruktur verwendet, um turbulente Superdiffusionsprozesse zu modellieren. Das dabei beobachtete Diffusionsverhalten wird mit vier bekannten mathematischen Modellen verglichen. Die Ergebnisse zeigen, daß nur eines der untersuchten Modelle den vom Baummodell beschriebenen turbulenten Transport in akzeptabler Weise nachbildet. / The state space is a very important and fundamental concept for the treatment of complex systems. All the system's properties can be understood by means of its structure. Due to the gigantic extent of a real system's state space, a coarse grained approach is inevitable for the analysis. In this work, based on the well established model of hierarchical trees, particular aspects of complex systems have been studied, while at the same time several extensions to the model have been made. In the first part of this research work the features of the probability flow are treated in detail at a single saddle point in the energy landscape. Influences of various parameters like energetic depth, density of states and connectivity are studied isolated and in their interaction. In the second part a whole system showing complex behavior is being considered, especially its energy exchange with the surroundings. It can be demonstrated that the hierarchical relaxation behavior observed in other realizations of complex systems is intrinsically covered by the tree model. Beside energy landscape based systems turbulent diffusion processes possess hierarchical structures, too. In the third part the tree structure has been used to model a turbulent superdiffusion process. The diffusion behavior observed there has been compared with four well known diffusion equation approaches. The results show that only one of the discussed continuum diffusion equations can model the turbulent transport based on the tree model in acceptable fashion.

Certainly one of the most powerful and important modeling languages of our time is the Calculus. But research consistently shows that students do not understand how the variables in calculus-based mathematical models relate to aspects of the systems that those models are supposed to represent. Because of this, students never access the true power of calculus: its suitability to model a wide variety of real-world systems across domains. In this paper, we describe the motivation and theoretical foundations for the DeltaTick and HotLink Replay applications, an effort to address these difficulties by a) enabling students to model a wide variety of systems in the world that change over time by defining the behaviors of that system, and b) making explicit how a system\'s behavior relates to the mathematical trends that behavior creates. These applications employ the visualization and codification of behavior rules within the NetLogo agent-based modeling environment (Wilensky, 1999), rather than mathematical symbols, as their primary building blocks. As such, they provide an alternative to traditional mathematical techniques for exploring and solving advanced modeling problems, as well as exploring the major underlying concepts of calculus.

Komplexe Netzwerke sind mächtige Werkzeuge, die die Untersuchung komplexer Systeme unterstützen. In vielen Bereichen werden komplexe Netzwerke eingesetzt, um die Dynamik interagierender Entitäten wie Neuronen, Menschen oder sogar Wettersysteme zu verstehen. Darüber hinaus erweitern sich die Anwendungsbereiche mit der stetigen Entwicklung neuer theoretischer Ansätze. In dieser Arbeit wollen wir sowohl den theoretischen Rahmen der Netzwerkwissenschaften weiterentwickeln als auch komplexe Netzwerke in der Klimatologie und der computergestützten Sozialwissenschaft anwenden. / Complex networks are powerful tools enabling the study of complex systems. In many fields, complex networks are used as a tool to gain an understanding of the dynamics of interacting entities such as neurons in a brain, humans on social media, or global weather systems. At the same time, new theoretical frameworks that extend the toolbox of Network Science promote the application of network tools in new research fields. In this thesis, we aim for both, advancing the theoretical framework of Network Science as well as applying complex networks in Climatology and Computational Social Science.

Die Modellierung komplexer Systeme mit einer großen Anzahl von Freiheitsgraden ist in den letzten Jahrzehnten zu einer großen Herausforderung geworden. In der Regel werden nur einige wenige Variablen komplexer Systeme in Form von gemessenen Zeitreihen beobachtet, während die meisten von ihnen - die möglicherweise mit den beobachteten Variablen interagieren - verborgen bleiben. In dieser Arbeit befassen wir uns mit dem Problem der Rekonstruktion und Vorhersage der zugrunde liegenden Dynamik komplexer Systeme mit Hilfe verschiedener datengestützter Ansätze. Im ersten Teil befassen wir uns mit dem umgekehrten Problem der Ableitung einer unbekannten Netzwerkstruktur komplexer Systeme, die Ausbreitungsphänomene widerspiegelt, aus beobachteten Ereignisreihen. Wir untersuchen die paarweise statistische Ähnlichkeit zwischen den Sequenzen von Ereigniszeitpunkten an allen Knotenpunkten durch Ereignissynchronisation (ES) und Ereignis-Koinzidenz-Analyse (ECA), wobei wir uns auf die Idee stützen, dass funktionale Konnektivität als Stellvertreter für strukturelle Konnektivität dienen kann. Im zweiten Teil konzentrieren wir uns auf die Rekonstruktion der zugrunde liegenden Dynamik komplexer Systeme anhand ihrer dominanten makroskopischen Variablen unter Verwendung verschiedener stochastischer Differentialgleichungen (SDEs). In dieser Arbeit untersuchen wir die Leistung von drei verschiedenen SDEs - der Langevin-Gleichung (LE), der verallgemeinerten Langevin-Gleichung (GLE) und dem Ansatz der empirischen Modellreduktion (EMR). Unsere Ergebnisse zeigen, dass die LE bessere Ergebnisse für Systeme mit schwachem Gedächtnis zeigt, während sie die zugrunde liegende Dynamik von Systemen mit Gedächtniseffekten und farbigem Rauschen nicht rekonstruieren kann. In diesen Situationen sind GLE und EMR besser geeignet, da die Wechselwirkungen zwischen beobachteten und unbeobachteten Variablen in Form von Speichereffekten berücksichtigt werden. Im letzten Teil dieser Arbeit entwickeln wir ein Modell, das auf dem Echo State Network (ESN) basiert und mit der PNF-Methode (Past Noise Forecasting) kombiniert wird, um komplexe Systeme in der realen Welt vorherzusagen. Unsere Ergebnisse zeigen, dass das vorgeschlagene Modell die entscheidenden Merkmale der zugrunde liegenden Dynamik der Klimavariabilität erfasst. / Modeling complex systems with large numbers of degrees of freedom have become a grand challenge over the past decades. Typically, only a few variables of complex systems are observed in terms of measured time series, while the majority of them – which potentially interact with the observed ones - remain hidden. Throughout this thesis, we tackle the problem of reconstructing and predicting the underlying dynamics of complex systems using different data-driven approaches. In the first part, we address the inverse problem of inferring an unknown network structure of complex systems, reflecting spreading phenomena, from observed event series. We study the pairwise statistical similarity between the sequences of event timings at all nodes through event synchronization (ES) and event coincidence analysis (ECA), relying on the idea that functional connectivity can serve as a proxy for structural connectivity. In the second part, we focus on reconstructing the underlying dynamics of complex systems from their dominant macroscopic variables using different Stochastic Differential Equations (SDEs). We investigate the performance of three different SDEs – the Langevin Equation (LE), Generalized Langevin Equation (GLE), and the Empirical Model Reduction (EMR) approach in this thesis. Our results reveal that LE demonstrates better results for systems with weak memory while it fails to reconstruct underlying dynamics of systems with memory effects and colored-noise forcing. In these situations, the GLE and EMR are more suitable candidates since the interactions between observed and unobserved variables are considered in terms of memory effects. In the last part of this thesis, we develop a model based on the Echo State Network (ESN), combined with the past noise forecasting (PNF) method, to predict real-world complex systems. Our results show that the proposed model captures the crucial features of the underlying dynamics of climate variability.

Natural language is a remarkable example of a complex dynamical system which combines variation and universal structure emerging from the interaction of millions of individuals. Understanding statistical properties of texts is not only crucial in applications of information retrieval and natural language processing, e.g. search engines, but also allow deeper insights into the organization of knowledge in the form of written text. In this thesis, we investigate the statistical and dynamical processes underlying the co-existence of universality and variability in word statistics. We combine a careful statistical analysis of large empirical databases on language usage with analytical and numerical studies of stochastic models. We find that the fat-tailed distribution of word frequencies is best described by a generalized Zipf’s law characterized by two scaling regimes, in which the values of the parameters are extremely robust with respect to time as well as the type and the size of the database under consideration depending only on the particular language. We provide an interpretation of the two regimes in terms of a distinction of words into a finite core vocabulary and a (virtually) infinite noncore vocabulary. Proposing a simple generative process of language usage, we can establish the connection to the problem of the vocabulary growth, i.e. how the number of different words scale with the database size, from which we obtain a unified perspective on different universal scaling laws simultaneously appearing in the statistics of natural language. On the one hand, our stochastic model accurately predicts the expected number of different items as measured in empirical data spanning hundreds of years and 9 orders of magnitude in size showing that the supposed vocabulary growth over time is mainly driven by database size and not by a change in vocabulary richness. On the other hand, analysis of the variation around the expected size of the vocabulary shows anomalous fluctuation scaling, i.e. the vocabulary is a nonself-averaging quantity, and therefore, fluctuations are much larger than expected. We derive how this results from topical variations in a collection of texts coming from different authors, disciplines, or times manifest in the form of correlations of frequencies of different words due to their semantic relation. We explore the consequences of topical variation in applications to language change and topic models emphasizing the difficulties (and presenting possible solutions) due to the fact that the statistics of word frequencies are characterized by a fat-tailed distribution. First, we propose an information-theoretic measure based on the Shannon-Gibbs entropy and suitable generalizations quantifying the similarity between different texts which allows us to determine how fast the vocabulary of a language changes over time. Second, we combine topic models from machine learning with concepts from community detection in complex networks in order to infer large-scale (mesoscopic) structures in a collection of texts. Finally, we study language change of individual words on historical time scales, i.e. how a linguistic innovation spreads through a community of speakers, providing a framework to quantitatively combine microscopic models of language change with empirical data that is only available on a macroscopic level (i.e. averaged over the population of speakers).

Diese Arbeit ist der Frage gewidmet, wie die Stabilität eines Stromnetzes mit seiner Topologie zusammenhängt. Stabilität wird hier mit Hilfe von Bassin-Stabilität vermessen, einer nichtlokalen und nichtlinearen Methode, mit der sich quantifizieren lässt, wie stabil ein Stromnetz gegen große Störungen ist. Netzartige Systeme werden mit den Methoden der Theorie komplexer Netzwerke beschrieben. Bassin-Stabilität wird zunächst formal eingeführt. Dann wird die Methode angewendet, und zwar einmal auf abstrakte und einmal auf konkrete Weise. Der abstrakte Ansatz ist dadurch motiviert, dass die Funktion eines Stromnetzes auf dem synchronen Zusammenwirken seiner Komponenten beruht. Er betrifft die Frage, wie generelle dynamische Netzwerke strukturiert sein sollten, um stabile Synchronisation zu unterstützen. Es stellt sich heraus, dass Netzwerke mit maximaler Bassin-Stabilität am entgegengesetzten Ende eines gewissen netzwerktheoretischen Spektrums angesiedelt sind als Netzwerke, die optimal sind in Hinsicht auf lokale Stabilität. Dies deutet darauf hin, dass in der Entwicklung von synchron funktionierenden Systemen die Optimierung auf lokale Stabilität hin und die gleichzeitige Optimierung auf nichtlokale Stabilität hin als entgegengesetzte Kräfte gewirkt haben. Der konkrete Ansatz geht aus von einem Stromnetzmodell aus der Ingenieuersliteratur. Bassin-Stabilität wird komponentenweise eingesetzt, um zu untersuchen, wie der Grad der Stabilität eines Stromnetzes gegen große Einzelknoten-Störungen beeinflusst wird von gewissen Mustern in der Netztopologie. Simulationen in einem Ensemble von Stromnetzen bringen diverse Statistiken hervor, die alle eine wesentliche Beobachtung stützen: Ausgerechnet das kostengünstigste und weitverbreitetste Anschlussschema - bestehend aus Stichleitungen - vermindert die Netzstabilität beträchtlich. Es lässt sich ein fundamentales Designprinzip ableiten: Vermeide Stichleitungen. / This thesis addresses the question how the stability of a power grid depends on the network topology. Stability is assessed here by means of basin stability, a nonlocal and nonlinear inspection scheme that allows to quantify how stable a power grid is against large perturbations. Networked systems are characterized using the instruments of complex network theory. A rigorous definition of basin stability is provided. Then, basin stability is applied once in an abstract and once in a more applied way. The abstract approach is motivated by the fact that power grids rely on the synchronous operation of their components, and focusses on the problem how general dynamical networks should be structured to support a stable synchronous state. It turns out that networks with maximum basin stability are located at the opposite end of a certain network-theoretical spectrum than networks optimal with respect to local stability. This suggests that, during the evolution of synchronizing networks, the optimization for local stability and the simultaneous optimization for nonlocal stability have acted as opposing forces. The more applied approach draws on a power grid model from the engineering literature. A component-wise version of basin stability is used to assess how a grid''s degree of stability against large single-node perturbations is influenced by certain patterns in the wiring topology. Simulations in an ensemble of power grids yield various statistics that all support one main finding: The widespread and cheapest of all connection schemes, so-called dead ends and dead trees, strongly diminish stability. The inverse is also true: `Healing'' dead ends by addition of transmission lines substantially enhances stability. This indicates a basic design principle for future power grids: avoid dead ends.