• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 2
  • Tagged with
  • 2
  • 2
  • 2
  • 2
  • 1
  • 1
  • 1
  • 1
  • 1
  • 1
  • 1
  • 1
  • 1
  • 1
  • 1
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
1

Scientific Workflows for Hadoop

Bux, Marc Nicolas 07 August 2018 (has links)
Scientific Workflows bieten flexible Möglichkeiten für die Modellierung und den Austausch komplexer Arbeitsabläufe zur Analyse wissenschaftlicher Daten. In den letzten Jahrzehnten sind verschiedene Systeme entstanden, die den Entwurf, die Ausführung und die Verwaltung solcher Scientific Workflows unterstützen und erleichtern. In mehreren wissenschaftlichen Disziplinen wachsen die Mengen zu verarbeitender Daten inzwischen jedoch schneller als die Rechenleistung und der Speicherplatz verfügbarer Rechner. Parallelisierung und verteilte Ausführung werden häufig angewendet, um mit wachsenden Datenmengen Schritt zu halten. Allerdings sind die durch verteilte Infrastrukturen bereitgestellten Ressourcen häufig heterogen, instabil und unzuverlässig. Um die Skalierbarkeit solcher Infrastrukturen nutzen zu können, müssen daher mehrere Anforderungen erfüllt sein: Scientific Workflows müssen parallelisiert werden. Simulations-Frameworks zur Evaluation von Planungsalgorithmen müssen die Instabilität verteilter Infrastrukturen berücksichtigen. Adaptive Planungsalgorithmen müssen eingesetzt werden, um die Nutzung instabiler Ressourcen zu optimieren. Hadoop oder ähnliche Systeme zur skalierbaren Verwaltung verteilter Ressourcen müssen verwendet werden. Diese Dissertation präsentiert neue Lösungen für diese Anforderungen. Zunächst stellen wir DynamicCloudSim vor, ein Simulations-Framework für Cloud-Infrastrukturen, welches verschiedene Aspekte der Variabilität adäquat modelliert. Im Anschluss beschreiben wir ERA, einen adaptiven Planungsalgorithmus, der die Ausführungszeit eines Scientific Workflows optimiert, indem er Heterogenität ausnutzt, kritische Teile des Workflows repliziert und sich an Veränderungen in der Infrastruktur anpasst. Schließlich präsentieren wir Hi-WAY, eine Ausführungsumgebung die ERA integriert und die hochgradig skalierbare Ausführungen in verschiedenen Sprachen beschriebener Scientific Workflows auf Hadoop ermöglicht. / Scientific workflows provide a means to model, execute, and exchange the increasingly complex analysis pipelines necessary for today's data-driven science. Over the last decades, scientific workflow management systems have emerged to facilitate the design, execution, and monitoring of such workflows. At the same time, the amounts of data generated in various areas of science outpaced hardware advancements. Parallelization and distributed execution are generally proposed to deal with increasing amounts of data. However, the resources provided by distributed infrastructures are subject to heterogeneity, dynamic performance changes at runtime, and occasional failures. To leverage the scalability provided by these infrastructures despite the observed aspects of performance variability, workflow management systems have to progress: Parallelization potentials in scientific workflows have to be detected and exploited. Simulation frameworks, which are commonly employed for the evaluation of scheduling mechanisms, have to consider the instability encountered on the infrastructures they emulate. Adaptive scheduling mechanisms have to be employed to optimize resource utilization in the face of instability. State-of-the-art systems for scalable distributed resource management and storage, such as Apache Hadoop, have to be supported. This dissertation presents novel solutions for these aspirations. First, we introduce DynamicCloudSim, a cloud computing simulation framework that is able to adequately model the various aspects of variability encountered in computational clouds. Secondly, we outline ERA, an adaptive scheduling policy that optimizes workflow makespan by exploiting heterogeneity, replicating bottlenecks in workflow execution, and adapting to changes in the underlying infrastructure. Finally, we present Hi-WAY, an execution engine that integrates ERA and enables the highly scalable execution of scientific workflows written in a number of languages on Hadoop.
2

Functional network macroscopes for probing past and present Earth system dynamics

Donges, Jonathan Friedemann 14 January 2013 (has links)
Vom Standpunkt des Physikers aus gesehen, ist die Erde ein dynamisches System von großer Komplexität. Funktionale Netzwerke werden aus Beobachtungs-, und Modelldaten abgeleitet oder aufgrund theoretischer Überlegungen konstruiert. Indem sie statistische Zusammenhänge oder kausale Wirkbeziehungen zwischen der Dynamik gewisser Objekte, z.B. verschiedenen Sphären des Erdsystems, Prozessen oder lokalen Feldvariablen darstellen, bieten funktionale Netzwerke einen natürlichen Ansatz zur Bearbeitung fundamentaler Probleme der Erdsystemanalyse. Dazu gehören Fragen nach dominanten, dynamischen Mustern, Telekonnektionen und Rückkopplungsschleifen in der planetaren Maschinerie, sowie nach kritischen Elementen wie Schwellwerten, sogn. Flaschenhälsen und Schaltern im Erdsystem. Der erste Teil dieser Dissertation behandelt die Theorie komplexer Netzwerke und die netzwerkbasierte Zeitreihenanalyse. Die Beiträge zur Theorie komplexer Netzwerke beinhalten Maße und Modelle zur Analyse der Topologie (i) von Netzwerken wechselwirkender Netzwerke und (ii) Netzwerken mit ungleichen Knotengewichten, sowie (iii) eine analytische Theorie zur Beschreibung von räumlichen Netzwerken. Zur Zeitreihenanalyse werden (i) Rekurrenznetzwerke als eine theoretisch gut begründete, nichtlineare Methode zum Studium multivariater Zeitreihen vorgestellt. (ii) Gekoppelte Klimanetzwerke werden als ein exploratives Werkzeug der Datenanalyse zur quantitativen Charakterisierung der komplexen statistischen Interdependenzstruktur innerhalb und zwischen distinkten Feldern von Zeitreihen eingeführt. Im zweiten Teil der Arbeit werden Anwendungen zur Detektion von dynamischen Übergängen (Kipppunkten) in Zeitreihen, sowie zum Studium von Flaschenhälsen in der atmosphärischen Zirkulationsstruktur vorgestellt. Die Analyse von Paläoklimadaten deutet auf mögliche Zusammenhänge zwischen großskaligen Veränderungen der afrikanischen Klimadynamik während des Plio-Pleistozäns und Ereignissen in der Menschheitsevolution hin. / The Earth, as viewed from a physicist''s perspective, is a dynamical system of great complexity. Functional complex networks are inferred from observational data and model runs or constructed on the basis of theoretical considerations. Representing statistical interdependencies or causal interactions between objects (e.g., Earth system subdomains, processes, or local field variables), functional complex networks are conceptually well-suited for naturally addressing some of the fundamental questions of Earth system analysis concerning, among others, major dynamical patterns, teleconnections, and feedback loops in the planetary machinery, as well as critical elements such as thresholds, bottlenecks, and switches. The first part of this thesis concerns complex network theory and network-based time series analysis. Regarding complex network theory, the novel contributions include consistent frameworks for analyzing the topology of (i) general networks of interacting networks and (ii) networks with vertices of heterogeneously distributed weights, as well as (iii) an analytical theory for describing spatial networks. In the realm of time series analysis, (i) recurrence network analysis is put forward as a theoretically founded, nonlinear technique for the study of single, but possibly multivariate time series. (ii) Coupled climate networks are introduced as an exploratory tool of data analysis for quantitatively characterizing the intricate statistical interdependency structure within and between several fields of time series. The second part presents applications for detecting dynamical transitions (tipping points) in time series and studying bottlenecks in the atmosphere''s general circulation structure. The analysis of paleoclimate data reveals a possible influence of large-scale shifts in Plio-Pleistocene African climate variability on events in human evolution.

Page generated in 0.0129 seconds