Skalierbares schlüssel-basiertes Routing in verteilten Systemen ist eine Methode zur Weiterleitung von Nachrichten zu den für die Partition verantwortlichen Maschinen. Diese Technik findet Verwendung in Key-Value Speichersystemen, Content Distribution Networks oder auch beim Media Streaming. Einer der Gründe für die Verbreitung ist die Einfachheit der Routingabstraktion, bei welcher der Entwickler sich nicht um die Details des Gruppenmanagements oder Datenreplikation kümmern muss. Auf der anderen Seite sind die meisten schlüssel-basierten Routingverfahren optimistische Verfahren, bei denen der Datenzugriff keine strenge Konsistenz bietet. In dieser Arbeit präsentieren wir das System Recode mit dem schlüssel-basierten Routingabstraktion routecast, welches eine strengere Zugriffssemantik ermöglicht. Dabei garantiert routecast, dass Nachrichten eines bestimmten Schlüssels in der gleichen Reihenfolge an alle Replikate geliefert werden. Mit Hilfe dieser strengeren Garantien können auch Anwendungen wie Koordinations- oder Metadatendienste bzw. konsistente Speichersysteme das schlüssel-basierte Routing verwenden. Recode ist außerdem rekonfigurierbar bei Veränderungen der zur Verfügung stehenden Maschinen sowie bei Auslastungsänderung. Es ist ein komplett dezentralisiertes System und enthält damit keinen single-point of failure oder Systemengpass. Die drei Hauptbeiträge der Arbeit sind 1) die Abstraktion der Gruppenkommunikation unter Verwendung von Primary/Backup mit Leases für ein failover des Primary, 2) die Entwicklung und die Algorithmen der routcast-Primitive, 3) Mechanismen zur atomaren Rekonfiguration des dezentralen Schlüsselraumes. Um die Einfachheit unseres Ansatzes zu betonen, beschreiben wir außerdem drei verschiedene Anwendungen aufbauend auf Recode. Abschließend zeigen wir durch die Evaluation von Recode in einer Cluster-Umgebung die Leistungsfähigkeit. / Scalable key-based routing in distributed systems, where a mes- sage is forwarded towards a machine responsible for a partition in a large key space, has been used in many services such as key-value stores, content distribution networks and media streaming. This success can mainly be attributed to the simplicity of the route ab- straction, a developer does not need to care about the mechanisms for membership management, load balancing or data replication. A limitation, however, is that most key-based routing solutions are best-effort, which means that only eventually consistent data access is possible. This thesis presents a system (Recode) with a key-based routing primitive called routecast which provides strong delivery semantics. More specifically, routecast guarantees that a message for a key is delivered in the same total order at a set of replicas. With stronger guarantees, applications such as coordination and metadata services as used in large storage systems or consistent key-value stores can use key-based routing. Additionally, Recode aims to be both re- configurable, to handle changes to the machines running the service and updates to the workload, and fully decentralized which means there is no single point of failure or bottleneck. We make three main contributions in this thesis: 1) a group com- munication abstraction using primary/backup with leases for pri- mary fail-over, 2) the design and algorithms of the routecast-primitive and, 3) mechanisms for atomic reconfiguration of a decentralized key space. Each part of the system is broken up into modules and presented with a specification and a set of algorithms. To validate the simplicity claim, we describe how to implement three different applications on top of Recode. Finally, we evaluate Recode in a cluster environment and show that the performance is competitive.

Die Arbeit widmet sich der Frage, ob sich die etablierte Technik des modellbasierten Testens (MBT) auf eine spezielle Art von Software-Komponentensystemen, den dynamischen Komponentensystemen (DCS), anwenden lässt. DCS bieten die besondere Eigenschaft, dass sich die Komposition der Komponenteninstanzen zur Laufzeit ändern kann, da in solchen Systemen jede Komponenteninstanz einen Lebenszyklus aufweist. Damit ist es möglich, im laufenden Betrieb einzelne Komponenten im Softwaresystem zu aktualisieren oder dem System neue hinzuzufügen. Derartige Eingriffe führen dazu, dass die von den Komponenteninstanzen bereitgestellte Funktionalität jederzeit eingeschränkt oder unverfügbar werden kann. Diese Eigenschaft der DCS macht die Entwicklung von Komponenten schwierig, da diese in ihrem potentiellen Verhalten darauf vorbereitet werden müssen, dass die von ihnen jeweils benötigte und genutzte Funktionalität nicht ständig verfügbar ist. Ziel dieser Dissertation ist es nun, einen systematischen Testansatz zu entwickeln, der es erlaubt, bereits während der Entwicklung von DCS-Komponenten Toleranzaussagen bzgl. ihrer dynamischen Verfügbarkeit treffen zu können. Untersucht wird, inwieweit bestehende MBT-Ansätze bei entsprechender Anpassung für den neuen Testansatz übernommen werden können. Durch die in der Dissertation entwickelten Ansätze sowie deren Implementierung und Anwendung in einer Fallstudie wird gezeigt, dass eine systematische Testfallgenerierung für dynamische Komponentensysteme mit Hilfe der Anwendung und Anpassung von modellbasierten Testtechnologien erreicht werden kann. / This dissertation devotes to the question whether the established technique of model based testing (MBT) can be applied to a special type of software component systems called dynamic component systems (DCSs). DCSs have the special characteristic that they support the change of component instance compositions during runtime of the system. In these systems, each component instance exhibits an own lifecycle. This makes it possible to update existing, or add new components to the system, while it is running. Such changes cause that functionality provided by the component instances may become restricted or unavailable at any time. This characteristic of DCSs makes the development of components difficult because required and used functionality is not available all the time. The goal of this dissertation is to develop a systematic testing approach which allows to test a component’s tolerance to dynamic availability during development time. We analyze, to what extend existing MBT approaches can be reused or adapted. The approaches of this dissertation has been implemented in a software prototype. This prototype has been used in a case study and it has been showed, that systematic test generation for DCSs can be done with the help of MBT.

No description available.

Die vorliegende Arbeit untersucht den Entwurf und die Anwendung selbstlernender Regler als intelligente Reglerkomponente im Wirkungsablauf eines Regelkreises für regelungstechnische Anwendungen. Der aufwändige Prozess der Analyse des dynamischen Systems und der Reglersynthese, welche die klassischen Entwurfsmuster der Regelungstechnik benötigen, wird dabei ersetzt durch eine lernende Reglerkomponente. Diese kann mit sehr wenig Wissen über den zu regelnden Prozess eingesetzt werden und lernt direkt durch Interaktion eine präzise Regelung auf extern vorgegebene Führungsgrößen. Der Lernvorgang basiert dabei auf einem Optimierungsprozess mit einem leistungsfähigen Batch-Reinforcement-Lernverfahren, dem ´Neural Fitted Q-Iteration´. Dieses Verfahren wird auf seine Verwendung als selbstlernender Regler untersucht. Für die in den Untersuchungen festgestellten Unzulänglichkeiten des Verfahrens bezüglich der geforderten präzisen, zeitoptimalen Regelung werden verbesserte Vorgehensweisen entwickelt, die ebenfalls auf ihre Leistungsfähigkeit untersucht werden.Für typische regelungstechnische Problemstellungen sind die diskreten Aktionen des NFQ-Verfahrens nicht ausreichend, um eine präzise Regelung auf beliebige Führungsgrößen zu erzeugen.Durch die Entwicklung einer Erweiterung des NFQ für kontinuierliche Aktionen wird die Genauigkeit und Leistungsfähigkeit der selbstlernenden Regler drastisch erhöht, ohne die benötigte Interaktionszeit am Prozess zu erhöhen.An ausgewählten Problemen der Regelung linearer und nichtlinearer Prozesse wird die Leistungsfähigkeit der entwickelten Verfahren empirisch evaluiert. Es zeigt sich dabei, dass die hier entwickelten selbstlernenden Regler mit wenigen Minuten Interaktionszeit an einem Prozess eine präzise Regelungsstrategie für beliebige externe Führungsgrößen lernen, ohne dass Expertenwissen über den Prozess vorliegt.

Zentrales Thema der Arbeit sind die im Rahmen des Projektes OSIRIS vorgenommenen Verbesserungen für den Online-Zugang zu Bibliothekskatalogen. Diese Verbesserungen werden in den Kontext der steigenden Bedeutung von Online Information gestellt, indem Schnittstellen zu Online-Bibliothekskatalogen als ein repräsentativer Sonderfall für Online-Dialogschnittstellen beschrieben werden. Nach einer Darstellung der wesentlichen Merkmale von OSIRIS (auch kontrastiv zu anderen Bemühungen im Kontext wissenschaftlicher Bibliotheken, die Recherche im Online-Katalog zu verbessern) werden die Möglichkeiten eines weiteren Systemausbaus beschrieben. Neben den für OSIRIS spezifischen Verbesserungsmöglichkeiten geht es dabei auch um die allgemein an der Schnittstelle zu erwartenden linguistischen Phänomene. Im Anschluss werden die bereits für OSIRIS durchgeführten Evaluationsmassnahmen beschrieben und anhand der Literatur versucht, allgemeine Kriterien für die Wirkung natürlichsprachlicher Schnittstellen auf die Nutzer zu identifizieren. Es werden die möglicherweise limitierenden Faktoren eines weiteren Ausbaus einer natürlichsprachlichen Dialogschnittstelle wie OSIRIS beschrieben, wobei neben den technischen Aspekten insbesondere die Wirkung von Dialogschnittstellen auf deren Benutzer erörtert wird.

Controlling a high-dimensional dynamical system with continuous state and action spaces in a partially unknown environment like a gas turbine is a challenging problem. So far often hard coded rules based on experts´ knowledge and experience are used. Machine learning techniques, which comprise the field of reinforcement learning, are generally only applied to sub-problems. A reason for this is that most standard RL approaches still fail to produce satisfactory results in those complex environments. Besides, they are rarely data-efficient, a fact which is crucial for most real-world applications, where the available amount of data is limited. In this thesis recurrent neural reinforcement learning approaches to identify and control dynamical systems in discrete time are presented. They form a novel connection between recurrent neural networks (RNN) and reinforcement learning (RL) techniques. RNN are used as they allow for the identification of dynamical systems in form of high-dimensional, non-linear state space models. Also, they have shown to be very data-efficient. In addition, a proof is given for their universal approximation capability of open dynamical systems. Moreover, it is pointed out that they are, in contrast to an often cited statement, well able to capture long-term dependencies. As a first step towards reinforcement learning, it is shown that RNN can well map and reconstruct (partially observable) MDP. In the so-called hybrid RNN approach, the resulting inner state of the network is then used as a basis for standard RL algorithms. The further developed recurrent control neural network combines system identification and determination of an optimal policy in one network. In contrast to most RL methods, it determines the optimal policy directly without making use of a value function. The methods are tested on several standard benchmark problems. In addition, they are applied to different kinds of gas turbine simulations of industrial scale.

Die Arbeit stellt ein Konzept zur Verwaltung von geowissenschaftlichen 3D Daten mit mobilen Datenbanksystemen vor. Es wird auf die derzeitigen Ansätze zur Modellierung geometrischer 3D-Datenmodelle und den Stand der Forschung bei 3D-Datenbanksystemen eingegangen, sowie ein Überblick existierender Ansätze und Forschungen auf dem Gebiet mobiler Datenbanken vorgestellt. Das Konzept basiert auf der Integration mobiler Datenbanken über ein Versionsmanagement im Server-Datenbanksystem. Das konzipierte Versionsmodell erlaubt eine intuitive Modellierung von Revisionen und alternativen Entwicklungen von 3D-Modellen in den Geowissenschaften. Die Repräsentation komplexer 3D-Geoobjekte im Versionsmanagement wird diskutiert und eine Umsetzung für das Datenmodell der simplizialen Komplexe beschrieben. Für die effiziente Speicherung und Verwaltung von Versionen wird ein Konzept der Versionsspeicherung über Änderungsoperationen aufgestellt. Ein weiterer Bereich der Arbeit beschäftigt sich mit der Datenbank auf den mobilen Endgeräten. Für die Optimierung auf die eingeschränkte Leistungsfähigkeit der mobilen Endgeräte werden Ansätze diskutiert und vereinzelt im Prototypen implementiert. Das Konzept des Versionsmanagements wird, basierend auf der prototypischen Implementierung der mobilen Datenbank und des Versionsmanagements des Server-Datenbanksystems, evaluiert. Die Evaluierung der Nutzbarkeit des Versionsansatzes erfolgt anhand eines Anwendungsszenarios Hangrutschungen. Die Evaluation zeigt die prinzipielle Anwendbarkeit des Ansatzes bei der Modellierung und Verwaltung geowissenschaftlicher Prozesse.

Extensive use of the Amudarya river waters for irrigation has severely impacted semi-natural ecosystems along its course and in its delta region. Currently, new strategies are searched for multi-user and multi-objective water management to mitigate ecological and socio-economic deterioration. The GIS-based modeling framework, TUGAI, has been developed to support exploration of alternative water management strategies for the Amudarya river delta and to analyze their ecological implications. Available information of heterogeneous type and quality on resource availability and habitat demands of deltaic ecosystems has been integrated into a comprehensive tool by a hybrid approach. A multi-objective water allocation model, AmuEPIC, has been combined with simple, spatially-explicit statistical and rule-based models of landscape dynamics, AmuGIS, and an ecological assessment procedure based on a fuzzy habitat suitability index model for riverine Tugai forests, TugaiHSI. Users can develop scenarios of alternative water management strategies for a time period of up to 30 years and compare their ecological effects. The tool facilitates a first quick assessment of the response of the delta environment to water management measures in a problem-oriented way. It assists in structuring the problem of water allocation to the environment, facilitates analysis of tradeoffs and uncertainties, fosters discussion between stakeholders and supports a goal finding process. Results of scenario analysis demonstrate solutions to given management tasks, which can serve as goals for implementation of measures in reality. First testing results indicate that there is a potential for increase of water discharge for environmental needs, while, at the same time, providing irrigation and other water users with sufficient water.

Decentralized decision-making is an active research topic in artificial intelligence. In a distributed system, a number of individually acting agents coexist. If they strive to accomplish a common goal, the establishment of coordinated cooperation between the agents is of utmost importance. With this in mind, our focus is on multi-agent reinforcement learning (RL) methods which allow for automatically acquiring cooperative policies based solely on a specification of the desired joint behavior of the whole system.The decentralization of the control and observation of the system among independent agents, however, has a significant impact on problem complexity. Therefore, we address the intricacy of learning and acting in multi-agent systems by two complementary approaches.First, we identify a subclass of general decentralized decision-making problems that features regularities in the way the agents interact with one another. We show that the complexity of optimally solving a problem instance from this class is provably lower than solving a general one.Although a lower complexity class may be entered by sticking to certain subclasses of general multi-agent problems, the computational complexitymay be still so high that optimally solving it is infeasible. Hence, our second goal is to develop techniques capable of quickly obtaining approximate solutions in the vicinity of the optimum. To this end, we will develop and utilize various model-free reinforcement learning approaches.Many real-world applications are well-suited to be formulated in terms of spatially or functionally distributed entities. Job-shop scheduling represents one such application. We are going to interpret job-shop scheduling problems as distributed sequential decision-making problems, to employ the multi-agent RL algorithms we propose for solving such problems, and to evaluate the performance of our learning approaches in the scope of various established scheduling benchmark problems.

Thema dieser Arbeit ist die automatisierte grafische Aufarbeitung der Rohdaten einer Wetter- oder Klimaprognose für das Internet, um eine interaktive Anwendung zur Betrachtung der Daten zu erhalten. Im Internet finden sich zwar Wetterdarstellungen, die gute Ansätze aufweisen, allerdings werden interaktive und dynamische Techniken nur wenig genutzt. Daher wurde erstmalig eine Software erstellt, mit der eine komplexe Web Mapping Applikation generiert werden kann, die sowohl für die Darstellung von allgemeinen geographischen Daten, als auch für die Visualisierung von räumlichen Daten mit einem zeitlichen Aspekt geeignet ist. Besonderen Wert wurde auf die Visualisierung von Wetterdaten gelegt, die in der Web Mapping Applikation komfortabel eingebunden werden können. Dadurch ist es möglich, eine interaktive und dynamische Visualisierung einer Wettervorhersage im Internet zu präsentieren. Zusätzlich wurde darauf geachtet, dass die Visualisierung einer Wettervorhersage in Kombination mit der Web Mapping Applikation automatisiert erfolgt und dennoch sehr frei und einfach konfiguriert werden kann. Es ist keinerlei Fremdsoftware erforderlich, um eine solche Web Mapping Anwendung zuerzeugen. Lediglich die zu visualisierenden Daten müssen vorhanden sein. Die in der Web Mapping Applikation vorhandenen Daten sind frei kombinierbar, Ausschnitte können gezielt betrachtet werden, eine Navigation durch die Zeit wird ermöglicht und die Wettervorhersagedaten können mit einer beliebig genauen Geographie versehen werden. Dadurch ist es erstmals gelungen eine komfortable Wettervorhersage für das Internet zu präsentieren, die eine umfangreiche Analyse der kommenden Wetterlage erlaubt. Um die Anwendbarkeit der automatisierten Prozesskette zu demonstrieren, kann eine täglich aktualisierte interaktive Wettervorhersage für Europa unter folgender URL betrachtet werden: http://www.svg-weather.de