Je weiter die Zivilisation vorranschreitet, um so komplexer werden deren Errungenschaften. Die Herstellungsprozesse ziehen auch ein komplexes Management während der Produktion nach sich, da viele Menschen und Maschinen am Produktionsprozess beteiligt sind. Der Manager stellt hier einen "Single Point of Failure" dar. Das bedeutet, dass die erfolgreiche Produktion nun abhängig von der Qualität und der Fehlerfreiheit des Managers bzw. des leitetenden Personals ist. Um diesen Mangel zu beseitigen, lohnt es sich auch an dieser Stelle gewisse Prozesse zu automatisieren. Man erreicht dadurch einen höheren Grad an Fehlerfreiheit und Zuverlässigkeit. Um dies zu realisieren, werden unter anderem die Prinzipien des Workflow-Managements benutzt. Je komplexer ein Workflow wird, um so mehr Rechenleistung wird benötigt, um diesen in einem Workflow-Management-System auszuführen. Eine technische Möglichkeit dieses Problem zu lösen, stellt die Verteilung der Workflow-Management-Software dar. Verteilung bedeutet im gleichen Atemzug eine Verkomplizierung der Softwarearchitektur, wodurch sie wiederum komplizierter zu entwickeln ist. Komplexe Softwaresysteme ziehen komplexe Testprogramme und Simulationsumgebungen nach sich. Um die Entwicklung eines verteilten Workflow-Management-Systems zu unterstützen, wird in dieser Arbeit ein Simulationssystem für Workflow-Management-Systeme entworfen und implementiert. Es wird den Entwicklern eines verteilten Workflow-Management- Systems ein wertvolles Tool während der Implementierung der Software sein.

The purpose of this paper is to present all participants of the Dresden Conference the digital School Journal Revista Escolar de la Olimpiada Iberoamericana de Matemática, online since May-June 2002, with lmost 16,000 subscribers at current issue number 32. Subscribers are based all over the world, but mostly in Spain, Portugal and Latin America.

Je weiter die Zivilisation vorranschreitet, um so komplexer werden deren Errungenschaften. Die Herstellungsprozesse ziehen auch ein komplexes Management während der Produktion nach sich, da viele Menschen und Maschinen am Produktionsprozess beteiligt sind. Der Manager stellt hier einen "Single Point of Failure" dar. Das bedeutet, dass die erfolgreiche Produktion nun abhängig von der Qualität und der Fehlerfreiheit des Managers bzw. des leitetenden Personals ist. Um diesen Mangel zu beseitigen, lohnt es sich auch an dieser Stelle gewisse Prozesse zu automatisieren. Man erreicht dadurch einen höheren Grad an Fehlerfreiheit und Zuverlässigkeit. Um dies zu realisieren, werden unter anderem die Prinzipien des Workflow-Managements benutzt. Je komplexer ein Workflow wird, um so mehr Rechenleistung wird benötigt, um diesen in einem Workflow-Management-System auszuführen. Eine technische Möglichkeit dieses Problem zu lösen, stellt die Verteilung der Workflow-Management-Software dar. Verteilung bedeutet im gleichen Atemzug eine Verkomplizierung der Softwarearchitektur, wodurch sie wiederum komplizierter zu entwickeln ist. Komplexe Softwaresysteme ziehen komplexe Testprogramme und Simulationsumgebungen nach sich. Um die Entwicklung eines verteilten Workflow-Management-Systems zu unterstützen, wird in dieser Arbeit ein Simulationssystem für Workflow-Management-Systeme entworfen und implementiert. Es wird den Entwicklern eines verteilten Workflow-Management- Systems ein wertvolles Tool während der Implementierung der Software sein.

The purpose of this paper is to present all participants of the Dresden Conference the digital School Journal Revista Escolar de la Olimpiada Iberoamericana de Matemática, online since May-June 2002, with lmost 16,000 subscribers at current issue number 32. Subscribers are based all over the world, but mostly in Spain, Portugal and Latin America.

Eine der größten Herausforderungen in Data Science ist heutzutage, Daten miteinander in Beziehung zu setzen und ähnliche Daten zu finden. Hierzu kann der aus relationalen Datenbanken bekannte Join-Operator eingesetzt werden. Das Konzept der Ähnlichkeit wird häufig durch mengenbasierte Ähnlichkeitsfunktionen gemessen. Um solche Funktionen als Join-Prädikat nutzen zu können, setzt diese Arbeit voraus, dass Records aus Mengen von Tokens bestehen. Die Arbeit fokussiert sich auf den mengenbasierten Ähnlichkeitsjoin, Set Similarity Join (SSJ). Die Datenmenge, die es heute zu verarbeiten gilt, ist groß und wächst weiter. Der SSJ hingegen ist eine rechenintensive Operation. Um ihn auf großen Daten ausführen zu können, sind neue Ansätze notwendig. Diese Arbeit fokussiert sich auf das Mittel der Parallelisierung. Sie leistet folgende drei Beiträge auf dem Gebiet der SSJs. Erstens beschreibt und untersucht die Arbeit den aktuellen Stand paralleler SSJ-Ansätze. Diese Arbeit vergleicht zehn Map-Reduce-basierte Ansätze aus der Literatur sowohl analytisch als auch experimentell. Der größte Schwachpunkt aller Ansätze ist überraschenderweise eine geringe Skalierbarkeit aufgrund zu hoher Datenreplikation und/ oder ungleich verteilter Daten. Keiner der Ansätze kann den SSJ auf großen Daten berechnen. Zweitens macht die Arbeit die verfügbare hohe CPU-Parallelität moderner Rechner für den SSJ nutzbar. Sie stellt einen neuen daten-parallelen multi-threaded SSJ-Ansatz vor. Der vorgestellte Ansatz ermöglicht erhebliche Laufzeit-Beschleunigungen gegenüber der Ausführung auf einem Thread. Drittens stellt die Arbeit einen neuen hoch skalierbaren verteilten SSJ-Ansatz vor. Mit einer kostenbasierten Heuristik und einem daten-unabhängigen Skalierungsmechanismus vermeidet er Daten-Replikation und wiederholte Berechnungen. Der Ansatz beschleunigt die Join-Ausführung signifikant und ermöglicht die Ausführung auf erheblich größeren Datenmengen als bisher betrachtete parallele Ansätze. / One of today's major challenges in data science is to compare and relate data of similar nature. Using the join operation known from relational databases could help solving this problem. Given a collection of records, the join operation finds all pairs of records, which fulfill a user-chosen predicate. Real-world problems could require complex predicates, such as similarity. A common way to measure similarity are set similarity functions. In order to use set similarity functions as predicates, we assume records to be represented by sets of tokens. In this thesis, we focus on the set similarity join (SSJ) operation. The amount of data to be processed today is typically large and grows continually. On the other hand, the SSJ is a compute-intensive operation. To cope with the increasing size of input data, additional means are needed to develop scalable implementations for SSJ. In this thesis, we focus on parallelization. We make the following three major contributions to SSJ. First, we elaborate on the state-of-the-art in parallelizing SSJ. We compare ten MapReduce-based approaches from the literature analytically and experimentally. Their main limit is surprisingly a low scalability due to too high and/or skewed data replication. None of the approaches could compute the join on large datasets. Second, we leverage the abundant CPU parallelism of modern commodity hardware, which has not yet been considered to scale SSJ. We propose a novel data-parallel multi-threaded SSJ. Our approach provides significant speedups compared to single-threaded executions. Third, we propose a novel highly scalable distributed SSJ approach. With a cost-based heuristic and a data-independent scaling mechanism we avoid data replication and recomputation. A heuristic assigns similar shares of compute costs to each node. Our approach significantly scales up the join execution and processes much larger datasets than all parallel approaches designed and implemented so far.

Mit der wachsenden Popularität von GitHub, dem größten Online-Anbieter von Programm-Quellcode und der größten Kollaborationsplattform der Welt, hat es sich zu einer Big-Data-Ressource entfaltet, die eine Vielfalt von Open-Source-Repositorien (OSR) anbietet. Gegenwärtig gibt es auf GitHub mehr als eine Million Organisationen, darunter solche wie Google, Facebook, Twitter, Yahoo, CRAN, RStudio, D3, Plotly und viele mehr. GitHub verfügt über eine umfassende REST API, die es Forschern ermöglicht, wertvolle Informationen über die Entwicklungszyklen von Software und Forschung abzurufen. Unsere Arbeit verfolgt zwei Hauptziele: (I) ein automatisches OSR-Kategorisierungssystem für Data Science Teams und Softwareentwickler zu ermöglichen, das Entdeckbarkeit, Technologietransfer und Koexistenz fördert. (II) Visuelle Daten-Exploration und thematisch strukturierte Navigation innerhalb von GitHub-Organisationen für reproduzierbare Kooperationsforschung und Web-Applikationen zu etablieren. Um Mehrwert aus Big Data zu generieren, ist die Speicherung und Verarbeitung der Datensemantik und Metadaten essenziell. Ferner ist die Wahl eines geeigneten Text Mining (TM) Modells von Bedeutung. Die dynamische Kalibrierung der Metadaten-Konfigurationen, TM Modelle (VSM, GVSM, LSA), Clustering-Methoden und Clustering-Qualitätsindizes wird als "Smart Clusterization" abgekürzt. Data-Driven Documents (D3) und Three.js (3D) sind JavaScript-Bibliotheken, um dynamische, interaktive Datenvisualisierung zu erzeugen. Beide Techniken erlauben Visuelles Data Mining (VDM) in Webbrowsern, und werden als D3-3D abgekürzt. Latent Semantic Analysis (LSA) misst semantische Information durch Kontingenzanalyse des Textkorpus. Ihre Eigenschaften und Anwendbarkeit für Big-Data-Analytik werden demonstriert. "Smart clusterization", kombiniert mit den dynamischen VDM-Möglichkeiten von D3-3D, wird unter dem Begriff "Dynamic Clustering and Visualization of Smart Data via D3-3D-LSA" zusammengefasst. / With the growing popularity of GitHub, the largest host of source code and collaboration platform in the world, it has evolved to a Big Data resource offering a variety of Open Source repositories (OSR). At present, there are more than one million organizations on GitHub, among them Google, Facebook, Twitter, Yahoo, CRAN, RStudio, D3, Plotly and many more. GitHub provides an extensive REST API, which enables scientists to retrieve valuable information about the software and research development life cycles. Our research pursues two main objectives: (I) provide an automatic OSR categorization system for data science teams and software developers promoting discoverability, technology transfer and coexistence; (II) establish visual data exploration and topic driven navigation of GitHub organizations for collaborative reproducible research and web deployment. To transform Big Data into value, in other words into Smart Data, storing and processing of the data semantics and metadata is essential. Further, the choice of an adequate text mining (TM) model is important. The dynamic calibration of metadata configurations, TM models (VSM, GVSM, LSA), clustering methods and clustering quality indices will be shortened as "smart clusterization". Data-Driven Documents (D3) and Three.js (3D) are JavaScript libraries for producing dynamic, interactive data visualizations, featuring hardware acceleration for rendering complex 2D or 3D computer animations of large data sets. Both techniques enable visual data mining (VDM) in web browsers, and will be abbreviated as D3-3D. Latent Semantic Analysis (LSA) measures semantic information through co-occurrence analysis in the text corpus. Its properties and applicability for Big Data analytics will be demonstrated. "Smart clusterization" combined with the dynamic VDM capabilities of D3-3D will be summarized under the term "Dynamic Clustering and Visualization of Smart Data via D3-3D-LSA".