171 |
On Testing Persistent-Memory-Based SoftwareOukid, Ismail, Booss, Daniel, Lespinasse, Adrien, Lehner, Wolfgang 15 September 2022 (has links)
Leveraging Storage Class Memory (SCM) as a universal memory--i.e. as memory and storage at the same time--has deep implications on database architectures. It becomes possible to store a single copy of the data in SCM and directly operate on it at a fine granularity. However, exposing the whole database with direct access to the application dramatically increases the risk of data corruption. In this paper we propose a lightweight on-line testing framework that helps find and debug SCM-related errors that can occur upon software or power failures. Our testing framework simulates failures in critical code paths and achieves fast code coverage by leveraging call stack information to limit duplicate testing. It also partially covers the errors that might arise as a result of reordered memory operations. We show through an experimental evaluation that our testing framework is fast enough to be used with large software systems and discuss its use during the development of our in-house persistent SCM allocator.
|
172 |
Penalized Graph Partitioning based Allocation Strategy for Database-as-a-Service SystemsKiefer, Tim, Habich, Dirk, Lehner, Wolfgang 16 September 2022 (has links)
Databases as a service (DBaaS) transfer the advantages of cloud computing to data management systems, which is important for the big data era. The allocation in a DBaaS system, i.e., the mapping from databases to nodes of the infrastructure, influences performance, utilization, and cost-effectiveness of the system. Modeling databases and the underlying infrastructure as weighted graphs and using graph partitioning and mapping algorithms yields an allocation strategy. However, graph partitioning assumes that individual vertex weights add up (linearly) to partition weights. In reality, performance does usually not scale linearly with the amount of work due to contention on the hardware, on operating system resources, or on DBMS components. To overcome this issue, we propose an allocation strategy based on penalized graph partitioning in this paper. We show how existing algorithms can be modified for graphs with non-linear partition weights, i.e., vertex weights that do not sum up linearly to partition weights. We experimentally evaluate our allocation strategy in a DBaaS system with 1,000 databases on 32 nodes.
|
173 |
Herausforderungen ökologisch-ökonomischer Leistungsmessung – Literaturanalyse und Praxistest im Bereich Holz- und BrückenbauGnauck, Carsten 29 September 2011 (has links) (PDF)
Die vorliegende Ausgabe beschäftigt sich mit den Herausforderungen der ökologischen Leistungsmessung durch das Instrument der Ökobilanz. Der Fokus wird insbesondere auf Unsicherheiten gelegt. In einer einführenden Betrachtung werden Problemfelder von Ökobilanzstudien erläutert, die in den verschiedenen Phasen der Ökobilanz auftreten. Die weiteren Ausführungen konzentrieren sich auf den Bereich der Unsicherheiten. Nach einer Definition werden die Auswirkungen der Probleme systematisiert und anschließend praktische Möglichkeiten zum Umgang mit diesen erarbeitet. Eine besondere Rolle spielen dabei Datenunsicherheiten, da Ökobilanzstudien als sehr datenintensive Verfahren der Lebenszyklusanalyse bekannt sind.
Insgesamt 17 Forschungsfragen, die sich aus den theoretischen Betrachtungen ableiten, wurden anhand einer Literaturstichprobe überprüft. Diese Literaturstichprobe wurde mit dem Verfahren der computergestützten Inhaltsanalyse auf die Forschungsfragen hin untersucht, bei der insgesamt 2.000 Textstellen kodiert worden sind. Bei dieser Analyse werden zunächst allgemeine, definitorische Grundcharakteristika wie die Definition der funktionellen Einheit oder die Angabe des Allokationsverfahrens überprüft. Die tiefergreifende Untersuchung der Studien betrachtet vor allem das generelle Erkennen von Unsicherheiten im Verlauf einer Ökobilanzstudie und den Einsatz von Verfahren, um den Einfluss der Unsicherheiten auf das Ökobilanzergebnis zu verdeutlichen. Dabei stellt sich heraus, dass in weniger als 50 Prozent der Studien eine Aussage kodierbar war, die auf das Erkennen der Unsicherheiten schließen lässt. Dennoch wurden in 37 Prozent der analysierten Studien Verfahren eingesetzt, die in der Lage sind, den Einfluss von Unsicherheiten auf die Ökobilanzergebnisse zu verdeutlichen und somit den Entscheider vor Fehlentscheidungen zu bewahren.
|
174 |
Energy-Efficient In-Memory Database ComputingLehner, Wolfgang 27 June 2013 (has links) (PDF)
The efficient and flexible management of large datasets is one of the core requirements of modern business applications. Having access to consistent and up-to-date information is the foundation for operational, tactical, and strategic decision making. Within the last few years, the database community sparked a large number of extremely innovative research projects to push the envelope in the context of modern database system architectures. In this paper, we outline requirements and influencing factors to identify some of the hot research topics in database management systems. We argue that—even after 30 years of active database research—the time is right to rethink some of the core architectural principles and come up with novel approaches to meet the requirements of the next decades in data management. The sheer number of diverse and novel (e.g., scientific) application areas, the existence of modern hardware capabilities, and the need of large data centers to become more energy-efficient will be the drivers for database research in the years to come.
|
175 |
VU-Grid – Integrationsplattform für Virtuelle UnternehmenNeumann, Detlef, Teichmann, Gunter, Wehner, Frank, Engelien, Martin 15 December 2014 (has links) (PDF)
Das Projekt „Collaboration-Grid für Virtuelle Unternehmen“ (VU-Grid) ist ein Forschungsverbundprojekt, an dem die Fakultät Informatik der Technischen Universität Dresden sowie der mittelständische IT-Dienstleister SALT Solutions GmbH beteiligt sind. Das Vorhaben wird von der Sächsischen Aufbaubank gefördert.
Ziel des Forschungsvorhabens ist die prototypische Entwicklung einer Integrationsplattform (Collaboration-Grid) für die Unterstützung der veränderlichen, unternehmensübergreifenden Geschäftsprozesse im Umfeld eines IT-Dienstleisters am Beispiel der SALT Solutions GmbH. Theoretische Basis der Realisierung ist dabei das Konzept des Virtuellen Informationssystems, das im Rahmen des Dissertationsvorhabens von D. Neumann erarbeitet wurde.
|
176 |
Mitteilungen des URZ 1/2002Riedel, 27 February 2002 (has links)
Inhalt:
Jahresrückblick 2001
Der Computer und das Euro-Zeichen
Software-News
4. Chemnitzer Linux-Tag - Vortragsprogramm
|
177 |
Mitteilungen des URZ 1/2005Müller,, Riedel,, Ziegler, 17 March 2005 (has links) (PDF)
Informationen des Universitätsrechenzentrums mit Jahresrückblick 2004 zu allen Diensten des URZ
|
178 |
E-Universités : la construction d'un droit des communs du savoir / E-Universitäten : zum Recht der Wissensallmende / E-Universities : towards a law of knowledge commonsKamocki, Pawel 27 October 2017 (has links)
Une e-Université est une université qui utilise les nouvelles technologies de l'information et de la communication (NTIC) pour remplir ses missions traditionnelles : la production, la préservation et la transmission du savoir. Ses activités consistent donc à collecter et analyser les données de recherche, à diffuser les écrits scientifiques et à fournir des ressources pédagogiques numériques. Or ces biens immatériels font souvent l'objet de droits de propriété littéraire et artistique, notamment le droit d'auteur et le droit sui generis des producteurs de bases de données. Ceci oblige les e-Universités soit à obtenir des autorisations nécessaires des titulaires des monopoles, soit à avoir recours aux exceptions légales. La recherche et l'enseignement font l'objet d'exceptions légales (cf. art. L. 122-5, 3°, e) du Code de la propriété intellectuelle (CPI) et dans les art. 52a et 53 de la Urheberrechtsgesetz (UrhG)). Toutefois, celles-ci s'avèrent manifestement insuffisantes pour accommoder les activités des e-Universités. Ainsi, les législateurs nationaux ont très récemment introduit de nouvelles exceptions visant plus spécifiquement l'utilisation des NTIC dans la recherche et l'enseignement (art. L. 122-5, 10° et art. L. 342-3, 5° du CPI et les futurs art. 60a-60h de la UrhG). Une réforme en ce sens a également été proposée par la Commission Européenne (art. 3 et 4 de la proposition de la Directive sur le droit d'auteur dans le marche unique numérique). Dans ce contexte, il est souhaitable de mener le débat sur l'introduction d'une norme ouverte (de type fair use) en droit européen. Malgré cette incertitude juridique qui entoure la matière, les e-Universités n'ont pas cessé de remplir leurs missions. En effet, la communauté académique a depuis un certain temps entrepris des efforts d'autorégulation (private ordering). Le concept d'Open Science, inspiré des valeurs traditionnelles de l'éthique scientifique, a donc émergé pour promouvoir le libre partage des données de recherche (Open Research Data), des écrits scientifiques (Open Access) et des ressources pédagogiques (Open Educational Resources). Le savoir est donc perçu comme un commun (commons), dont la préservation et le développement durable sont garantis par des standards acceptés par la communauté académique. Ces standards se traduisent en langage juridique grâce aux licences publiques, telles que les Creative Commons. Ces dernières années les universités, mais aussi les organismes finançant la recherche et même les législateurs nationaux se sont activement engagés dans la promotion des communs du savoir. Ceci s'exprime à travers des "mandats" Open Access et l'instauration d'un nouveau droit de publication secondaire, d'abord en droit allemand (art. 38(4) de la UrhG) et récemment aussi en droit français (art. L. 533-4, I du Code de la recherche). / An e-University is a university that uses information and communications technology (ICT) to fulfil its traditional tasks: production, preservation and dissemination of knowledge. Its activities consist of the collection and analysis of research data, the dissemination of scientific literature and the provision of digital educational resources. However, the intangible goods required for these activities are often protected by literary and artistic property rights, such as copyright and the sui generis database right. Therefore, e-Universities are obliged to seek the permission of rights-holders or to rely on statutory exceptions. Statutory exceptions for research and teaching do exist (cf. art. L. 122-5, 3°, e) of the Code de la propriété intellectuelle (CPI) and s. 52a and 53 of the Urheberrechtsgesetz (UrhG)). They are, however, clearly insufficient to allow e-Universities to fulfil their tasks. Consequently, national legislators have recently adopted new exceptions specifically addressing the use of ICT in research and teaching (art. L. 122-5, 10° and art. L. 342-3, 5° of the CPI and the future art. 60a-60h UrhG). The European Commission has also proposed to reform EU law accordingly (art. 3 and 4 of the Proposal for a Digital Single Market Directive). In this context, it is desirable to discuss the introduction of an open (fair-use-type) norm in EU law. Despite the legal uncertainty that surrounds the question, e-Universities have not ceased to fulfil their tasks. On the contrary, efforts have been undertaken by the academic community to organise access and re-use of resources by means of private ordering. The concept of Open Science, inspired by traditional values of the ethos of science, have emerged to promote access to research data (Open Research Data), scientific literature (Open Access) and educational resources (Open Educational Resources). According to this approach, knowledge is perceived as a commons, the sustainability of which is guaranteed by standards accepted by the academic community. These standards are codified in public licenses, such as Creative Commons. In recent years not only universities, but also research funding agencies and even national legislators have actively engaged in the promotion of knowledge commons. This engagement is expressed through various Open Access mandates and the introduction of a new secondary publication right, first in German law (s. 38(4) UrhG), and more recently also in French law (art. L. 533-4, I of the Code de la recherche). / Eine E-Universität ist eine Universität, die Informations- und Kommunikationstechnologie (IKT) einsetzt, um ihre traditionellen Aufgaben zu erfüllen: Die Erzeugung, die Erhaltung und die Verbreitung von Wissen. Ihre Tätigkeiten umfassen die Sammlung und die Analyse von Forschungsdaten, die Verbreitung wissenschaftlicher Literatur und die Bereitstellung digitaler Bildungsressourcen. Allerdings unterliegen die dazu erforderlichen immateriellen Güter oftmals dem Schutz des geistigen Eigentums, beispielsweise dem Urheberrecht und dem sui-generis-Recht für Datenbanken. Deswegen sind E-Universitäten auf die Erlaubnis von Rechteinhabern oder gesetzliche Schrankenregelungen angewiesen. Es existieren bereits gesetzliche Schrankenregelungen für Forschung und Lehre (z.B. art. L. 122-5, 3°, e) Code de la propriété intellectuelle (CPI) und §§ 52a, 53 Urheberrechtsgesetz (UrhG)). Allerdings sind sie unzureichend, um E-Universitäten ihre Aufgabenerfüllung zu ermöglichen. Deswegen entschieden die nationalen Gesetzgeber, neue Schrankenregelungen speziell für die Nutzung von IKT im Bereich der Forschung und Lehre einzuführen (art. L. 122-5, 10° und art. L. 342-3, 5° CPI und §§ 60a-60h UrhG). Auch die EU-Kommission schlug eine entsprechende Änderung des Unionsrechts vor (Art. 3 und 4 des Vorschlags für eine Richtlinie über das Urheberrecht im digitalen Binnenmarkt). In diesem Zusammenhang erscheint es erstrebenswert, die Einführung einer open Regelung nach dem fair-use-Prinzip in das europäische Recht zu diskutieren. Trotz der Rechtsunsicherheit in dieser Frage haben E-Universitäten niemals aufgehört, ihre Aufgaben zu erfüllen. Vielmehr hat die akademische Gemeinschaft enorme Anstrengungen unternommen, durch eigene Dispositionen den Zugang und die Nachnutzung von Ressourcen zu ermöglichen. Inspiriert durch die traditionellen Werte des Ethos der Wissenschaft, wurde das Open Science Konzept geschaffen, um den Zugang zu Forschungsdaten (Open Research Data), wissenschaftlicher Literatur (Open Access) und Bildungsressourcen (Open Educational Resources) zu fördern. Danach ist Wissen eine Allmende, seine Nachnutzbarkeit wird durch Standards, die von der akademischen Gemeinschaft akzeptiert werden, garantiert. Diese Standards sind in öffentlichen (public) Lizenzen, wie beispielsweise Creative Commons, kodifiziert. In den letzten Jahren haben sich nicht allein Universitäten, sonst auch Agenturen für Forschungsförderung und sogar nationale Gesetzgeber aktiv in der Förderung des öffentlichen Wissensschatzes engagiert. Dieses Engagement wurde deutlich im Rahmen vieler Open-Access-Mandaten und der Einführung eines neuen Zweitveröffentlichungsrecht, das zunächst Eingang in das deutsche (§ 38 Abs. 4 UrhG) und kürzlich auch in das französische Recht (art. L. 533-4, I Code de la recherche) fand.
|
179 |
Analytical Query Processing Based on Continuous Compression of IntermediatesDamme, Patrick 02 October 2020 (has links)
Nowadays, increasingly large amounts of data are being collected in numerous areas ranging from science to industry. To gain valueable insights from these data, the importance of Online Analytical Processing (OLAP) workloads is constantly growing. At the same time, the hardware landscape is continuously evolving. On the one hand, the increasing capacities of DRAM allow database systems to store their entire data in main memory. Furthermore, the performance of microprocessors has improved tremendously in recent years through the use of sophisticated hardware techniques, such as Single Instruction Multiple Data (SIMD) extensions promising hitherto unknown processing speeds. On the other hand, the main memory bandwidth has not increased proportionately, such that the data access is now the main bottleneck for an efficient data processing.
To face these developments, in-memory column-stores have emerged as a new database architecture. These systems store each attribute of a relation separately in memory as a contiguous sequence of values. It is state-of-the-art to encode all values as integers and apply lossless lightweight integer compression to reduce the data size. This offers several advantages ranging from lower transfer times between RAM and CPU over a better utilization of the cache hierarchy to fast direct processing of compressed data. However, compression also incurs a certain computational overhead. State-of-the-art systems focus on the compression of base data. However, intermediate results generated during the execution of complex analytical queries can exceed the base data in number and total size. Since in in-memory systems, accessing intermediates is as expensive as accessing base data, intermediates should be handled as efficiently as possible, too.
While there are approaches trying to avoid intermediates whenever it is possible, we envision the orthogonal approach of efficiently representing intermediates using lightweight integer compression algorithms to reduce memory accesses. More precisely, our vision is a balanced query processing based on lightweight compression of intermediate results in in-memory column-stores. That means, all intermediates shall be represented using a suitable lightweight integer compression algorithm and processed by compression-enabled query operators to avoid a full decompression, whereby compression shall be used in a balanced way to ensure that its benefits outweigh its costs.
In this thesis, we address all important aspects of this vision. We provide an extensive overview of existing lightweight integer compression algorithms and conduct a systematical experimental survey of several of these algorithms to gain a deep understanding of their behavior. We propose a novel compression-enabled processing model for in-memory column-stores allowing a continuous compression of intermediates. Additionally, we develop novel cost-based strategies for a compression-aware secondary query optimization to make effective use of our processing model. Our end-to-end evaluation using the famous Star Schema Benchmark shows that our envisioned compression of intermediates can improve both the memory footprint and the runtime of complex analytical queries significantly.:1 Introduction
1.1 Contributions
1.2 Outline
2 Lightweight Integer Compression
2.1 Foundations
2.1.1 Disambiguation of Lightweight Integer Compression
2.1.2 Overview of Lightweight Integer Compression
2.1.3 State-of-the-Art in Lightweight Integer Compression
2.2 Experimental Survey
2.2.1 Related Work
2.2.2 Experimental Setup and Methodology
2.2.3 Evaluation of the Impact of the Data Characteristics
2.2.4 Evaluation of the Impact of the Hardware Characteristics
2.2.5 Evaluation of the Impact of the SIMD Extension
2.3 Summary and Discussion
3 Processing Compressed Intermediates
3.1 Processing Model for Compressed Intermediates
3.1.1 Related Work
3.1.2 Description of the Underlying Processing Model
3.1.3 Integration of Compression into Query Operators
3.1.4 Integration of Compression into the Overall Query Execution
3.1.5 Efficient Implementation
3.1.6 Evaluation
3.2 Direct Integer Morphing Algorithms
3.2.1 Related Work
3.2.2 Integer Morphing Algorithms
3.2.3 Example Algorithms
3.2.4 Evaluation
3.3 Summary and Discussion
4 Compression-Aware Query Optimization Strategies
4.1 Related Work
4.2 Compression-Aware Secondary Query Optimization
4.2.1 Compression-Level: Selecting a Suitable Algorithm
4.2.2 Operator-Level: Selecting Suitable Input/Output Formats
4.2.3 QEP-Level: Selecting Suitable Formats for All Involved Columns
4.3 Evaluation
4.3.1 Compression-Level: Selecting a Suitable Algorithm
4.3.2 Operator-Level: Selecting Suitable Input/Output Formats
4.3.3 Lessons Learned
4.4 Summary and Discussion
5 End-to-End Evaluation
5.1 Experimental Setup and Methodology
5.2 A Simple OLAP Query
5.3 Complex OLAP Queries: The Star Schema Benchmark
5.4 Summary and Discussion
6 Conclusion
6.1 Summary of this Thesis
6.2 Directions for Future Work
Bibliography
List of Figures
List of Tables
|
180 |
Distributed Collaboration on Versioned Decentralized RDF Knowledge BasesArndt, Natanael 30 June 2021 (has links)
Ziel dieser Arbeit ist es, die Entwicklung von RDF-Wissensbasen in verteilten kollaborativen Szenarien zu unterstützen. In dieser Arbeit wird eine neue Methodik für verteiltes kollaboratives Knowledge Engineering – „Quit“ – vorgestellt. Sie geht davon aus, dass es notwendig ist, während des gesamten Kooperationsprozesses Dissens auszudrücken und individuelle Arbeitsbereiche für jeden Mitarbeiter bereitzustellen. Der Ansatz ist von der Git-Methodik zum kooperativen Software Engineering inspiriert und basiert auf dieser. Die Analyse des Standes der Technik zeigt, dass kein System die Git-Methodik konsequent auf das Knowledge Engineering überträgt. Die Hauptmerkmale der Quit-Methodik sind unabhängige Arbeitsbereiche für jeden Benutzer und ein gemeinsamer verteilter Arbeitsbereich für die Zusammenarbeit. Während des gesamten Kollaborationsprozesses spielt die Data-Provenance eine wichtige Rolle. Zur Unterstützung der Methodik ist der Quit-Stack als eine Sammlung von Microservices implementiert, die es ermöglichen, die Semantic-Web-Datenstruktur und Standardschnittstellen in den verteilten Kollaborationsprozess zu integrieren. Zur Ergänzung der verteilten Datenerstellung werden geeignete Methoden zur Unterstützung des Datenverwaltungsprozesses erforscht. Diese Managementprozesse sind insbesondere die Erstellung und das Bearbeiten von Daten sowie die Publikation und Exploration von Daten. Die Anwendung der Methodik wird in verschiedenen Anwendungsfällen für die verteilte Zusammenarbeit an Organisationsdaten und an Forschungsdaten gezeigt. Weiterhin wird die Implementierung quantitativ mit ähnlichen Arbeiten verglichen. Abschließend lässt sich feststellen, dass der konsequente Ansatz der Quit-Methodik ein breites Spektrum von Szenarien zum verteilten Knowledge Engineering im Semantic Web ermöglicht.:Preface by Thomas Riechert
Preface by Cesare Pautasso
1 Introduction
2 Preliminaries
3 State of the Art
4 The Quit Methodology
5 The Quit Stack
6 Data Creation and Authoring
7 Publication and Exploration
8 Application and Evaluation
9 Conclusion and Future Work
Bibliography
Web References
List of Figures
List of Tables
List of Listings
List of Definitions and Acronyms
List of Namespace Prefixes / The aim of this thesis is to support the development of RDF knowledge bases in a distributed collaborative setup. In this thesis, a new methodology for distributed collaborative knowledge engineering – called Quit – is presented. It follows the premise that it is necessary to express dissent throughout a collaboration process and to provide individual workspaces for each collaborator. The approach is inspired by and based on the Git methodology for collaboration in software engineering. The state-of-the-art analysis shows that no system is consequently transferring the Git methodology to knowledge engineering. The key features of the Quit methodology are independent workspaces for each user and a shared distributed workspace for the collaboration. Throughout the whole collaboration process data provenance plays an important role. To support the methodology the Quit Stack is implemented as a collection of microservices, that allow to integrate the Semantic Web data structure and standard
interfaces with the distributed collaborative process. To complement the distributed data authoring, appropriate methods to support the data management process are researched. These management processes are in particular the creation and authoring of data as well as the publication and exploration of data. The application of the methodology is shown in various use cases for the distributed collaboration on organizational data and on research data. Further, the implementation is quantitatively compared to the related work. Finally, it can be concluded that the consequent approach followed by the Quit methodology enables a wide range of distributed Semantic Web knowledge engineering scenarios.:Preface by Thomas Riechert
Preface by Cesare Pautasso
1 Introduction
2 Preliminaries
3 State of the Art
4 The Quit Methodology
5 The Quit Stack
6 Data Creation and Authoring
7 Publication and Exploration
8 Application and Evaluation
9 Conclusion and Future Work
Bibliography
Web References
List of Figures
List of Tables
List of Listings
List of Definitions and Acronyms
List of Namespace Prefixes
|
Page generated in 0.0745 seconds