Spelling suggestions: "subject:"dataflow"" "subject:"dataflöde""
1 |
Benchmarking and Scheduling Strategies for Distributed Stream ProcessingShukla, Anshu January 2017 (has links) (PDF)
The velocity dimension of Big Data refers to the need to rapidly process data that arrives continuously as streams of messages or events. Distributed Stream Processing Systems (DSPS) refer to distributed programming and runtime platforms that allow users to define a composition of dataflow logic that are executed on distributed resources over streams of incoming messages.
A DSPS uses commodity clusters and Cloud Virtual Machines (VMs) for its execution. In order to meet the required performance for these applications, the DSPS needs to schedule these dataßows efficiently over the resources. Despite their growing use, resource scheduling for DSPSÕs tends to be done in an ad hoc manner, favoring empirical and reactive approaches, rather than a model-driven and analytical approach. Such empirical strategies may arrive at an approximate schedule for the dataflow that needs further tuning to meet the quality of service.
We propose a model-based scheduling approach that makes use of performance profiles and benchmarks developed for tasks in the dataßow to plan both the resource allocation and the resource mapping that together form the schedule planning process. We propose the Model Based Allocation (MBA) and the Slot Aware Mapping (SAM) approaches that efectively utilize knowledge of the performance model of logic tasks to provide an efficient and predictable scheduling behavior. We implemented and validate these algorithms using the popular open source Apache Storm DSPS for several micro and application dataflows. The results show that our model-driven approach is able to reduce the amount of required resources (VMs) by 30% − 50% relative to existing techniques. Also we see that our strategies o↵er a predictable behavior that ensures that the expected and actual rates supported and resources used match closely. This can enable deterministic schedule planning even under dynamic conditions.
Besides this static scheduling, we also examine the ability to dynamically consolidate tasks onto fewer VMs when the load on the dataßow decreases or the VMs get fragmented. We propose reliable task migration models for Apache Storm dataßows that are able to rapidly move the task assignment in the cluster, and resume the dataflow execution without any message loss.
|
2 |
AGORAS: Augmented Generation of Reactive Ambients on Surfaces. Towards educational places for action, discussion and reflection to support creative learning on interactive surfacesCatalá Bolós, Alejandro 19 July 2012 (has links)
La creatividad es una habilidad de especial interés para el desarrollo humano
dado que es una de las dimensiones que permite al individuo y en última
instancia a la sociedad enfrentarse a nuevos problemas y retos de forma
satisfactoria. Además de entender la creatividad como una serie de factores
relativos al individuo creativo, debe tenerse en cuenta que el grado de
motivación intrínseca, el entorno y otros factores sociales pueden tener un
efecto relevante sobre el desarrollo de esta importante habilidad, por lo que
resulta de interés explorarla en el contexto de utilización de tecnologías de la
información.
En particular, dado que los procesos comunicativos, el intercambio de ideas y
la interacción colaborativa entre individuos son un pilar fundamental en los
procesos creativos, y también que en gran medida todas ellas son características
mayormente facilitadas por las mesas interactivas, una de las principales
contribuciones de esta tesis consiste precisamente en la exploración de la
idoneidad de las superficies interactivas en tareas creativas colaborativas de
construcción en estudiantes adolescentes. Partiendo del estudio realizado, que
aporta evidencia empírica acerca de la adecuación de las superficies interactivas
como tecnología de potencial para el fomento de la creatividad, esta tesis
presenta AGORAS: un middleware para la construcción de ecosistemas de
juegos 2D para mesas interactivas, y cuya idea final es entender actividades de
aprendizaje más enriquecedoras como aquellas que permiten la propia creación
de juegos y su posterior consumo.
En el contexto de esta tesis también se ha desarrollado un toolkit básico para
construcción de interfaces de usuario para superficies interactivas, se ha
desarrollado un modelo de ecosistema basado en entidades que son simulables
de acuerdo a leyes físicas; y se ha dotado al modelo de aproximación basada en
reglas de comportamiento enriquecidas con expresiones dataflows y de su
correspondiente editor para superficies. / Catalá Bolós, A. (2012). AGORAS: Augmented Generation of Reactive Ambients on Surfaces. Towards educational places for action, discussion and reflection to support creative learning on interactive surfaces [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/16695 / Palancia
|
Page generated in 0.043 seconds