Spelling suggestions: "subject:"computacional"" "subject:"computacionais""
21 |
Modelos Paralelos para la Resolución de Problemas de Ingeniería AgrícolaDO CARMO BORATTO, MURILO 31 March 2015 (has links)
El presente trabajo se inscribe en el campo de la computación paralela y,
más en concreto, en el desarrollo y utilización de modelos computacionales
en arquitecturas paralelas heterogéneas para la resolución de problemas
aplicados. En la tesis abordamos una serie de problemas que están relacionados
con la aplicación de la tecnología en el ámbito de las explotaciones
agrícolas y comprenden: la representación del relieve, el manejo de información
climática como la temperatura, y la gestión de recursos hídricos. El
estudio y la solución a estos problemas en el área en la que se han estudiado
tienen un amplio impacto económico y medioambiental. Los problemas basan
su formulación en un modelo matemático cuya solución es costosa desde
el punto de vista computacional, siendo incluso a veces inviable. La tesis
consiste en implementar algoritmos paralelos rápidos y eficientes que resuelven
el problema matemático asociado a estos problemas en nodos multicore
y multi-GPU. También se estudia, propone y aplican técnicas que permiten
a las rutinas diseñadas adaptarse automáticamente a las características
del sistema paralelo donde van a ser instaladas y ejecutadas con el objeto
de obtener la versión más cercana posible a la óptima a un bajo coste. El
objetivo es proporcionar un software a los usuarios que sea portable, pero
a la vez, capaz de ejecutarse eficientemente en la ordenador donde se esté
trabajando, independientemente de las características de la arquitectura y
de los conocimientos que el usuario pueda tener sobre dicha arquitectura. / Do Carmo Boratto, M. (2015). Modelos Paralelos para la Resolución de Problemas de Ingeniería Agrícola [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/48529
|
22 |
Algoritmos de Altas Prestaciones para el Cálculo de la Descomposición en Valores Singulares y su Aplicación a la Reducción de Modelos de Sistemas Lineales de ControlDa Silva Sanches de Campos, Carlos Alberto 31 March 2015 (has links)
P
ARA calcular la descomposición en valores singulares (DVS) de una matriz
real densa, los métodos tradicionales empiezan por reducir la matriz a una
forma bidiagonal y seguidamente calculan la DVS de esa matriz bidiagonal.
El proceso para reducir la matriz inicial a la forma bidiagonal es conocido
como el método de la bidiagonalización, que en general consiste en la aplicación
de sucesivas transformaciones de Householder, por la izquierda y por la derecha
de la matriz. El hecho de que las transformaciones sean aplicadas por los dos
lados de la matriz, repercute negativamente en los costes de comunicaciones de
una implementación paralela destinada a sistemas de memoria distribuida.
Ralha y Barlow presentaron dos nuevos métodos para la bidiagonalización de
matrices densas en los que las transformaciones de Householder son aplicadas
solamente por el lado derecho de la matriz. Esto permite de nir todas las
operaciones en términos de las columnas de la matriz a transformar, facilitando
así el desarrollo de implementaciones paralelas y que además reducen las
comunicaciones necesarias.
En esta tesis se ha realizado un estudio comparativo entre las implementaciones
secuenciales y paralelas de los métodos presentados por Ralha y por
Barlow, desarrolladas en el entorno de las librerías LAPACK y SCALAPACK,
y las correspondientes rutinas de estas librerías.
Como trabajo novedoso se han introducido algunas modi caciones en el
método de Barlow con el objetivo de reducir el número de comunicaciones en la
implementación paralela.
Tras estas líneas de investigación, el paso siguiente es calcular la DVS de
la matriz bidiagonal superior. Sin embargo, el problema de calcular la DVS de
una matriz bidiagonal superior puede verse como el problema de calcular la
descomposición en valores propios (DVP) de una matriz tridiagonal simétrica.
Una vez calculada la DVP de la matriz tridiagonal simétrica es posible obtener
la DVS de la matriz bidiagonal superior y con ella, la DVS de la matriz inicial.
La principal motivación para esta estrategia es el desarrollo de una
implementación paralela, sin comunicaciones, del método zeroinNR propuesto
por Ralha en su tesis doctoral, para el cálculo de la DVP de matrices
tridiagonales simétricas y el correspondiente estudio comparativo con la
implementación paralela estándar, la cual contiene comunicaciones.
Como ámbito de aplicación de la DVS se ha estudiado la reducción de
modelos de sistemas lineales de control, basado en la diagonalización simultánea
de los Gramianos de controlabilidad y de observabilidad, y nuestro enfoque va
dirigido a la reducción a la forma bidiagonal superior del producto matricial
sin calcular explícitamente ese producto y, para ello, se han desarrollado
implementaciones secuenciales y paralelas del método propuesto por Golub, por
Sølna y por van Dooren.
Los resultados presentados en esta tesis han sido obtenidos en los
recursos computacionales ofrecidos por el Grupo de Redes y Computación de
Altas Prestaciones (GRyCAP) de la Universitat Politècnica de València (UPV)
y por el consorcio SEARCH1 de la Universidad del Minho (UM). / Da Silva Sanches De Campos, CA. (2014). Algoritmos de Altas Prestaciones para el Cálculo de la Descomposición en Valores Singulares y su Aplicación a la Reducción de Modelos de Sistemas Lineales de Control [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/48531
|
23 |
MIMOPack: A High Performance Computing Library for MIMO Communication SystemsRamiro Sánchez, Carla 30 July 2015 (has links)
[EN] Nowadays, several communication standards are emerging and evolving, searching
higher transmission rates, reliability and coverage. This expansion is
primarily driven by the continued increase in consumption of mobile multimedia services
due to the emergence of new handheld devices such as smartphones and tablets.
One of the most significant techniques employed to meet these demands is the use
of multiple transmit and receive antennas, known as MIMO systems. The use of this technology allows to increase the
transmission rate and the quality of the transmission through the use of multiple antennas at the
transmitter and receiver sides.
MIMO technologies have become an essential key in several wireless standards such as WLAN, WiMAX and LTE.
These technologies will be incorporated also in future standards, therefore is
expected in the coming years a great deal of research in this field.
Clearly, the study of MIMO systems is critical in the current investigation,
however the problems that arise from this technology are very complex.
High Performance Computing (HPC) systems, and specifically, modern hardware
architectures as multi-core and many-cores (e.g Graphics Processing Units (GPU))
are playing a key role in the development of efficient and low-complexity
algorithms for MIMO transmissions. Proof of this is that the number of
scientific contributions and research projects related to its use has increased in the last years.
Also, some high performance libraries have been implemented as
tools for researchers involved in the development of future
communication standards. Two of the most popular libraries are: IT++
that is a library based on the use of some optimized libraries for multi-core
processors and the Communications System Toolbox designed for use with MATLAB, which uses GPU computing. However, there is not a library able to
run on a heterogeneous platform using all the available resources.
In view of the high computational requirements in MIMO application research and
the shortage of tools able to satisfy them, we have made a special effort to develop a
library to ease the development of adaptable parallel applications in accordance
with the different architectures of the executing platform. The library, called MIMOPack, aims to implement efficiently using parallel computing, a set of functions to perform some of the critical stages of MIMO communication systems simulation.
The main contribution of the thesis is the implementation of efficient Hard and Soft output detectors, since the detection stage is considered the most complex part of the communication process. These detectors are highly configurable and many of them include preprocessing techniques that reduce the computational cost and increase the performance.
The proposed library shows three important features: portability,
efficiency and easy of use. Current realease allows GPUs and multi-core computation, or even
simultaneously, since it is designed to use on heterogeneous machines. The interface of the functions are common to all environments
in order to simplify the use of the library. Moreover, some of the functions are callable from MATLAB increasing the portability of developed codes between different computing environments.
According to the library design and the performance assessment, we consider that MIMOPack may facilitate
industrial and academic researchers the implementation of scientific codes without having to know different programming
languages and machine architectures. This will allow to include more complex
algorithms in their simulations and obtain their results faster. This is
particularly important in the industry, since the manufacturers work
to analyze and to propose their own technologies with the aim that it will be
approved as a standard. Thus allowing to enforce their intellectual property
rights over their competitors, who should obtain the corresponding licenses
to include these technologies into their products. / [ES] En la actualidad varios estándares de comunicación están surgiendo buscando velocidades de transmisión más altas y mayor fiabilidad. Esta expansión está impulsada por el aumento en el consumo de servicios multimedia debido a la aparición de nuevos dispositivos como los smartphones y las tabletas.
Una de las técnicas empleadas más importantes es el uso de múltiples antenas de transmisión y recepción, conocida como sistemas MIMO, que permite aumentar la velocidad y la calidad de la transmisión.
Las tecnologías MIMO se han convertido en una parte esencial en diferentes estándares tales como WLAN, WiMAX y LTE.
Estas tecnologías se incorporarán también en futuros estándares, por lo tanto, se espera en los próximos años una gran cantidad de investigación en este campo.
Está claro que el estudio de los sistemas MIMO es crítico en la investigación actual, sin embargo los problemas que surgen de esta tecnología son muy complejos. La sistemas de computación de alto rendimiento, y en concreto, las arquitecturas hardware actuales como multi-core y many-core (p. ej. GPUs) están jugando un papel clave en el desarrollo de algoritmos eficientes y de baja complejidad en las transmisiones MIMO. Prueba de ello es que el número de contribuciones científicas y proyectos de investigación relacionados con su uso se han incrementado en el últimos años.
Algunas librerías de alto rendimiento se están utilizando como
herramientas por investigadores en el desarrollo de
futuros estándares. Dos de las librerías más destacadas
son: IT++ que se basa en el uso de distintas librerías optimizadas para procesadores multi-core y el paquete Communications System Toolbox diseñada para su uso con MATLAB, que utiliza computación con GPU. Sin embargo, no hay una biblioteca capaz de ejecutarse en una plataforma heterogénea.
En vista de los altos requisitos computacionales en la investigación MIMO y
la escasez de herramientas capaces de satisfacerlos, hemos implementado una
librería que facilita el desarrollo de aplicaciones paralelas adaptables de
acuerdo con las diferentes arquitecturas de la plataforma de ejecución. La
librería, llamada MIMOPack, implementa de manera eficiente un conjunto de funciones para llevar a cabo algunas de las etapas críticas en la simulación de un sistema de comunicación MIMO.
La principal aportación de la tesis es la implementación de detectores eficientes de salida Hard y Soft, ya que la etapa de detección es considerada la parte más compleja en el proceso de comunicación.
Estos detectores son altamente configurables y muchos de ellos incluyen
técnicas de preprocesamiento que reducen el coste computacional y
aumentan el rendimiento.
La librería propuesta tiene tres características importantes: la portabilidad, la eficiencia y facilidad de uso. La versión actual permite computación en GPU y multi-core, incluso simultáneamente, ya que está diseñada para ser utilizada sobre plataformas heterogéneas que explotan toda la capacidad computacional. Para facilitar el uso de la biblioteca, las interfaces de las funciones son comunes para todas las arquitecturas. Algunas de las funciones se pueden llamar desde MATLAB aumentando la portabilidad de códigos desarrollados entre los diferentes entornos.
De acuerdo con el diseño de la biblioteca y la evaluación del rendimiento,
consideramos que MIMOPack puede facilitar la implementación de códigos sin tener que saber programar con diferentes lenguajes y arquitecturas. MIMOPack permitirá incluir algoritmos más complejos en las simulaciones y obtener los resultados
más rápidamente. Esto es particularmente importante en la industria,
ya que los fabricantes trabajan para proponer sus propias tecnologías lo antes posible con el objetivo de que sean aprobadas como un estándar. De este modo, los fabricantes pueden hacer valer sus derechos de propiedad intelectual frente a sus competidores, quienes luego deben obtener las correspon / [CA] En l'actualitat diversos estàndards de comunicació estan sorgint i
evolucionant cercant velocitats de transmissió més altes i major
fiabilitat. Aquesta expansió, està impulsada pel continu augment en el consum de serveis multimèdia a causa de l'aparició de
nous dispositius portàtils com els smartphones i les tablets.
Una de les tècniques més importants és l'ús de múltiples antenes de transmissió i recepció (MIMO) que permet augmentar la velocitat de transmissió i la qualitat de transmissió.
Les tecnologies MIMO s'han convertit en una part essencial en diferents
estàndards inalàmbrics, tals com WLAN, WiMAX i LTE. Aquestes
tecnologies s'incorporaran també en futurs estàndards, per tant, s'espera en
els pròxims anys una gran quantitat d'investigació en aquest camp.
L'estudi dels sistemes MIMO és crític en la recerca actual,
no obstant açó, els problemes que sorgeixen d'aquesta tecnologia són molt
complexos. Els sistemes de computació d'alt rendiment com els multi-core i many-core (p. ej. GPUs)), estan jugant un paper clau en el desenvolupament
d'algoritmes eficients i de baixa complexitat en les transmissions MIMO. Prova
d'açò és que el nombre de contribucions científiques i projectes
d'investigació relacionats amb el seu ús s'han incrementat en els últims anys.
Algunes llibreries d'alt rendiment estan utilitzant-se com a eines
per investigadors involucrats en el desenvolupament de futurs
estàndards. Dos de les llibreries més destacades són:
IT++ que és una llibreria basada en lús de diferents llibreries optimitzades per a
processadors multi-core i el paquet Communications System Toolbox dissenyat per
al seu ús amb MATLAB, que utilitza computació amb GPU. No obstant açò, no hi ha una
biblioteca capaç d'executar-se en una plataforma heterogènia.
Degut als alts requisits computacionals en la investigació MIMO i l'escacès
d'eines capaces de satisfer-los, hem implementat
una llibreria que facilita el desenvolupament d'aplicacions paral·leles
adaptables d'acord amb les diferentes arquitectures de la plataforma
d'ejecució. La llibreria, anomenada MIMOPack, implementa
de manera eficient, un conjunt de
funcions per dur a terme algunes de les etapes crítiques en la simulació
d'un sistema de comunicació MIMO.
La principal aportació de la tesi és la implementació de detectors
eficients d'exida Hard i Soft, ja que l'etapa de detecció és considerada
la part més complexa en el procés de comunicació. Estos detectors són
altament configurables i molts d'ells inclouen tècniques de preprocessament
que redueixen el cost computacional i augmenten el rendiment. La llibreria
proposta té tres característiques importants: la portabilitat,
l'eficiència i la facilitat d'ús. La versió actual permet
computació en GPU i multi-core, fins i tot simultàniament, ja que està
dissenyada per a ser utilitzada sobre plataformes heterogènies que exploten
tota la capacitat computacional. Amb el fi de simplificar l'ús de la biblioteca,
les interfaces de les funcions són comunes per a totes les arquitectures. Algunes de
les funcions poden ser utilitzades des de MATLAB augmentant la portabilitat de
còdics desenvolupats entre els diferentes entorns.
D'acord amb el disseny de la biblioteca i l'evaluació del rendiment,
considerem que MIMOPack pot facilitar la implementació de còdics a investigadors sense haver de saber programar amb diferents llenguatges i arquitectures. MIMOPack permetrà
incloure algoritmes més complexos en les seues simulacions i obtindre els seus
resultats més ràpid. Açò és particularment important en la
industria, ja que els fabricants treballen per a proposar les seues pròpies
tecnologies el més prompte possible amb l'objectiu que siguen aprovades com un
estàndard. D'aquesta menera, els fabricants podran fer valdre els seus drets
de propietat intel·lectual enfront dels seus competidors, els qui després han
d'obtenir les corresponents llicències si vole / Ramiro Sánchez, C. (2015). MIMOPack: A High Performance Computing Library for MIMO Communication Systems [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/53930 / Premios Extraordinarios de tesis doctorales
|
24 |
Optimización de arquitecturas distribuidas para el procesado de datos masivosHerrera Hernández, José 02 September 2020 (has links)
Tesis por compendio / [ES] La utilización de sistemas para el tratamiento eficiente de grandes volúmenes de información ha crecido en popularidad durante los últimos años. Esto conlleva el desarrollo de nuevas tecnologías, métodos y algoritmos, que permitan un uso eficiente de las infraestructuras. El tratamiento de grandes volúmenes de información no está exento de numerosos problemas y retos, algunos de los cuales se tratarán de mejorar. Dentro de las posibilidades actuales debemos tener en cuenta la evolución que han tenido los sistemas durante los últimos años y las oportunidades de mejora que existan en cada uno de ellos.
El primer sistema de estudio, el Grid, constituye una aproximación inicial de procesamiento masivo y representa uno de los primeros sistemas distribuidos de tratamiento de grandes conjuntos de datos. Participando en la modernización de uno de los mecanismos de acceso a los datos se facilita la mejora de los tratamientos que se realizan en la genómica actual. Los estudios que se presentan están centrados en la transformada de Burrows-Wheeler, que ya es conocida en el análisis genómico por su capacidad para mejorar los tiempos en el alineamiento de cadenas cortas de polinucleótidos. Esta mejora en los tiempos, se perfecciona mediante la reducción de los accesos remotos con la utilización de un sistema de caché intermedia que optimiza su ejecución en un sistema Grid ya consolidado. Esta caché se implementa como complemento a la librería de acceso estándar GFAL utilizada en la infraestructura de IberGrid.
En un segundo paso se plantea el tratamiento de los datos en arquitecturas de Big Data. Las mejoras se realizan tanto en la arquitectura Lambda como Kappa mediante la búsqueda de métodos para tratar grandes volúmenes de información multimedia. Mientras que en la arquitectura Lambda se utiliza Apache Hadoop como tecnología para este tratamiento, en la arquitectura Kappa se utiliza Apache Storm como sistema de computación distribuido en tiempo real. En ambas arquitecturas se amplía el ámbito de utilización y se optimiza la ejecución mediante la aplicación de algoritmos que mejoran los problemas en cada una de las tecnologías.
El problema del volumen de datos es el centro de un último escalón, por el que se permite mejorar la arquitectura de microservicios. Teniendo en cuenta el número total de nodos que se ejecutan en sistemas de procesamiento tenemos una aproximación de las magnitudes que podemos obtener para el tratamiento de grandes volúmenes. De esta forma, la capacidad de los sistemas para aumentar o disminuir su tamaño permite un gobierno óptimo. Proponiendo un sistema bioinspirado se aporta un método de autoescalado dinámico y distribuido que mejora el comportamiento de los métodos comúnmente utilizados frente a las circunstancias cambiantes no predecibles.
Las tres magnitudes clave del Big Data, también conocidas como V's, están representadas y mejoradas: velocidad, enriqueciendo los sistemas de acceso de datos por medio de una reducción de los tiempos de tratamiento de las búsquedas en los sistemas Grid bioinformáticos; variedad, utilizando sistemas multimedia menos frecuentes que los basados en datos tabulares; y por último, volumen, incrementando las capacidades de autoescalado mediante el aprovechamiento de contenedores software y algoritmos bioinspirados. / [CA] La utilització de sistemes per al tractament eficient de grans volums d'informació ha crescut en popularitat durant els últims anys. Açò comporta el desenvolupament de noves tecnologies, mètodes i algoritmes, que aconsellen l'ús eficient de les infraestructures. El tractament de grans volums d'informació no està exempt de nombrosos problemes i reptes, alguns dels quals es tractaran de millorar. Dins de les possibilitats actuals hem de tindre en compte l'evolució que han tingut els sistemes durant els últims anys i les ocasions de millora que existisquen en cada un d'ells. El primer sistema d'estudi, el Grid, constituïx una aproximació inicial de processament massiu i representa un dels primers sistemes de tractament distribuït de grans conjunts de dades. Participant en la modernització d'un dels mecanismes d'accés a les dades es facilita la millora dels tractaments que es realitzen en la genòmica actual. Els estudis que es presenten estan centrats en la transformada de Burrows-Wheeler, que ja és coneguda en l'anàlisi genòmica per la seua capacitat per a millorar els temps en l'alineament de cadenes curtes de polinucleòtids. Esta millora en els temps, es perfecciona per mitjà de la reducció dels accessos remots amb la utilització d'un sistema de memòria cau intermèdia que optimitza la seua execució en un sistema Grid ja consolidat. Esta caché s'implementa com a complement a la llibreria d'accés estàndard GFAL utilitzada en la infraestructura d'IberGrid. En un segon pas es planteja el tractament de les dades en arquitectures de Big Data. Les millores es realitzen tant en l'arquitectura Lambda com a Kappa per mitjà de la busca de mètodes per a tractar grans volums d'informació multimèdia. Mentre que en l'arquitectura Lambda s'utilitza Apache Hadoop com a tecnologia per a este tractament, en l'arquitectura Kappa s'utilitza Apache Storm com a sistema de computació distribuït en temps real. En ambdós arquitectures s'àmplia l'àmbit d'utilització i s'optimitza l'execució per mitjà de l'aplicació d'algoritmes que milloren els problemes en cada una de les tecnologies. El problema del volum de dades és el centre d'un últim escaló, pel qual es permet millorar l'arquitectura de microserveis. Tenint en compte el nombre total de nodes que s'executen en sistemes de processament tenim una aproximació de les magnituds que podem obtindre per al tractaments de grans volums. D'aquesta manera la capacitat dels sistemes per a augmentar o disminuir la seua dimensió permet un govern òptim. Proposant un sistema bioinspirat s'aporta un mètode d'autoescalat dinàmic i distribuït que millora el comportament dels mètodes comunment utilitzats enfront de les circumstàncies canviants no predictibles. Les tres magnituds clau del Big Data, també conegudes com V's, es troben representades i millorades: velocitat, enriquint els sistemes d'accés de dades per mitjà d'una reducció dels temps de tractament de les busques en els sistemes Grid bioinformàtics; varietat, utilitzant sistemes multimèdia menys freqüents que els basats en dades tabulars; i finalment, volum, incrementant les capacitats d'autoescalat per mitjà de l'aprofitament de contenidors i algoritmes bioinspirats. / [EN] The use of systems for the efficient treatment of large data volumes has grown in popularity during the last few years. This has led to the development of new technologies, methods and algorithms to efficiently use of infrastructures. The Big Data treatment is not exempt from numerous problems and challenges, some of which will be attempted to improve. Within the existing possibilities, we must take into account the evolution that systems have had during the last years and the improvement that exists in each one.
The first system of study, the Grid, constitutes an initial approach of massive distributed processing and represents one of the first treatment systems of big data sets. By researching in the modernization of the data access mechanisms, the advance of the treatments carried out in current genomics is facilitated. The studies presented are centred on the Burrows-Wheeler Transform, which is already known in genomic analysis for its ability to improve alignment times of short polynucleotids chains. This time, the update is enhanced by reducing remote accesses by using an intermediate cache system that optimizes its execution in an already consolidated Grid system. This cache is implemented as a GFAL standard file access library complement used in IberGrid infrastructure.
In a second step, data processing in Big Data architectures is considered. Improvements are made in both the Lambda and Kappa architectures searching for methods to process large volumes of multimedia information. For the Lambda architecture, Apache Hadoop is used as the main processing technology, while for the Kappa architecture, Apache Storm is used as a real time distributed computing system. In both architectures the use scope is extended and the execution is optimized applying algorithms that improve problems for each technology.
The last step is focused on the data volume problem, which allows the improvement of the microservices architecture. The total number of nodes running in a processing system provides a measure for the capacity of processing large data volumes. This way, the ability to increase and decrease capacity allows optimal governance. By proposing a bio-inspired system, a dynamic and distributed self-scaling method is provided improving common methods when facing unpredictable workloads.
The three key magnitudes of Big Data, also known as V's, will be represented and improved: speed, enriching data access systems by reducing search processing times in bioinformatic Grid systems; variety, using multimedia data less used than tabular data; and finally, volume, increasing self-scaling capabilities using software containers and bio-inspired algorithms. / Herrera Hernández, J. (2020). Optimización de arquitecturas distribuidas para el procesado de datos masivos [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/149374 / Compendio
|
25 |
Una Aproximación de Ingeniería de Requisitos para Líneas de Productos Software Basada en una Estrategia de Desarrollo Dirigido por ModelosBlanes Domínguez, David 02 May 2016 (has links)
[EN] The Requirements Engineering (RE) activity is crucial in software engineering. A failure when defining the requirements of a system could increase the costs of the entire product development process. This problem is even more critical in the Software Product Lines (SPL) development, since the definition and specification of requirements must deal with a new dimension: requirements variability. Requirements variability is specified during the domain engineering process, in which variability points are defined so as to distinguish which requirements will be common, and which will be variable. These variability points are resolved during an application engineering activity called requirements derivation in order to obtain the requirements for a specific product.
Another paradigm that is widely applied in SPL Development is Model-Driven Software Development (MDSD). MDSD can reduce production costs by increasing software reuse. Despite this fact, the RE approaches for SPL found in literature have some weaknesses. Many of the current approaches represent the variability information in the requirements models, thus reducing the requirements' readability. Moreover, the RE approaches for SPL used during application engineering are normally limited to deriving the product requirements from the SPL requirements and do not indicate how to represent non-existent requirements in the SPL: the delta requirements. This has an undesirable effect on the flexibility of the approaches.
The aim of this thesis is to define and validate an RE approach in the context of SPL that will support the definition and specification of the requirements of an SPL, allowing them to be derived from the requirements of a product using the MDSD paradigm, and also supporting the definition and specification of delta requirements.
In this context, we have defined a process called FEDRE. During domain engineering, strategy definition and requirements specification obtained from model features are used. During application engineering, the derivation and validation of product requirements ensure that requirements meet customer needs. The necessary delta requirements could be specified, when they will be required, with the aim to prevent that product requirements are limited to a mere combination of LPS requirements.
Moreover, a technological approach based on a MDSD strategy was defined. During domain engineering, the variability of the SPL and the requirements variability are represented as multi-model views, and traceability relationships are established among them. During application engineering, the productconfiguration is defined and the requirements of the product to be built are derived using a strategy based on model transformations.
The process proposed in FEDRE has been validated using two quasi-experiments. In the first quasi-experiment, the SPL requirements were specified with the aim of validating the FEDRE domain engineering guidelines. According to the results, FeDRE was perceived as easy to use and useful as regards specifying the requirements for an SPL. In the second quasi-experiment, the requirements of a product were validated with the aim of verifying whether the customer needs where covered. In the case of their not being covered, the participants specified the delta requirements. Most of the subjects were able to correctly identify what needs were covered and which requirements had to be added as delta requirements.
This dissertation contributes to the field of development of SPL by providing a process and technology, along with an automated and generic approach with which to define and specify requirements in SPL environments. / [ES] La actividad de Ingeniería de Requisitos (IR) resulta crucial dentro de la ingeniería del software. Un fallo durante la definición de los requisitos de un sistema puede provocar sobrecostes durante todo el proceso de desarrollo. Este problema se acentúa aún más en el desarrollo de Líneas de Producto Software (LPS) debido a que la definición y especificación de los requisitos deben de tratar con una nueva dimensión: la variabilidad de los requisitos. Esta variabilidad de los requisitos de la LPS se específica durante el proceso de ingeniería del dominio, donde se definen los puntos de variabilidad que permiten diferenciar qué requisitos serán comunes y cuáles serán variables. Estos puntos de variabilidad se resuelven durante el proceso de ingeniería de la aplicación para obtener los requisitos de un producto específico, en la actividad llamada derivación de requisitos.
Otro paradigma ampliamente aplicado en las LPS es de Desarrollo de Software Dirigido por Modelos (DSDM). El DSDM puede reducir costes de producción, gracias al aumento de la reutilización de software. Sin embargo las aproximaciones actuales representan la información de la variabilidad de los requisitos exclusivamente en el mismo modelo de requisitos, perjudicando la legibilidad de los requisitos. Por otra parte durante la ingeniería de la aplicación, las aproximaciones de IR para LPS normalmente se limitan a derivar los requisitos del producto a partir de los requisitos de la LPS, pero no explicitaban cómo representar requisitos que no existían previamente en la LPS: los requisitos delta. Este hecho incide negativamente en la flexibilidad de las aproximaciones.
El objetivo de esta tesis doctoral es definir y validar una aproximación de IR en el contexto de LPS que soporte la definición y especificación de los requisitos de una LPS, permitiendo derivar a partir de ellos los requisitos de un producto haciendo uso del paradigma de DSDM, y soportando además la definición y especificación los requisitos delta.
En este contexto, se ha definido un proceso llamado FeDRE. Durante la ingeniería del dominio se utiliza una estrategia de definición y especificación de los requisitos a partir del modelo de características. Durante la ingeniería de la aplicación se cubre la derivación de los requisitos y la validación para comprobar que satisfacen las necesidades del cliente. En el caso de que fuera necesario se permiten modelar los requisitos delta, evitando que los requisitos del producto estén limitados a una mera combinación de requisitos de la LPS. Por otra parte se ha definido una aproximación tecnológica basada en una estrategia de DSDM. Durante la ingeniería del dominio se representan en un multimodelo las vistas de variabilidad de la LPS y la de requisitos, estableciendo relaciones de trazabilidad entre ellas. Durante la ingeniería de la aplicación se define una configuración del producto y se derivan, mediante una estrategia basada en transformaciones de modelos, los requisitos del producto a desarrollar.
El proceso propuesto en FeDRE se ha validado mediante dos cuasi-experimentos. El primer cuasi-experimento modelaba los requisitos de una LPS con el objetivo de validar las guías de la ingeniería del dominio de FeDRE. Los resultados mostraron que FeDRE fue percibido como fácil de usar y útil para especificar los requisitos de una LPS. En el segundo cuasi-experimento se validaron los requisitos de un producto con el objetivo de comprobar si cubrían las necesidades del cliente. En el caso de que no lo hicieran, los participantes especificaron los requisitos delta. La mayor parte de los sujetos fueron capaces de identificar correctamente qué necesidades estaba cubiertas y qué requisitos debían de añadirse como requisitos delta.
Esta tesis doctoral contribuye al campo de desarrollo de LPS proveyendo de un proceso y una aproximación tecnológica, automatizada y genérica para la definición y especificación de re / [CA] L'activitat d'Enginyeria de Requeriments (ER) és crucial dins de l'enginyeria del programari. Un error durant la definició dels requeriments d'un sistema pot provocar sobrecostos durant tot el procés de desenvolupament. Aquest problema s'accentua en el desenvolupament de Línies de Producte Software (LPS) a causa de que la definició i especificació dels requeriments han de treballar amb una nova dimensió: la variabilitat dels requeriments. Aquesta variabilitat dels requeriments de l'LPS s'especifica durant el procés d'enginyeria del domini, on es defineixen els punts de variabilitat que permeten diferenciar quins requeriments seran comuns i quins seran variables. Aquests punts de variabilitat es resolen durant el procés d'enginyeria de l'aplicació per obtenir els requeriments d'un producte específic, en l'activitat anomenada derivació de requeriments.
Un altre paradigma àmpliament aplicat a les LPS és el Desenvolupament de Programari Dirigit per Models (DSDM). El DSDM pot reduir costos de producció, gràcies a l'augment de la reutilització de programari. Malgrat això les aproximacions d'ER per a LPS presenten algunes debilitats. Moltes de les aproximacions actuals representen la informació de la variabilitat dels requeriments exclusivament en el mateix model de requeriments, perjudicant la llegibilitat dels requeriments. D'altra banda, durant l'enginyeria de l'aplicació, les aproximacions d'ER per a LPS normalment es limiten a derivar els requeriments del producte a partir dels de la LPS, però no expliciten com representar requeriments que no existien prèviament a l'LPS: els requeriments delta. Aquest fet incideix negativament en la flexibilitat de les aproximacions.
L'objectiu d'aquesta tesi doctoral és definir i validar una aproximació d'ER en el context de LPS que done suport a la definició i especificació dels requeriments d'una LPS, permetent derivar a partir d'ells els requeriments d'un producte fent ús del paradigma de DSDM i donant suport a més a la definició i especificació dels requeriments delta.
En aquest context, s'ha definit un procés anomenat FeDRE. Durant l'enginyeria del domini s'utilitza una estratègia de definició i especificació dels requeriments a partir del model de característiques. Durant l'enginyeria de l'aplicació es cobreix la derivació dels requeriments i la validació per comprovar que satisfan les necessitats del client. En el cas que fora necessari es permetrà modelar els requeriments delta, evitant que els requeriments del producte estiguen limitats a una mera combinació de requeriments de l'LPS. D'altra banda s'ha definit una aproximació tecnològica basada en una estratègia de DSDM. Durant l'enginyeria del domini es representen en un multimodel les vistes de variabilitat de l'LPS i la de requeriments, establint relacions de traçabilitat entre elles. Durant l'enginyeria de l'aplicació es defineix una configuració del producte i es deriven, mitjançant una estratègia basada en transformacions de models, els requeriments del producte a desenvolupar.
El procés proposat en FeDRE s'ha validat mitjançant dos quasi-experiments. El primer quasi-experiment modelava els requeriments d'una LPS amb l'objectiu de validar les guies de l'enginyeria del domini de FeDRE. Els resultats mostren que FeDRE va ser percebut com fàcil d'utilitzar i útil per especificar els requeriments d'una LPS. En el segon quasi-experiment es van validar els requeriments d'un producte amb l'objectiu de comprovar si cobrien les necessitats del client. En el cas que no ho feren, els participants especificaren els requeriments delta. La major part dels subjectes van ser capaços d'identificar correctament quines necessitats estaven cobertes i quins requeriments havien d'afegir com a requeriments delta.
Aquesta tesi doctoral contribueix al camp del desenvolupament de LPS proveint d'un procés i d'una aproximació tecnològica, automatitzada i genèrica per a la definició i especificació d / Blanes Domínguez, D. (2016). Una Aproximación de Ingeniería de Requisitos para Líneas de Productos Software Basada en una Estrategia de Desarrollo Dirigido por Modelos [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/63266
|
26 |
Improved Error Correction of NGS DataAlic, Andrei Stefan 15 July 2016 (has links)
Tesis por compendio / [EN] The work done for this doctorate thesis focuses on error correction of Next Generation Sequencing (NGS) data in the context of High Performance Computing (HPC).
Due to the reduction in sequencing cost, the increasing output of the sequencers and the advancements in the biological and medical sciences, the amount of NGS data has increased tremendously.
Humans alone are not able to keep pace with this explosion of information, therefore computers must assist them to ease the handle of the deluge of information generated by the sequencing machines.
Since NGS is no longer just a research topic (used in clinical routine to detect cancer mutations, for instance), requirements in performance and accuracy are more stringent.
For sequencing to be useful outside research, the analysis software must work accurately and fast.
This is where HPC comes into play.
NGS processing tools should leverage the full potential of multi-core and even distributed computing, as those platforms are extensively available.
Moreover, as the performance of the individual core has hit a barrier, current computing tendencies focus on adding more cores and explicitly split the computation to take advantage of them.
This thesis starts with a deep analysis of all these problems in a general and comprehensive way (to reach out to a very wide audience), in the form of an exhaustive and objective review of the NGS error correction field.
We dedicate a chapter to this topic to introduce the reader gradually and gently into the world of sequencing.
It presents real problems and applications of NGS that demonstrate the impact this technology has on science.
The review results in the following conclusions: the need of understanding of the specificities of NGS data samples (given the high variety of technologies and features) and the need of flexible, efficient and accurate tools for error correction as a preliminary step of any NGS postprocessing.
As a result of the explosion of NGS data, we introduce MuffinInfo.
It is a piece of software capable of extracting information from the raw data produced by the sequencer to help the user understand the data.
MuffinInfo uses HTML5, therefore it runs in almost any software and hardware environment.
It supports custom statistics to mould itself to specific requirements.
MuffinInfo can reload the results of a run which are stored in JSON format for easier integration with third party applications.
Finally, our application uses threads to perform the calculations, to load the data from the disk and to handle the UI.
In continuation to our research and as a result of the single core performance limitation, we leverage the power of multi-core computers to develop a new error correction tool.
The error correction of the NGS data is normally the first step of any analysis targeting NGS.
As we conclude from the review performed within the frame of this thesis, many projects in different real-life applications have opted for this step before further analysis.
In this sense, we propose MuffinEC, a multi-technology (Illumina, Roche 454, Ion Torrent and PacBio -experimental), any-type-of-error handling (mismatches, deletions insertions and unknown values) corrector.
It surpasses other similar software by providing higher accuracy (demonstrated by three type of tests) and using less computational resources.
It follows a multi-steps approach that starts by grouping all the reads using a k-mers based metric.
Next, it employs the powerful Smith-Waterman algorithm to refine the groups and generate Multiple Sequence Alignments (MSAs).
These MSAs are corrected by taking each column and looking for the correct base, determined by a user-adjustable percentage.
This manuscript is structured in chapters based on material that has been previously published in prestigious journals indexed by the Journal of Citation Reports (on outstanding positions) and relevant congresses. / [ES] El trabajo realizado en el marco de esta tesis doctoral se centra en la corrección de errores en datos provenientes de técnicas NGS utilizando técnicas de computación intensiva.
Debido a la reducción de costes y el incremento en las prestaciones de los secuenciadores, la cantidad de datos disponibles en NGS se ha incrementado notablemente. La utilización de computadores en el análisis de estas muestras se hace imprescindible para poder dar respuesta a la avalancha de información generada por estas técnicas. El uso de NGS transciende la investigación con numerosos ejemplos de uso clínico y agronómico, por lo que aparecen nuevas necesidades en cuanto al tiempo de proceso y la fiabilidad de los resultados. Para maximizar su aplicabilidad clínica, las técnicas de proceso de datos de NGS deben acelerarse y producir datos más precisos. En este contexto es en el que las técnicas de comptuación intensiva juegan un papel relevante. En la actualidad, es común disponer de computadores con varios núcleos de proceso e incluso utilizar múltiples computadores mediante técnicas de computación paralela distribuida. Las tendencias actuales hacia arquitecturas con un mayor número de núcleos ponen de manifiesto que es ésta una aproximación relevante.
Esta tesis comienza con un análisis de los problemas fundamentales del proceso de datos en NGS de forma general y adaptado para su comprensión por una amplia audiencia, a través de una exhaustiva revisión del estado del arte en la corrección de datos de NGS. Esta revisión introduce gradualmente al lector en las técnicas de secuenciación masiva, presentando problemas y aplicaciones reales de las técnicas de NGS, destacando el impacto de esta tecnología en ciencia. De este estudio se concluyen dos ideas principales: La necesidad de analizar de forma adecuada las características de los datos de NGS, atendiendo a la enorme variedad intrínseca que tienen las diferentes técnicas de NGS; y la necesidad de disponer de una herramienta versátil, eficiente y precisa para la corrección de errores.
En el contexto del análisis de datos, la tesis presenta MuffinInfo. La herramienta MuffinInfo es una aplicación software implementada mediante HTML5. MuffinInfo obtiene información relevante de datos crudos de NGS para favorecer el entendimiento de sus características y la aplicación de técnicas de corrección de errores, soportando además la extensión mediante funciones que implementen estadísticos definidos por el usuario. MuffinInfo almacena los resultados del proceso en ficheros JSON. Al usar HTML5, MuffinInfo puede funcionar en casi cualquier entorno hardware y software. La herramienta está implementada aprovechando múltiples hilos de ejecución por la gestión del interfaz.
La segunda conclusión del análisis del estado del arte nos lleva a la oportunidad de aplicar de forma extensiva técnicas de computación de altas prestaciones en la corrección de errores para desarrollar una herramienta que soporte múltiples tecnologías (Illumina, Roche 454, Ion Torrent y experimentalmente PacBio). La herramienta propuesta (MuffinEC), soporta diferentes tipos de errores (sustituciones, indels y valores desconocidos). MuffinEC supera los resultados obtenidos por las herramientas existentes en este ámbito. Ofrece una mejor tasa de corrección, en un tiempo muy inferior y utilizando menos recursos, lo que facilita además su aplicación en muestras de mayor tamaño en computadores convencionales. MuffinEC utiliza una aproximación basada en etapas multiples. Primero agrupa todas las secuencias utilizando la métrica de los k-mers. En segundo lugar realiza un refinamiento de los grupos mediante el alineamiento con Smith-Waterman, generando contigs. Estos contigs resultan de la corrección por columnas de atendiendo a la frecuencia individual de cada base.
La tesis se estructura por capítulos cuya base ha sido previamente publicada en revistas indexadas en posiciones dest / [CA] El treball realitzat en el marc d'aquesta tesi doctoral se centra en la correcció d'errors en dades provinents de tècniques de NGS utilitzant tècniques de computació intensiva.
A causa de la reducció de costos i l'increment en les prestacions dels seqüenciadors, la quantitat de dades disponibles a NGS s'ha incrementat notablement. La utilització de computadors en l'anàlisi d'aquestes mostres es fa imprescindible per poder donar resposta a l'allau d'informació generada per aquestes tècniques. L'ús de NGS transcendeix la investigació amb nombrosos exemples d'ús clínic i agronòmic, per la qual cosa apareixen noves necessitats quant al temps de procés i la fiabilitat dels resultats. Per a maximitzar la seua aplicabilitat clínica, les tècniques de procés de dades de NGS han d'accelerar-se i produir dades més precises. En este context és en el que les tècniques de comptuación intensiva juguen un paper rellevant. En l'actualitat, és comú disposar de computadors amb diversos nuclis de procés i inclús utilitzar múltiples computadors per mitjà de tècniques de computació paral·lela distribuïda. Les tendències actuals cap a arquitectures amb un nombre més gran de nuclis posen de manifest que és esta una aproximació rellevant.
Aquesta tesi comença amb una anàlisi dels problemes fonamentals del procés de dades en NGS de forma general i adaptat per a la seua comprensió per una àmplia audiència, a través d'una exhaustiva revisió de l'estat de l'art en la correcció de dades de NGS. Esta revisió introduïx gradualment al lector en les tècniques de seqüenciació massiva, presentant problemes i aplicacions reals de les tècniques de NGS, destacant l'impacte d'esta tecnologia en ciència. D'este estudi es conclouen dos idees principals: La necessitat d'analitzar de forma adequada les característiques de les dades de NGS, atenent a l'enorme varietat intrínseca que tenen les diferents tècniques de NGS; i la necessitat de disposar d'una ferramenta versàtil, eficient i precisa per a la correcció d'errors.
En el context de l'anàlisi de dades, la tesi presenta MuffinInfo. La ferramenta MuffinInfo és una aplicació programari implementada per mitjà de HTML5. MuffinInfo obté informació rellevant de dades crues de NGS per a afavorir l'enteniment de les seues característiques i l'aplicació de tècniques de correcció d'errors, suportant a més l'extensió per mitjà de funcions que implementen estadístics definits per l'usuari. MuffinInfo emmagatzema els resultats del procés en fitxers JSON. A l'usar HTML5, MuffinInfo pot funcionar en gairebé qualsevol entorn maquinari i programari. La ferramenta està implementada aprofitant múltiples fils d'execució per la gestió de l'interfície.
La segona conclusió de l'anàlisi de l'estat de l'art ens porta a l'oportunitat d'aplicar de forma extensiva tècniques de computació d'altes prestacions en la correcció d'errors per a desenrotllar una ferramenta que suport múltiples tecnologies (Illumina, Roche 454, Ió Torrent i experimentalment PacBio). La ferramenta proposada (MuffinEC), suporta diferents tipus d'errors (substitucions, indels i valors desconeguts). MuffinEC supera els resultats obtinguts per les ferramentes existents en este àmbit. Oferix una millor taxa de correcció, en un temps molt inferior i utilitzant menys recursos, la qual cosa facilita a més la seua aplicació en mostres més gran en computadors convencionals. MuffinEC utilitza una aproximació basada en etapes multiples. Primer agrupa totes les seqüències utilitzant la mètrica dels k-mers. En segon lloc realitza un refinament dels grups per mitjà de l'alineament amb Smith-Waterman, generant contigs. Estos contigs resulten de la correcció per columnes d'atenent a la freqüència individual de cada base.
La tesi s'estructura per capítols la base de la qual ha sigut prèviament publicada en revistes indexades en posicions destacades de l'índex del Journal of Citation Repor / Alic, AS. (2016). Improved Error Correction of NGS Data [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/67630 / Compendio
|
27 |
Management of generic and multi-platform workflows for exploiting heterogeneous environments on e-ScienceCarrión Collado, Abel Antonio 01 September 2017 (has links)
Scientific Workflows (SWFs) are widely used to model applications in e-Science. In this programming model, scientific applications are described as a set of tasks that have dependencies among them. During the last decades, the execution of scientific workflows has been successfully performed in the available computing infrastructures (supercomputers, clusters and grids) using software programs called Workflow Management Systems (WMSs), which orchestrate the workload on top of these computing infrastructures. However, because each computing infrastructure has its own architecture and each scientific applications exploits efficiently one of these infrastructures, it is necessary to organize the way in which they are executed.
WMSs need to get the most out of all the available computing and storage resources. Traditionally, scientific workflow applications have been extensively deployed in high-performance computing infrastructures (such as supercomputers and clusters) and grids. But, in the last years, the advent of cloud computing infrastructures has opened the door of using on-demand infrastructures to complement or even replace local infrastructures. However, new issues have arisen, such as the integration of hybrid resources or the compromise between infrastructure reutilization and elasticity, everything on the basis of cost-efficiency.
The main contribution of this thesis is an ad-hoc solution for managing workflows exploiting the capabilities of cloud computing orchestrators to deploy resources on demand according to the workload and to combine heterogeneous cloud providers (such as on-premise clouds and public clouds) and traditional infrastructures (supercomputers and clusters) to minimize costs and response time. The thesis does not propose yet another WMS, but demonstrates the benefits of the integration of cloud orchestration when running complex workflows. The thesis shows several configuration experiments and multiple heterogeneous backends from a realistic comparative genomics workflow called Orthosearch, to migrate memory-intensive workload to public infrastructures while keeping other blocks of the experiment running locally. The running time and cost of the experiments is computed and best practices are suggested. / Los flujos de trabajo científicos son comúnmente usados para modelar aplicaciones en e-Ciencia. En este modelo de programación, las aplicaciones científicas se describen como un conjunto de tareas que tienen dependencias entre ellas. Durante las últimas décadas, la ejecución de flujos de trabajo científicos se ha llevado a cabo con éxito en las infraestructuras de computación disponibles (supercomputadores, clústers y grids) haciendo uso de programas software llamados Gestores de Flujos de Trabajos, los cuales distribuyen la carga de trabajo en estas infraestructuras de computación. Sin embargo, debido a que cada infraestructura de computación posee su propia arquitectura y cada aplicación científica explota eficientemente una de estas infraestructuras, es necesario organizar la manera en que se ejecutan.
Los Gestores de Flujos de Trabajo necesitan aprovechar el máximo todos los recursos de computación y almacenamiento disponibles. Habitualmente, las aplicaciones científicas de flujos de trabajos han sido ejecutadas en recursos de computación de altas prestaciones (tales como supercomputadores y clústers) y grids. Sin embargo, en los últimos años, la aparición de las infraestructuras de computación en la nube ha posibilitado el uso de infraestructuras bajo demanda para complementar o incluso reemplazar infraestructuras locales. No obstante, este hecho plantea nuevas cuestiones, tales como la integración de recursos híbridos o el compromiso entre la reutilización de la infraestructura y la elasticidad, todo ello teniendo en cuenta que sea eficiente en el coste.
La principal contribución de esta tesis es una solución ad-hoc para gestionar flujos de trabajos explotando las capacidades de los orquestadores de recursos de computación en la nube para desplegar recursos bajo demando según la carga de trabajo y combinar proveedores de computación en la nube heterogéneos (privados y públicos) e infraestructuras tradicionales (supercomputadores y clústers) para minimizar el coste y el tiempo de respuesta. La tesis no propone otro gestor de flujos de trabajo más, sino que demuestra los beneficios de la integración de la orquestación de la computación en la nube cuando se ejecutan flujos de trabajo complejos. La tesis muestra experimentos con diferentes configuraciones y múltiples plataformas heterogéneas, haciendo uso de un flujo de trabajo real de genómica comparativa llamado Orthosearch, para traspasar cargas de trabajo intensivas de memoria a infraestructuras públicas mientras se mantienen otros bloques del experimento ejecutándose localmente. El tiempo de respuesta y el coste de los experimentos son calculados, además de sugerir buenas prácticas. / Els fluxos de treball científics són comunament usats per a modelar aplicacions en e-Ciència. En aquest model de programació, les aplicacions científiques es descriuen com un conjunt de tasques que tenen dependències entre elles. Durant les últimes dècades, l'execució de fluxos de treball científics s'ha dut a terme amb èxit en les infraestructures de computació disponibles (supercomputadors, clústers i grids) fent ús de programari anomenat Gestors de Fluxos de Treballs, els quals distribueixen la càrrega de treball en aquestes infraestructures de computació. No obstant açò, a causa que cada infraestructura de computació posseeix la seua pròpia arquitectura i cada aplicació científica explota eficientment una d'aquestes infraestructures, és necessari organitzar la manera en què s'executen.
Els Gestors de Fluxos de Treball necessiten aprofitar el màxim tots els recursos de computació i emmagatzematge disponibles. Habitualment, les aplicacions científiques de fluxos de treballs han sigut executades en recursos de computació d'altes prestacions (tals com supercomputadors i clústers) i grids. No obstant açò, en els últims anys, l'aparició de les infraestructures de computació en el núvol ha possibilitat l'ús d'infraestructures sota demanda per a complementar o fins i tot reemplaçar infraestructures locals. No obstant açò, aquest fet planteja noves qüestions, tals com la integració de recursos híbrids o el compromís entre la reutilització de la infraestructura i l'elasticitat, tot açò tenint en compte que siga eficient en el cost. La principal contribució d'aquesta tesi és una solució ad-hoc per a gestionar fluxos de treballs explotant les capacitats dels orquestadors de recursos de computació en el núvol per a desplegar recursos baix demande segons la càrrega de treball i combinar proveïdors de computació en el núvol heterogenis (privats i públics) i infraestructures tradicionals (supercomputadors i clústers) per a minimitzar el cost i el temps de resposta. La tesi no proposa un gestor de fluxos de treball més, sinó que demostra els beneficis de la integració de l'orquestració de la computació en el núvol quan s'executen fluxos de treball complexos. La tesi mostra experiments amb diferents configuracions i múltiples plataformes heterogènies, fent ús d'un flux de treball real de genòmica comparativa anomenat Orthosearch, per a traspassar càrregues de treball intensives de memòria a infraestructures públiques mentre es mantenen altres blocs de l'experiment executant-se localment. El temps de resposta i el cost
dels experiments són calculats, a més de suggerir bones pràctiques. / Carrión Collado, AA. (2017). Management of generic and multi-platform workflows for exploiting heterogeneous environments on e-Science [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/86179
|
28 |
Serverless Strategies and Tools in the Cloud Computing ContinuumRisco Gallardo, Sebastián 15 January 2024 (has links)
Tesis por compendio / [ES] En los últimos años, la popularidad de la computación en nube ha permitido a los usuarios acceder a recursos de cómputo, red y almacenamiento sin precedentes bajo un modelo de pago por uso. Esta popularidad ha propiciado la aparición de nuevos servicios para resolver determinados problemas informáticos a gran escala y simplificar el desarrollo y el despliegue de aplicaciones. Entre los servicios más destacados en los últimos años se encuentran las plataformas FaaS (Función como Servicio), cuyo principal atractivo es la facilidad de despliegue de pequeños fragmentos de código en determinados lenguajes de programación para realizar tareas específicas en respuesta a eventos. Estas funciones son ejecutadas en los servidores del proveedor Cloud sin que los usuarios se preocupen de su mantenimiento ni de la gestión de su elasticidad, manteniendo siempre un modelo de pago por uso de grano fino.
Las plataformas FaaS pertenecen al paradigma informático conocido como Serverless, cuyo propósito es abstraer la gestión de servidores por parte de los usuarios, permitiéndoles centrar sus esfuerzos únicamente en el desarrollo de aplicaciones. El problema del modelo FaaS es que está enfocado principalmente en microservicios y tiende a tener limitaciones en el tiempo de ejecución y en las capacidades de computación (por ejemplo, carece de soporte para hardware de aceleración como GPUs). Sin embargo, se ha demostrado que la capacidad de autoaprovisionamiento y el alto grado de paralelismo de estos servicios pueden ser muy adecuados para una mayor variedad de aplicaciones. Además, su inherente ejecución dirigida por eventos hace que las funciones sean perfectamente adecuadas para ser definidas como pasos en flujos de trabajo de procesamiento de archivos (por ejemplo, flujos de trabajo de computación científica).
Por otra parte, el auge de los dispositivos inteligentes e integrados (IoT), las innovaciones en las redes de comunicación y la necesidad de reducir la latencia en casos de uso complejos han dado lugar al concepto de Edge computing, o computación en el borde. El Edge computing consiste en el procesamiento en dispositivos cercanos a las fuentes de datos para mejorar los tiempos de respuesta. La combinación de este paradigma con la computación en nube, formando arquitecturas con dispositivos a distintos niveles en función de su proximidad a la fuente y su capacidad de cómputo, se ha acuñado como continuo de la computación en la nube (o continuo computacional).
Esta tesis doctoral pretende, por lo tanto, aplicar diferentes estrategias Serverless para permitir el despliegue de aplicaciones generalistas, empaquetadas en contenedores de software, a través de los diferentes niveles del continuo computacional. Para ello, se han desarrollado múltiples herramientas con el fin de: i) adaptar servicios FaaS de proveedores Cloud públicos; ii) integrar diferentes componentes software para definir una plataforma Serverless en infraestructuras privadas y en el borde; iii) aprovechar dispositivos de aceleración en plataformas Serverless; y iv) facilitar el despliegue de aplicaciones y flujos de trabajo a través de interfaces de usuario. Además, se han creado y adaptado varios casos de uso para evaluar los desarrollos conseguidos. / [CA] En els últims anys, la popularitat de la computació al núvol ha permès als usuaris accedir a recursos de còmput, xarxa i emmagatzematge sense precedents sota un model de pagament per ús. Aquesta popularitat ha propiciat l'aparició de nous serveis per resoldre determinats problemes informàtics a gran escala i simplificar el desenvolupament i desplegament d'aplicacions. Entre els serveis més destacats en els darrers anys hi ha les plataformes FaaS (Funcions com a Servei), el principal atractiu de les quals és la facilitat de desplegament de petits fragments de codi en determinats llenguatges de programació per realitzar tasques específiques en resposta a esdeveniments. Aquestes funcions són executades als servidors del proveïdor Cloud sense que els usuaris es preocupen del seu manteniment ni de la gestió de la seva elasticitat, mantenint sempre un model de pagament per ús de gra fi.
Les plataformes FaaS pertanyen al paradigma informàtic conegut com a Serverless, el propòsit del qual és abstraure la gestió de servidors per part dels usuaris, permetent centrar els seus esforços únicament en el desenvolupament d'aplicacions. El problema del model FaaS és que està enfocat principalment a microserveis i tendeix a tenir limitacions en el temps d'execució i en les capacitats de computació (per exemple, no té suport per a maquinari d'acceleració com GPU). Tot i això, s'ha demostrat que la capacitat d'autoaprovisionament i l'alt grau de paral·lelisme d'aquests serveis poden ser molt adequats per a més aplicacions. A més, la seva inherent execució dirigida per esdeveniments fa que les funcions siguen perfectament adequades per ser definides com a passos en fluxos de treball de processament d'arxius (per exemple, fluxos de treball de computació científica).
D'altra banda, l'auge dels dispositius intel·ligents i integrats (IoT), les innovacions a les xarxes de comunicació i la necessitat de reduir la latència en casos d'ús complexos han donat lloc al concepte d'Edge computing, o computació a la vora. L'Edge computing consisteix en el processament en dispositius propers a les fonts de dades per millorar els temps de resposta. La combinació d'aquest paradigma amb la computació en núvol, formant arquitectures amb dispositius a diferents nivells en funció de la proximitat a la font i la capacitat de còmput, s'ha encunyat com a continu de la computació al núvol (o continu computacional).
Aquesta tesi doctoral pretén, doncs, aplicar diferents estratègies Serverless per permetre el desplegament d'aplicacions generalistes, empaquetades en contenidors de programari, a través dels diferents nivells del continu computacional. Per això, s'han desenvolupat múltiples eines per tal de: i) adaptar serveis FaaS de proveïdors Cloud públics; ii) integrar diferents components de programari per definir una plataforma Serverless en infraestructures privades i a la vora; iii) aprofitar dispositius d'acceleració a plataformes Serverless; i iv) facilitar el desplegament d'aplicacions i fluxos de treball mitjançant interfícies d'usuari. A més, s'han creat i s'han adaptat diversos casos d'ús per avaluar els desenvolupaments aconseguits. / [EN] In recent years, the popularity of Cloud computing has allowed users to access unprecedented compute, network, and storage resources under a pay-per-use model. This popularity led to new services to solve specific large-scale computing challenges and simplify the development and deployment of applications. Among the most prominent services in recent years are FaaS (Function as a Service) platforms, whose primary appeal is the ease of deploying small pieces of code in certain programming languages to perform specific tasks on an event-driven basis. These functions are executed on the Cloud provider's servers without users worrying about their maintenance or elasticity management, always keeping a fine-grained pay-per-use model.
FaaS platforms belong to the computing paradigm known as Serverless, which aims to abstract the management of servers from the users, allowing them to focus their efforts solely on the development of applications. The problem with FaaS is that it focuses on microservices and tends to have limitations regarding the execution time and the computing capabilities (e.g. lack of support for acceleration hardware such as GPUs). However, it has been demonstrated that the self-provisioning capability and high degree of parallelism of these services can be well suited to broader applications. In addition, their inherent event-driven triggering makes functions perfectly suitable to be defined as steps in file processing workflows (e.g. scientific computing workflows).
Furthermore, the rise of smart and embedded devices (IoT), innovations in communication networks and the need to reduce latency in challenging use cases have led to the concept of Edge computing. Edge computing consists of conducting the processing on devices close to the data sources to improve response times. The coupling of this paradigm together with Cloud computing, involving architectures with devices at different levels depending on their proximity to the source and their compute capability, has been coined as Cloud Computing Continuum (or Computing Continuum).
Therefore, this PhD thesis aims to apply different Serverless strategies to enable the deployment of generalist applications, packaged in software containers, across the different tiers of the Cloud Computing Continuum. To this end, multiple tools have been developed in order to: i) adapt FaaS services from public Cloud providers; ii) integrate different software components to define a Serverless platform on on-premises and Edge infrastructures; iii) leverage acceleration devices on Serverless platforms; and iv) facilitate the deployment of applications and workflows through user interfaces. Additionally, several use cases have been created and adapted to assess the developments achieved. / Risco Gallardo, S. (2023). Serverless Strategies and Tools in the Cloud Computing Continuum [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/202013 / Compendio
|
29 |
[en] AN INTEGRATED SYSTEM FOR NUMERICAL SIMULATIONS IN COMPUTATIONAL MECHANICS / [es] UN SISTEMA INTEGRADO PARA SIMULACIONES EN MECÁNICA COMPUTACIONAL / [pt] UM SISTEMA INTEGRADO CONFIGURÁVEL PARA SIMULAÇÕES EM MECÂNICA COMPUTACIONALWILLIAM WAGNER MATOS LIRA 11 April 2001 (has links)
[pt] Este trabalho dá continuidade ao desenvolvimento de uma
metodologia para extensão e configuração de aplicações
gráficas interativas utilizadas em simulações baseadas no
método dos elementos finitos (MEF). Novos atributos
requisitados pelos módulos de análise podem ser
facilmente
incluídos nos pré- e pós-processadores. Os atributos são
definidos, através de uma linguagem de extensão
interpretada relativamente simples, em um arquivo de
configuração. A configuração e extensão é feita a partir
da
criação de classes e métodos, no contexto da programação
orientada a objetos, de atributos da simulação. Esta
metodologia foi implementada no desenvolvimento de um
sistema integrado para simulações numéricas de problemas
bidimensionais em geotecnia pelo MEF.
A tese apresenta, inicialmente, uma discussão sobre a
evolução dos sistemas utilizados para simulações
numéricas
na mecânica computacional, desenvolvidos no Departamento
de
Engenharia Civil da PUC-Rio, indicando os problemas
existentes. A seguir, é apresentada uma extensão da
arquitetura do módulo utilizado para o gerenciamento e
extensão configurável dos atributos (ESAM), que,
originalmente, considerava uma abordagem onde atributos
só
podiam ser aplicados a entidades geométricas. A nova
arquitetura permite que atributos também possam ser
aplicados diretamente em nós e elementos de uma malha de
elementos finitos.
O sistema implementado através da integração dos módulos
utilizados para pré-processamento, análise numérica e pós-
processamento com o módulo de gerenciamento de atributos
resultou em um sistema bastante flexível, podendo ser
estendido por um usuário configurador para diversos
outros
tipos de simulação.
As fases envolvidas em um processo de simulação na
mecânica
computacional (definição da geometria, especificação dos
atributos, geração da malha de elementos finitos, análise
numérica e visualização dos resultados) são ilustradas em
um exemplo de aplicação do sistema proposto. / [en] This work continues the development of a methodology for
extension and
configuration of interactive graphics applications utilized
on a finite element
simulations. New attributes necessary for the analysis
modules can be easily included in
pre- and post-processor modules. The attributes are
defined, through a relatively
simple interpreted extension language, in a configuration
file. The extension and
configuration is performed through the creation of classes
and methods, in the context
of object oriented programming, of simulation attributes.
This methodology was
implemented in development of an integrated system for two-
dimensional numerical
simulation of geotechnical problems by the finite element
method.
The dissertation presents, initially, a discussion on the
evolution of the systems used
for numerical simulations in computational mechanics,
developed in Department of
Civil Engineering of PUC-Rio, pointing the existing
problems. In the sequence, it is
presented an extension of architecture of module that
manager extension the simulation
attributes (ESAM), that, originally, considerated only an
approach where attributes
could be applied in geometrical entities. The new
architecture permits that attributes
may also be applied directly to nodes and elements of a
finite element mesh.
The system implemented through the integration of the pre-
processing, numerical
analysis and post-processing modules, with the attribute
management module resulted
in a very flexible system, that can be extended for several
other types of simulations.
The phases involved in a simulations of a computational
mechanics process (geometry
defined, attributes specification, automatic mesh
generation, numerical analysis and
visualization of results) are illustrated in an application
example of the proposed
system. / [es] Este trabajo da continuidad al desarrollo de una
metodología para extensión y configuración de aplicaciones
gráficas interactivas utilizadas en simulaciones que tiene
como base el método de los elementos finitos (MEF). Los
nuevos atributos que requieran los módulos de análisis
pueden ser facilmente incluidos en los pre y pos
procesadores. Los atributos son definidos, a través de un
lenguaje de extensión interpretada relativamente simple, en
un archivo de configuración. La configuración y extensión
se realiza a partir de la creación de clases y métodos, en
el contexto de la programación orientada a objetos, de
atributos de la simulación. Esta metodología fue
implementada en el desarrollo de un sistema integrado para
simulaciones numéricas de problemas bidimensionales en
geotecnía por el MEF. La tesis presenta, inicialmente, una
discusión sobre la evolución de los sistemas utilizados
para simulaciones numéricas en la mecánica computacional,
desarrollados por el Departamento de Ingeniería Cívil de la
PUC-Rio, indicando los problemas existentes. A seguir, se
presenta una extensión de la arquitectura del módulo
utilizado para el gerenciamiento y extensión configurable
de los atributos (ESAM) que, originalmente, consideraba una
abordaje donde los atributos solo podían ser aplicados a
entidades geométricas. La nueva arquitectura permite que
los atributos también puedan ser aplicados directamente en
nodos y elementos de una malla de elementos finitos. El
sistema implementado a través de la integración de los
módulos utilizados para preprocesamiento, análisis numérico
y posprocesamiento con el módulo de gerenciamento de
atributos tuvo como resultado un sistema bastante flexible,
que puede ser extendido por un usuario configurador para
diversos otros tipos de simulación. Las fases involucradas
en un proceso de simulación en la mecánica computacional
(definición de la geometría, especificación de los
atributos, generación de la malla de elementos finitos,
análisis numérico y visualización de los resultados) son
ilustradas en un ejemplo.
|
30 |
Algoritmos paralelos segmentados para los problemas de mínimos cuadrados recursivos (RLS) y de detección por cancelación ordenada y sucesiva de interferencia (OSIC)Martínez Zaldívar, Francisco José 06 May 2008 (has links)
Dentro del marco de los sistemas de comunicaciones de banda ancha podemos
encontrar canales modelados como sistemas MIMO (Multiple Input
Multiple Output) en el que se utilizan varias antenas en el transmisor (entradas)
y varias antenas en el receptor (salidas), o bien sistemas de un solo
canal que puede ser modelado como los anteriores (sistemas multi-portadora
o multicanal con interferencia entre ellas, sistemas multi-usuario con una o
varias antenas por terminal móvil y sistemas de comunicaciones ópticas sobre
fibra multimodo). Estos sistemas pretenden alcanzar valores de capacidad de
transmisión relativa al ancho de banda muy superiores al de un único canal
SISO (Single Input Single Output).
Hoy en dÍa, existe, desde un punto de vista de implementación del sistema,
una gran actividad investigadora dedicada al desarrollo de algoritmos de
codificación, ecualización y detección, muchos de ellos de gran complejidad,
que ayuden a aproximarse a las capacidades prometidas.
En el aspecto relativo a la detección, las soluciones actuales se pueden
clasificar en tres tipos: soluciones subóptimas, ML (Maximum Likelihood) o
cuasi-ML e iterativas. En estas ultimas, se hace uso explicito de técnicas de
control de errores empleando intercambio de información soft o indecisa entre
el detector y el decodificador; en las soluciones ML o cuasi-ML se lleva
a cabo una búsqueda en árbol que puede ser optimizada llegando a alcanzar
complejidades polinómicas en cierto margen de relación señal-ruido; por
ultimo dentro de las soluciones subóptimas destacan las técnicas de forzado
de ceros, error cuadrático medio y cancelación sucesiva de interferencias SIC
(Succesive Interference Cancellation), esta última con una versión ordenada
-OSIC-. Las soluciones subóptimas, aunque no llegan al rendimiento
de las ML o cuasi-ML son capaces de proporcionar la solución en tiempo
polinómico de manera determinista.
En la presente tesis doctoral, hemos implementado un método basado
en la literatura para l / Martínez Zaldívar, FJ. (2007). Algoritmos paralelos segmentados para los problemas de mínimos cuadrados recursivos (RLS) y de detección por cancelación ordenada y sucesiva de interferencia (OSIC) [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/1873
|
Page generated in 0.0622 seconds