No description available.

El càlcul de valors i vectors propis és un nucli computacional que forma part de diverses aplicacions de tipus científic i tècnic que requereixen una potència de càlcul molt gran. Aquestes aplicacions no poden resoldre's en sistemes monoprocessadors perquè aquests sistemes no proporcionen la potència de càlcul suficient per resoldre el problema amb un temps raonable. Una solució possible a aquest problema és la utilització de sistemes paral·lels.El contingut d'aquest treball pot dividir-se en quatre parts ben diferenciades; en les tres primeres parts dels valors i vectors propis en sistemes multicomputadors amb diferents topologies: hipercub, malla i torus; en l'última part del treball es proposa una metodologia d'anàlisis de l'escalabilitat de sistemes paral·lels.- En la primera part del treball es proposen un conjunt d'algorismes paral·lels per hipercubs: BR segmentat, alfa-optimal i Grau-4. Tots aquests algorismes es basen en l'algorisme Block Recursive proposat a [42]. Els nous algorismes proposats tenen la capacitat d'utilitzar de forma més eficient el potencial paral·lelisme de comunicacions que ofereix una arquitectura multiple-port amb els que s'aconsegueix una reducció del cost de la comunicació considerable respecte al cost de comunicació de l'algorisme original.- En la segona part del treball es proposa un nou algorisme amb una topologia de comunicació en malla bidimensional (2D). Aquest algorimse l'hem anomenat algorisme 2D. Es veurà que aquest nou algorisme aconsegueix reduir el cost total considerablement respecte als algorismes que han estat proposats per altres autors per malles i torus.- En la tercera part, s'estudia l'eficiència de l'algorisme BR-segmentat (algorisme amb una topologia de comunicació en hipercub proposat en la primera part de la tesi) un cop mapejat en un multicomputador amb una topologia en malla o en torus. A l'hora de realitzar el mapeig s'ha aplicat i ampliat una metodologia desenvolupada en el grup de treball que ens permet realitzar el mapeig de forma eficient i sistemàtic d'una topologia en hipercub a una topologia en malla o torus. El cost de la comunicació del nou algorisme es compara amb el cost de l'algorisme 2D proposat en la segona part del treball.- Finalment, en l'última part d'aquest treball es proposa una metodologia d'anàlisi de l'escalabilitat de sistemes paral·lels orientada a l'usuari final del sistema. S'utilitza l'algorisme 2D mapejat en una línia per mostrar un exemple d'aplicació de la metodologia.

[ES] La restructuración que han sufrido los sectores eléctricos a nivel mundial y las políticas energéticas que se plantean en el futuro en Europa, tienen como objetivo aumentar la competitividad de los consumidores mediante, entre otras acciones, conseguir precios de la electricidad más competitivos. Esta situación resulta especialmente delicada en España donde las carencias del sector eléctrico no han sido paliadas por la ley 54/1997 que modificaba la estructura del sector ni por las sucesivas modificaciones que se han planteado con posterioridad. La falta de transparencia en muchos procesos y la carencia de mecanismos de compra y venta de electricidad han sido dos factores clave de este fracaso. Además, una de las principales razones para este desajuste es precisamente la irrupción de un alto porcentaje de energías renovables en la generación y su deficiente tratamiento regulatorio. Como resultado de esto último surge una gran incertidumbre en los propietarios de los parques de generación renovable, en cuanto a su remuneración y condiciones de actividad. El objetivo principal que busca esta tesis es desarrollar una metodología que permita a los consumidores del sector industrial con unas determinadas características de elevado consumo energético y posibilidad de instalar generación renovable adicional, de planificar y gestionar de manera óptima y dinámica sus recursos y consumos energéticos en aras de un beneficio económico, social y ambiental. Esto implica, fundamentalmente, conocer su forma de consumir energía, flexibilidad en este consumo, así como los factores externos que pueden variarlo. Así mismo, tiene que tener información de los costes de operación del sistema de suministro de energía eléctrica en los que puede influir y de esta forma afrontar su principal reto que es tomar de forma anticipada las decisiones que le permitirá la optimización de su gasto energético participando a la vez en la mejora de los beneficios sociales y ambientales. / [CA] Worldwide restructuring suffered by electrical sectors together with energy policies that are proposed for the future in Europe aim to an increase of the consumers competitiveness throughout, among other actions, achieving more competitive electricity prices. This is a critical situation in Spain where the shortcomings of the electricity sector have neither been alleviated under Law 54/1997, which modified the structure of the sector, nor with the successive modifications that have been raised subsequently. The lack of transparency in many processes and the lack of mechanisms for buying and selling electricity have been two key factors in this failure. Furthermore, one of the main reasons for this mismatch is precisely the emergence of a high percentage of renewable energy in the generation and its poor regulatory treatment. As a result, a great uncertainty arises in the owners of renewable generation parks, as far as their remuneration and activity conditions are concerned. The main objective of this PhD thesis is to develop a methodology that allows industrial consumers for certain characteristics of high energy consumption and the possibility of installing additional renewable generation, to plan and manage in an optimal and dynamic way their resources and energy consumption for the sake of an economic, social and environmental benefit. That implies, basically, knowing the way of consuming energy, the flexibility in the consumption, as well as the external factors that may vary it. Likewise, they need information on the operating costs of the electric power supply system on which they can have influence, and thus face the main challenge, which is to make in advance the decisions that will allow them to optimize energy expenditure by participating, at the same time, in the improvement of social and environmental benefits. / [EN] La reestructuració dels sectors elèctrics a nivell mundial i les polítiques energètiques que es plantegen en el futur a Europa, tenen com a objectiu augmentar la competitivitat dels consumidors mitjançant, entre altres accions, aconseguir preus de l'electricitat més competitius. Aquesta situació resulta especialment delicada a Espanya, on les carències del sector elèctric no han sigut pal·liades per la llei 54/1997 que modificava l'estructura del sector ni per les successives modificacions que s'han plantejat posteriorment. La falta de transparència en molts processos i la carència de mecanismes de compra i venda d'electricitat, han sigut dos factors clau d'aquest fracàs. A més, una de les principals raons per a aquest desajust és precisament la irrupció d'un alt percentatge d'energies renovables en la generació i el seu deficient tractament regulador. Com a resultat d'aquest últim fet, sorgeix una gran incertesa en els propietaris dels parcs de generació renovable, pel que fa a la seua remuneració i les seues condicions d'activitat. L'objectiu principal que busca aquesta tesi és desenvolupar una metodologia que permeta els consumidors del sector industrial amb unes determinades característiques d'elevat consum energètic i possibilitat d'instal·lar generació renovable addicional, planificar i gestionar d'una manera òptima i dinàmica els seus recursos i consums fonamentalment, conèixer la seua forma de consumir energia, flexibilitat en aquest consum, així com els factors externs que poden variar-lo. Així mateix, ha de tindre informació dels costs d'operació del sistema de subministrament d'energia elèctrica en què pot influir i, d'aquesta manera, afrontar el seu principal repte que és prendre de forma anticipada les decisions que li permetrà l'optimització de la seua despesa energètica, participant alhora en la millora dels beneficis socials i ambientals. / Morcillo Marco, AI. (2020). Metodología para la evaluación de la implantación de recursos de generación y demanda distribuidos en grandes consumidores en.entornos de mercado competitivos. Caso de aplicación [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/144651

[ES] La investigación científica en Física de Altas Energías (HEP) se caracteriza por desafíos computacionales complejos, que durante décadas tuvieron que ser abordados mediante la investigación de técnicas informáticas en paralelo a los avances en la comprensión de la física. Uno de los principales actores en el campo, el CERN, alberga tanto el Gran Colisionador de Hadrones (LHC) como miles de investigadores cada año que se dedican a recopilar y procesar las enormes cantidades de datos generados por el acelerador de partículas. Históricamente, esto ha proporcionado un terreno fértil para las técnicas de computación distribuida, conduciendo a la creación de Worldwide LHC Computing Grid (WLCG), una red global de gran potencia informática para todos los experimentos LHC y del campo HEP. Los datos generados por el LHC hasta ahora ya han planteado desafíos para la informática y el almacenamiento. Esto solo aumentará con futuras actualizaciones de hardware del acelerador, un escenario que requerirá grandes cantidades de recursos coordinados para ejecutar los análisis HEP. La estrategia principal para cálculos tan complejos es, hasta el día de hoy, enviar solicitudes a sistemas de colas por lotes conectados a la red. Esto tiene dos grandes desventajas para el usuario: falta de interactividad y tiempos de espera desconocidos. En años más recientes, otros campos de la investigación y la industria han desarrollado nuevas técnicas para abordar la tarea de analizar las cantidades cada vez mayores de datos generados por humanos (una tendencia comúnmente mencionada como "Big Data"). Por lo tanto, han surgido nuevas interfaces y modelos de programación que muestran la interactividad como una característica clave y permiten el uso de grandes recursos informáticos. A la luz del escenario descrito anteriormente, esta tesis tiene como objetivo aprovechar las herramientas y arquitecturas de la industria de vanguardia para acelerar los flujos de trabajo de análisis en HEP, y proporcionar una interfaz de programación que permite la paralelización automática, tanto en una sola máquina como en un conjunto de recursos distribuidos. Se centra en los modelos de programación modernos y en cómo hacer el mejor uso de los recursos de hardware disponibles al tiempo que proporciona una experiencia de usuario perfecta. La tesis también propone una solución informática distribuida moderna para el análisis de datos HEP, haciendo uso del software llamado ROOT y, en particular, de su capa de análisis de datos llamada RDataFrame. Se exploran algunas áreas clave de investigación en torno a esta propuesta. Desde el punto de vista del usuario, esto se detalla en forma de una nueva interfaz que puede ejecutarse en una computadora portátil o en miles de nodos informáticos, sin cambios en la aplicación del usuario. Este desarrollo abre la puerta a la explotación de recursos distribuidos a través de motores de ejecución estándar de la industria que pueden escalar a múltiples nodos en clústeres HPC o HTC, o incluso en ofertas serverless de nubes comerciales. Dado que el análisis de datos en este campo a menudo está limitado por E/S, se necesita comprender cuáles son los posibles mecanismos de almacenamiento en caché. En este sentido, se investigó un sistema de almacenamiento novedoso basado en la tecnología de almacenamiento de objetos como objetivo para el caché. En conclusión, el futuro del análisis de datos en HEP presenta desafíos desde varias perspectivas, desde la explotación de recursos informáticos y de almacenamiento distribuidos hasta el diseño de interfaces de usuario ergonómicas. Los marcos de software deben apuntar a la eficiencia y la facilidad de uso, desvinculando la definición de los cálculos físicos de los detalles de implementación de su ejecución. Esta tesis se enmarca en el esfuerzo colectivo de la comunidad HEP hacia estos objetivos, definiendo problemas y posibles soluciones que pueden ser adoptadas por futuros investigadores. / [CA] La investigació científica a Física d'Altes Energies (HEP) es caracteritza per desafiaments computacionals complexos, que durant dècades van haver de ser abordats mitjançant la investigació de tècniques informàtiques en paral·lel als avenços en la comprensió de la física. Un dels principals actors al camp, el CERN, acull tant el Gran Col·lisionador d'Hadrons (LHC) com milers d'investigadors cada any que es dediquen a recopilar i processar les enormes quantitats de dades generades per l'accelerador de partícules. Històricament, això ha proporcionat un terreny fèrtil per a les tècniques de computació distribuïda, conduint a la creació del Worldwide LHC Computing Grid (WLCG), una xarxa global de gran potència informàtica per a tots els experiments LHC i del camp HEP. Les dades generades per l'LHC fins ara ja han plantejat desafiaments per a la informàtica i l'emmagatzematge. Això només augmentarà amb futures actualitzacions de maquinari de l'accelerador, un escenari que requerirà grans quantitats de recursos coordinats per executar les anàlisis HEP. L'estratègia principal per a càlculs tan complexos és, fins avui, enviar sol·licituds a sistemes de cues per lots connectats a la xarxa. Això té dos grans desavantatges per a l'usuari: manca d'interactivitat i temps de espera desconeguts. En anys més recents, altres camps de la recerca i la indústria han desenvolupat noves tècniques per abordar la tasca d'analitzar les quantitats cada vegada més grans de dades generades per humans (una tendència comunament esmentada com a "Big Data"). Per tant, han sorgit noves interfícies i models de programació que mostren la interactivitat com a característica clau i permeten l'ús de grans recursos informàtics. A la llum de l'escenari descrit anteriorment, aquesta tesi té com a objectiu aprofitar les eines i les arquitectures de la indústria d'avantguarda per accelerar els fluxos de treball d'anàlisi a HEP, i proporcionar una interfície de programació que permet la paral·lelització automàtica, tant en una sola màquina com en un conjunt de recursos distribuïts. Se centra en els models de programació moderns i com fer el millor ús dels recursos de maquinari disponibles alhora que proporciona una experiència d'usuari perfecta. La tesi també proposa una solució informàtica distribuïda moderna per a l'anàlisi de dades HEP, fent ús del programari anomenat ROOT i, en particular, de la seva capa d'anàlisi de dades anomenada RDataFrame. S'exploren algunes àrees clau de recerca sobre aquesta proposta. Des del punt de vista de l'usuari, això es detalla en forma duna nova interfície que es pot executar en un ordinador portàtil o en milers de nodes informàtics, sense canvis en l'aplicació de l'usuari. Aquest desenvolupament obre la porta a l'explotació de recursos distribuïts a través de motors d'execució estàndard de la indústria que poden escalar a múltiples nodes en clústers HPC o HTC, o fins i tot en ofertes serverless de núvols comercials. Atès que sovint l'anàlisi de dades en aquest camp està limitada per E/S, cal comprendre quins són els possibles mecanismes d'emmagatzematge en memòria cau. En aquest sentit, es va investigar un nou sistema d'emmagatzematge basat en la tecnologia d'emmagatzematge d'objectes com a objectiu per a la memòria cau. En conclusió, el futur de l'anàlisi de dades a HEP presenta reptes des de diverses perspectives, des de l'explotació de recursos informàtics i d'emmagatzematge distribuïts fins al disseny d'interfícies d'usuari ergonòmiques. Els marcs de programari han d'apuntar a l'eficiència i la facilitat d'ús, desvinculant la definició dels càlculs físics dels detalls d'implementació de la seva execució. Aquesta tesi s'emmarca en l'esforç col·lectiu de la comunitat HEP cap a aquests objectius, definint problemes i possibles solucions que poden ser adoptades per futurs investigadors. / [EN] The scientific research in High Energy Physics (HEP) is characterised by complex computational challenges, which over the decades had to be addressed by researching computing techniques in parallel to the advances in understanding physics. One of the main actors in the field, CERN, hosts both the Large Hadron Collider (LHC) and thousands of researchers yearly who are devoted to collecting and processing the huge amounts of data generated by the particle accelerator. This has historically provided a fertile ground for distributed computing techniques, which led to the creation of the Worldwide LHC Computing Grid (WLCG), a global network providing large computing power for all the experiments revolving around the LHC and the HEP field. Data generated by the LHC so far has already posed challenges for computing and storage. This is only going to increase with future hardware updates of the accelerator, which will bring a scenario that will require large amounts of coordinated resources to run the workflows of HEP analyses. The main strategy for such complex computations is, still to this day, submitting applications to batch queueing systems connected to the grid and wait for the final result to arrive. This has two great disadvantages from the user's perspective: no interactivity and unknown waiting times. In more recent years, other fields of research and industry have developed new techniques to address the task of analysing the ever increasing large amounts of human-generated data (a trend commonly mentioned as "Big Data"). Thus, new programming interfaces and models have arised that most often showcase interactivity as one key feature while also allowing the usage of large computational resources. In light of the scenario described above, this thesis aims at leveraging cutting-edge industry tools and architectures to speed up analysis workflows in High Energy Physics, while providing a programming interface that enables automatic parallelisation, both on a single machine and on a set of distributed resources. It focuses on modern programming models and on how to make best use of the available hardware resources while providing a seamless user experience. The thesis also proposes a modern distributed computing solution to the HEP data analysis, making use of the established software framework called ROOT and in particular of its data analysis layer implemented with the RDataFrame class. A few key research areas that revolved around this proposal are explored. From the user's point of view, this is detailed in the form of a new interface to data analysis that is able to run on a laptop or on thousands of computing nodes, with no change in the user application. This development opens the door to exploiting distributed resources via industry standard execution engines that can scale to multiple nodes on HPC or HTC clusters, or even on serverless offerings of commercial clouds. Since data analysis in this field is often I/O bound, a good comprehension of what are the possible caching mechanisms is needed. In this regard, a novel storage system based on object store technology was researched as a target for caching. In conclusion, the future of data analysis in High Energy Physics presents challenges from various perspectives, from the exploitation of distributed computing and storage resources to the design of ergonomic user interfaces. Software frameworks should aim at efficiency and ease of use, decoupling as much as possible the definition of the physics computations from the implementation details of their execution. This thesis is framed in the collective effort of the HEP community towards these goals, defining problems and possible solutions that can be adopted by future researchers. / Padulano, VE. (2023). Distributed Computing Solutions for High Energy Physics Interactive Data Analysis [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/193104

La gestió de xarxes és un camp molt ampli i inclou molts aspectes diferents. Aquesta tesi doctoral està centrada en la gestió dels recursos en les xarxes de banda ampla que disposin de mecanismes per fer reserves de recursos, com per exemple Asynchronous Transfer Mode (ATM) o Multi-Protocol Label Switching (MPLS). Es poden establir xarxes lògiques utilitzant els Virtual Paths (VP) d'ATM o els Label Switched Paths (LSP) de MPLS, als que anomenem genèricament camins lògics. Els usuaris de la xarxa utilitzen doncs aquests camins lògics, que poden tenir recursos assignats, per establir les seves comunicacions. A més, els camins lògics són molt flexibles i les seves característiques es poden canviar dinàmicament. Aquest treball, se centra, en particular, en la gestió dinàmica d'aquesta xarxa lògica per tal de maximitzar-ne el rendiment i adaptar-la a les connexions ofertes.En aquest escenari, hi ha diversos mecanismes que poden afectar i modificar les característiques dels camins lògics (ample de banda, ruta, etc.). Aquests mecanismes inclouen els de balanceig de la càrrega (reassignació d'ample de banda i reencaminament) i els de restauració de fallades (ús de camins lògics de backup). Aquests dos mecanismes poden modificar la xarxa lògica i gestionar els recursos (ample de banda) dels enllaços físics. Per tant, existeix la necessitat de coordinar aquests mecanismes per evitar possibles interferències. La gestió de recursos convencional que fa ús de la xarxa lògica, recalcula periòdicament (per exemple cada hora o cada dia) tota la xarxa lògica d'una forma centralitzada. Això introdueix el problema que els reajustaments de la xarxa lògica no es realitzen en el moment en què realment hi ha problemes. D'altra banda també introdueix la necessitat de mantenir una visió centralitzada de tota la xarxa. En aquesta tesi, es proposa una arquitectura distribuïda basada en un sistema multi agent. L'objectiu principal d'aquesta arquitectura és realitzar de forma conjunta i coordinada la gestió de recursos a nivell de xarxa lògica, integrant els mecanismes de reajustament d'ample de banda amb els mecanismes de restauració preplanejada, inclosa la gestió de l'ample de banda reservada per a la restauració. Es proposa que aquesta gestió es porti a terme d'una forma contínua, no periòdica, actuant quan es detecta el problema (quan un camí lògic està congestionat, o sigui, quan està rebutjant peticions de connexió dels usuaris perquè està saturat) i d'una forma completament distribuïda, o sigui, sense mantenir una visió global de la xarxa. Així doncs, l'arquitectura proposada realitza petits rearranjaments a la xarxa lògica adaptant-la d'una forma contínua a la demanda dels usuaris. L'arquitectura proposada també té en consideració altres objectius com l'escalabilitat, la modularitat, la robustesa, la flexibilitat i la simplicitat.El sistema multi agent proposat està estructurat en dues capes d'agents: els agents de monitorització (M) i els de rendiment (P). Aquests agents estan situats en els diferents nodes de la xarxa: hi ha un agent P i diversos agents M a cada node; aquests últims subordinats als P. Per tant l'arquitectura proposada es pot veure com una jerarquia d'agents. Cada agent és responsable de monitoritzar i controlar els recursos als que està assignat. S'han realitzat diferents experiments utilitzant un simulador distribuït a nivell de connexió proposat per nosaltres mateixos. Els resultats mostren que l'arquitectura proposada és capaç de realitzar les tasques assignades de detecció de la congestió, reassignació dinàmica d'ample de banda i reencaminament d'una forma coordinada amb els mecanismes de restauració preplanejada i gestió de l'ample de banda reservat per la restauració. L'arquitectura distribuïda ofereix una escalabilitat i robustesa acceptables gràcies a la seva flexibilitat i modularitat. / Network management is a wide field including many different topics. This thesis focuses on resource management of broadband networks that have the mechanisms for performing resource reservation, such as Asynchronous Transfer Mode (ATM) or Multi-Protocol Label Switching (MPLS). Logical networks can be established by using Virtual Paths (VP) in ATM or Label Switched Paths (LSP) in MPLS, which we call generically Logical Paths (LP). The network users then use these LPs, which can have pre-reserved resources, to establish their communications. Moreover, LPs are very flexible and their characteristics can be dynamically changed. This work focuses, in particular, on the dynamic management of these logical paths in order to maximise the network performance by adapting the logical network to the offered connections.In this scenario, there are several mechanisms that can affect and modify certain features of the LPs (bandwidth, route, etc.). They include load balancing mechanisms (bandwidth reallocation and re-routing) and fault restoration (utilisation of backup LPs). These two mechanisms can modify the logical network and manage the resources (bandwidth) of the physical links. Therefore, due to possible interferences, there is a need to co-ordinate these mechanisms. Conventional resource management, using a logical network, performs a centralised recalculation of the whole logical network periodically (e.g. every hour / day). This brings the problem that the logical network readjustments do not happen when a problem occurs. Moreover, there is a need of maintaining a centralised network overview. In this thesis, a distributed architecture, based on a Multi-Agent System (MAS), is proposed. The main objective of this architecture is to perform joint resource management at a logical network level, integrating the bandwidth reallocation and LP re-routing with pre-planned restoration and spare bandwidth management. This is performed continuously, not periodically, when a problem is detected (an LP is congested, i.e. it is rejecting new user connections because it is already saturated with user connections) in a completely distributed way, i.e. without any central network overview. Therefore, the proposed architecture performs small rearrangements in the logical network and thus it is continuously being adapted to the user demands. The proposed architecture also considers other objectives, such as scalability, modularity, robustness, simplicity and flexibility. The proposed MAS is structured in two layers of agents: The network Monitoring (M) agents and the Performance (P) agents. All these agents are situated at different network nodes, where the computing facilities are. There is one P agent and several M agents on every node. The M agents are subordinated to the P agents, therefore the proposed architecture can be seen as a hierarchy of agents. Each agent is responsible for monitoring and controlling the resources they are assigned to. We have performed several experiments, using a connection level distributed simulator of our own design. The results show that our architecture is capable of performing the assigned tasks of detecting congestion, dynamic bandwidth reallocation and re-routing in a co-ordinated way with the pre-planned restoration and the spare capacity management. The distributed architecture offers a suitable scalability and robustness due to its flexibility and modularity.