Apache Spark is a popular open-source distributed processing framework that enables efficient processing of large amounts of data. Apache Spark has a large number of configuration parameters that are strongly related to performance. Selecting an optimal configuration for Apache Spark application deployed in a cloud environment is a complex task. Making a poor choice may not only result in poor performance but also increases costs. Manually adjusting the Apache Spark configuration parameters can take a lot of time and may not lead to the best outcomes, particularly in a cloud environment where computing resources are allocated dynamically, and workloads can fluctuate significantly. The focus of this thesis project is the development of an auto-tuning approach for Apache Spark configuration parameters. Four machine learning models are formulated and evaluated to predict Apache Spark’s performance. Additionally, two models for Apache Spark configuration parameter search are created and evaluated to identify the most suitable parameters, resulting in the shortest execution time. The obtained results demonstrates that with the developed auto-tuning approach and adjusting Apache Spark configuration parameters, Apache Spark applications can achieve a shorter execution time than when using the default parameters. The developed auto-tuning approach gives an improved cluster utilization and shorter job execution time, with an average performance improvement of 49.98%, 53.84%, and 64.16% for the three different types of Apache Spark applications benchmarked. / Apache Spark är en populär öppen källkodslösning för distribuerad databehandling som möjliggör effektiv bearbetning av stora mängder data. Apache Spark har ett stort antal konfigurationsparametrar som starkt påverkar prestandan. Att välja en optimal konfiguration för en Apache Spark-applikation som distribueras i en molnmiljö är en komplex uppgift. Ett dåligt val kan inte bara leda till dålig prestanda utan också ökade kostnader. Manuell anpassning av Apache Spark-konfigurationsparametrar kan ta mycket tid och leda till suboptimala resultat, särskilt i en molnmiljö där beräkningsresurser tilldelas dynamiskt och arbetsbelastningen kan variera avsevärt. Fokus för detta examensprojekt är att utveckla en automatisk optimeringsmetod för konfigurationsparametrarna i Apache Spark. Fyra maskininlärningsmodeller formuleras och utvärderas för att förutsäga Apache Sparks prestanda. Dessutom skapas och utvärderas två modeller för att söka efter de mest lämpliga konfigurationsparametrarna för Apache Spark, vilket resulterar i kortast möjliga exekveringstid. De erhållna resultaten visar att den utvecklade automatiska optimeringsmetoden, med anpassning av Apache Sparks konfigurationsparameterar, bidrar till att Apache Spark-applikationer kan uppnå kortare exekveringstider än vid användning av standard-parametrar. Den utvecklade metoden för automatisk optimering bidrar till en förbättrad användning av klustret och kortare exekveringstider, med en genomsnittlig prestandaförbättring på 49,98%, 53,84% och 64,16% för de tre olika typerna av Apache Spark-applikationer som testades.

Tesis por compendio / [ES] En la actualidad, existe una creciente necesidad de cambiar el modelo energético global basado en combustibles fósiles por un modelo cien por cien renovable, proceso conocido como "transición energética". Sin embargo, la mayoría de los recursos de generación renovables no son gestionables y presentan una fuerte variabilidad en su producción de energía difícilmente predecible, lo que requiere de un sistema eléctrico más flexible para poder operarse de forma segura. Por otro lado, las tecnologías de la información y la comunicación han evolucionado rápidamente como resultado del proceso de digitalización y de los continuos desarrollos en este campo, permitiendo a sectores como el eléctrico evolucionar hacia nuevos modelos más avanzados como las "redes inteligentes". Todo esto hace que la respuesta de la demanda (capacidad de modificar la forma de consumir energía en función de una señal externa) pueda ofrecerse como un recurso valioso a los operadores del sistema eléctrico, permitiendo a los consumidores más activos reducir su coste energético, lo que aumenta su competitividad y ayuda a la transición energética. La presente tesis tiene como objetivo general el desarrollo de una metodología y de las herramientas de apoyo necesarias que permitan fundamentalmente plantear soluciones destinadas a la resolución de las barreras más importantes en relación con la participación de los recursos flexibles en la operación del sistema eléctrico. Asimismo, permiten determinar la estrategia óptima de participación de grandes y medianos consumidores en productos y mercados en los que los recursos flexibles sean económicamente competitivos y técnicamente fiables. Este objetivo se ha abordado mediante el cumplimiento de cuatro objetivos específicos, que se han traducido en la realización de un conjunto de modelos, metodologías y herramientas que dan cumplimiento a cada uno de ellos. En este sentido, la tesis se ha dividido en cuatro desarrollos interrelacionados a partir de sus resultados. En primer lugar, se ha propuesto una novedosa arquitectura conceptual del sistema eléctrico para integrar los futuros mercados de electricidad, destinada a establecer un marco de referencia más adecuado para la explotación de los recursos energéticos distribuidos y de demanda. En segundo lugar, se ha elaborado una metodología para la estandarización y validación de los recursos flexibles que pueden ofrecer los consumidores, y que podría servir como base para la creación de un proceso de certificación de productos de demanda. En tercer lugar, se ha desarrollado una primera herramienta de planificación a medio plazo que, partiendo de la caracterización y evaluación técnico-económica de los recursos flexibles obtenida con la metodología anterior, permite ayudar a los propios consumidores a evaluar la rentabilidad asociada a las diferentes estrategias de participación en un mercado de operación específico utilizando sus procesos de consumo flexibles. Por último, se ha llevado a cabo una segunda herramienta destinada a optimizar la programación de la operación para el día siguiente de los recursos de demanda de un determinado consumidor participando en un mercado previamente seleccionado a partir de los resultados de la herramienta anterior y, por tanto, ofreciéndole en definitiva el apoyo técnico y las herramientas necesarias para maximizar el beneficio asociado a dicha participación. Las metodologías y herramientas desarrolladas han sido validadas mediante su aplicación a un caso de estudio compuesto por tres consumidores industriales pertenecientes a segmentos con una elevada replicabilidad en Europa (industria papelera, industria cárnica y centro logístico de producto refrigerado). Los resultados de la tesis permiten afirmar que se ha dado un paso relevante dentro de la investigación en este campo para ayudar a la implantación de sistemas eléctricos sostenibles mediante una participación / [CA] En l'actualitat, existeix una creixent necessitat de canviar el model energètic global basat en combustibles fòssils per un model cent per cent renovable, procés conegut com a transició energètica. Per a dur-ho a terme, és important tindre en compte que la majoria dels recursos de generació renovables no són gestionables i presenten una forta variabilitat en la seua producció d'energia difícilment predictible, la qual cosa fa necessari que el sistema elèctric haja de ser més flexible per a poder operar-se de manera segura. D'altra banda, les tecnologies de la informació i la comunicació han evolucionat ràpidament a conseqüència del procés de digitalització i dels continus desenvolupaments en aquest camp, la qual cosa ha permés a sectors com l'elèctric evolucionar cap a nous models més avançats com les xarxes intel·ligents. Tots aquests canvis fan que la resposta de la demanda (capacitat de modificar la manera de consumir energia en funció d'un senyal extern) puga oferir-se com un recurs valuós als operadors del sistema elèctric, permetent als consumidors més actius tindre una oportunitat per a reduir el seu cost energètic, podent ser més competitius i ajudar en la transició energètica. La present tesi doctoral té com a objectiu general el desenvolupament d'una metodologia i de les ferramentes de suport necessàries que permet fonamentalment plantejar solucions destinades a la resolució de les barreres més importants en relació amb la participació dels recursos flexibles en l'operació del sistema elèctric. Addicionalment, permeten determinar l'estratègia òptima de participació de grans i mitjans consumidors en productes i mercats en els quals els recursos flexibles siguen econòmicament competitius i tècnicament fiables. Aquest objectiu general s'ha abordat mitjançant el compliment de quatre objectius específics, que s'han traduït en la realització d'un conjunt de models, metodologies i ferramentes que donen compliment a cadascun d'ells. En aquest sentit, la tesi s'ha dividit en quatre desenvolupaments interrelacionats a partir dels seus resultats. En primer lloc, s'ha proposat una nova arquitectura conceptual del sistema elèctric per a integrar els futurs mercats d'electricitat, destinada a establir un marc de referència més adequat per a l'explotació dels recursos energètics distribuïts i de demanda. En segon lloc, s'ha elaborat una metodologia per a l'estandardització i validació dels recursos flexibles que poden oferir els consumidors, i que podria servir com a base per a la creació d'un procés de certificació de productes de demanda. En tercer lloc, s'ha desenvolupat una primera ferramenta de planificació a mitjà termini que, partint de la caracterització i avaluació tecnicoeconòmica dels recursos flexibles obtinguda amb la metodologia anterior, permet ajudar als mateixos consumidors a avaluar la rendibilitat associada a les diferents estratègies de participació en un mercat d'operació específic utilitzant els seus processos de consum flexibles. Finalment, s'ha dut a terme una segona ferramenta destinada a optimitzar la programació de l'operació per a l'endemà dels recursos de demanda d'un determinat consumidor participant en un mercat prèviament seleccionat a partir dels resultats de la ferramenta anterior i, per tant, oferint-li en definitiva el suport tècnic i les ferramentes necessàries per a maximitzar el benefici associat a aquesta participació. Les metodologies i ferramentes desenvolupades han sigut validades mitjançant la seua aplicació a un cas d'estudi compost per tres consumidors industrials que pertanyen a segments amb una elevada replicabilitat a Europa (indústria paperera, indústria del sector carni i centre logístic de producte refrigerat). Els resultats de la tesi permeten afirmar que s'ha realitzat un pas rellevant dins de la investigació en aquest camp per tal d'ajudar a la implantació de sistemes d'energia elèctrica sosteni / [EN] The ever-increasing need for electricity in our global and advanced society, along with the requirements to preserve the environment, have forced a fast growth of the use of primary renewable sources to produce it. The process of replacing the current fossil primary sources with renewable ones to produce electricity is known as the "Energy Transition". This transition is conditioned for the highly volatile, intermittent, and unpredictable nature of renewable energy sources. In this sense, two options exist to ensure the security of supply in power systems with a high share of renewable generation: either very robust, redundant, and expensive electricity systems with overcapacity or an electricity system with new and enhanced flexibility resources. Fortunately, relevant and advanced parallel developments in the technology, mainly in the control, information and communication fields have allowed the digitalization of the electricity supply systems towards the "smart grid" paradigm. One of the pillars of smart grids is the opportunity that arises for energy consumers to reduce the cost of their energy bill by modifying the electricity consumption. According to external inputs (e.g. prices), consumers can provide to energy markets and system operators competitive "Demand Response Resources" (DRR) that will significantly enhance the required system flexibility to facilitate the transition to a decarbonized system. The thesis's main objective is to develop a new methodology as well as the necessary associated models and tools to overrun the main barriers that prevent the participation of large and medium electricity consumers in the electricity supply activities. Additionally, these tools allow determining the optimal strategy for the participation of large and medium electricity consumers in products and markets where flexible resources can be economically competitive and technically reliable. Four complimentary and correlated sub-objectives have been fulfilled to address the main objective. First, the thesis proposes an original conceptual architecture for future Smart-Markets in order to establish a more suitable framework for DRR trading and implementation. Second, the research aims to solve the need to have "firm" DRR in the way that DRR can be considered reliable resources. This has been dealt with in the second sub-objective where a new methodology to standardize and validate the DRR offered by the customers has been developed and justified. This methodology can be used to regulate a "certification" process for DRR. The two final sub-objectives are related to provide the customer with valuable knowledge and tools to make feasible the DRR offers generation in the long and short term. The third sub-objective is related to the need for the DRR provider to plan in the medium term (a few years ahead) the strategy for the demand participation and assess the necessary investments. A planning tool has been developed to meet that objective. Finally, the last sub-objective deals with the need of the customer to program the operation of their demand resources in the short term (one day ahead at most) by optimizing all the available resources and prices. Consequently, complementary to medium-term planning tool, a day-ahead optimization tool has been created for that purpose. All methodologies and tools researched in this Ph.D. have been validated through its application to three different industrial environments and customers in sectors with high replicability all over Europe: a paper factory, a meat processing factory, and logistic centres with high freezing and refrigerating needs. The results and justified conclusions allow stating that a relevant step in the research of the implementation of more sustainable energy systems has been produced by enhancing more committed and dynamic participation of the demand side resources. / Rodríguez García, J. (2021). Metodología para la optimización del beneficio de la respuesta de la demanda en consumidores industriales: caracterización por procesos y aplicación [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/165574 / Compendio

[ES] El aumento en el uso de combustibles fósiles para la generación de energía ha contribuido significativamente a la crisis del calentamiento global. Diferentes lugares alejados de la infraestructura eléctrica emplean generadores a base de gasolina que aumentan la contaminación ambiental. En este contexto, la introducción masiva de microrredes en la sociedad ha traído oportunidades para la generación de energía de forma distribuida, beneficiando a personas en todo el mundo. Por ejemplo, las microrredes pueden brindar electricidad a poblaciones vulnerables que viven en áreas remotas con acceso limitado a infraestructuras de transmisión y distribución. Además, las microrredes promueven el uso de recursos renovables, reduciendo el impacto ambiental en comparación con los métodos tradicionales de generación de electricidad, como las plantas de energía térmica o las instalaciones nucleares. Además, las microrredes permiten la generación de electricidad a pequeña escala, lo que permite que las familias logren la independencia energética y vendan el exceso de energía a la compañía eléctrica local. Cualquier inversor en una microrred necesita un algoritmo de control para realizar una regulación en bucle cerrado. En este contexto, el control por modos deslizantes de segundo orden es una estrategia de control robusta que ha ganado atención en las aplicaciones de inversores de microrredes. Mediante el uso de este enfoque, el inversor puede lograr un control preciso y rápido, incluso en presencia de incertidumbres y perturbaciones. El uso de estrategias de control robustas mejora la estabilidad y el rendimiento general del sistema de microrredes, asegurando una gestión de energía óptima. El proceso de ajuste es esencial para los algoritmos de control en bucle cerrado, ya que modifica la respuesta del controlador para alcanzar los objetivos de control. La optimización por enjambre de partículas (PSO por sus siglas en inglés) es un eficiente algoritmo de optimización empleado en controladores en lazo cerrado que puede resolver de manera efectiva problemas multi-objetivo formulados en una sola función de costo. Los parámetros de control del inversor de la microrred pueden ser optimizados mediante la utilización de PSO para lograr los objetivos deseados, ajustando de manera eficiente una estrategia de control. Para controladores por modos deslizantes, algunas estrategias de ajuste se basan en técnicas heurísticas. La función de costo única resuelve varios problemas en una microrred, pero existen dificultades cuando diferentes objetivos en un proceso no pueden ser mejorados simultáneamente debido a su relación conflictiva. Estrategias como Algoritmos Genéticos Multi-Objetivo (MOGA por sus siglas en inglés), Evolución Diferencial Multi-Objetivo (MODE por sus siglas en inglés) y Algoritmo Artificial de Ovejas Multi-Objetivo (MOASA por sus siglas en inglés), han demostrado su capacidad para mejorar el rendimiento del inversor mediante la optimización de objetivos conflictivos. Estos algoritmos pueden equilibrar de manera efectiva objetivos como la reducción del tiempo de respuesta y la minimización del sobreimpulso en la señal de salida del inversor. En consecuencia, el rendimiento general y la eficiencia de los inversores de la microrred pueden mejorar. La integración de algoritmos de control multi-objetivo en los inversores de la microrred tiene un gran potencial para abordar los desafíos de gestión de energía y optimizar el rendimiento. Los inversores de la microrred pueden lograr una mayor estabilidad, eficiencia y confiabilidad utilizando técnicas como el control por modos deslizantes de segundo orden y algoritmos de optimización como PSO, MOGA, MODE y MOASA. Al adoptar estos enfoques, se presenta una nueva metodología para un futuro energético más sostenible y resiliente, al tiempo que se mitigan los efectos adversos del calentamiento global causado por el consumo de combustibles fósiles en la generación convencional de energía. / [CA] L'augment en l'ús de combustibles fòssils per a la generació d'energia ha contribuït significativament a la crisi de l'escalfament global. Diferents llocs allunyats de la infraestructura elèctrica empleen generadors a base de gasolina que augmenten la contaminació ambiental. En aquest context, la introducció massiva de microxarxes a la societat ha comportat oportunitats per a la generació d'energia de forma distribuïda, beneficiant persones arreu del món. Per exemple, les microxarxes poden proporcionar electricitat a poblacions vulnerables que viuen en àrees remotes amb accés limitat a infraestructures de transmissió i distribució. A més, les microxarxes promouen l'ús de recursos renovables, reduint l'impacte ambiental en comparació amb els mètodes tradicionals de generació d'electricitat, com les plantes d'energia tèrmica o les instal·lacions nuclears. A més a més, les microxarxes permeten la generació d'electricitat a petita escala, la qual cosa permet que les famílies aconsegueixin la independència energètica i venguen l'excedent d'energia a la companyia elèctrica local. Qualsevol inversor en una microxarxa necessita un algoritme de control per a realitzar una regulació en bucle tancat. En aquest context, el control per modes lliscants de segon ordre és una estratègia de control robusta que ha guanyat atenció en les aplicacions d'inversors de microxarxes. Mitjançant l'ús d'aquest enfocament, l'inversor pot aconseguir un control precís i ràpid, fins i tot en presència d'incerteses i pertorbacions. L'ús d'estratègies de control robustes millora l'estabilitat i el rendiment general del sistema de microxarxes, assegurant una gestió d'energia òptima. El procés d'ajust és essencial pels algoritmes de control en bucle tancat, ja que modifica la resposta del controlador per a aconseguir els objectius de control. L'optimització per enjambre de partícules (PSO per les seues sigles en anglés) és un eficient algoritme d'optimització emprat en controladors en bucle tancat que pot resoldre de manera efectiva problemes multi-objectiu formulats en una sola funció de cost. Els paràmetres de control de l'inversor de la microxarxa poden ser optimitzats mitjançant l'utilització de PSO per a aconseguir els objectius desitjats, ajustant de manera eficient una estratègia de control. Per a controladors per modes lliscants, algunes estratègies d'ajust es basen en tècniques heurístiques. La funció de cost única resol diversos problemes en una microxarxa, però existeixen dificultats quan diferents objectius en un procés no poden ser millorats simultàniament a causa de la seua relació conflictiva. Estratègies com Algorismes Genètics Multi-Objectiu (MOGA per les seues sigles en anglés), Evolució Diferencial Multi-Objectiu (MODE per les seues sigles en anglés) i Algorisme Artificial de Xais Multi-Objectiu (MOASA per les seues sigles en anglés), han demostrat la seua capacitat per a millorar el rendiment de l'inversor mitjançant l'optimització d'objectius conflictius. Aquests algorismes poden equilibrar de manera efectiva objectius com la reducció del temps de resposta i la minimització del sobreguiny a la senyal de sortida de l'inversor. En conseqüència, el rendiment general i l'eficiència dels inversors de la microxarxa poden millorar. La integració d'algorismes de control multi-objectiu en els inversors de la microxarxa té un gran potencial per a abordar els desafiaments de gestió d'energia i optimitzar el rendiment. Els inversors de la microxarxa poden aconseguir una major estabilitat, eficiència i fiabilitat utilitzant tècniques com el control per modes lliscants de segon ordre i algorismes d'optimització com PSO, MOGA, MODE i MOASA. En adoptar aquests enfocaments, es presenta una nova metodologia per a un futur energètic més sostenible i resilient, al mateix temps que es mitiguen els efectes adversos de l'escalfament global causat pel consum de combustibles fòssils en la generació convencional d'energia. / [EN] The increase in fossil fuel usage for power generation has significantly contributed to the global warming crisis. Various remote areas, detached from electrical infrastructure, rely on gasoline-based generators that escalate environmental pollution. In this context, the widespread implementation of microgrids in society has brought forth opportunities for distributed energy generation, benefiting people worldwide. For instance, microgrids can provide electricity to vulnerable populations in remote areas with limited access to transmission and distribution infrastructures. Furthermore, these microgrids advocate for using renewable resources, diminishing environmental impact compared to traditional methods such as thermal power plants or nuclear facilities. Additionally, microgrids enable small-scale electricity generation, empowering families to achieve energy independence and sell surplus energy to local power companies. Any investor in a microgrid requires a closed-loop control algorithm. In this realm, the second-order sliding mode control is a robust strategy garnering attention in microgrid inverter applications. Through this approach, the inverter can achieve precise and rapid control despite uncertainties and disturbances. Using robust control strategies enhances microgrid systems' stability and overall performance, ensuring optimal energy management. Adjustment processes are pivotal for closed-loop control algorithms, modifying the controller's response to meet control objectives. Particle Swarm Optimization (PSO) is an efficient optimization algorithm employed in closed-loop controllers that can effectively solve multi-objective problems formulated in a single cost function. Control parameters of the microgrid inverter can be optimized using PSO to attain desired objectives, efficiently fine-tuning a control strategy. For sliding mode controllers, some adjustment strategies rely on heuristic techniques. While a single cost function resolves various issues within a microgrid, difficulties arise when different objectives in a process cannot be simultaneously improved due to conflicting relationships. Strategies like Multi-Objective Genetic Algorithms (MOGA), Multi-Objective Differential Evolution (MODE), and Multi-Objective Artificial Sheep Algorithm (MOASA) have proven their ability to enhance inverter performance by optimizing conflicting objectives. These algorithms effectively balance objectives like reducing response time and minimizing overshoot in the inverter's output signal. Consequently, the overall performance and efficiency of microgrid inverters can be enhanced. Integrating multi-objective control algorithms into microgrid inverters holds significant potential in addressing energy management challenges and optimizing performance. Microgrid inverters can achieve greater stability, efficiency, and reliability by utilizing second-order sliding mode control and optimization algorithms like PSO, MOGA, MODE, and MOASA. By embracing these approaches, a new methodology emerges for a more sustainable and resilient energy future while mitigating the adverse effects of global warming caused by conventional fossil fuel consumption in power generation. / Gonzales Zurita, ÓO. (2024). Multi-objective Control on Inverter-Based Microgrids [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/203120

This doctoral thesis is focused on metrics and the criteria for socio-technical system diagnostics, which is a high profile topic for companies wanting to ensure the best in product quality. More and more customers are requiring suppliers to prove reliability in the production and supply quality of products according to given specifications. Consequently the ability to produce quality goods corresponding to customer requirements has become a fundamental condition in order to remain competitive. The thesis firstly lays out the basic strategies and rules which are prerequisite for a successful working company in order to ensure provision of quality goods at competitive costs. Next, methods and tools for planning are discussed. Planning is important in its impact on budget, time schedules, and necessary sourcing quantification. Risk analysis is also included to help define preventative actions, and reduce the probability of error and potential breakdown of the entire company. The next part of the thesis deals with optimisation problems, which are solved by Swarm based optimisation. Algorithms and their utilisation in industry are described, in particular the Vehicle routing problem and Travelling salesman problem, used as tools for solving specialist problems within manufacturing corporations. The final part of the thesis deals with Qualitative modelling, where solutions can be achieved with less exact quantitative information of the surveyed model. The text includes qualitative algebra descriptions, which discern only three possible values – positive, constant and negative, which are sufficient in the demonstration of trends. The results can also be conveniently represented using graph theory tools.