[ES] Con el desarrollo de la Computación en la Nube, la entrega de recursos virtualizados a través de Internet ha crecido enormemente en los últimos años. Las Funciones como servicio (FaaS), uno de los modelos de servicio más nuevos dentro de la Computación en la Nube, permite el desarrollo e implementación de aplicaciones basadas en eventos que cubren servicios administrados en Nubes públicas y locales. Los proveedores públicos de Computación en la Nube adoptan el modelo FaaS dentro de su catálogo para proporcionar computación basada en eventos altamente escalable para las aplicaciones. Por un lado, los desarrolladores especializados en esta tecnología se centran en crear marcos de código abierto serverless para evitar el bloqueo con los proveedores de la Nube pública. A pesar del desarrollo logrado por la informática serverless, actualmente hay campos relacionados con el procesamiento de datos y la optimización del rendimiento en la ejecución en los que no se ha explorado todo el potencial. En esta tesis doctoral se definen tres estrategias de computación serverless que permiten evidenciar los beneficios de esta tecnología para el procesamiento de datos. Las estrategias implementadas permiten el análisis de datos con la integración de dispositivos de aceleración para la ejecución eficiente de aplicaciones científicas en plataformas cloud públicas y locales. En primer lugar, se desarrolló la plataforma CloudTrail-Tracker. CloudTrail-Tracker es una plataforma serverless de código abierto basada en eventos para el procesamiento de datos que puede escalar automáticamente hacia arriba y hacia abajo, con la capacidad de escalar a cero para minimizar los costos operativos. Seguidamente, se plantea la integración de GPUs en una plataforma serverless local impulsada por eventos para el procesamiento de datos escalables. La plataforma admite la ejecución de aplicaciones como funciones severless en respuesta a la carga de un archivo en un sistema de almacenamiento de ficheros, lo que permite la ejecución en paralelo de las aplicaciones según los recursos disponibles. Este procesamiento es administrado por un cluster Kubernetes elástico que crece y decrece automáticamente según las necesidades de procesamiento. Ciertos enfoques basados en tecnologías de virtualización de GPU como rCUDA y NVIDIA-Docker se evalúan para acelerar el tiempo de ejecución de las funciones. Finalmente, se implementa otra solución basada en el modelo serverless para ejecutar la fase de inferencia de modelos de aprendizaje automático previamente entrenados, en la plataforma de Amazon Web Services y en una plataforma privada con el framework OSCAR. El sistema crece elásticamente de acuerdo con la demanda y presenta una escalado a cero para minimizar los costes. Por otra parte, el front-end proporciona al usuario una experiencia simplificada en la obtención de la predicción de modelos de aprendizaje automático. Para demostrar las funcionalidades y ventajas de las soluciones propuestas durante esta tesis se recogen varios casos de estudio que abarcan diferentes campos del conocimiento como la analítica de aprendizaje y la Inteligencia Artificial. Esto demuestra que la gama de aplicaciones donde la computación serverless puede aportar grandes beneficios es muy amplia. Los resultados obtenidos avalan el uso del modelo serverless en la simplificación del diseño de arquitecturas para el uso intensivo de datos en aplicaciones complejas. / [CA] Amb el desenvolupament de la Computació en el Núvol, el lliurament de recursos virtualitzats a través d'Internet ha crescut granment en els últims anys. Les Funcions com a Servei (FaaS), un dels models de servei més nous dins de la Computació en el Núvol, permet el desenvolupament i implementació d'aplicacions basades en esdeveniments que cobreixen serveis administrats en Núvols públics i locals. Els proveïdors de computació en el Núvol públic adopten el model FaaS dins del seu catàleg per a proporcionar a les aplicacions computació altament escalable basada en esdeveniments. D'una banda, els desenvolupadors especialitzats en aquesta tecnologia se centren en crear marcs de codi obert serverless per a evitar el bloqueig amb els proveïdors del Núvol públic. Malgrat el desenvolupament alcançat per la informàtica serverless, actualment hi ha camps relacionats amb el processament de dades i l'optimització del rendiment d'execució en els quals no s'ha explorat tot el potencial. En aquesta tesi doctoral es defineixen tres estratègies informàtiques serverless que permeten demostrar els beneficis d'aquesta tecnologia per al processament de dades. Les estratègies implementades permeten l'anàlisi de dades amb a integració de dispositius accelerats per a l'execució eficient d'aplicacion scientífiques en plataformes de Núvol públiques i locals. En primer lloc, es va desenvolupar la plataforma CloudTrail-Tracker. CloudTrail-Tracker és una plataforma de codi obert basada en esdeveniments per al processament de dades serverless que pot escalar automáticament cap amunt i cap avall, amb la capacitat d'escalar a zero per a minimitzar els costos operatius. A continuació es planteja la integració de GPUs en una plataforma serverless local impulsada per esdeveniments per al processament de dades escalables. La plataforma admet l'execució d'aplicacions com funcions severless en resposta a la càrrega d'un arxiu en un sistema d'emmagatzemaments de fitxers, la qual cosa permet l'execució en paral·lel de les aplicacions segon sels recursos disponibles. Este processament és administrat per un cluster Kubernetes elàstic que creix i decreix automàticament segons les necessitats de processament. Certs enfocaments basats en tecnologies de virtualització de GPU com rCUDA i NVIDIA-Docker s'avaluen per a accelerar el temps d'execució de les funcions. Finalment s'implementa una altra solució basada en el model serverless per a executar la fase d'inferència de models d'aprenentatge automàtic prèviament entrenats en la plataforma de Amazon Web Services i en una plataforma privada amb el framework OSCAR. El sistema creix elàsticament d'acord amb la demanda i presenta una escalada a zero per a minimitzar els costos. D'altra banda el front-end proporciona a l'usuari una experiència simplificada en l'obtenció de la predicció de models d'aprenentatge automàtic. Per a demostrar les funcionalitats i avantatges de les solucions proposades durant esta tesi s'arrepleguen diversos casos d'estudi que comprenen diferents camps del coneixement com l'analítica d'aprenentatge i la Intel·ligència Artificial. Això demostra que la gamma d'aplicacions on la computació serverless pot aportar grans beneficis és molt àmplia. Els resultats obtinguts avalen l'ús del model serverless en la simplificació del disseny d'arquitectures per a l'ús intensiu de dades en aplicacions complexes. / [EN] With the development of Cloud Computing, the delivery of virtualized resources over the Internet has greatly grown in recent years. Functions as a Service (FaaS), one of the newest service models within Cloud Computing, allows the development and implementation of event-based applications that cover managed services in public and on-premises Clouds. Public Cloud Computing providers adopt the FaaS model within their catalog to provide event-driven highly-scalable computing for applications. On the one hand, developers specialized in this technology focus on creating open-source serverless frameworks to avoid the lock-in with public Cloud providers. Despite the development achieved by serverless computing, there are currently fields related to data processing and execution performance optimization where the full potential has not been explored. In this doctoral thesis three serverless computing strategies are defined that allow to demonstrate the benefits of this technology for data processing. The implemented strategies allow the analysis of data with the integration of accelerated devices for the efficient execution of scientific applications on public and on-premises Cloud platforms. Firstly, the CloudTrail-Tracker platform was developed to extract and process learning analytics in the Cloud. CloudTrail-Tracker is an event-driven open-source platform for serverless data processing that can automatically scale up and down, featuring the ability to scale to zero for minimizing the operational costs. Next, the integration of GPUs in an event-driven on-premises serverless platform for scalable data processing is discussed. The platform supports the execution of applications as serverless functions in response to the loading of a file in a file storage system, which allows the parallel execution of applications according to available resources. This processing is managed by an elastic Kubernetes cluster that automatically grows and shrinks according to the processing needs. Certain approaches based on GPU virtualization technologies such as rCUDA and NVIDIA-Docker are evaluated to speed up the execution time of the functions. Finally, another solution based on the serverless model is implemented to run the inference phase of previously trained machine learning models on theAmazon Web Services platform and in a private platform with the OSCAR framework. The system grows elastically according to demand and is scaled to zero to minimize costs. On the other hand, the front-end provides the user with a simplified experience in obtaining the prediction of machine learning models. To demonstrate the functionalities and advantages of the solutions proposed during this thesis, several case studies are collected covering different fields of knowledge such as learning analytics and Artificial Intelligence. This shows the wide range of applications where serverless computing can bring great benefits. The results obtained endorse the use of the serverless model in simplifying the design of architectures for the intensive data processing in complex applications. / Naranjo Delgado, DM. (2021). Serverless Computing Strategies on Cloud Platforms [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/160916

[ES] Los altos costes energéticos, las constantes medidas regulatorias aplicadas por las administraciones para mantener bajos los costes sanitarios, así como los cambios en la normativa sanitaria que se han introducido en los últimos años, han tenido un impacto significativo en la industria farmacéutica y sanitaria. El paradigma Industria 4.0 engloba cambios en el modelo productivo tradicional de la industria farmacéutica con la inclusión de tecnologías que van más allá de la automatización tradicional. El objetivo principal es lograr medicamentos más rentables mediante la incorporación óptima de tecnologías como la analítica avanzada. El proceso de fabricación de las industrias farmacéuticas tiene diferentes etapas (mezclado, secado, compactado, recubrimiento, envasado, etc.) donde una de las etapas más costosas energéticamente es el proceso de secado. El objetivo durante este proceso es extraer el contenido de líquidos como el agua mediante la inyección de aire caliente y seco en el sistema. Este tiempo de secado normalmente está predeterminado y depende del volumen y el tipo de unidades de producto farmacéutico que se deben deshidratar. Por otro lado, la fase de precalentamiento puede variar dependiendo de varios parámetros como la experiencia del operador. Por lo tanto, es posible asumir que una optimización de este proceso a través de analítica avanzada es posible y puede tener un efecto significativo en la reducción de costes en todo el proceso de fabricación. Debido al alto coste de la maquinaria involucrada en el proceso de producción de medicamentos, es una práctica común en la industria farmacéutica tratar de maximizar la vida útil de estas máquinas que no están equipados con los últimos sensores. Así pues, es posible implementar un modelo de aprendizaje automático que utilice plataformas de analítica avanzada, como la computación en la nube, para analizar los posibles ahorros en el consumo de energía. Esta tesis está enfocada en mejorar el consumo de energía en el proceso de precalentamiento de un secador de lecho fluido, mediante la definición e implementación de una plataforma de computación en la nube IIOT (Industrial Internet of Things)-Cloud, para alojar y ejecutar un algoritmo de aprendizaje automático basado en el modelo Catboost, para predecir cuándo es el momento óptimo para detener el proceso y reducir su duración y, en consecuencia, su consumo energético. Los resultados experimentales muestran que es posible reducir el proceso de precalentamiento en un 45% de su duración en tiempo y, en consecuencia, reducir el consumo de energía hasta 2.8 MWh por año. / [CAT] Els elevats costos energètics, les constants mesures reguladores aplicades per les administracions per mantenir uns costos assistencials baixos, així com els canvis en la normativa sanitària que s'han introduït en els darrers anys, han tingut un impacte important en el sector farmacèutic i sanitari. El paradigma de la indústria 4.0 engloba els canvis en el model de producció tradicional de la indústria farmacèutica amb la inclusió de tecnologies que van més enllà de l'automatització tradicional. L'objectiu principal és aconseguir fàrmacs més rendibles mitjançant la incorporació òptima de tecnologies com l'analítica avançada. El procés de fabricació de les indústries farmacèutiques té diferents etapes (mescla, assecat, compactació, recobriment, envasat, etc.) on una de les etapes més costoses energèticament és el procés d'assecat. L'objectiu d'aquest procés és extreure el contingut de líquids com l'aigua injectant aire calent i sec al sistema. Aquest temps de procediment d'assecat normalment està predeterminat i depèn del volum i del tipus d'unitats de producte farmacèutic que cal deshidratar. D'altra banda, la fase de preescalfament pot variar en funció de diversos paràmetres com l'experiència de l'operador. Per tant, podem assumir que una optimització d'aquest procés mitjançant analítiques avançades és possible i pot tenir un efecte significatiu de reducció de costos en tot el procés de fabricació. A causa de l'elevat cost de la maquinària implicada en el procés de producció de fàrmacs, és una pràctica habitual a la indústria farmacèutica intentar maximitzar la vida útil d'aquestes màquines que no estan equipats amb els darrers sensors. Així, es pot implementar un model d'aprenentatge automàtic que utilitza plataformes de analítiques avançades com la computació en núvol, per analitzar l'estalvi potencial del consum d'energia. Aquesta tesis està enfocada a millorar el consum d'energia en el procés de preescalfament d'un assecador de llit fluid, mitjançant la definició i implementació d'una plataforma IIOT (Industrial Internet of Things)-Cloud computing, per allotjar i executar un algorisme d'aprenentatge automàtic basat en el modelatge Catboost, per predir quan és el moment òptim per aturar el procés i reduir-ne la durada, i en conseqüència el seu consum energètic. Els resultats de l'experiment mostren que és possible reduir el procés de preescalfament en un 45% de la seva durada en temps i, en conseqüència, reduir el consum d'energia fins a 2.8 MWh anuals. / [EN] High energy costs, the constant regulatory measures applied by administrations to maintain low healthcare costs, and the changes in healthcare regulations introduced in recent years have all significantly impacted the pharmaceutical and healthcare industry. The industry 4.0 paradigm encompasses changes in the traditional production model of the pharmaceutical industry with the inclusion of technologies beyond traditional automation. The primary goal is to achieve more cost-efficient drugs through the optimal incorporation of technologies such as advanced analytics. The manufacturing process of the pharmaceutical industry has different stages (mixing, drying, compacting, coating, packaging, etc..), and one of the most energy-expensive stages is the drying process. This process aims to extract the liquid content, such as water, by injecting warm and dry air into the system. This drying procedure time usually is predetermined and depends on the volume and the kind of units of a pharmaceutical product that must be dehydrated. On the other hand, the preheating phase can vary depending on various parameters, such as the operator's experience. It is, therefore, safe to assume that optimization of this process through advanced analytics is possible and can have a significant cost-reducing effect on the whole manufacturing process. Due to the high cost of the machinery involved in the drug production process, it is common practice in the pharmaceutical industry to try to maximize the useful life of these machines, which are not equipped with the latest sensors. Thus, a machine learning model using advanced analytics platforms, such as cloud computing, can be implemented to analyze potential energy consumption savings. This thesis is focused on improving the energy consumption in the preheating process of a fluid bed dryer by defining and implementing an IIOT (Industrial Internet of Things) Cloud computing platform. This architecture will host and run a machine learning algorithm based on Catboost modeling to predict when the optimum time is reached to stop the process, reduce its duration, and consequently its energy consumption. Experimental results show that it is possible to reduce the preheating process by 45% of its time duration, consequently reducing energy consumption by up to 2.8 MWh per year. / Barriga Rodríguez, R. (2023). Optimization of Fluid Bed Dryer Energy Consumption for Pharmaceutical Drug Processes through Machine Learning and Cloud Computing Technologies [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/195847

Recent advancements in telecommunications have brought new tools about in the field of robotics, with offloading emerging as one of the most significant developments. Hence, computationally expensive tasks are performed on a server in the cloud instead of on the mobile robot, reducing processing costs in robots and enhancing their efficiency. However, one of the major challenges of offloading robot control is to maintain functional safety even when the connection with the server is interrupted. To mitigate these connectivity losses, an optimization-based method has been developed to compute an environment-dependent contingency plan. This plan is sent from the cloud to the robot together with the corresponding control command. The planner takes into account the current map, based on all sensor data collected up to the time of optimization, and the nominal trajectory to provide a sequence of safe control commands. Assuming that in the absence of connectivity, all detected objects will move at a constant speed. Therefore, the contingency plan would be executed on the robot only when connectivity to the cloud is lost, without making use of subsequent sensor data in the robot’s on-board processor. Thus, through the proposed method, it is possible to maximize the movement time of the mobile robot in case of loss of connectivity with the cloud controller without compromising any safety constraints. In this context, two different approaches have been designed based on the possibility of deviating from the nominal trajectory. In the first, called “path following”, the mobile robot is constrained to stay on the reference path, but can vary its speed, performing a safety brake when there is a risk of collision. In contrast, in “trajectory following”, deviation is allowed by trying to prolong the point at which the velocity is reduced. The evaluation shows that the optimal approach depends on the application for which the mobile robot will be used. Furthermore, these approaches do not overload the network bandwidth, since contingency plans can be optimized by parameterizing the velocity sequences or by reducing the sending rate through event-triggered sending. / De senaste framstegen inom telekommunikation har introducerat nya verktyg inom robotikens område, där offloading är en av de mest relevanta. Således utförs beäkningsintensiva uppgifter på en server i molnet istället för på den mobila roboten, vilket minskar bearbetningskostnaderna för roboter och ökar deras effektivitet. En av de största utmaningarna med att offloada robotstyrning är dock att bibehålla funktionell säkerhet även när anslutningen till fjärrservern bryts. För att hantera sådana avbrott, har vi utvecklat en optimeringsbaserad metod för att beräkna en reservplan, anpassad till miljön runt roboten. Denna plan skickas från molnet till roboten tillsammans med varje styrkommando. Planeraren beaktar den aktuella kartan, baserad på all sensordata som samlats in fram till nu, och den nominella banan och beräknar en säker reservplan i form av en sekvens av styrkommandon. För säkerhets skull antar planeraren att i händelse av ett avbrott, kommer alla hinder i kartan att närma sig roboten med en konstant hastighet. Det gör det säkert att exekvera reservplanen om anslutningen till molnet går förlorad, utan att använda efterföljande sensordata för att uppdatera kartan. Den föreslagna metoden gör det alltså möjligt att maximera tiden som den mobila roboten kan fortsätta köra vid förlust av anslutning till molnservern, utan att göra avkall på säkerheten. I detta projekt har vi utformat två olika planeringsmetoder, som skiljer sig vad gäller möjligheten att avvika från den nominella banan. I den första, kallad “path following”, tillåts inte roboten att avvika från referensbanan och utför därför en säkerhetsbromsning när det finns risk för kollision. I den andra, kallad “trajectory following”, tillåts roboten avvika från referensbanan, genom att försöka fördröja det ögonblick då roboten behöver bromsa. Utvärderingen visar att vilken metod som är bäst, beror på tillämpningen som den mobila roboten används för. Dessutom överbelastar dessa tillvägagångssätt inte nätverksbandbredden, eftersom beredskapsplaner kan optimeras genom att parameterisera hastighetssekvenser eller genom att minska överföringshastigheten. / Los recientes avances en las telecomunicaciones han traído consigo nuevas herramientas en la robótica, siendo el offloading una de los desarrollos más significativos. Así, las tareas computacionalmente más costosas se realizan en un servidor en la nube en lugar de en el robot móvil, reduciendo los costos de procesamiento en el robot y mejorando su eficiencia. Sin embargo, uno de los mayores desafíos del offloading de control de robots es mantener la seguridad funcional incluso cuando la conexión con el servidor se interrumpe. Con el fin de mitigar las pérdidas de conectividad, se ha desarrollado un método basado en optimizacion que calcula un plan de contingencia dependiente del entorno. Este plan se envía desde la nube al robot junto con el comando de control correspondiente. El planificador tiene en cuenta el mapa del entorno actual, basado en todos los datos del sensor recopilados hasta el momento de la optimización, y la trayectoria nominal para proporcionar una secuencia de comandos de control seguros. En este sentido, el planificador asume que, en ausencia de conectividad, todos los objetos detectados se aproximarán al robot a una velocidad constante. Este plan de contingencia se ejecutaría en el robot solo cuando se pierde la conectividad con la nube, sin hacer uso de datos de sensor posteriores en el procesador a bordo del robot. Por lo tanto, mediante el método propuesto, se logra maximizar el tiempo de movimiento del robot móvil en caso de pérdida de conectividad con el controlador en la nube sin sacrificar las restricciones de seguridad. En este contexto, dos enfoques distintos según la posibilidad de desviarse o no de la trayectoria nominal han sido diseñados. En el primero, denominado “path following”, no se permite que se desvíe de la referencia, aplicando un frenado de seguridad cuando existe riesgo de colisión. En cambio, en “trajectory following”, se permite la desviación para tratar de prolongar el momento en el que se reduce la velocidad. La evaluación muestra que el enfoque óptimo depende de la aplicación para la cual se utilizará el robot móvil. Además, estos enfoques no sobrecargan el ancho de banda de la red, ya que los planes de contingencia pueden optimizarse parametrizando las secuencias de velocidad o reduciendo la velocidad de envío.

[EN] The work implemented in this thesis is concerned with the application of High Performance Computing, Grid technologies and Cloud Technologies to the static and dynamic linear analysis of building and civil engineering structures by means of the finite element method. Thanks to the efficiency of the current numerical methods, embedded in many public domain numerical libraries, and to the availability of communication and synchronization libraries among the processing elements, either by message passing or by shared memory, the application of High Performance Computing to the structural computation has allowed us to carry out a rigorous and realistic analysis of large dimension and complexity structures, with reasonably reduced response times. Besides using state-of-the-art parallel numerical libraries (devoted to the solution of systems of linear equations by means of direct methods with MUMPS, PaStiX and PARDISO or iterative methods with PETSc and hypre or the resolution of the generalized eigenvalue problem with SLEPc), the multilevel parallel programming paradigm has been employed, which combines the development of algorithms using MPI and OpenMP in order to ensure the portability and to obtain the best performance in different operating systems, such as Linux and Windows, on different parallel computational platforms. The linear static calculation has been carried out through of the Stiffness Method where all its different stages have been parallelised. In case of structural dynamics, the second order dynamic equation has been solved by means of the parallelization of several direct time integration methods, as well as through parallel modal analysis techniques, modal superposition time history and response spectrum analysis. In the case of the latter analysis, numerous modal combination methods have been parallelized, accompanied by different directional combination techniques and distinct alternatives that try to provide us with sign of the results. With the aim that the above mentioned HPC-based application could be at the disposal of a wide community of architects and structural engineers, Grid and Cloud services have been implemented and deployed. They offer a secure, reliable and high throughput structural analysis under a service oriented architecture model. On the one hand, the Grid service integrates components, such as GMarte, for the task metascheduling, the results retrieval and the failure tolerance on Grid platforms. On the other hand, the Cloud service incorporates the developments of the European VENUS-C project for its deployment on Microsoft Azure infrastructure or on-premise Cloud platform managed by COMPSs. The competitiveness demonstrated by the structural simulator in its response times, even when launched in a sequential approach, with regard to other well-known software packages, has given place to its incorporation in different software applications. From a research point of view, it is part of a structural optimization system in collaboration with the Continuous Medium Mechanics and Theory of Structures Department (DMMCTE) of the UPV. In a professional environment, the simulator has been incorporated into two commercial applications. First of all, it is one of the three components of Architrave, a software system for the the static and dynamic structural design and analysis, developed by the UPV and with more than 3550 users, equipped with an attractive graphical user interface that is distributed by the Preference company. Professionally, Architrave has been downloaded from 22 countries. Academically, it is being used by students and teachers belonging to 54 universities from 8 different countries. Additionally, the Preference company has incorporated the structural simulator static version to its PrefSuite product, a worldwide commercialized software package in the field of metallic carpentry and 3D structural analysis of curtain walls. / [ES] El trabajo realizado en esta tesis doctoral ha consistido en la aplicación de la Computación de Altas Prestaciones, las Tecnologías Grid y las Tecnologías Cloud al cálculo estático y dinámico lineal de estructuras de edificación e ingeniería civil mediante el método de los elementos finitos. Gracias a la eficiencia de los métodos numéricos actuales, plasmados en librerías numéricas de dominio público, y a la disponibilidad de librerías de comunicación y sincronización entre los elementos de proceso, bien sea mediante paso de mensajes o por memoria compartida, la aplicación de la Computación de Altas Prestaciones al cálculo estructural ha permitido llevar a cabo un análisis riguroso y realista de estructuras de gran dimensión y complejidad, con unos tiempos de respuesta razonablemente reducidos. Además de utilizar librerías numéricas paralelas de dominio público (dedicadas a la resolución de sistemas de ecuaciones lineales mediante métodos directos con MUMPS, PaStiX y PARDISO o métodos iterativos con PETSc y hypre o la resolución del problema de valores propios generalizado con SLEPc) se ha empleado el paradigma de programación paralela multinivel, el cual combina el desarrollo de algoritmos mediante MPI y OpenMP, a fin de garantizar la portabilidad y obtener las mejores prestaciones en distintos sistemas operativos, como Linux y Windows, sobre diferentes plataformas computacionales paralelas. El cálculo estático se ha llevado a cabo mediante el Método de la Rigidez, donde se han paralelizado las diferentes etapas que lo componen. En el caso del análisis dinámico, la ecuación dinámica de segundo orden se ha resuelto mediante la paralelización de numerosos métodos de integración directa, así como mediante técnicas de análisis modal, superposición modal y análisis modal espectral. En el caso concreto del análisis modal espectral, se han paralelizado un amplio número de métodos de combinación modal de los resultados, acompañados de distintas técnicas de combinación direccional y diferentes alternativas que intentan proporcionar el signo de los resultados. Con el objetivo de que dicha aplicación paralela desarrollada pueda estar a disposición de una amplia comunidad de arquitectos e ingenieros estructurales, se han implementado y desplegado sendos servicios Grid y Cloud que ofrecen un análisis estructural por internet seguro, fiable y de alta productividad bajo una arquitectura orientada a servicio. Dichos servicios integran componentes, como GMarte, para la planificación de tareas, la recogida de resultados y la tolerancia a fallos en plataformas Grid o incorporan los desarrollos del proyecto europeo VENUS-C, para el despliegue del servicio sobre Microsoft Azure o sobre una infraestructura Cloud ''on-premise'' gestionada por COMPSs. La competitividad demostrada por el simulador estructural en sus tiempos de respuesta, inclusive a nivel secuencial, con respecto a otros paquetes software disponibles y ampliamente utilizados, ha dado lugar a su incorporación en diferentes aplicaciones. Bajo un entorno de carácter investigador, forma parte de un sistema de optimización estructural, en colaboración con el departamento de Mecánica de los Medios Continuos y Teoría de Estructuras (DMMCTE) de la UPV. En un ámbito profesional, el simulador se ha incorporado en dos aplicaciones comerciales. Por un lado en Architrave, una aplicación de cálculo estático y dinámico estructural, desarrollada por la UPV y con más de 3550 usuarios, dotada de un atractivo interfaz gráfico que se distribuye por parte de la empresa Preference. A nivel profesional, Architrave se ha descargado en 22 países y cuenta, a nivel académico, con alumnos y profesores de 54 universidades de 8 países diferentes. Adicionalmente, la empresa Preference ha incorporado la versión estática del simulador a su producto PrefSuite, un paquete software comercializado a nivel mundial en el ámbito de la carpint / [CA] El treball realitzat en aquesta tesi doctoral ha consistit en l'aplicació de la Computació d'Altes Prestacions, les Tecnologies Grid i les Tecnologies Cloud al càlcul estàtic i dinàmic lineal d'estructures d'edificació i enginyeria civil mitjançant el mètode dels elements finits. Gràcies a l'eficiència dels mètodes numèrics actuals, plasmats en llibreries numèriques de domini públic, i a la disponibilitat de llibreries de comunicació i sincronització entre els elements de procés, bé siga mitjançant pas de missatges o per memòria compartida, l'aplicació de la Computació d'Altes Prestacions al càlcul estructural ha permès dur a terme una anàlisi rigorosa i realista d'estructures de gran dimensió i complexitat, amb uns temps de resposta raonablement reduïts. A més d'utilitzar llibreries numèriques paral·leles de domini públic (dedicades a la resolució de sistemes d'equacions lineals mitjançant mètodes directes amb MUMPS, PaStiX i PARDISO o mètodes iteratius amb PETSc i hypre o la resolució del problema de valors propis generalitzat amb SLEPc) s'ha emprat el paradigma de programació paral·lela multinivell, el qual combina el desenvolupament d'algorismes mitjançant MPI i OpenMP, a fi de garantir la portabilitat i obtenir les millors prestacions en diferents sistemes operatius, com Linux i Windows, sobre diferents plataformes computacionals paral·leles. El càlcul estàtic s'ha dut a terme mitjançant el Mètode de la Rigidesa, on s'han paral·lelitzat les diferents etapes que ho componen. En el cas de l'anàlisi dinàmica, l'equació dinàmica de segon ordre s'ha resolt mitjançant la paral·lelització de nombrosos mètodes d'integració directa, així com mitjançant tècniques d'anàlisi modal, superposició modal i anàlisi modal espectral. En el cas concret de l'anàlisi modal espectral, s'ha paral·lelitzat un ampli nombre de mètodes de combinació modal dels resultats, junt amb de diferents tècniques de combinació direccional i diferents alternatives que intenten proporcionar el signe dels resultats. Amb l'objectiu que aquesta aplicació paral·lela desenvolupada puga estar a la disposició d'una àmplia comunitat d'arquitectes i enginyers estructurals, s'han implementat i desplegat sengles serveis Grid i Cloud que ofereixen una anàlisi estructural per internet segur, fiable i d'alta productivitat sota una arquitectura orientada a servei. Aquests serveis integren components, com GMarte, per a la planificació de tasques, la recollida de resultats i la tolerància a fallades en plataformes Grid o incorporen els desenvolupaments del projecte europeu VENUS-C, per al desplegament del servei sobre Microsoft Azure o sobre una infraestructura Cloud 'on-premise'' gestionada per COMPSs. La competitivitat demostrada pel simulador estructural en els seus temps de resposta, inclòs a nivell seqüencial, pel que fa a altres paquets de programari disponibles i àmpliament utilitzats, ha donat lloc a la seua incorporació en diferents aplicacions. Sota un entorn de caràcter investigador, forma part d'un sistema d'optimització estructural, en col·laboració amb el departament de Mecànica dels Mitjans Continus i Teoria d'Estructures (DMMCTE) de la UPV. En un àmbit professional, el simulador s'ha incorporat en dues aplicacions comercials. D'una banda en Architrave, una aplicació de càlcul estàtic i dinàmic estructural, desenvolupada per la UPV i amb més de 3550 usuaris, dotada d'una atractiva interfície gràfica que es distribueix per part de l'empresa Preference. A nivell professional, Architrave s'ha descarregat en 22 països i compta, a nivell acadèmic, amb alumnes i professors de 54 universitats de 8 països diferents. Addicionalment, l'empresa Preference ha incorporat la versió estàtica del simulador al seu producte PrefSuite, un paquet software comercialitzat a nivell mundial en l'àmbit de la fusteria metàl·lica i el càlcul estructural en 3D de murs cortina. / Alonso Ábalos, JM. (2016). Computación Avanzada en Problemas Estáticos y Dinámicos de Gran Dimensión: Aplicación al Cálculo de Estructuras [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/61974 / Premios Extraordinarios de tesis doctorales

[ES] Una de las principales preocupaciones de los centros de datos actuales es maximizar la utilización de los servidores. En cada servidor se ejecutan simultáneamente varias aplicaciones para aumentar la eficiencia de los recursos. Sin embargo, las prestaciones dependen en gran medida de la proporción de recursos que recibe cada aplicación. El mayor número de núcleos (y de aplicaciones ejecutándose) con cada nueva generación de procesadores hace que crezca la preocupación por la interferencia en los recursos compartidos. Esta tesis se centra en mitigar la interferencia cuando diferentes aplicaciones se consolidan en un mismo procesador desde dos perspectivas: computación de alto rendimiento (HPC) y computación en la nube. En el contexto de HPC, esta tesis propone políticas de gestión para dos de los recursos más críticos: la caché de último nivel (LLC) y los núcleos del procesador. La LLC desempeña un papel clave en las prestaciones de los procesadores actuales al reducir considerablemente el número de accesos de alta latencia a memoria principal. Se proponen estrategias de particionado de la LLC tanto para cachés inclusivas como no inclusivas, ambos diseños presentes en los procesadores para servidores actuales. Para los esquemas, se detectan nuevos comportamientos problemáticos y se asigna un mayor espacio de caché a las aplicaciones que hacen mejor uso de este. En cuanto a los núcleos del procesador, muchas aplicaciones paralelas (como aplicaciones de grafos) no escalan bien con un mayor número de núcleos. Además, el planificador de Linux aplica una estrategia de tiempo compartido que no ofrece buenas prestaciones cuando se ejecutan aplicaciones de grafo. Para maximizar la utilización del sistema, esta tesis propone ejecutar múltiples aplicaciones de grafo en el mismo procesador, asignando a cada una el número óptimo de núcleos (y adaptando el número de hilos creados) dinámicamente. En cuanto a la computación en la nube, esta tesis aborda tres grandes retos: la compleja infraestructura de estos sistemas, las características de sus aplicaciones y el impacto de la interferencia entre máquinas virtuales (MV). Primero, esta tesis presenta la plataforma experimental desarrollada con los principales componentes de un sistema en la nube. Luego, se presenta un amplio estudio de caracterización sobre un conjunto de aplicaciones de latencia crítica representativas con el fin de identificar los puntos que los proveedores de servicios en la nube deben tener en cuenta para mejorar el rendimiento y la utilización de los recursos. Por último, se realiza una propuesta que permite detectar y estimar dinámicamente la interferencia entre MV. El enfoque usa métricas que pueden monitorizarse fácilmente en la nube pública, ya que las MV deben tratarse como "cajas negras". Toda la investigación descrita se lleva a cabo respetando las restricciones y cumpliendo los requisitos para ser aplicable en entornos de producción de nube pública. En resumen, esta tesis aborda la contención en los principales recursos compartidos del sistema en el contexto de la consolidación de servidores. Los resultados experimentales muestran importantes ganancias sobre Linux. En los procesadores con LLC inclusiva, el tiempo de ejecución (TT) se reduce en más de un 40%, mientras que se mejora el IPC más de un 3%. Con una LLC no inclusiva, la equidad y el TT mejoran en un 44% y un 24%, respectivamente, al mismo tiempo que se mejora el rendimiento hasta un 3,5%. Al distribuir los núcleos del procesador de forma eficiente, se alcanza una equidad casi perfecta (94%), y el TT se reduce hasta un 80%. En entornos de computación en la nube, la degradación del rendimiento puede estimarse con un error de un 5% en la predicción global. Todas las propuestas presentadas han sido diseñadas para ser aplicadas en procesadores comerciales sin requerir ninguna información previa, tomando las decisiones dinámicamente con datos recogidos de los contadores de prestaciones. / [CAT] Una de les principals preocupacions dels centres de dades actuals és maximitzar la utilització dels servidors. A cada servidor s'executen simultàniament diverses aplicacions per augmentar l'eficiència dels recursos. Tot i això, el rendiment depèn en gran mesura de la proporció de recursos que rep cada aplicació. El nombre creixent de nuclis (i aplicacions executant-se) amb cada nova generació de processadors fa que creixca la preocupació per l'efecte causat per les interferències en els recursos compartits. Aquesta tesi se centra a mitigar la interferència en els recursos compartits quan diferents aplicacions es consoliden en un mateix processador des de dues perspectives: computació d'alt rendiment (HPC) i computació al núvol. En el context d'HPC, aquesta tesi proposa polítiques de gestió per a dos dels recursos més crítics: la memòria cau d'últim nivell (LLC) i els nuclis del processador. La LLC exerceix un paper clau a les prestacions del sistema en els processadors actuals reduint considerablement el nombre d'accessos d'alta latència a la memòria principal. Es proposen estratègies de particionament de la LLC tant per a caus inclusives com no inclusives, ambdós dissenys presents en els processadors actuals. Per als dos esquemes, se detecten nous comportaments problemàtics i s'assigna un major espai de memòria cau a les aplicacions que en fan un millor ús. Pel que fa als nuclis del processador, moltes aplicacions paral·leles (com les aplicacions de graf) no escalen bé a mesura que s'incrementa el nombre de nuclis. A més, el planificador de Linux aplica una estratègia de temps compartit que no ofereix bones prestacions quan s'executen aplicacions de graf. Per maximitzar la utilització del sistema, aquesta tesi proposa executar múltiples aplicacions de grafs al mateix processador, assignant a cadascuna el nombre òptim de nuclis (i adaptant el nombre de fils creats) dinàmicament. Pel que fa a la computació al núvol, aquesta tesi aborda tres grans reptes: la complexa infraestructura d'aquests sistemes, les característiques de les seues aplicacions i l'impacte de la interferència entre màquines virtuals (MV). En primer lloc, aquesta tesi presenta la plataforma experimental desenvolupada amb els principals components d'un sistema al núvol. Després, es presenta un ampli estudi de caracterització sobre un conjunt d'aplicacions de latència crítica representatives per identificar els punts que els proveïdors de serveis al núvol han de tenir en compte per millorar el rendiment i la utilització dels recursos. Finalment, es fa una proposta que de manera dinàmica permet detectar i estimar la interferència entre MV. L'enfocament es basa en mètriques que es poden monitoritzar fàcilment al núvol públic, ja que les MV han de tractar-se com a "caixes negres". Tota la investigació descrita es duu a terme respectant les restriccions i complint els requisits per ser aplicable en entorns de producció al núvol públic. En resum, aquesta tesi aborda la contenció en els principals recursos compartits del sistema en el context de la consolidació de servidors. Els resultats experimentals mostren que s'obtenen importants guanys sobre Linux. En els processadors amb una LLC inclusiva, el temps d'execució (TT) es redueix en més d'un 40%, mentres que es millora l'IPC en més d'un 3%. En una LLC no inclusiva, l'equitat i el TT es milloren en un 44% i un 24%, respectivament, al mateix temps que s'obté una millora del rendiment de fins a un 3,5%. Distribuint els nuclis del processador de manera eficient es pot obtindre una equitat quasi perfecta (94%), i el TT pot reduir-se fins a un 80%. En entorns de computació al núvol, la degradació del rendiment pot estimar-se amb un error de predicció global d'un 5%. Totes les propostes presentades en aquesta tesi han sigut dissenyades per a ser aplicades en processadors de servidors comercials sense requerir cap informació prèvia, prenent decisions dinàmicament amb dades recollides dels comptadors de prestacions. / [EN] One of the main concerns of today's data centers is to maximize server utilization. In each server processor, multiple applications are executed concurrently, increasing resource efficiency. However, performance and fairness highly depend on the share of resources that each application receives, leading to performance unpredictability. The rising number of cores (and running applications) with every new generation of processors is leading to a growing concern for interference at the shared resources. This thesis focuses on addressing resource interference when different applications are consolidated on the same server processor from two main perspectives: high-performance computing (HPC) and cloud computing. In the context of HPC, resource management approaches are proposed to reduce inter-application interference at two major critical resources: the last level cache (LLC) and the processor cores. The LLC plays a key role in the system performance of current multi-cores by reducing the number of long-latency main memory accesses. LLC partitioning approaches are proposed for both inclusive and non-inclusive LLCs, as both designs are present in current server processors. In both cases, newly problematic LLC behaviors are identified and efficiently detected, granting a larger cache share to those applications that use best the LLC space. As for processor cores, many parallel applications, like graph applications, do not scale well with an increasing number of cores. Moreover, the default Linux time-sharing scheduler performs poorly when running graph applications, which process vast amounts of data. To maximize system utilization, this thesis proposes to co-locate multiple graph applications on the same server processor by assigning the optimal number of cores to each one, dynamically adapting the number of threads spawned by the running applications. When studying the impact of system-shared resources on cloud computing, this thesis addresses three major challenges: the complex infrastructure of cloud systems, the nature of cloud applications, and the impact of inter-VM interference. Firstly, this thesis presents the experimental platform developed to perform representative cloud studies with the main cloud system components (hardware and software). Secondly, an extensive characterization study is presented on a set of representative latency-critical workloads which must meet strict quality of service (QoS) requirements. The aim of the studies is to outline issues cloud providers should consider to improve performance and resource utilization. Finally, we propose an online approach that detects and accurately estimates inter-VM interference when co-locating multiple latency-critical VMs. The approach relies on metrics that can be easily monitored in the public cloud as VMs are handled as ``black boxes''. The research described above is carried out following the restrictions and requirements to be applicable to public cloud production systems. In summary, this thesis addresses contention in the main system shared resources in the context of server consolidation, both in HPC and cloud computing. Experimental results show that important gains are obtained over the Linux OS scheduler by reducing interference. In inclusive LLCs, turnaround time (TT) is reduced by over 40% while improving IPC by more than 3%. In non-inclusive LLCs, fairness and TT are improved by 44% and 24%, respectively, while improving performance by up to 3.5%. By distributing core resources efficiently, almost perfect fairness can be obtained (94%), and TT can be reduced by up to 80%. In cloud computing, performance degradation due to resource contention can be estimated with an overall prediction error of 5%. All the approaches proposed in this thesis have been designed to be applied in commercial server processors without requiring any prior information, making decisions dynamically with data collected from hardware performance counters. / Pons Escat, L. (2023). Interference Analysis and Resource Management in Server Processors: from HPC to Cloud Computing [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/195840