[pt] Este trabalho descreve um sistema gráfico interativo, denominado FTOOL (Frame Analysis Tool), para o ensino e automatização das tarefas de projeto estrutural de pórticos planos. No trabalho foram incorporadas as tarefas de dimensionamento de estruturas de aço segundo a Norma Canadense de projetos de estruturas de aço de edificações - CAN/CSAS16.1-94. A integração completa das fases de pré- processamento, análise estrutural, pósprocessamento e dimensionamentos, através de uma interface amigável e eficiente, cria um ambiente onde os resultados de um passo da modelagem podem ser interpretados pelo estudante e usados como informação para determinar as modificações de modelagem no passo seguinte. Ao testar diferentes concepções estruturais, acredita-se que os estudantes podem vir a compreender melhor o comportamento estrutural e as fases de dimensionamento dos pórticos. Com as implementações realizadas no programa FTOOL, os estudantes de engenharia e os engenheiros civis executam um projeto estrutural com maior rapidez. Isso se deve ao fato de que diversas análises podem ser realizadas em um curto espaço de tempo para uma mesma estrutura, testando-se diferentes tipos de perfis metálicos. Com tal recurso, o usuário define uma estrutura mais econômica que pode atender com segurança as solicitações previstas em projeto. Pode-se também testar possíveis padronizações de elementos visando uma facilidade de fabricação e montagem. Os critérios de dimensionamento implantados no programa permitem aos usuários não só a automatização das etapas, bem como explorar melhor as possibilidades de entendimento dos modos de ruína dos elementos estruturais e dos parâmetros controladores do dimensionamento da estrutura metálica. Estas etapas compreendem desde a determinação da classe até a cálculo dos estados limites últimos e de utilização dos perfis pertencentes à estrutura. Estas verificações são feitas através da visualização dos resultados realizados na estrutura como um todo ou através de consultas individuais, barra a barra. A memória de cálculo gerada pelo programa auxilia os alunos no entendimento de todas as etapas do processo de dimensionamento estrutural em aço. / [en] This work describes an interactive graphic system, FTOOL (Frame Analysis Tool), for teaching and automation of frame structural design process. The system uses design recommendation presents in the Canadian Standard "Limits States of Steel Structures" - CAN/ CSA-S16.1-94. The complete integration of pre-processing, structural analysis, post-processing, and design is achieved through a friendly and efficient user-interface. The results of a step by step modeling can be accessed by the students and used as information to determine the modeling modifications in the following step. When testing different structural conceptions, it is believed that the students can substantially improve the learning process of structural behaviour and design. With the implementations accomplished in the FTOOL program, Civil Engineering students and designers can speed up the structural design process. Several solutions can be tested in a short space of time, leading to a more economic structure. The program also enables the use of standard elements, which makes the fabrication and construction phases easier. The design requirements implemented in the program allow users not only the automation of the design stages, but also to explore the possibilities of understanding better the ultimate states limits that govern the behavior of the structural elements. The design process ranges from the section class determination to the accessment of ultimate limits states. These verifications are made through the results visualization of the global structure or through an individual quering of each structural member. A full description of the design process is generated by the program helping the students to understand all the stages of steel design. / [es] Este trabajo describe un sistema gráfico interactivo, denominado FTOOL (Frame Analysis Tool), para la enseñanza y automatización de las tareas del proyecto extructural de pórticos planos. En este trabajo se consideran las tareas de dimensionamiento de extructuras de acero según la Norma Canadiense de proyectos de extructuras de acero en edificaciones - CAN/CSA-S16.1-94. La integración completa de las fases de preprocesamiento, análisis extructural, posprocesamiento y dimensionamientos, a través de una interface amigable y eficiente, crea un ambiente donde los resultados de un paso de la modelaje pueden ser interpretados por el estudiante y utilizados como información para determinar las modificaciones del paso siguiente. Experimentar diferentes concepciones extructurales lleva a los estudiantes a una mejor comprensión del comportamiento extructural y de las fases de dimensionamiento de los pórticos. Con las implementaciones realizadas en el programa FTOOL, los estudiantes de ingeniería y los ingenieros civiles ganarán rapidez en la ejecució de un proyecto ya que es posible realizar varias análisis en un corto espacio de tiempo para una misma extructura, probando diferentes tipos de perfiles metálicos. Con tal recurso, el usuario define una extructura más económica que puede atender las solicitudes previstas en el proyecto. El sistema permite también, probar posibles padronizaciones de elementos con el objetivo de facilitar la fabricación y el montaje. Los criterios de dimensionamiento implantados en el programa permiten a los usuarios no solo automatizar las etapas sino también explorar mejor las posibilidades de entender los modos de ruína de los elementos extructurales y los parámetros controladores del dimensionamiento de la extructura metálica. Estas etapas comprenden desde la determinación de la clase hasta el cálculo de los estados límites últimos y la utilización de los perfiles de la extructura. Los resultados realizados en la extructura pueden ser visualizados como un todo o a través de consultas individuales, barra a barra. La memoria de cálculo generada por el programa auxilia a los alumnos en el estudio de todas las etapas del proceso de dimensionamiento extructural en acero.

Los importantes avances en la investigación, de numerosas áreas de conocimiento, han venido propiciados por una mejora en las estrategias de computación empleadas. A modo de ejemplo, la Computación de Altas Prestaciones permite la utilización colaborativa de múltiples procesadores para acelerar la resolución de problemas científicos, e incluso abordar problemas de mayor dimensión. Sin embargo, existen diversas aplicaciones cuyos requisitos computacionales pueden llegar a exceder la capacidad de cómputo de una única organización. En este sentido, los recientes incrementos en el ancho de banda de las redes de comunicaciones han propiciado la idea de unir recursos computacionales geográficamente distribuidos, proporcionando una infraestructura global de computación conocida como el Grid. En esta tesis se combina la Computación de Altas Prestaciones y la Computación en Grid con el objetivo de acelerar la ejecución de aplicaciones científicas, y permitir la resolución de problemas que no pueden ser abordados, en tiempo razonable, con los recursos de una sola organización. Para ello se ha desarrollado un sistema que ofrece una capa de abstracción que simplifica la ejecución de aplicaciones científicas generales sobre infraestructuras Grid. Este sistema, denominado GMarte, ofrece funcionalidad de metaplanificación de tareas para la ejecución concurrente de aplicaciones paralelas sobre recursos basados en Globus Toolkit, el software estándar en Grids computacionales. Posteriormente, y de acuerdo a la tendencia actual hacia las arquitecturas software orientadas a servicios, se ha construido un servicio Grid de metaplanificación genérico, interoperable y basado en tecnologías estándar. Este servicio Grid aporta funcionalidad de metaplanificador a múltiples clientes, que interactúan con él por medio de herramientas gráficas de alto nivel, utilizando mecanismos de seguridad para la protección de datos. De esta manera se consigue simplificar y potenciar la utilización de las te / Moltó Martínez, G. (2007). Computación de altas prestaciones sobre entornos grid en aplicaciones biomédicas: simulación de la actividad eléctrica cardiaca y diseño de proteínas [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/1831

En esta tesis se aborda la eliminaci'on de ruido impulsivo, gaussiano y speckle en im'agenes a color y en escala de gises. Como caso particular se puede mencionar la eliminaci'on de ruido en im'agenes m'edicas. Algunos m'etodos de filtrado son costosos computacionalmente y m'as a'un, si las im'agenes son de gran tama¿no. Con el fin de reducir el coste computacional de dichos m'etodos, en esta tesis se utiliza hardware que soporta procesamiento paralelo, como lo son los cores CPU con procesadores multicore y GPUs con procesadores manycore.En las implementaciones paralelas en CUDA, se configuran algunas caracter'¿sticas con la finalidad de optimizar el procesamiento de la aplicaci'on en las GPUs. Esta tesis estudia por un lado, el rendimiento computacional obtenido en el proceso de eliminaci'on de ruido impulsivo y uniforme. Por otro lado, se eval'ua la calidad despu'es de realizar el proceso de filtrado. El rendimiento computacional se ha obtenido con la paralelizaci'on de los algoritmos en CPU y/o GPU. Para obtener buena calidad en la imagen filtrada, primero se detectan los p'¿xeles corruptos y luego son filtrados solo los p'¿xeles que se han detectado como corruptos. Por lo que respecta a la eliminaci'on de ruido gaussiano y speckle, el an'alisis del filtro difusivo no lineal ha demostrado ser eficaz para este caso. Los algoritmos que se utilizan para eliminar el ruido impulsivo y uniforme en las im'agenes, y sus implementaciones secuenciales y paralelas se han evaluado experimentalmente en tiempo de ejecuci'on (speedup) y eficiencia en tres equipos de c'omputo de altas prestaciones. Los resultados han mostrado que las implementaciones paralelas disminuyen considerablemente los tiempos de ejecuci'on secuenciales. Finalmente, en esta tesis se propone un m'etodo para reducir eficientemente el ruido en las im'agenes sin tener informaci'on inicial del tipo de ruido contenido en ellas. I / Sánchez Cervantes, MG. (2013). Algoritmos de detección y filtrado de imágenes para arquitecturas multicore y manycore [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/28854

La mejora en términos de e¿ciencia en problemas de análisis de dispositivos pasivos de microondas y la dispersión de objetos es un tema de creciente interés. Pese a que el avance de la tecnología de computadores permite la ejecución de programas muy complejos, la e¿ciencia computacional sigue siendo importante debido a la tendencia de aumentar la frecuencia de trabajo en los citados problemas electromagné- ticos. En esta tesis se recogen una serie de herramientas para la mejora de la e¿ciencia de técnicas de análisis electromagnético en espacio abierto y cerrado mediante una recopilación de artículos indexados en prensa cientí¿ca, que se presentan de forma razonada. En primer lugar se aplica la transformada Wavelet en al análisis de dispersores cilíndricos mediante la técnica de la Ecuación Integral. Posteriormente se introducen distintas técnicas de discretización, así como rutinas de solución de problemas de autovalores y autovectores adaptadas a la estructura matricial y al procesado en paralelo en el entorno del análisis de dispositivos cerrados. En concreto, dichas técnicas se han aplicado al método denominado Boundary Integral Resonant Mode Expansion (BI-RME) en el dominio bidimensional. Este método realiza una expansión modal de una guía de ondas arbitraria en función de los modos correspondientes a una guía canónica de referencia. Finalmente se han introducido mejoras en la técnica BI-RME aplicada en entornos tridimensionales para el análisis de cavidades con geometría arbitraria. El objetivo en todos los casos consiste en obtener una mejora del tiempo de cálculo y en la memoria requerida, sin perder precisión en gran medida. Todo este trabajo se ha integrado en un software comercial existente, que se emplea actualmente en el diseño y la caracterización de dispositivos pasivos de microondas utilizados en aplicaciones espaciales. / Vidal Pantaleoni, A. (2013). Técnicas secuenciales y paralelas para la resolución de problemas computacionales en electromagnetismo [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/30776

[ES] Con el desarrollo de la Computación en la Nube, la entrega de recursos virtualizados a través de Internet ha crecido enormemente en los últimos años. Las Funciones como servicio (FaaS), uno de los modelos de servicio más nuevos dentro de la Computación en la Nube, permite el desarrollo e implementación de aplicaciones basadas en eventos que cubren servicios administrados en Nubes públicas y locales. Los proveedores públicos de Computación en la Nube adoptan el modelo FaaS dentro de su catálogo para proporcionar computación basada en eventos altamente escalable para las aplicaciones. Por un lado, los desarrolladores especializados en esta tecnología se centran en crear marcos de código abierto serverless para evitar el bloqueo con los proveedores de la Nube pública. A pesar del desarrollo logrado por la informática serverless, actualmente hay campos relacionados con el procesamiento de datos y la optimización del rendimiento en la ejecución en los que no se ha explorado todo el potencial. En esta tesis doctoral se definen tres estrategias de computación serverless que permiten evidenciar los beneficios de esta tecnología para el procesamiento de datos. Las estrategias implementadas permiten el análisis de datos con la integración de dispositivos de aceleración para la ejecución eficiente de aplicaciones científicas en plataformas cloud públicas y locales. En primer lugar, se desarrolló la plataforma CloudTrail-Tracker. CloudTrail-Tracker es una plataforma serverless de código abierto basada en eventos para el procesamiento de datos que puede escalar automáticamente hacia arriba y hacia abajo, con la capacidad de escalar a cero para minimizar los costos operativos. Seguidamente, se plantea la integración de GPUs en una plataforma serverless local impulsada por eventos para el procesamiento de datos escalables. La plataforma admite la ejecución de aplicaciones como funciones severless en respuesta a la carga de un archivo en un sistema de almacenamiento de ficheros, lo que permite la ejecución en paralelo de las aplicaciones según los recursos disponibles. Este procesamiento es administrado por un cluster Kubernetes elástico que crece y decrece automáticamente según las necesidades de procesamiento. Ciertos enfoques basados en tecnologías de virtualización de GPU como rCUDA y NVIDIA-Docker se evalúan para acelerar el tiempo de ejecución de las funciones. Finalmente, se implementa otra solución basada en el modelo serverless para ejecutar la fase de inferencia de modelos de aprendizaje automático previamente entrenados, en la plataforma de Amazon Web Services y en una plataforma privada con el framework OSCAR. El sistema crece elásticamente de acuerdo con la demanda y presenta una escalado a cero para minimizar los costes. Por otra parte, el front-end proporciona al usuario una experiencia simplificada en la obtención de la predicción de modelos de aprendizaje automático. Para demostrar las funcionalidades y ventajas de las soluciones propuestas durante esta tesis se recogen varios casos de estudio que abarcan diferentes campos del conocimiento como la analítica de aprendizaje y la Inteligencia Artificial. Esto demuestra que la gama de aplicaciones donde la computación serverless puede aportar grandes beneficios es muy amplia. Los resultados obtenidos avalan el uso del modelo serverless en la simplificación del diseño de arquitecturas para el uso intensivo de datos en aplicaciones complejas. / [CA] Amb el desenvolupament de la Computació en el Núvol, el lliurament de recursos virtualitzats a través d'Internet ha crescut granment en els últims anys. Les Funcions com a Servei (FaaS), un dels models de servei més nous dins de la Computació en el Núvol, permet el desenvolupament i implementació d'aplicacions basades en esdeveniments que cobreixen serveis administrats en Núvols públics i locals. Els proveïdors de computació en el Núvol públic adopten el model FaaS dins del seu catàleg per a proporcionar a les aplicacions computació altament escalable basada en esdeveniments. D'una banda, els desenvolupadors especialitzats en aquesta tecnologia se centren en crear marcs de codi obert serverless per a evitar el bloqueig amb els proveïdors del Núvol públic. Malgrat el desenvolupament alcançat per la informàtica serverless, actualment hi ha camps relacionats amb el processament de dades i l'optimització del rendiment d'execució en els quals no s'ha explorat tot el potencial. En aquesta tesi doctoral es defineixen tres estratègies informàtiques serverless que permeten demostrar els beneficis d'aquesta tecnologia per al processament de dades. Les estratègies implementades permeten l'anàlisi de dades amb a integració de dispositius accelerats per a l'execució eficient d'aplicacion scientífiques en plataformes de Núvol públiques i locals. En primer lloc, es va desenvolupar la plataforma CloudTrail-Tracker. CloudTrail-Tracker és una plataforma de codi obert basada en esdeveniments per al processament de dades serverless que pot escalar automáticament cap amunt i cap avall, amb la capacitat d'escalar a zero per a minimitzar els costos operatius. A continuació es planteja la integració de GPUs en una plataforma serverless local impulsada per esdeveniments per al processament de dades escalables. La plataforma admet l'execució d'aplicacions com funcions severless en resposta a la càrrega d'un arxiu en un sistema d'emmagatzemaments de fitxers, la qual cosa permet l'execució en paral·lel de les aplicacions segon sels recursos disponibles. Este processament és administrat per un cluster Kubernetes elàstic que creix i decreix automàticament segons les necessitats de processament. Certs enfocaments basats en tecnologies de virtualització de GPU com rCUDA i NVIDIA-Docker s'avaluen per a accelerar el temps d'execució de les funcions. Finalment s'implementa una altra solució basada en el model serverless per a executar la fase d'inferència de models d'aprenentatge automàtic prèviament entrenats en la plataforma de Amazon Web Services i en una plataforma privada amb el framework OSCAR. El sistema creix elàsticament d'acord amb la demanda i presenta una escalada a zero per a minimitzar els costos. D'altra banda el front-end proporciona a l'usuari una experiència simplificada en l'obtenció de la predicció de models d'aprenentatge automàtic. Per a demostrar les funcionalitats i avantatges de les solucions proposades durant esta tesi s'arrepleguen diversos casos d'estudi que comprenen diferents camps del coneixement com l'analítica d'aprenentatge i la Intel·ligència Artificial. Això demostra que la gamma d'aplicacions on la computació serverless pot aportar grans beneficis és molt àmplia. Els resultats obtinguts avalen l'ús del model serverless en la simplificació del disseny d'arquitectures per a l'ús intensiu de dades en aplicacions complexes. / [EN] With the development of Cloud Computing, the delivery of virtualized resources over the Internet has greatly grown in recent years. Functions as a Service (FaaS), one of the newest service models within Cloud Computing, allows the development and implementation of event-based applications that cover managed services in public and on-premises Clouds. Public Cloud Computing providers adopt the FaaS model within their catalog to provide event-driven highly-scalable computing for applications. On the one hand, developers specialized in this technology focus on creating open-source serverless frameworks to avoid the lock-in with public Cloud providers. Despite the development achieved by serverless computing, there are currently fields related to data processing and execution performance optimization where the full potential has not been explored. In this doctoral thesis three serverless computing strategies are defined that allow to demonstrate the benefits of this technology for data processing. The implemented strategies allow the analysis of data with the integration of accelerated devices for the efficient execution of scientific applications on public and on-premises Cloud platforms. Firstly, the CloudTrail-Tracker platform was developed to extract and process learning analytics in the Cloud. CloudTrail-Tracker is an event-driven open-source platform for serverless data processing that can automatically scale up and down, featuring the ability to scale to zero for minimizing the operational costs. Next, the integration of GPUs in an event-driven on-premises serverless platform for scalable data processing is discussed. The platform supports the execution of applications as serverless functions in response to the loading of a file in a file storage system, which allows the parallel execution of applications according to available resources. This processing is managed by an elastic Kubernetes cluster that automatically grows and shrinks according to the processing needs. Certain approaches based on GPU virtualization technologies such as rCUDA and NVIDIA-Docker are evaluated to speed up the execution time of the functions. Finally, another solution based on the serverless model is implemented to run the inference phase of previously trained machine learning models on theAmazon Web Services platform and in a private platform with the OSCAR framework. The system grows elastically according to demand and is scaled to zero to minimize costs. On the other hand, the front-end provides the user with a simplified experience in obtaining the prediction of machine learning models. To demonstrate the functionalities and advantages of the solutions proposed during this thesis, several case studies are collected covering different fields of knowledge such as learning analytics and Artificial Intelligence. This shows the wide range of applications where serverless computing can bring great benefits. The results obtained endorse the use of the serverless model in simplifying the design of architectures for the intensive data processing in complex applications. / Naranjo Delgado, DM. (2021). Serverless Computing Strategies on Cloud Platforms [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/160916

[ES] En los últimos años, distintos proyectos alrededor del mundo se han centrado en el diseño de supercomputadores capaces de alcanzar la meta de la computación a exascala, con el objetivo de soportar la ejecución de aplicaciones de gran importancia para la sociedad en diversos campos como el de la salud, la inteligencia artificial, etc. Teniendo en cuenta la creciente tendencia de la potencia computacional en cada generación de supercomputadores, este objetivo se prevee accesible en los próximos años. Alcanzar esta meta requiere abordar diversos retos en el diseño y desarrollo del sistema. Uno de los principales es conseguir unas comunicaciones rápidas y eficientes entre el inmenso número de nodos de computo y los sitemas de memoria. La tecnología fotónica proporciona ciertas ventajas frente a las redes eléctricas, como un mayor ancho de banda en los enlaces, un mayor paralelismo a nivel de comunicaciones gracias al DWDM o una mejor gestión del cableado gracias a su reducido tamaño. En la tesis se ha desarrollado un estudio de viabilidad y desarrollo de redes de interconexión haciendo uso de la tecnología fotónica para los futuros sistemas a exaescala dentro del proyecto europeo ExaNeSt. En primer lugar, se ha realizado un análisis y caracterización de aplicaciones exaescala. Este análisis se ha utilizado para conocer el comportamiento y requisitos de red que presentan las aplicaciones, y con ello guiarnos en el diseño de la red del sistema. El análisis considera tres parámetros: la distribución de mensajes en base a su tamaño y su tipo, el consumo de ancho de banda requerido a lo largo de la ejecución y la matriz de comunicación espacial entre los nodos. El estudio revela la necesidad de una red eficiente y rápida, debido a que la mayoría de las comunaciones se realizan en burst y con mensajes de un tamaño medio inferior a 50KB. A continuación, la tesis se centra en identificar los principales elementos que diferencian las redes fotónicas de las eléctricas. Identificamos una secuencia de pasos en el diseño de un simulador, ya sea haciéndolo desde cero con tecnología fotónica o adaptando un simulador de redes eléctricas existente para modelar la fotónica. Después se han realizado dos estudios de rendimiento y comparativas entre las actuales redes eléctricas y distintas configuraciones de redes fotónicas utilizando topologías clásicas. En el primer estudio, realizado tanto con tráfico sintético como con trazas de ExaNeSt en un toro, fat tree y dragonfly, se observa como la tecnología fotónica supone una clara mejora respecto a la eléctrica. Además, el estudio muestra que el parámetro que más afecta al rendimiento es el ancho de banda del canal fotónico. El segundo estudio muestra el comportamiento y rendimiento de aplicaciones reales en simulaciones a gran escala en una topología jellyfish. En este estudio se confirman las conclusiones obtenidas en el anterior, revelando además que la tecnología fotónica permite reducir la complejidad de algunas topologías, y por ende, el coste de la red. En los estudios realizados se ha observado una baja utilización de la red debido a que las topologías utilizadas para redes eléctricas no aprovechan las características que proporciona la tecnología fotónica. Por ello, se ha propuesto Segment Switching, una estrategia de conmutación orientada a reducir la longitud de las rutas mediante el uso de buffers intermedios. Los resultados experimentales muestran que cada topología tiene sus propios requerimientos. En el caso del toro, el mayor rendimiento se obtiene con un mayor número de buffers en la red. En el fat tree el parámetro más importante es el tamaño del buffer, obteniendo unas prestaciones similares una configuración con buffers en todos los switches que la que los ubica solo en el nivel superior. En resumen, esta tesis estudia el uso de la tecnología fotónica para las redes de sistemas a exascala y propone aprovechar / [CA] Els darrers anys, múltiples projectes de recerca a tot el món s'han centrat en el disseny de superordinadors capaços d'assolir la barrera de computació exascala, amb l'objectiu de donar suport a l'execució d'aplicacions importants per a la nostra societat, com ara salut, intel·ligència artificial, meteorologia, etc. Segons la tendència creixent en la potència de càlcul en cada generació de superordinadors, es preveu assolir aquest objectiu en els propers anys. No obstant això, assolir aquest objectiu requereix abordar diferents reptes importants en el disseny i desenvolupament del sistema. Un dels principals és aconseguir comunicacions ràpides i eficients entre l'enorme nombre de nodes computacionals i els sistemes de memòria. La tecnologia fotònica proporciona diversos avantatges respecte a les xarxes elèctriques actuals, com ara un major ample de banda als enllaços, un major paral·lelisme de la xarxa gràcies a DWDM o una millor gestió del cable a causa de la seva mida molt més xicoteta. En la tesi, s'ha desenvolupat un estudi de viabilitat i desenvolupament de xarxes d'interconnexió mitjançant tecnologia fotònica per a futurs sistemes exascala dins del projecte europeu ExaNeSt. En primer lloc, s'ha dut a terme un estudi de caracterització d'aplicacions exascala dels requisits de xarxa. Els resultats de l'anàlisi ajuden a entendre els requisits de xarxa de les aplicacions exascale i, per tant, ens guien en el disseny de la xarxa del sistema. Aquesta anàlisi considera tres paràmetres principals: la distribució dels missatges en funció de la seva mida i tipus, el consum d'ample de banda requerit durant tota l'execució i els patrons de comunicació espacial entre els nodes. L'estudi revela la necessitat d'una xarxa d'interconnexió ràpida i eficient, ja que la majoria de comunicacions consisteixen en ràfegues de transmissions, cadascuna amb una mida mitjana de missatge de 50 KB. A continuació, la tesi se centra a identificar els principals elements que diferencien les xarxes fotòniques de les elèctriques. Identifiquem una seqüència de passos en el disseny i implementació d'un simulador: tractar la tecnologia fotònica des de zero o per ampliar un simulador de xarxa elèctrica existent per modelar la fotònica. Després, es presenten dos estudis principals de comparació de rendiment entre xarxes elèctriques i diferents configuracions de xarxes fotòniques mitjançant topologies clàssiques. En el primer estudi, realitzat tant amb trànsit sintètic com amb traces d'ExaNeSt en un toro, fat tree i dragonfly, vam trobar que la tecnologia fotònica representa una millora notable respecte a la tecnologia elèctrica. A més, l'estudi mostra que el paràmetre que més afecta el rendiment és l'amplada de banda del canal fotònic. Aquest darrer estudi analitza el rendiment d'aplicacions reals en simulacions a gran escala en una topologia jellyfish. Els resultats d'aquest estudi corroboren les conclusions obtingudes en l'anterior, revelant també que la tecnologia fotònica permet reduir la complexitat d'algunes topologies i, per tant, el cost de la xarxa. En els estudis anteriors ens adonem que la xarxa estava infrautilitzada principalment perquè les topologies estudiades per a xarxes elèctriques no aprofiten les característiques proporcionades per la tecnologia fotònica. Per aquest motiu, proposem Segment Switching, una estratègia de commutació destinada a reduir la longitud de les rutes mitjançant la implementació de memòries intermèdies en nodes intermedis al llarg de la ruta. Els resultats experimentals mostren que cadascuna de les topologies estudiades presenta diferents requisits de memòria intermèdia. Per al toro, com més gran siga el nombre de memòries intermèdies a la xarxa, major serà el rendiment. Per al fat tree, el paràmetre clau és la mida de la memòria intermèdia, aconseguint un rendiment similar tant amb una configuració amb memòria intermèdia en tots els co / [EN] In the last recent years, multiple research projects around the world have focused on the design of supercomputers able to reach the exascale computing barrier, with the aim of supporting the execution of important applications for our society, such as health, artificial intelligence, meteorology, etc. According to the growing trend in the computational power in each supercomputer generation, this objective is expected to be reached in the coming years. However, achieving this goal requires addressing distinct major challenges in the design and development of the system. One of the main ones is to achieve fast and efficient communications between the huge number of computational nodes and the memory systems. Photonics technology provides several advantages over current electrical networks, such as higher bandwidth in the links, greater network parallelism thanks to DWDM, or better cable management due to its much smaller size. In this thesis, a feasibility study and development of interconnection networks have been developed using photonics technology for future exascale systems within the European project ExaNeSt. First, a characterization study of exascale applications from the network requirements has been carried out. The results of the analysis help understand the network requirements of exascale applications, and thereby guide us in the design of the system network. This analysis considers three main parameters: the distribution of the messages based on their size and type, the required bandwidth consumption throughout the execution, and the spatial communication patterns between the nodes. The study reveals the need for a fast and efficient interconnection network, since most communications consist of bursts of transmissions, each with an average message size of 50 KB. Next, this dissertation concentrates on identifying the main elements that differentiate photonic networks from electrical ones. We identify a sequence of steps in the design and implementation of a simulator either i) dealing with photonic technology from scratch or ii) to extend an existing electrical network simulator in order to model photonics. After that, two main performance comparison studies between electrical networks and different configurations of photonic networks are presented using classical topologies. In the former study, carried out with both synthetic traffic and traces of ExaNeSt in a torus, fat tree and dragonfly, we found that photonic technology represents a noticeable improvement over electrical technology. Furthermore, the study shows that the parameter that most affects the performance is the bandwidth of the photonic channel. The latter study analyzes performance of real applications in large-scale simulations in a jellyfish topology. The results of this study corroborates the conclusions obtained in the previous, also revealing that photonic technology allows reducing the complexity of some topologies, and therefore, the cost of the network. In the previous studies we realize that the network was underutilized mainly because the studied topologies for electrical networks do not take advantage of the features provided by photonic technology. For this reason, we propose Segment Switching, a switching strategy aimed at reducing the length of the routes by implementing buffers at intermediate nodes along the path. Experimental results show that each of the studied topologies presents different buffering requirements. For the torus, the higher the number of buffers in the network, the higher the performance. For the fat tree, the key parameter is the buffer size, achieving similar performance a configuration with buffers on all switches that locating buffers only at the top level. In summary, this thesis studies the use of photonic technology for networks of exascale systems, and proposes to take advantage of the characteristics of this technology in current electrical network topologies. / This thesis has been conceived from the work carried out by Polytechnic University of Valencia in the ExaNeSt European project / Duro Gómez, J. (2021). Photonic Interconnection Networks for Exascale Computers [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/166796

Tesis por compendio / [ES] La prueba médica de Tomografía Computarizada (TC) es esencial actualmente en la práctica clínica para el diagnóstico y seguimiento de múltiples enfermedades y lesiones, siendo una de las pruebas de imagen médica más importante por la gran cantidad de información que es capaz de aportar. Sin embargo, a diferencia de otros métodos de diagnóstico por imagen que son inocuos, la prueba de TC utiliza rayos X, que son ionizantes, por lo que suponen un riesgo para los pacientes. Es por ello que es necesario desarrollar métodos que permitan reducir la dosis de radiación a la que se expone a los pacientes que se realizan un estudio, sin comprometer la calidad de imagen puesto que sino se estaría sometiendo a un riesgo a estas personas sin que un diagnóstico de calidad esté garantizado. Durante el desarrollo de esta tesis se han investigado métodos de reconstrucción de imagen TC que se basan en reducir el número de proyecciones usadas, con el objetivo de reducir el tiempo de exposición a los rayos X. Esta estrategia de reducción de dosis está en fase de investigación, a diferencia de otras que están implantadas en la práctica clínica y ya han sido desarrolladas por los propios fabricantes de los escáneres. Por tanto, nos hemos centrado en los llamados métodos algebraicos de reconstrucción, que son los más apropiados para este tipo de adquisición de proyecciones puesto que son capaces de trabajar con menos información que los métodos clásicos conservando una buena calidad de imagen. En concreto, se ha estudiado a fondo el comportamiento del método LSQR para la resolución de este problema, combinado con una técnica de filtrado llamada Soft Thresholding Filter y una técnica de aceleración llamada FISTA. Además, se ha introducido el filtro de imagen Bilateral que es capaz de mejorar la calidad de las imágenes cuando se combina con los métodos anteriores. El estudio multiparamétrico realizado se ha llevado a cabo en un entorno de computación distribuida Grid, para analizar cómo los distintos parámetros que intervienen en el proceso de reconstrucción pueden influir sobre la imagen resultado. Dicho estudio se ha diseñado para hacer uso de la potencia de cómputo de la plataforma distribuida aunque el software que se necesita no esté disponible. La instalación de dicho software se puede realizar en el tiempo de ejecución de los trabajos, o en se puede empaquetar en una imagen que estará instalada en un contenedor Docker, lo que es una opción muy interesante para sistemas donde no tengamos privilegios. El esquema seguido para la creación y lanzamiento de los trabajos es fácilmente reproducible. Por otra parte, se han planteado dos métodos algebraicos directos para la reconstrucción de TC basados en la factorización de la matriz que modela el sistema. El primero es el método SVD, que se ha probado mediante la librería SLEPc, obteniendo mayores tasas de uso de memoria principal, por lo que ha sido descartado en favor del método QR. La primera aproximación a la resolución se ha hecho mediante la librería SuiteSparseQR, desarrollando después un método propio siguiendo la técnica Out-Of-Core que permite almacenar las matrices en el propio disco duro en lugar de cargarlas en memoria, por lo que el tamaño del problema puede aumentar sin que el coste del hardware sea muy alto. Dicho método obtiene reconstrucciones de alta calidad cuando el rango de la matriz factorizada es completo. En los resultados se muestra como para una resolución alta, garantizar el rango completo todavía supone una reducción del número de proyecciones con respecto a métodos tradicionales. Por tanto, en esta tesis se ha llevado a cabo la investigación y el posterior desarrollo mediante librerías y técnicas de computación de Altas Prestaciones de varios métodos algebraicos de reconstrucción de TC basados en la reducción de proyecciones que permiten mantener una buena calidad de imagen. Dichos métodos han sido optimizados para lograr los menores tiempos de reconstrucción posibles, con el fin de hacerlos competitivos y que algún día puedan ser instaurados en la práctica clínica. / [CA] Actualment, la prova mèdica de tomografia computeritzada (TC) és essencial en la pràctica clínica per al diagnòstic i el seguiment de múltiples malalties i lesions, sent una de les proves d'imatge mèdica més importants a causa de la gran quantitat d'informació que és capaç d'oferir. Tanmateix, a diferència d'altres mètodes d'imatge médica, la prova CT utilitza raigs X, que són ionitzants i suposen un risc per als pacients. Per això, és necessari desenvolupar mètodes que permetin reduir la dosi de radiació a la qual estan exposats els pacients sotmesos a un estudi, sense comprometre la qualitat de la imatge, ja que en cas contrari estarien sotmetent a aquestes persones a un risc sense que es garantís l'avantatge d'un diagnòstic d'alta qualitat. Durant el desenvolupament d'aquesta tesi, s'han investigat diversos mètodes de reconstrucció d'imatges CT basats en la reducció del nombre de projeccions utilitzades, amb l'objectiu de reduir el temps d'exposició als raigs X. Aquesta estratègia de reducció de dosis es troba en fase investigació, a diferència d'altres que s'implementen a la pràctica clínica i que ja han estat desenvolupades pels propis fabricants d'escàners. Per tant, ens hem centrat en els anomenats mètodes de reconstrucció algebraica, que són els més adequats per a aquest tipus d'adquisició de projecció, ja que són capaços de treballar amb menys informació que els mètodes clàssics mantenint una bona qualitat d'imatge. Concretament, s'ha estudiat a fons el comportament del mètode LSQR per resoldre aquest problema, combinat amb una tècnica de filtratge anomenada Soft Thresholding Filter i una tècnica d'acceleració anomenada FISTA. A més, s'ha introduït un filtre d'imatges anomenat filtre bilateral, que és capaç de millorar la qualitat de les imatges quan es combina amb els mètodes anteriors. L'estudi multiparamètric de LSQR es va dur a terme en un entorn informàtic distribuït Grid, per analitzar com els diferents paràmetres implicats en el procés de reconstrucció poden influir en la imatge resultant. Aquest estudi ha estat dissenyat per fer ús de la potència de càlcul de la plataforma distribuïda encara que el programari requerit no estigui disponible. La instal·lació d'aquest programari es pot fer en el moment d'executar els treballs o es pot empaquetar en una imatge que s'instal·larà en un contenidor Docker, que és una opció molt interessant per a sistemes on no tenim privilegis. L'esquema seguit per a la creació i el llançament dels treballs es pot reproduir fàcilment per a estudis multiparamètrics d'aquest tipus. D'altra banda, s'han proposat dos mètodes algebraics directes per a la reconstrucció CT basats en la factorització de la matriu que modela el sistema. El primer és el mètode SVD, que s'ha provat mitjançant la biblioteca SLEPc, obtenint taxes d'ús més alt de memòria principal, motiu pel qual s'ha descartat a favor del mètode QR. La primera aproximació a la resolució s'ha fet a través de la biblioteca SuiteSparseQR, desenvolupant posteriorment la nostra pròpia implementació mitjançant la tècnica Out-Of-Core que permet emmagatzemar les matrius al disc dur en lloc de carregar-les a la memòria, de manera que la mida de el problema pot augmentar sense que el cost del maquinari sigui molt alt. Aquest mètode obté reconstruccions d'alta qualitat quan el rang de la matriu factoritzada és complet. En els resultats es demostra que per a una alta resolució, garantir el rang complet encara significa una reducció del nombre de projeccions en comparació amb els mètodes tradicionals. Per tant, en aquesta tesi s'ha dut a terme la investigació i el desenvolupament posterior de diversos mètodes de reconstrucció algebraica de CT mitjançant biblioteques i tècniques de computació d'altes prestacions. Aquests mètodes basats en la reducció de projeccions, que permeten mantenir una bona qualitat d’imatge, s’han optimitzat per aconseguir els temps de reconstrucció més breus possibles, per tal de fer-los competitius perquè algun dia puguin implementarse a la pràctica clínica. / [EN] The Computerized Tomography (CT) medical test is currently essential in clinical practice for the diagnosis and monitoring of multiple diseases and injuries, being one of the most important medical imaging tests due to the large amount of information it is capable of providing. However, unlike other safe imaging methods, the CT test uses X-rays, which are ionizing, posing a risk to patients. That is why it is necessary to develop methods that allow reducing the radiation dose to which patients undergoing a study are exposed, without compromising image quality since otherwise they would be subjecting these people to a risk without the benefit of a high-quality diagnosis being guaranteed. During the development of this thesis, several CT image reconstruction methods that are based on reducing the number of projections used have been investigated, with the aim of reducing the time of exposure to X-rays. This dose reduction strategy is in research phase, unlike others that are implemented in clinical practice and have already been developed by the scanner manufacturers themselves. Therefore, we have focused on the algebraic reconstruction methods, which are the most appropriate for this type of projection acquisition since they are capable of working with less information than the classical methods while maintaining good image quality. Specifically, the behavior of the LSQR method to solve this problem has been thoroughly studied, combined with a filtering technique called Soft Thresholding Filter and an acceleration technique called FISTA. In addition, the so-called Bilateral filter has been introduced, which is capable of improving the quality of images when combined with the above methods. The multiparametric LSQR study was carried out in a Grid distributed computing environment, to analyze how the different parameters involved in the reconstruction process can influence the resulting image. This study has been designed to make use of the computing power of the distributed platform even if the software required is not available. The installation of said software can be done at the time of execution of the jobs, or it can be packaged in an image that will be installed in a Docker container, which is a very interesting option for systems where we do not have privileges. The scheme followed for the creation and launch of the jobs is easily reproducible for multiparametric studies of this type. On the other hand, two direct algebraic methods have been proposed for CT reconstruction based on the factorization of the matrix that models the system. The first is the SVD method, which has been tested using the SLEPc library, obtaining higher rates of main memory usage, which is why it has been discarded in favor of the QR method. The first approximation to the resolution has been made through the SuiteSparseQR library, later developing our own implementation using the Out-Of-Core technique that allows the matrices to be stored on the hard drive itself instead of loading them in memory, so the size of the problem can increase without the cost of the hardware being very high. This method obtains high-quality reconstructions when the rank of the factored matrix is complete. In the results it is shown that for a high resolution, guaranteeing the full rank still means a reduction in the number of projections compared to traditional methods. Therefore, in this thesis, research and subsequent development of several algebraic CT reconstruction methods has been carried out using libraries and High Performance Computing techniques. These methods based on the reduction of projections, which allows maintaining good image quality, and have been optimized to achieve the shortest possible reconstruction times, in order to make them competitive so that one day they can be implemented in clinical practice. / This research has been supported by Universitat Politècnica de València and partially funded by TIN2015-66972-C5-4-R, ENE2014-59442-P-AR and TIN2013-44390-R projects of the "Ministerio de Economía y Competitividad" of Spain, as well as the Spanish ”Generalitat Valenciana” PROMETEOII/2014/008, PROMETEO/2018/035 projects and ACIF/2017/075 predoctoral grant. This work has also been co-financed by FEDER and FSE funds, and the “Spanish Ministry of Science, Innovation and Universities” under Grant RTI2018-098156-B-C54 / Chillarón Pérez, M. (2021). Análisis y desarrollo de algoritmos de altas prestaciones para reconstrucción de imagen médica TAC 3D basados en la reducción de dosis [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/180116 / Compendio

[ES] En la actualidad, cada vez existen más y más tareas que necesitamos exportar y automatizar en dispositivos portables de bajo consumo que se alimentan de baterías, en los cuales es imprescindible realizar un uso "optimo" de la energía disponible con la finalidad de no drenarlas rápidamente.En la sección primera de esta tesis, "Filtros de señales de audio digital", "optimizamos" las implementaciones de diferentes filtros, tanto generales como específicos, para aplicaciones de sonido digital diseñados e implantados en plataformas basadas en las arquitecturas ARM®. Como filtros generales, trabajamos con los filtros FIR, IIR y Parallel IIR, siendo este tipo de filtros implementados a bajo nivel con instrucciones vectoriales NEON®. Finalmente, se implementa un filtro de separación de señales conocido como "Beamforming", el cual plantea después de su estudio, la problemática de realizar una factorización QR de una matriz relativamente grande en tiempo real, lo cual nos lleva a desarrollar diferentes técnicas de "aceleración" de los cálculos de la misma. En la segunda parte, "Rellenado de mapa de profundidad de una escena", describimos el proceso de rellenado de un mapa de profundidad de una escena capturada a partir del uso de la imagen RGB y de un mapa de profundidad disperso donde únicamente tenemos valores de profundidad en los bordes de los objetos que componen la escena. Estos algoritmos de "rellenado" del mapa de profundidad, también han sido diseñados e implantados en dispositivos basados en la arquitectura ARM®. / [CA] Actualment, cada vegada existixen més i més tasques que tenen la necessitat d'exportar i automatitzar a dispositius portables de baix consum que s'alimenten amb bateríes, als quals es imprescindible realitzar un ús "óptim" de l'energia disponible amb la finalitat de no drenar-les ràpidament. Part I: Filtres de senyals d'àudio digital En aquesta secció "optimitzarem" les implementacions de diferents filtres, tant generals com específics, empreats a aplicacions de so digital disenyats e implantats a plataformes basades a les arquitectures ARM®. Com a filtres generals, treballem amb els filtres FIR, IIR y Parallel IIR, sent aquests tipus de filtres implementats a baix nivell amb instruccions vectorials NEON®. Finalment, s'implementa un filtro de separació de senyals conegut com "Beamforming", el qual planteja després del seu estudi, la problem`atica de realitzar una factorizació QR d'una matriu relativament gran en temps real, i açó ens porta a desenvolupar diferents tècniques "d'acceleració" dels càlculs de la mateixa. Part II: Emplenat del mapa de profunditat d'una escena A la secció d'image per computador, descrivim el procés d'emplenat d'un mapa de profunditat d'una escena capturada fent servir l'image RGB i un mapa de profunditat dispers on únicament tenim valors de profunditat als bordes dels objetes que composen l'escena. Aquests algoritmes "d'emplenat" del mapa de profunditat, també han sigut disenyats e implantats a dispositius basats en l'arquitectura ARM®. / [EN] Currently, there are more and more tasks that we need to export and automate in low-consumption mobile devices that are powered by batteries, in which it is essential to make an "optimum" use of the available energy in order to do not drain them quickly. Part I: Filters of digital audio signals In this section we "optimize" the implementations of different filters, both general and specific, for digital sound applications designed and implemented on platforms based on the ARM®. As general filters, we work with the FIR, IIR and Parallel IIR filters, these types of filters being implemented at a low level with NEON®vector instructions. Finally, a signal separation filter known as "Beamforming" is implemented, which set out after its study, the problem of performing a QR factorization of a relatively large matrix in real time, which leads us to develop different techniques of "acceleration" of the calculations of it. Part II: Filling the depth map of a scene In the computer image section, we describe the process of filling in a depth map of a captured scene using RGB image and a sparse depth map where we only have depth values at the edges of the objects that make up the scene. These depth map "filling" algorithms have also been designed and implemented in devices based on the ARM® architecture. / Alventosa Rueda, FJ. (2022). Algoritmos de imagen y sonido digital con restricciones de tiempo real [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181573

Tesis por compendio / [ES] La tesis presentada se enmarca dentro del ámbito de la ciencia computacional. Dentro de esta, se centra en el desarrollo de herramientas para la ejecución de experimentación científica computacional, el impacto de la cual es cada vez mayor en todos los ámbitos de la ciencia y la ingeniería. Debido a la creciente complejidad de los cálculos realizados, cada vez es necesario un mayor conocimiento de las técnicas y herramientas disponibles para llevar a cabo este tipo de experimentos, ya que pueden requerir, en general, una gran infraestructura computacional para afrontar los altos costes de cómputo. Más aún, la reciente popularización del cómputo en la Nube ofrece una gran variedad de posibilidades para configurar nuestras propias infraestructuras con requisitos específicos. No obstante, el precio a pagar es la complejidad de configurar dichas infraestructuras en este tipo de entornos. Además, el aumento en la complejidad de configuración de los entornos en la nube no hace más que agravar un problema ya existente en el ámbito científico, y es el de la reproducibilidad de los resultados publicados. La falta de documentación, como las versiones de software que se han usado para llevar a cabo el cómputo, o los datos requeridos, provocan que una parte significativa de los resultados de experimentos computacionales publicados no sean reproducibles por otros investigadores. Como consecuencia, se produce un derroche de recursos destinados a la investigación. Como respuesta a esta situación, existen, y continúan desarrollándose, diferentes herramientas para facilitar procesos como el despliegue y configuración de infraestructura, el acceso a los datos, el diseño de flujos de cómputo, etc. con el objetivo de que los investigadores puedan centrarse en el problema a abordar. Precisamente, esta es la base de los trabajos desarrollados en la presente tesis, el desarrollo de herramientas para facilitar que el cómputo científico se beneficie de entornos de computación en la Nube de forma eficiente. El primer trabajo presentado empieza con un estudio exhaustivo de las prestaciones d'un servicio relativamente nuevo, la ejecución serverless de funciones. En este, se determinará la conveniencia de usar este tipo de entornos en el cálculo científico midiendo tanto sus prestaciones de forma aislada, como velocidad de CPU y comunicaciones, como en conjunto mediante el desarrollo de una aplicación de procesamiento MapReduce para entornos serverless. En el siguiente trabajo, se abordará una problemática diferente, y es la reproducibilidad de experimentos computacionales. Para conseguirlo, se presentará un entorno, basado en Jupyter, donde se encapsule tanto el proceso de despliegue y configuración de infraestructura computacional como el acceso a datos y la documentación de la experimentación. Toda esta información quedará registrada en el notebook de Jupyter donde se ejecuta el experimento, permitiendo así a otros investigadores reproducir los resultados simplemente compartiendo el notebook correspondiente. Volviendo al estudio de las prestaciones del primer trabajo, teniendo en cuenta las medidas y bien estudiadas fluctuaciones de éstas en entornos compartidos, como el cómputo en la Nube, en el tercer trabajo se desarrollará un sistema de balanceo de carga diseñado expresamente para este tipo de entornos. Como se mostrará, este componente es capaz de gestionar y corregir de forma precisa fluctuaciones impredecibles en las prestaciones del cómputo en entornos compartidos. Finalmente, y aprovechando el desarrollo anterior, se diseñará una plataforma completamente serverless encargada de repartir y balancear tareas ejecutadas en múltiples infraestructuras independientes. La motivación de este último trabajo viene dada por los altos costes computacionales de ciertos experimentos, los cuales fuerzan a los investigadores a usar múltiples infraestructuras que, en general, pertenecen a diferentes organizaciones. / [CA] La tesi presentada a aquest document s'emmarca dins de l'àmbit de la ciència computacional. Dintre d'aquesta, es centra en el desenvolupament d'eines per a l'execució d'experimentació científica computacional, la qual té un impacte cada vegada major en tots els àmbits de la ciència i l'enginyeria. Donada la creixent complexitat dels càlculs realitzats, cada vegada és necessari un major coneixement sobre les tècniques i eines disponibles per a dur a terme aquestes experimentacions, ja que poden requerir, en general, una gran infraestructura computacional per afrontar els alts costos de còmput. Més encara, la recent popularització del còmput en el Núvol ofereix una gran varietat de possibilitats per a configurar les nostres pròpies infraestructures amb requisits específiques. No obstant, el preu a pagar és la complexitat de configurar les esmenades infraestructures a aquest tipus d'entorns. A més, l'augment de la complexitat de configuració dels entorns de còmput no ha fet més que agreujar un problema ja existent a l'àmbit científic, i és la reproductibilitat de resultats publicats. La manca de documentació, com les versions del programari emprat per a dur a terme el còmput, o les dades requerides ocasionen que una part no negligible dels resultats d'experiments computacionals publicats no siguen reproduïbles per altres investigadors. Com a conseqüència, es produeix un malbaratament dels recursos destinats a la investigació. Com a resposta a aquesta situació, existeixen, i continuen desenvolupant-se, diverses eines per facilitar processos com el desplegament i configuració d'infraestructura, l'accés a les dades, el disseny de fluxos de còmput, etc. amb l'objectiu de que els investigadors puguen centrar-se en el problema a abordar. Precisament, aquesta és la base dels treballs desenvolupats durant la tesi que segueix, el desenvolupar eines per a facilitar que el còmput científic es beneficiar-se d'entorns de computació en el Núvol d'una forma eficient. El primer treball presentat comença amb un estudi exhaustiu de les prestacions d'un servei relativament nou, l'execució serverless de funcions. En aquest, es determinarà la conveniència d'emprar este tipus d'entorns en el càlcul científic mesurant tant les seues prestacions de forma aïllada, com velocitat de CPU i la velocitat de les comunicacions, com en conjunt a través del desenvolupament d'una aplicació de processament MapReduce per a entorns serverless. Al següent treball, s'abordarà una problemàtica diferent, i és la reproductibilitat dels experiments computacionals. Per a aconseguir-ho, es presentarà una entorn, basat en Jupyter, on s'englobe tant el desplegament i configuració d'infraestructura computacional, com l'accés a les dades requerides i la documentació de l'experimentació. Tota aquesta informació quedarà registrada al notebook de Jupyter on s'executa l'experiment, permetent així a altres investigadors reproduir els resultats simplement compartint el notebook corresponent. Tornant a l'estudi de les prestacions del primer treball, donades les mesurades i ben estudiades fluctuacions d'aquestes en entorns compartits, com en el còmput en el Núvol, al tercer treball es desenvoluparà un sistema de balanceig de càrrega dissenyat expressament per aquest tipus d'entorns. Com es veurà, aquest component és capaç de gestionar i corregir de forma precisa fluctuacions impredictibles en les prestacions de còmput d'entorns compartits. Finalment, i aprofitant el desenvolupament anterior, es dissenyarà una plataforma completament serverless per a repartir i balancejar tasques executades en múltiples infraestructures de còmput independents. La motivació d'aquest últim treball ve donada pels alts costos computacionals de certes experimentacions, els quals forcen als investigadors a emprar múltiples infraestructures que, en general, pertanyen a diferents organitzacions. Es demostrarà la capacitat de la plataforma per balancejar treballs i minimitzar el malbaratament de recursos / [EN] This document is focused on computational science, specifically in the development of tools for executions of scientific computational experiments, whose impact has increased, and still increasing, in all scientific and engineering scopes. Considering the growing complexity of scientific calculus, it is required large and complex computational infrastructures to carry on the experimentation. However, to use this infrastructures, it is required a deep knowledge of the available tools and techniques to be handled efficiently. Moreover, the popularity of Cloud computing environments offers a wide variety of possible configurations for our computational infrastructures, thus complicating the configuration process. Furthermore, this increase in complexity has exacerbated the well known problem of reproducibility in science. The lack of documentation, as the used software versions, or the data required by the experiment, produces non reproducible results in computational experiments. This situation produce a non negligible waste of the resources invested in research. As consequence, several tools have been developed to facilitate the deployment, usage and configuration of complex infrastructures, provide access to data, etc. with the objective to simplify the common steps of computational experiments to researchers. Moreover, the works presented in this document share the same objective, i.e. develop tools to provide an easy, efficient and reproducible usage of cloud computing environments for scientific experimentation. The first presented work begins with an exhaustive study of the suitability of the AWS serverless environment for scientific calculus. In this one, the suitability of this kind of environments for scientific research will be studied. With this aim, the study will measure the CPU and network performance, both isolated and combined, via a MapReduce framework developed completely using serverless services. The second one is focused on the reproducibility problem in computational experiments. To improve reproducibility, the work presents an environment, based on Jupyter, which handles and simplify the deployment, configuration and usage of complex computational infrastructures. Also, includes a straight forward procedure to provide access to data and documentation of the experimentation via the Jupyter notebooks. Therefore, the whole experiment could be reproduced sharing the corresponding notebook. In the third work, a load balance library has been developed to address fluctuations of shared infrastructure capabilities. This effect has been wide studied in the literature and affects specially to cloud computing environments. The developed load balance system, as we will see, can handle and correct accurately unpredictable fluctuations in such environments. Finally, based on the previous work, a completely serverless platform is presented to split and balance job executions among several shared, heterogeneous and independent computing infrastructures. The motivation of this last work is the huge computational cost of many experiments, which forces the researchers to use multiple infrastructures belonging, in general, to different organisations. It will be shown how the developed platform is capable to balance the workload accurately. Moreover, it can fit execution time constrains specified by the user. In addition, the platform assists the computational infrastructures to scale as a function of the incoming workload, avoiding an over-provisioning or under-provisioning. Therefore, the platform provides an efficient usage of the available resources. / This study was supported by the program “Ayudas para la contratación de personal investigador en formación de carácter predoctoral, programa VALi+d” under grant number ACIF/2018/148 from the Conselleria d’Educació of the Generalitat Valenciana. The authors would also like to thank the Spanish "Ministerio de Economía, Industria y Competitividad"for the project “BigCLOE” with reference number TIN2016-79951-R. / Giménez Alventosa, V. (2022). Plataformes avançades en el Núvol per a la reproductibilitat d'experiments computacionals [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/184010 / Compendio

[ES] La investigación científica en Física de Altas Energías (HEP) se caracteriza por desafíos computacionales complejos, que durante décadas tuvieron que ser abordados mediante la investigación de técnicas informáticas en paralelo a los avances en la comprensión de la física. Uno de los principales actores en el campo, el CERN, alberga tanto el Gran Colisionador de Hadrones (LHC) como miles de investigadores cada año que se dedican a recopilar y procesar las enormes cantidades de datos generados por el acelerador de partículas. Históricamente, esto ha proporcionado un terreno fértil para las técnicas de computación distribuida, conduciendo a la creación de Worldwide LHC Computing Grid (WLCG), una red global de gran potencia informática para todos los experimentos LHC y del campo HEP. Los datos generados por el LHC hasta ahora ya han planteado desafíos para la informática y el almacenamiento. Esto solo aumentará con futuras actualizaciones de hardware del acelerador, un escenario que requerirá grandes cantidades de recursos coordinados para ejecutar los análisis HEP. La estrategia principal para cálculos tan complejos es, hasta el día de hoy, enviar solicitudes a sistemas de colas por lotes conectados a la red. Esto tiene dos grandes desventajas para el usuario: falta de interactividad y tiempos de espera desconocidos. En años más recientes, otros campos de la investigación y la industria han desarrollado nuevas técnicas para abordar la tarea de analizar las cantidades cada vez mayores de datos generados por humanos (una tendencia comúnmente mencionada como "Big Data"). Por lo tanto, han surgido nuevas interfaces y modelos de programación que muestran la interactividad como una característica clave y permiten el uso de grandes recursos informáticos. A la luz del escenario descrito anteriormente, esta tesis tiene como objetivo aprovechar las herramientas y arquitecturas de la industria de vanguardia para acelerar los flujos de trabajo de análisis en HEP, y proporcionar una interfaz de programación que permite la paralelización automática, tanto en una sola máquina como en un conjunto de recursos distribuidos. Se centra en los modelos de programación modernos y en cómo hacer el mejor uso de los recursos de hardware disponibles al tiempo que proporciona una experiencia de usuario perfecta. La tesis también propone una solución informática distribuida moderna para el análisis de datos HEP, haciendo uso del software llamado ROOT y, en particular, de su capa de análisis de datos llamada RDataFrame. Se exploran algunas áreas clave de investigación en torno a esta propuesta. Desde el punto de vista del usuario, esto se detalla en forma de una nueva interfaz que puede ejecutarse en una computadora portátil o en miles de nodos informáticos, sin cambios en la aplicación del usuario. Este desarrollo abre la puerta a la explotación de recursos distribuidos a través de motores de ejecución estándar de la industria que pueden escalar a múltiples nodos en clústeres HPC o HTC, o incluso en ofertas serverless de nubes comerciales. Dado que el análisis de datos en este campo a menudo está limitado por E/S, se necesita comprender cuáles son los posibles mecanismos de almacenamiento en caché. En este sentido, se investigó un sistema de almacenamiento novedoso basado en la tecnología de almacenamiento de objetos como objetivo para el caché. En conclusión, el futuro del análisis de datos en HEP presenta desafíos desde varias perspectivas, desde la explotación de recursos informáticos y de almacenamiento distribuidos hasta el diseño de interfaces de usuario ergonómicas. Los marcos de software deben apuntar a la eficiencia y la facilidad de uso, desvinculando la definición de los cálculos físicos de los detalles de implementación de su ejecución. Esta tesis se enmarca en el esfuerzo colectivo de la comunidad HEP hacia estos objetivos, definiendo problemas y posibles soluciones que pueden ser adoptadas por futuros investigadores. / [CA] La investigació científica a Física d'Altes Energies (HEP) es caracteritza per desafiaments computacionals complexos, que durant dècades van haver de ser abordats mitjançant la investigació de tècniques informàtiques en paral·lel als avenços en la comprensió de la física. Un dels principals actors al camp, el CERN, acull tant el Gran Col·lisionador d'Hadrons (LHC) com milers d'investigadors cada any que es dediquen a recopilar i processar les enormes quantitats de dades generades per l'accelerador de partícules. Històricament, això ha proporcionat un terreny fèrtil per a les tècniques de computació distribuïda, conduint a la creació del Worldwide LHC Computing Grid (WLCG), una xarxa global de gran potència informàtica per a tots els experiments LHC i del camp HEP. Les dades generades per l'LHC fins ara ja han plantejat desafiaments per a la informàtica i l'emmagatzematge. Això només augmentarà amb futures actualitzacions de maquinari de l'accelerador, un escenari que requerirà grans quantitats de recursos coordinats per executar les anàlisis HEP. L'estratègia principal per a càlculs tan complexos és, fins avui, enviar sol·licituds a sistemes de cues per lots connectats a la xarxa. Això té dos grans desavantatges per a l'usuari: manca d'interactivitat i temps de espera desconeguts. En anys més recents, altres camps de la recerca i la indústria han desenvolupat noves tècniques per abordar la tasca d'analitzar les quantitats cada vegada més grans de dades generades per humans (una tendència comunament esmentada com a "Big Data"). Per tant, han sorgit noves interfícies i models de programació que mostren la interactivitat com a característica clau i permeten l'ús de grans recursos informàtics. A la llum de l'escenari descrit anteriorment, aquesta tesi té com a objectiu aprofitar les eines i les arquitectures de la indústria d'avantguarda per accelerar els fluxos de treball d'anàlisi a HEP, i proporcionar una interfície de programació que permet la paral·lelització automàtica, tant en una sola màquina com en un conjunt de recursos distribuïts. Se centra en els models de programació moderns i com fer el millor ús dels recursos de maquinari disponibles alhora que proporciona una experiència d'usuari perfecta. La tesi també proposa una solució informàtica distribuïda moderna per a l'anàlisi de dades HEP, fent ús del programari anomenat ROOT i, en particular, de la seva capa d'anàlisi de dades anomenada RDataFrame. S'exploren algunes àrees clau de recerca sobre aquesta proposta. Des del punt de vista de l'usuari, això es detalla en forma duna nova interfície que es pot executar en un ordinador portàtil o en milers de nodes informàtics, sense canvis en l'aplicació de l'usuari. Aquest desenvolupament obre la porta a l'explotació de recursos distribuïts a través de motors d'execució estàndard de la indústria que poden escalar a múltiples nodes en clústers HPC o HTC, o fins i tot en ofertes serverless de núvols comercials. Atès que sovint l'anàlisi de dades en aquest camp està limitada per E/S, cal comprendre quins són els possibles mecanismes d'emmagatzematge en memòria cau. En aquest sentit, es va investigar un nou sistema d'emmagatzematge basat en la tecnologia d'emmagatzematge d'objectes com a objectiu per a la memòria cau. En conclusió, el futur de l'anàlisi de dades a HEP presenta reptes des de diverses perspectives, des de l'explotació de recursos informàtics i d'emmagatzematge distribuïts fins al disseny d'interfícies d'usuari ergonòmiques. Els marcs de programari han d'apuntar a l'eficiència i la facilitat d'ús, desvinculant la definició dels càlculs físics dels detalls d'implementació de la seva execució. Aquesta tesi s'emmarca en l'esforç col·lectiu de la comunitat HEP cap a aquests objectius, definint problemes i possibles solucions que poden ser adoptades per futurs investigadors. / [EN] The scientific research in High Energy Physics (HEP) is characterised by complex computational challenges, which over the decades had to be addressed by researching computing techniques in parallel to the advances in understanding physics. One of the main actors in the field, CERN, hosts both the Large Hadron Collider (LHC) and thousands of researchers yearly who are devoted to collecting and processing the huge amounts of data generated by the particle accelerator. This has historically provided a fertile ground for distributed computing techniques, which led to the creation of the Worldwide LHC Computing Grid (WLCG), a global network providing large computing power for all the experiments revolving around the LHC and the HEP field. Data generated by the LHC so far has already posed challenges for computing and storage. This is only going to increase with future hardware updates of the accelerator, which will bring a scenario that will require large amounts of coordinated resources to run the workflows of HEP analyses. The main strategy for such complex computations is, still to this day, submitting applications to batch queueing systems connected to the grid and wait for the final result to arrive. This has two great disadvantages from the user's perspective: no interactivity and unknown waiting times. In more recent years, other fields of research and industry have developed new techniques to address the task of analysing the ever increasing large amounts of human-generated data (a trend commonly mentioned as "Big Data"). Thus, new programming interfaces and models have arised that most often showcase interactivity as one key feature while also allowing the usage of large computational resources. In light of the scenario described above, this thesis aims at leveraging cutting-edge industry tools and architectures to speed up analysis workflows in High Energy Physics, while providing a programming interface that enables automatic parallelisation, both on a single machine and on a set of distributed resources. It focuses on modern programming models and on how to make best use of the available hardware resources while providing a seamless user experience. The thesis also proposes a modern distributed computing solution to the HEP data analysis, making use of the established software framework called ROOT and in particular of its data analysis layer implemented with the RDataFrame class. A few key research areas that revolved around this proposal are explored. From the user's point of view, this is detailed in the form of a new interface to data analysis that is able to run on a laptop or on thousands of computing nodes, with no change in the user application. This development opens the door to exploiting distributed resources via industry standard execution engines that can scale to multiple nodes on HPC or HTC clusters, or even on serverless offerings of commercial clouds. Since data analysis in this field is often I/O bound, a good comprehension of what are the possible caching mechanisms is needed. In this regard, a novel storage system based on object store technology was researched as a target for caching. In conclusion, the future of data analysis in High Energy Physics presents challenges from various perspectives, from the exploitation of distributed computing and storage resources to the design of ergonomic user interfaces. Software frameworks should aim at efficiency and ease of use, decoupling as much as possible the definition of the physics computations from the implementation details of their execution. This thesis is framed in the collective effort of the HEP community towards these goals, defining problems and possible solutions that can be adopted by future researchers. / Padulano, VE. (2023). Distributed Computing Solutions for High Energy Physics Interactive Data Analysis [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/193104