Tesis por compendio / [ES] En los últimos años, el aprendizaje profundo (DL) se ha convertido en una de las principales áreas de la inteligencia artificial (IA), impulsado principalmente por el avance en la capacidad de procesamiento. Los algoritmos basados en DL han logrado resultados asombrosos en la comprensión y manipulación de diversos tipos de datos, incluyendo imágenes, señales de habla y texto. La revolución digital del sector sanitario ha permitido la generación de nuevas bases de datos, lo que ha facilitado la implementación de modelos de DL bajo el paradigma de aprendizaje supervisado. La incorporación de estos métodos promete mejorar y automatizar la detección y el diagnóstico de enfermedades, permitiendo pronosticar su evolución y facilitar la aplicación de intervenciones clínicas de manera más efectiva. Una de las principales limitaciones de la aplicación de algoritmos de DL supervisados es la necesidad de grandes bases de datos anotadas por expertos, lo que supone una barrera importante en el ámbito médico. Para superar este problema, se está abriendo un nuevo campo de desarrollo de estrategias de aprendizaje no supervisado o débilmente supervisado que utilizan los datos disponibles no anotados o débilmente anotados. Estos enfoques permiten aprovechar al máximo los datos existentes y superar las limitaciones de la dependencia de anotaciones precisas. Para poner de manifiesto que el aprendizaje débilmente supervisado puede ofrecer soluciones óptimas, esta tesis se ha enfocado en el desarrollado de diferentes paradigmas que permiten entrenar modelos con bases de datos débilmente anotadas o anotadas por médicos no expertos. En este sentido, se han utilizado dos modalidades de datos ampliamente empleadas en la literatura para estudiar diversos tipos de cáncer y enfermedades inflamatorias: datos ómicos e imágenes histológicas. En el estudio sobre datos ómicos, se han desarrollado métodos basados en deep clustering que permiten lidiar con las altas dimensiones inherentes a este tipo de datos, desarrollando un modelo predictivo sin la necesidad de anotaciones. Al comparar el método propuesto con otros métodos de clustering presentes en la literatura, se ha observado una mejora en los resultados obtenidos. En cuanto a los estudios con imagen histológica, en esta tesis se ha abordado la detección de diferentes enfermedades, incluyendo cáncer de piel (melanoma spitzoide y neoplasias de células fusocelulares) y colitis ulcerosa. En este contexto, se ha empleado el paradigma de multiple instance learning (MIL) como línea base en todos los marcos desarrollados para hacer frente al gran tamaño de las imágenes histológicas. Además, se han implementado diversas metodologías de aprendizaje, adaptadas a los problemas específicos que se abordan. Para la detección de melanoma spitzoide, se ha utilizado un enfoque de aprendizaje inductivo que requiere un menor volumen de anotaciones. Para abordar el diagnóstico de colitis ulcerosa, que implica la identificación de neutrófilos como biomarcadores, se ha utilizado un enfoque de aprendizaje restrictivo. Con este método, el coste de anotación se ha reducido significativamente al tiempo que se han conseguido mejoras sustanciales en los resultados obtenidos. Finalmente, considerando el limitado número de expertos en el campo de las neoplasias de células fusiformes, se ha diseñado y validado un novedoso protocolo de anotación para anotaciones no expertas. En este contexto, se han desarrollado modelos de aprendizaje profundo que trabajan con la incertidumbre asociada a dichas anotaciones. En conclusión, esta tesis ha desarrollado técnicas de vanguardia para abordar el reto de la necesidad de anotaciones precisas que requiere el sector médico. A partir de datos débilmente anotados o anotados por no expertos, se han propuesto novedosos paradigmas y metodologías basados en deep learning para abordar la detección y diagnóstico de enfermedades utilizando datos ómicos e imágenes histológicas. / [CA] En els últims anys, l'aprenentatge profund (DL) s'ha convertit en una de les principals àrees de la intel·ligència artificial (IA), impulsat principalment per l'avanç en la capacitat de processament. Els algorismes basats en DL han aconseguit resultats sorprenents en la comprensió i manipulació de diversos tipus de dades, incloent-hi imatges, senyals de parla i text. La revolució digital del sector sanitari ha permés la generació de noves bases de dades, la qual cosa ha facilitat la implementació de models de DL sota el paradigma d'aprenentatge supervisat. La incorporació d'aquests mètodes promet millorar i automatitzar la detecció i el diagnòstic de malalties, permetent pronosticar la seua evolució i facilitar l'aplicació d'intervencions clíniques de manera més efectiva. Una de les principals limitacions de l'aplicació d'algorismes de DL supervisats és la necessitat de grans bases de dades anotades per experts, la qual cosa suposa una barrera important en l'àmbit mèdic. Per a superar aquest problema, s'està obrint un nou camp de desenvolupament d'estratègies d'aprenentatge no supervisat o feblement supervisat que utilitzen les dades disponibles no anotades o feblement anotats. Aquests enfocaments permeten aprofitar al màxim les dades existents i superar les limitacions de la dependència d'anotacions precises. Per a posar de manifest que l'aprenentatge feblement supervisat pot oferir solucions òptimes, aquesta tesi s'ha enfocat en el desenvolupat de diferents paradigmes que permeten entrenar models amb bases de dades feblement anotades o anotades per metges no experts. En aquest sentit, s'han utilitzat dues modalitats de dades àmpliament emprades en la literatura per a estudiar diversos tipus de càncer i malalties inflamatòries: dades ómicos i imatges histològiques. En l'estudi sobre dades ómicos, s'han desenvolupat mètodes basats en deep clustering que permeten bregar amb les altes dimensions inherents a aquesta mena de dades, desenvolupant un model predictiu sense la necessitat d'anotacions. En comparar el mètode proposat amb altres mètodes de clustering presents en la literatura, s'ha observat una millora en els resultats obtinguts. Quant als estudis amb imatge histològica, en aquesta tesi s'ha abordat la detecció de diferents malalties, incloent-hi càncer de pell (melanoma spitzoide i neoplàsies de cèl·lules fusocelulares) i colitis ulcerosa. En aquest context, s'ha emprat el paradigma de multiple instance learning (MIL) com a línia base en tots els marcs desenvolupats per a fer front a la gran grandària de les imatges histològiques. A més, s'han implementat diverses metodologies d'aprenentatge, adaptades als problemes específics que s'aborden. Per a la detecció de melanoma spitzoide, s'ha utilitzat un enfocament d'aprenentatge inductiu que requereix un menor volum d'anotacions. Per a abordar el diagnòstic de colitis ulcerosa, que implica la identificació de neutròfils com biomarcadores, s'ha utilitzat un enfocament d'aprenentatge restrictiu. Amb aquest mètode, el cost d'anotació s'ha reduït significativament al mateix temps que s'han aconseguit millores substancials en els resultats obtinguts. Finalment, considerant el limitat nombre d'experts en el camp de les neoplàsies de cèl·lules fusiformes, s'ha dissenyat i validat un nou protocol d'anotació per a anotacions no expertes. En aquest context, s'han desenvolupat models d'aprenentatge profund que treballen amb la incertesa associada a aquestes anotacions. En conclusió, aquesta tesi ha desenvolupat tècniques d'avantguarda per a abordar el repte de la necessitat d'anotacions precises que requereix el sector mèdic. A partir de dades feblement anotades o anotats per no experts, s'han proposat nous paradigmes i metodologies basats en deep learning per a abordar la detecció i diagnòstic de malalties utilitzant dades *ómicos i imatges histològiques. Aquestes innovacions poden millorar l'eficàcia i l'automatització en la detecció precoç i el seguiment de malalties. / [EN] In recent years, deep learning (DL) has become one of the main areas of artificial intelligence (AI), driven mainly by the advancement in processing power. DL-based algorithms have achieved amazing results in understanding and manipulating various types of data, including images, speech signals and text. The digital revolution in the healthcare sector has enabled the generation of new databases, facilitating the implementation of DL models under the supervised learning paradigm. Incorporating these methods promises to improve and automate the detection and diagnosis of diseases, allowing the prediction of their evolution and facilitating the application of clinical interventions with higher efficacy. One of the main limitations in the application of supervised DL algorithms is the need for large databases annotated by experts, which is a major barrier in the medical field. To overcome this problem, a new field of developing unsupervised or weakly supervised learning strategies using the available unannotated or weakly annotated data is opening up. These approaches make the best use of existing data and overcome the limitations of reliance on precise annotations. To demonstrate that weakly supervised learning can offer optimal solutions, this thesis has focused on developing different paradigms that allow training models with weakly annotated or non-expert annotated databases. In this regard, two data modalities widely used in the literature to study various types of cancer and inflammatory diseases have been used: omics data and histological images. In the study on omics data, methods based on deep clustering have been developed to deal with the high dimensions inherent to this type of data, developing a predictive model without requiring annotations. In comparison, the results of the proposed method outperform other existing clustering methods. Regarding histological imaging studies, the detection of different diseases has been addressed in this thesis, including skin cancer (spitzoid melanoma and spindle cell neoplasms) and ulcerative colitis. In this context, the multiple instance learning (MIL) paradigm has been employed as the baseline in all developed frameworks to deal with the large size of histological images. Furthermore, diverse learning methodologies have been implemented, tailored to the specific problems being addressed. For the detection of spitzoid melanoma, an inductive learning approach has been used, which requires a smaller volume of annotations. To address the diagnosis of ulcerative colitis, which involves the identification of neutrophils as biomarkers, a constraint learning approach has been utilized. With this method, the annotation cost has been significantly reduced while achieving substantial improvements in the obtained results. Finally, considering the limited number of experts in the field of spindle cell neoplasms, a novel annotation protocol for non-experts has been designed and validated. In this context, deep learning models that work with the uncertainty associated with such annotations have been developed. In conclusion, this thesis has developed cutting-edge techniques to address the medical sector's challenge of precise data annotation. Using weakly annotated or non-expert annotated data, novel paradigms and methodologies based on deep learning have been proposed to tackle disease detection and diagnosis in omics data and histological images. These innovations can improve effectiveness and automation in early disease detection and monitoring. / The work of Rocío del Amor to carry out this research and to elaborate this dissertation has been supported by the Spanish Ministry of Universities under the FPU grant FPU20/05263. / Amor Del Amor, MRD. (2023). Deep Learning Strategies for Overcoming Diagnosis Challenges with Limited Annotations [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/200227 / Compendio

[ES] Tanto la cantidad como la tipología de los ciberataques va en aumento día a día y la tendencia es que continúen creciendo de forma exponencial en los próximos años. Estos ciberataques afectan a todos los dispositivos, independientemente de si su propietario es un particular (o ciudadano), una empresa privada, un organismo público o una infraestructura crítica y los objetivos de estos ataques son muchos, desde la solicitud de una recompensa económica hasta el robo de información clasificada. Dado este hecho, los individuos, las organizaciones y las corporaciones deben tomar medidas para prevenirlos y, en caso de que en algún momento los reciban, analizarlos y reaccionar en caso de que fuese necesario. Cabe destacar que aquellos ataques que buscan ser más eficientes, son capaces de ocultarse un largo tiempo, incluso después de sus acciones iniciales, por lo que la detección del ataque y el saneamiento del sistema puede llegar a dificultarse a niveles insospechados o, incluso, no tenerse la certeza de que se ha hecho correctamente. Para prevenir, analizar y reaccionar ante los ataques más complejos, normalmente conocidos como ataques de día cero, las organizaciones deben tener ciberespecialistas conocidos como cazadores de amenazas. Éstos son los encargados de monitorizar los dispositivos de la empresa con el objetivo de detectar comportamientos extraños, analizarlos y concluir si se está produciendo un ataque o no con la finalidad de tomar decisiones al respecto. Estos ciberespecialistas deben analizar grandes cantidades de datos (mayormente benignos, repetitivos y con patrones predecibles) en cortos periodos de tiempo para detectar ciberataques, con la sobrecarga cognitiva asociada. El uso de inteligencia artificial, específicamente aprendizaje automático y aprendizaje profundo, puede impactar de forma notable en el análisis en tiempo real de dichos datos. Además, si los ciberespecialistas son capaces de visualizar los datos de forma correcta, éstos pueden ser capaces de obtener una mayor consciencia situacional del problema al que se enfrentan. Este trabajo busca definir una arquitectura que contemple desde la adquisición de datos hasta la visualización de los mismos, pasando por el procesamiento de éstos y la generación de hipótesis acerca de lo que está sucediendo en la infraestructura monitorizada. Además, en la definición de la misma se deberá tener en consideración aspectos tan importantes como la disponibilidad, integridad y confidencialidad de los datos, así como la alta disponibilidad de los distintos componentes que conformen ésta. Una vez definida la arquitectura, este trabajo busca validarla haciendo uso de un prototipo que la implemente en su totalidad. Durante esta fase de evaluación, es importante que quede demostrada la versatilidad de la arquitectura propuesta para trabajar en diferentes casos de uso, así como su capacidad para adaptarse a los cambios que se producen en las distintas técnicas de aprendizaje automático y aprendizaje profundo. / [CA] Tant la quantitat com la tipologia dels ciberatacs va en augment dia a dia i la tendència és que continuen creixent de manera exponencial en els pròxims anys. Aquestos ciberatacs afecten a tots els dispositius, independentment de si el seu propietari és un particular (o ciutadà), una empresa privada, un organisme públic o una infraestructura crítica i els objectius d'aquestos atacs són molts, des de la sol·licitud d'una recompensa econòmica fins al robatori d'informació classificada. Donat aquest fet, els individus, les organitzacions i les corporacions deuen prendre mesures per a previndre'ls i, en cas que en algun moment els reben, analitzar-los i reaccionar en cas que fora necessari. Cal destacar que aquells atacs que busquen ser més eficients, són capaços d'ocultar-se un llarg temps, fins i tot després de les seues accions inicials, per la qual cosa la detecció de l'atac i el sanejament del sistema pot arribar a dificultar-se a nivells insospitats o, fins i tot, no tindre's la certesa que s'ha fet correctament. Per a previndre, analitzar i reaccionar davant els atacs més complexos, normalment coneguts com a atacs de dia zero, les organitzacions han de tindre ciberespecialistes coneguts com caçadors d'amenaces. Aquestos són els encarregats de monitoritzar els dispositius de l'empresa amb l'objectiu de detectar comportaments estranys, analitzar-los i concloure si s'està produint un atac o no amb la finalitat de prendre decisions al respecte. Aquestos ciberespecialistes han d'analitzar grans quantitats de dades (majoritàriament benignes, repetitives i amb patrons predictibles) en curts períodes de temps per a detectar els ciberatacs, amb la sobrecàrrega cognitiva associada. L'ús d'intel·ligència artificial, específicament aprenentatge automàtic i aprenentatge profund, pot impactar de manera notable en l'anàlisi en temps real d'aquestes dades. A més, si els ciberespecialistes són capaços de visualitzar les dades de manera correcta, aquestos poden ser capaços d'obtindre una major consciència situacional del problema al qual s'enfronten. Aquest treball busca definir una arquitectura que contemple des de l'adquisició de dades fins a la visualització d'aquestes, passant pel processament de la informació recol·lectada i la generació d'hipòtesis sobre el que està succeint en la infraestructura monitoritzada. A més, en la definició de la mateixa s'haurà de tindre en consideració aspectes tan importants com la disponibilitat, integritat i confidencialitat de les dades, així com la alta disponibilitat dels diferents components que conformen aquesta. Una volta s'hatja definit l'arquitectura, aquest treball busca validar-la fent ús d'un prototip que la implemente íntegrament. Durant aquesta fase d'avaluació, és important que quede demostrada la versatilitat de l'arquitectura proposada per a treballar en diferents casos d'ús, així com la seua capacitat per a adaptar-se als canvis que es produïxen en les diferents tècniques d'aprenentatge automàtic i aprenentatge profund. / [EN] Both the number and type of cyber-attacks are increasing day by day and the trend is that they will continue to grow exponentially in the coming years. These cyber-attacks affect all devices, regardless of whether the owner is an individual (or citizen), a private company, a public entity or a critical infrastructure, and the targets of these attacks are many, ranging from the demand for financial reward to the theft of classified information. Given this fact, individuals, organisations and corporations must take steps to prevent them and, in case they ever receive them, analyse them and react if necessary. It should be noted that those attacks that seek to be more efficient are able to hide for a long time, even after their initial actions, so that the detection of the attack and the remediation of the system can become difficult to unsuspected levels or even uncertain whether it has been done correctly. To prevent, analyse and react to the most complex attacks, usually known as zero-day attacks, organisations must have cyber-specialists known as threat hunters. They are responsible for monitoring the company's devices in order to detect strange behaviours, analyse it and conclude whether or not an attack is taking place in order to make decisions about it. These cyber-specialists must analyse large amounts of data (mostly benign, repetitive and with predictable patterns) in short periods of time to detect cyber-attacks, with the associated cognitive overload. The use of artificial intelligence, specifically machine learning and deep learning, can significantly impact the real-time analysis of such data. Not only that, but if these cyber-specialists are able to visualise the data correctly, they may be able to gain greater situational awareness of the problem they face. This work seeks to define an architecture that contemplates from data acquisition to data visualisation, including data processing and the generation of hypotheses about what is happening in the monitored infrastructure. In addition, the definition of the architecture must take into consideration important aspects such as the availability, integrity and confidentiality of the data, as well as the high availability of the different components that make it up. Once the architecture has been defined, this work seeks to validate it by using a prototype that fully implements it. During this evaluation phase, it is important to demonstrate the versatility of the proposed architecture to work in different use cases, as well as its capacity to adapt to the changes that occur in the different machine learning and deep learning techniques. / Aragonés Lozano, M. (2024). Threat Hunting basado en técnicas de Inteligencia Artificial [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/204427

[ES] En esta tesis se abordan problemas no resueltos en el campo de la Inteligencia Artificial aplicada a documentos históricos manuscritos. Primero haremos un recorrido por diversas técnicas y conceptos que se utilizarán durante la tesis. Se explorarán diferentes formas de representar datos, incluidas imágenes, texto y grafos. Se introducirá el concepto de Índices Probabilísticos (PrIx) para la representación textual y se explicará su codificación usando TfIdf. También se discutirá la selección de las mejores características de entrada para redes neuronales mediante Information Gain (IG). En el ámbito de las redes neuronales, se abordarán modelos específicos como Multilayer Perceptron (MLP), Redes Neuronales Convolucionales (CNNs) y redes basadas en grafos (GNNs), además de una breve introducción a los transformers. El primer problema que aborda la tesis es la segmentación de libros históricos manuscritos en unidades semánticas, un desafío complejo y recurrente en archivos de todo el mundo. A diferencia de los libros modernos, donde la segmentación en capítulos es más sencilla, los libros históricos presentan desafíos únicos debido a su irregularidad y posible mala conservación. La tesis define formalmente este problema por primera vez y propone un pipeline para extraer consistentemente las unidades semánticas en dos variantes: una con restricciones del corpus y otra sin ellas. Se emplearán diferentes tipos de redes neuronales, incluidas CNNs para la clasificación de partes de la imagen y RPNs y transformers para detectar y clasificar regiones. Además, se introduce una nueva métrica para medir la pérdida de información en la detección, alineación y transcripción de estas unidades semánticas. Finalmente, se comparan diferentes métodos de ``decoding'' y se evalúan los resultados en hasta cinco conjuntos de datos diferentes. En otro capítulo, la tesis aborda el desafío de clasificar documentos históricos manuscritos no transcritos, específicamente actos notariales en el Archivo Provincial Histórico de Cádiz. Se desarrollará un framework que utiliza Índices Probabilísticos (PrIx) para clasificar estos documentos y se comparará con transcripciones 1-best obtenidas mediante técnicas de Reconocimiento de Texto Manuscrito (HTR). Además de la clasificación convencional en un conjunto cerrado de clases (Close Set Classification, CSC), la tesis introduce el framework de Open Set Classification (OSC). Este enfoque no solo clasifica documentos en clases predefinidas, sino que también identifica aquellos que no pertenecen a ninguna de las clases establecidas, permitiendo que un experto los etiquete. Se compararán varias técnicas para este fin y se propondrán dos. Una sin umbral en las probabilidades a posteriori generadas por el modelo de red neuronal, y otra que utiliza un umbral en las mismas, con la opción de ajustarlo manualmente según las necesidades del experto. En un tercer capítulo, la tesis se centra en la Extracción de Información (IE) de documentos tabulares manuscritos. Se desarrolla un pipeline que comienza con la detección de texto en imágenes con tablas, línea por línea, seguido de su transcripción mediante técnicas de HTR. De forma paralela, se entrenarán diferentes modelos para identificar la estructura de las tablas, incluidas filas, columnas y secciones de cabecera. El pipeline también aborda problemas comunes en tablas manuscritas, como el multi-span de columnas y la sustitución de texto entre comillas. Además, se emplea un modelo de lenguaje entrenado específicamente para detectar automáticamente las cabeceras de las tablas. Se utilizarán dos conjuntos de datos para demostrar la eficacia del pipeline en la tarea de IE, y se identificarán las áreas de mejora en el propio pipeline para futuras investigaciones. / [CA] En aquesta tesi s'aborden problemes no resolts en el camp de la Intel·ligència Artificial aplicada a documents històrics manuscrits. Primer farem un recorregut per diverses tècniques i conceptes que s'utilitzaran durant la tesi. S'exploraran diferents formes de representar dades, incloses imatges, text i grafos. S'introduirà el concepte d'Índexs Probabilístics (PrIx) per a la representació textual i s'explicarà la seva codificació usant TfIdf. També es discutirà la selecció de les millors característiques d'entrada per a xarxes neuronals mitjançant Information Gain (IG). En l'àmbit de les xarxes neuronals, s'abordaran models específics com Multilayer Perceptron (MLP), Xarxes Neuronals Convolucionals (CNNs) i xarxes basades en grafos (GNNs), a més d'una breu introducció als transformers. El primer problema que aborda la tesi és la segmentació de llibres històrics manuscrits en unitats semàntiques, un desafiament complex i recurrent en arxius de tot el món. A diferència dels llibres moderns, on la segmentació en capítols és més senzilla, els llibres històrics presenten desafiaments únics degut a la seva irregularitat i possible mala conservació. La tesi defineix formalment aquest problema per primera vegada i proposa un pipeline per extreure consistentment les unitats semàntiques en dues variants: una amb restriccions del corpus i una altra sense elles. S'empraran diferents tipus de xarxes neuronals, incloses CNNs per a la classificació de parts de la imatge i RPNs i transformers per detectar i classificar regions. A més, s'introdueix una nova mètrica per mesurar la pèrdua d'informació en la detecció, alineació i transcripció d'aquestes unitats semàntiques. Finalment, es compararan diferents mètodes de ``decoding'' i s'avaluaran els resultats en fins a cinc conjunts de dades diferents. En un altre capítol, la tesi aborda el desafiament de classificar documents històrics manuscrits no transcrits, específicament actes notarials a l'Arxiu Provincial Històric de Càdiz. Es desenvoluparà un marc que utilitza Índexs Probabilístics (PrIx) per classificar aquests documents i es compararà amb transcripcions 1-best obtingudes mitjançant tècniques de Reconèixer Text Manuscrit (HTR). A més de la classificació convencional en un conjunt tancat de classes (Close Set Classification, CSC), la tesi introdueix el marc d'Open Set Classification (OSC). Aquest enfocament no només classifica documents en classes predefinides, sinó que també identifica aquells que no pertanyen a cap de les classes establertes, permetent que un expert els etiqueti. Es compararan diverses tècniques per a aquest fi i es proposaran dues. Una sense llindar en les probabilitats a posteriori generades pel model de xarxa neuronal, i una altra que utilitza un llindar en les mateixes, amb l'opció d'ajustar-lo manualment segons les necessitats de l'expert. En un tercer capítol, la tesi es centra en l'Extracció d'Informació (IE) de documents tabulars manuscrits. Es desenvolupa un pipeline que comença amb la detecció de text en imatges amb taules, línia per línia, seguit de la seva transcripció mitjançant tècniques de HTR. De forma paral·lela, s'entrenaran diferents models per identificar l'estructura de les taules, incloses files, columnes i seccions de capçalera. El pipeline també aborda problemes comuns en taules manuscrites, com ara el multi-span de columnes i la substitució de text entre cometes. A més, s'empra un model de llenguatge entrenat específicament per detectar automàticament les capçaleres de les taules. S'utilitzaran dos conjunts de dades per demostrar l'eficàcia del pipeline en la tasca de IE, i s'identificaran les àrees de millora en el propi pipeline per a futures investigacions. / [EN] This thesis addresses unresolved issues in the field of Artificial Intelligence as applied to historical handwritten documents. The challenges include not only the degradation of the documents but also the scarcity of available data for training specialized models. This limitation is particularly relevant when the trend is to use large datasets and massive models to achieve significant breakthroughs. First, we provide an overview of various techniques and concepts used throughout the thesis. Different ways of representing data are explored, including images, text, and graphs. Probabilistic Indices (PrIx) are introduced for textual representation and its encoding using TfIdf is be explained. We also discuss selecting the best input features for neural networks using Information Gain (IG). In the realm of neural networks, specific models such as Multilayer Perceptron (MLP), Convolutional Neural Networks (CNNs), and graph-based networks (GNNs) are covered, along with a brief introduction to transformers. The first problem addressed in this thesis is the segmentation of historical handwritten books into semantic units, a complex and recurring challenge in archives worldwide. Unlike modern books, where chapter segmentation is relatively straightforward, historical books present unique challenges due to their irregularities and potential poor preservation. To the best of our knowledge, this thesis formally defines this problem. We propose a pipeline to consistently extract these semantic units in two variations: one with corpus-specific constraints and another without them. Various types of neural networks are employed, including Convolutional Neural Networks (CNNs) for classifying different parts of the image and Region Proposal Networks (RPNs) and transformers for detecting and classifying regions. Additionally, a new metric is introduced to measure the information loss in the detection, alignment, and transcription of these semantic units. Finally, different decoding methods are compared, and the results are evaluated across up to five different datasets. In another chapter, we tackle the challenge of classifying non-transcribed historical handwritten documents, specifically notarial deeds, from the Provincial Historical Archive of Cádiz. A framework is developed that employs Probabilistic Indices (PrIx) for classifying these documents, and this is compared to 1-best transcriptions obtained through Handwritten Text Recognition (HTR) techniques. In addition to conventional classification within a closed set of classes (Close Set Classification, CSC), this thesis introduces the Open Set Classification (OSC) framework. This approach not only classifies documents into predefined classes but also identifies those that do not belong to any of the established classes, allowing an expert to label them. Various techniques are compared, and two are proposed. One approach without using a threshold on the posterior probabilities generated by the neural network model. At the same time, the other employs a threshold on these probabilities, with the option for manual adjustment according to the expert's needs. In a third chapter, this thesis focuses on Information Extraction (IE) from handwritten tabular documents. A pipeline is developed that starts with detecting text in images containing tables, line by line, followed by its transcription using HTR techniques. In parallel, various models are trained to identify the structure of the tables, including rows, columns, and header sections. The pipeline also addresses common issues in handwritten tables, such as multi-span columns and substituting ditto marks. Additionally, a language model specifically trained to detect table headers automatically is employed. Two datasets are used to demonstrate the effectiveness of the pipeline in the IE task, and areas for improvement within the pipeline itself are identified for future research. / Prieto Fontcuberta, JR. (2024). Deep Learning Methodologies for Textual and Graphical Content-Based Analysis of Handwritten Text Images [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/206075

[ES] En los últimos años, los modelos de aprendizaje automático profundo (AP) han revolucionado los sistemas de procesamiento de lenguaje natural (PLN). Hemos sido testigos de un avance formidable en las capacidades de estos sistemas y actualmente podemos encontrar sistemas que integran modelos PLN de manera ubicua. Algunos ejemplos de estos modelos con los que interaccionamos a diario incluyen modelos que determinan la intención de la persona que escribió un texto, el sentimiento que pretende comunicar un tweet o nuestra ideología política a partir de lo que compartimos en redes sociales. En esta tesis se han propuestos distintos modelos de PNL que abordan tareas que estudian el texto que se comparte en redes sociales. En concreto, este trabajo se centra en dos tareas fundamentalmente: el análisis de sentimientos y el reconocimiento de la personalidad de la persona autora de un texto. La tarea de analizar el sentimiento expresado en un texto es uno de los problemas principales en el PNL y consiste en determinar la polaridad que un texto pretende comunicar. Se trata por lo tanto de una tarea estudiada en profundidad de la cual disponemos de una vasta cantidad de recursos y modelos. Por el contrario, el problema del reconocimiento de personalidad es una tarea revolucionaria que tiene como objetivo determinar la personalidad de los usuarios considerando su estilo de escritura. El estudio de esta tarea es más marginal por lo que disponemos de menos recursos para abordarla pero que no obstante presenta un gran potencial. A pesar de que el enfoque principal de este trabajo fue el desarrollo de modelos de aprendizaje profundo, también hemos propuesto modelos basados en recursos lingüísticos y modelos clásicos del aprendizaje automático. Estos últimos modelos nos han permitido explorar las sutilezas de distintos elementos lingüísticos como por ejemplo el impacto que tienen las emociones en la clasificación correcta del sentimiento expresado en un texto. Posteriormente, tras estos trabajos iniciales se desarrollaron modelos AP, en particular, Redes neuronales convolucionales (RNC) que fueron aplicadas a las tareas previamente citadas. En el caso del reconocimiento de la personalidad, se han comparado modelos clásicos del aprendizaje automático con modelos de aprendizaje profundo, pudiendo establecer una comparativa bajo las mismas premisas. Cabe destacar que el PNL ha evolucionado drásticamente en los últimos años gracias al desarrollo de campañas de evaluación pública, donde múltiples equipos de investigación comparan las capacidades de los modelos que proponen en las mismas condiciones. La mayoría de los modelos presentados en esta tesis fueron o bien evaluados mediante campañas de evaluación públicas, o bien emplearon la configuración de una campaña pública previamente celebrada. Siendo conscientes, por lo tanto, de la importancia de estas campañas para el avance del PNL, desarrollamos una campaña de evaluación pública cuyo objetivo era clasificar el tema tratado en un tweet, para lo cual recogimos y etiquetamos un nuevo conjunto de datos. A medida que avanzabamos en el desarrollo del trabajo de esta tesis, decidimos estudiar en profundidad como las RNC se aplicaban a las tareas de PNL. En este sentido, se exploraron dos líneas de trabajo. En primer lugar, propusimos un método de relleno semántico para RNC, que plantea una nueva manera de representar el texto para resolver tareas de PNL. Y en segundo lugar, se introdujo un marco teórico para abordar una de las críticas más frecuentes del aprendizaje profundo, el cual es la falta de interpretabilidad. Este marco busca visualizar qué patrones léxicos, si los hay, han sido aprendidos por la red para clasificar un texto. / [CA] En els últims anys, els models d'aprenentatge automàtic profund (AP) han revolucionat els sistemes de processament de llenguatge natural (PLN). Hem estat testimonis d'un avanç formidable en les capacitats d'aquests sistemes i actualment podem trobar sistemes que integren models PLN de manera ubiqua. Alguns exemples d'aquests models amb els quals interaccionem diàriament inclouen models que determinen la intenció de la persona que va escriure un text, el sentiment que pretén comunicar un tweet o la nostra ideologia política a partir del que compartim en xarxes socials. En aquesta tesi s'han proposats diferents models de PNL que aborden tasques que estudien el text que es comparteix en xarxes socials. En concret, aquest treball se centra en dues tasques fonamentalment: l'anàlisi de sentiments i el reconeixement de la personalitat de la persona autora d'un text. La tasca d'analitzar el sentiment expressat en un text és un dels problemes principals en el PNL i consisteix a determinar la polaritat que un text pretén comunicar. Es tracta per tant d'una tasca estudiada en profunditat de la qual disposem d'una vasta quantitat de recursos i models. Per contra, el problema del reconeixement de la personalitat és una tasca revolucionària que té com a objectiu determinar la personalitat dels usuaris considerant el seu estil d'escriptura. L'estudi d'aquesta tasca és més marginal i en conseqüència disposem de menys recursos per abordar-la però no obstant i això presenta un gran potencial. Tot i que el fouc principal d'aquest treball va ser el desenvolupament de models d'aprenentatge profund, també hem proposat models basats en recursos lingüístics i models clàssics de l'aprenentatge automàtic. Aquests últims models ens han permès explorar les subtileses de diferents elements lingüístics com ara l'impacte que tenen les emocions en la classificació correcta del sentiment expressat en un text. Posteriorment, després d'aquests treballs inicials es van desenvolupar models AP, en particular, Xarxes neuronals convolucionals (XNC) que van ser aplicades a les tasques prèviament esmentades. En el cas de el reconeixement de la personalitat, s'han comparat models clàssics de l'aprenentatge automàtic amb models d'aprenentatge profund la qual cosa a permet establir una comparativa de les dos aproximacions sota les mateixes premisses. Cal remarcar que el PNL ha evolucionat dràsticament en els últims anys gràcies a el desenvolupament de campanyes d'avaluació pública on múltiples equips d'investigació comparen les capacitats dels models que proposen sota les mateixes condicions. La majoria dels models presentats en aquesta tesi van ser o bé avaluats mitjançant campanyes d'avaluació públiques, o bé s'ha emprat la configuració d'una campanya pública prèviament celebrada. Sent conscients, per tant, de la importància d'aquestes campanyes per a l'avanç del PNL, vam desenvolupar una campanya d'avaluació pública on l'objectiu era classificar el tema tractat en un tweet, per a la qual cosa vam recollir i etiquetar un nou conjunt de dades. A mesura que avançàvem en el desenvolupament del treball d'aquesta tesi, vam decidir estudiar en profunditat com les XNC s'apliquen a les tasques de PNL. En aquest sentit, es van explorar dues línies de treball.En primer lloc, vam proposar un mètode d'emplenament semàntic per RNC, que planteja una nova manera de representar el text per resoldre tasques de PNL. I en segon lloc, es va introduir un marc teòric per abordar una de les crítiques més freqüents de l'aprenentatge profund, el qual és la falta de interpretabilitat. Aquest marc cerca visualitzar quins patrons lèxics, si n'hi han, han estat apresos per la xarxa per classificar un text. / [EN] In the last years, Deep Learning (DL) has revolutionised the potential of automatic systems that handle Natural Language Processing (NLP) tasks. We have witnessed a tremendous advance in the performance of these systems. Nowadays, we found embedded systems ubiquitously, determining the intent of the text we write, the sentiment of our tweets or our political views, for citing some examples. In this thesis, we proposed several NLP models for addressing tasks that deal with social media text. Concretely, this work is focused mainly on Sentiment Analysis and Personality Recognition tasks. Sentiment Analysis is one of the leading problems in NLP, consists of determining the polarity of a text, and it is a well-known task where the number of resources and models proposed is vast. In contrast, Personality Recognition is a breakthrough task that aims to determine the users' personality using their writing style, but it is more a niche task with fewer resources designed ad-hoc but with great potential. Despite the fact that the principal focus of this work was on the development of Deep Learning models, we have also proposed models based on linguistic resources and classical Machine Learning models. Moreover, in this more straightforward setup, we have explored the nuances of different language devices, such as the impact of emotions in the correct classification of the sentiment expressed in a text. Afterwards, DL models were developed, particularly Convolutional Neural Networks (CNNs), to address previously described tasks. In the case of Personality Recognition, we explored the two approaches, which allowed us to compare the models under the same circumstances. Noteworthy, NLP has evolved dramatically in the last years through the development of public evaluation campaigns, where multiple research teams compare the performance of their approaches under the same conditions. Most of the models here presented were either assessed in an evaluation task or either used their setup. Recognising the importance of this effort, we curated and developed an evaluation campaign for classifying political tweets. In addition, as we advanced in the development of this work, we decided to study in-depth CNNs applied to NLP tasks. Two lines of work were explored in this regard. Firstly, we proposed a semantic-based padding method for CNNs, which addresses how to represent text more appropriately for solving NLP tasks. Secondly, a theoretical framework was introduced for tackling one of the most frequent critics of Deep Learning: interpretability. This framework seeks to visualise what lexical patterns, if any, the CNN is learning in order to classify a sentence. In summary, the main achievements presented in this thesis are: - The organisation of an evaluation campaign for Topic Classification from texts gathered from social media. - The proposal of several Machine Learning models tackling the Sentiment Analysis task from social media. Besides, a study of the impact of linguistic devices such as figurative language in the task is presented. - The development of a model for inferring the personality of a developer provided the source code that they have written. - The study of Personality Recognition tasks from social media following two different approaches, models based on machine learning algorithms and handcrafted features, and models based on CNNs were proposed and compared both approaches. - The introduction of new semantic-based paddings for optimising how the text was represented in CNNs. - The definition of a theoretical framework to provide interpretable information to what CNNs were learning internally. / Giménez Fayos, MT. (2021). Natural Language Processing using Deep Learning in Social Media [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/172164 / TESIS

[ES] Hoy en día, la sociedad tiene acceso y posibilidad de contribuir a grandes cantidades de contenidos presentes en Internet, como redes sociales, periódicos online, foros, blogs o plataformas de contenido multimedia. Todo este tipo de medios han tenido, durante los últimos años, un impacto abrumador en el día a día de individuos y organizaciones, siendo actualmente medios predominantes para compartir, debatir y analizar contenidos online. Por este motivo, resulta de interés trabajar sobre este tipo de plataformas, desde diferentes puntos de vista, bajo el paraguas del Procesamiento del Lenguaje Natural. En esta tesis nos centramos en dos áreas amplias dentro de este campo, aplicadas al análisis de contenido en línea: análisis de texto en redes sociales y resumen automático. En paralelo, las redes neuronales también son un tema central de esta tesis, donde toda la experimentación se ha realizado utilizando enfoques de aprendizaje profundo, principalmente basados en mecanismos de atención. Además, trabajamos mayoritariamente con el idioma español, por ser un idioma poco explorado y de gran interés para los proyectos de investigación en los que participamos. Por un lado, para el análisis de texto en redes sociales, nos enfocamos en tareas de análisis afectivo, incluyendo análisis de sentimientos y detección de emociones, junto con el análisis de la ironía. En este sentido, se presenta un enfoque basado en Transformer Encoders, que consiste en contextualizar \textit{word embeddings} pre-entrenados con tweets en español, para abordar tareas de análisis de sentimiento y detección de ironía. También proponemos el uso de métricas de evaluación como funciones de pérdida, con el fin de entrenar redes neuronales, para reducir el impacto del desequilibrio de clases en tareas \textit{multi-class} y \textit{multi-label} de detección de emociones. Adicionalmente, se presenta una especialización de BERT tanto para el idioma español como para el dominio de Twitter, que tiene en cuenta la coherencia entre tweets en conversaciones de Twitter. El desempeño de todos estos enfoques ha sido probado con diferentes corpus, a partir de varios \textit{benchmarks} de referencia, mostrando resultados muy competitivos en todas las tareas abordadas. Por otro lado, nos centramos en el resumen extractivo de artículos periodísticos y de programas televisivos de debate. Con respecto al resumen de artículos, se presenta un marco teórico para el resumen extractivo, basado en redes jerárquicas siamesas con mecanismos de atención. También presentamos dos instancias de este marco: \textit{Siamese Hierarchical Attention Networks} y \textit{Siamese Hierarchical Transformer Encoders}. Estos sistemas han sido evaluados en los corpora CNN/DailyMail y NewsRoom, obteniendo resultados competitivos en comparación con otros enfoques extractivos coetáneos. Con respecto a los programas de debate, se ha propuesto una tarea que consiste en resumir las intervenciones transcritas de los ponentes, sobre un tema determinado, en el programa "La Noche en 24 Horas". Además, se propone un corpus de artículos periodísticos, recogidos de varios periódicos españoles en línea, con el fin de estudiar la transferibilidad de los enfoques propuestos, entre artículos e intervenciones de los participantes en los debates. Este enfoque muestra mejores resultados que otras técnicas extractivas, junto con una transferibilidad de dominio muy prometedora. / [CA] Avui en dia, la societat té accés i possibilitat de contribuir a grans quantitats de continguts presents a Internet, com xarxes socials, diaris online, fòrums, blocs o plataformes de contingut multimèdia. Tot aquest tipus de mitjans han tingut, durant els darrers anys, un impacte aclaparador en el dia a dia d'individus i organitzacions, sent actualment mitjans predominants per compartir, debatre i analitzar continguts en línia. Per aquest motiu, resulta d'interès treballar sobre aquest tipus de plataformes, des de diferents punts de vista, sota el paraigua de l'Processament de el Llenguatge Natural. En aquesta tesi ens centrem en dues àrees àmplies dins d'aquest camp, aplicades a l'anàlisi de contingut en línia: anàlisi de text en xarxes socials i resum automàtic. En paral·lel, les xarxes neuronals també són un tema central d'aquesta tesi, on tota l'experimentació s'ha realitzat utilitzant enfocaments d'aprenentatge profund, principalment basats en mecanismes d'atenció. A més, treballem majoritàriament amb l'idioma espanyol, per ser un idioma poc explorat i de gran interès per als projectes de recerca en els que participem. D'una banda, per a l'anàlisi de text en xarxes socials, ens enfoquem en tasques d'anàlisi afectiu, incloent anàlisi de sentiments i detecció d'emocions, juntament amb l'anàlisi de la ironia. En aquest sentit, es presenta una aproximació basada en Transformer Encoders, que consisteix en contextualitzar \textit{word embeddings} pre-entrenats amb tweets en espanyol, per abordar tasques d'anàlisi de sentiment i detecció d'ironia. També proposem l'ús de mètriques d'avaluació com a funcions de pèrdua, per tal d'entrenar xarxes neuronals, per reduir l'impacte de l'desequilibri de classes en tasques \textit{multi-class} i \textit{multi-label} de detecció d'emocions. Addicionalment, es presenta una especialització de BERT tant per l'idioma espanyol com per al domini de Twitter, que té en compte la coherència entre tweets en converses de Twitter. El comportament de tots aquests enfocaments s'ha provat amb diferents corpus, a partir de diversos \textit{benchmarks} de referència, mostrant resultats molt competitius en totes les tasques abordades. D'altra banda, ens centrem en el resum extractiu d'articles periodístics i de programes televisius de debat. Pel que fa a l'resum d'articles, es presenta un marc teòric per al resum extractiu, basat en xarxes jeràrquiques siameses amb mecanismes d'atenció. També presentem dues instàncies d'aquest marc: \textit{Siamese Hierarchical Attention Networks} i \textit{Siamese Hierarchical Transformer Encoders}. Aquests sistemes s'han avaluat en els corpora CNN/DailyMail i Newsroom, obtenint resultats competitius en comparació amb altres enfocaments extractius coetanis. Pel que fa als programes de debat, s'ha proposat una tasca que consisteix a resumir les intervencions transcrites dels ponents, sobre un tema determinat, al programa "La Noche en 24 Horas". A més, es proposa un corpus d'articles periodístics, recollits de diversos diaris espanyols en línia, per tal d'estudiar la transferibilitat dels enfocaments proposats, entre articles i intervencions dels participants en els debats. Aquesta aproximació mostra millors resultats que altres tècniques extractives, juntament amb una transferibilitat de domini molt prometedora. / [EN] Nowadays, society has access, and the possibility to contribute, to large amounts of the content present on the internet, such as social networks, online newspapers, forums, blogs, or multimedia content platforms. These platforms have had, during the last years, an overwhelming impact on the daily life of individuals and organizations, becoming the predominant ways for sharing, discussing, and analyzing online content. Therefore, it is very interesting to work with these platforms, from different points of view, under the umbrella of Natural Language Processing. In this thesis, we focus on two broad areas inside this field, applied to analyze online content: text analytics in social media and automatic summarization. Neural networks are also a central topic in this thesis, where all the experimentation has been performed by using deep learning approaches, mainly based on attention mechanisms. Besides, we mostly work with the Spanish language, due to it is an interesting and underexplored language with a great interest in the research projects we participated in. On the one hand, for text analytics in social media, we focused on affective analysis tasks, including sentiment analysis and emotion detection, along with the analysis of the irony. In this regard, an approach based on Transformer Encoders, based on contextualizing pretrained Spanish word embeddings from Twitter, to address sentiment analysis and irony detection tasks, is presented. We also propose the use of evaluation metrics as loss functions, in order to train neural networks for reducing the impact of the class imbalance in multi-class and multi-label emotion detection tasks. Additionally, a specialization of BERT both for the Spanish language and the Twitter domain, that takes into account inter-sentence coherence in Twitter conversation flows, is presented. The performance of all these approaches has been tested with different corpora, from several reference evaluation benchmarks, showing very competitive results in all the tasks addressed. On the other hand, we focused on extractive summarization of news articles and TV talk shows. Regarding the summarization of news articles, a theoretical framework for extractive summarization, based on siamese hierarchical networks with attention mechanisms, is presented. Also, we present two instantiations of this framework: Siamese Hierarchical Attention Networks and Siamese Hierarchical Transformer Encoders. These systems were evaluated on the CNN/DailyMail and the NewsRoom corpora, obtaining competitive results in comparison to other contemporary extractive approaches. Concerning the TV talk shows, we proposed a text summarization task, for summarizing the transcribed interventions of the speakers, about a given topic, in the Spanish TV talk shows of the ``La Noche en 24 Horas" program. In addition, a corpus of news articles, collected from several Spanish online newspapers, is proposed, in order to study the domain transferability of siamese hierarchical approaches, between news articles and interventions of debate participants. This approach shows better results than other extractive techniques, along with a very promising domain transferability. / González Barba, JÁ. (2021). Attention-based Approaches for Text Analytics in Social Media and Automatic Summarization [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/172245 / TESIS

Tesis por compendio / [ES] Esta tesis presenta soluciones de vanguardia basadas en algoritmos de computer vision (CV) y machine learning (ML) para ayudar a los expertos en el diagnóstico clínico. Se centra en dos áreas relevantes en el campo de la imagen médica: la patología digital y la oftalmología. Este trabajo propone diferentes paradigmas de machine learning y deep learning para abordar diversos escenarios de supervisión en el estudio del cáncer de próstata, el cáncer de vejiga y el glaucoma. En particular, se consideran métodos supervisados convencionales para segmentar y clasificar estructuras específicas de la próstata en imágenes histológicas digitalizadas. Para el reconocimiento de patrones específicos de la vejiga, se llevan a cabo enfoques totalmente no supervisados basados en técnicas de deep-clustering. Con respecto a la detección del glaucoma, se aplican algoritmos de memoria a corto plazo (LSTMs) que permiten llevar a cabo un aprendizaje recurrente a partir de volúmenes de tomografía por coherencia óptica en el dominio espectral (SD-OCT). Finalmente, se propone el uso de redes neuronales prototípicas (PNN) en un marco de few-shot learning para determinar el nivel de gravedad del glaucoma a partir de imágenes OCT circumpapilares. Los métodos de inteligencia artificial (IA) que se detallan en esta tesis proporcionan una valiosa herramienta de ayuda al diagnóstico por imagen, ya sea para el diagnóstico histológico del cáncer de próstata y vejiga o para la evaluación del glaucoma a partir de datos de OCT. / [CA] Aquesta tesi presenta solucions d'avantguarda basades en algorismes de *computer *vision (CV) i *machine *learning (ML) per a ajudar als experts en el diagnòstic clínic. Se centra en dues àrees rellevants en el camp de la imatge mèdica: la patologia digital i l'oftalmologia. Aquest treball proposa diferents paradigmes de *machine *learning i *deep *learning per a abordar diversos escenaris de supervisió en l'estudi del càncer de pròstata, el càncer de bufeta i el glaucoma. En particular, es consideren mètodes supervisats convencionals per a segmentar i classificar estructures específiques de la pròstata en imatges histològiques digitalitzades. Per al reconeixement de patrons específics de la bufeta, es duen a terme enfocaments totalment no supervisats basats en tècniques de *deep-*clustering. Respecte a la detecció del glaucoma, s'apliquen algorismes de memòria a curt termini (*LSTMs) que permeten dur a terme un aprenentatge recurrent a partir de volums de tomografia per coherència òptica en el domini espectral (SD-*OCT). Finalment, es proposa l'ús de xarxes neuronals *prototípicas (*PNN) en un marc de *few-*shot *learning per a determinar el nivell de gravetat del glaucoma a partir d'imatges *OCT *circumpapilares. Els mètodes d'intel·ligència artificial (*IA) que es detallen en aquesta tesi proporcionen una valuosa eina d'ajuda al diagnòstic per imatge, ja siga per al diagnòstic histològic del càncer de pròstata i bufeta o per a l'avaluació del glaucoma a partir de dades d'OCT. / [EN] This thesis presents cutting-edge solutions based on computer vision (CV) and machine learning (ML) algorithms to assist experts in clinical diagnosis. It focuses on two relevant areas at the forefront of medical imaging: digital pathology and ophthalmology. This work proposes different machine learning and deep learning paradigms to address various supervisory scenarios in the study of prostate cancer, bladder cancer and glaucoma. In particular, conventional supervised methods are considered for segmenting and classifying prostate-specific structures in digitised histological images. For bladder-specific pattern recognition, fully unsupervised approaches based on deep-clustering techniques are carried out. Regarding glaucoma detection, long-short term memory algorithms (LSTMs) are applied to perform recurrent learning from spectral-domain optical coherence tomography (SD-OCT) volumes. Finally, the use of prototypical neural networks (PNNs) in a few-shot learning framework is proposed to determine the severity level of glaucoma from circumpapillary OCT images. The artificial intelligence (AI) methods detailed in this thesis provide a valuable tool to aid diagnostic imaging, whether for the histological diagnosis of prostate and bladder cancer or glaucoma assessment from OCT data. / García Pardo, JG. (2022). Machine learning strategies for diagnostic imaging support on histopathology and optical coherence tomography [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/182400 / TESIS / Compendio

Tesis por compendio / [ES] Durante las últimas décadas el uso del aprendizaje automático (machine learning) y de la inteligencia artificial ha mostrado un crecimiento exponencial en muchas áreas de la ciencia. El hecho de que los ordenadores hayan aumentado sus restaciones a la vez que han reducido su precio, junto con la disponibilidad de entornos de desarrollo de código abierto han permitido el acceso a la inteligencia artificial a un gran rango de investigadores, democratizando de esta forma el acceso a métodos de inteligencia artificial a la comunidad investigadora. Es nuestra creencia que la multidisciplinaridad es clave para nuevos logros, con equipos compuestos de investigadores con diferentes preparaciones y de diferentes campos de especialización. Con este ánimo, hemos orientado esta tesis en el uso de machine learning inteligencia artificial, aprendizaje profundo o deep learning, entendiendo todas las anteriores como parte de un concepto global que concretamos en el término inteligencia artificial, a intentar arrojar luz a algunos problemas de los campos de las matemáticas y la física. Desarrollamos una arquitectura deep learning y la medimos con éxito en la caracterización de procesos de difusión anómala. Mientras que previamente se habían utilizado métodos estadísticos clásicos con este objetivo, los métodos de deep learning han demostrado mejorar las prestaciones de dichos métodos clásicos. Nuestra architectura demostró que puede inferir con precisión el exponente de difusión anómala y clasificar trayectorias entre un conjunto dado de modelos subyacentes de difusión . Mientras que las redes neuronales recurrentes irrumpieron recientemente, los modelos basados en redes convolucionales han sido ámpliamente testados en el campo del procesamiento de imagen durante más de 15 años. Existen muchos modelos y arquitecturas, pre-entrenados y listos para ser usados por la comunidad. No es necesario realizar investigación ya que dichos modelos han probado su valía durante años y están bien documentados en la literatura. Nuestro objetivo era ser capaces de usar esos modelos bien conocidos y fiables, con trayectorias de difusión anómala. Solo necesitábamos convertir una serie temporal en una imagen, cosa que hicimos aplicando gramian angular fields a las trayectorias, poniendo el foco en las trayectorias cortas. Hasta donde sabemos, ésta es la primera vez que dichas técnicas son usadas en este campo. Mostramos cómo esta aproximación mejora las prestaciones de cualquier otra propuesta en la clasificación del modelo subyacente de difusión anómala para trayectorias cortas. Más allá de la física están las matemáticas. Utilizamos nuestra arquitectura basada en redes recurrentes neuronales para inferir los parámetros que definen las trayectorias de Wu Baleanu. Mostramos que nuestra propuesta puede inferir con azonable precisión los parámetros mu y nu. Siendo la primera vez, de nuevo hasta donde llega nuestro conocimiento, que tales técnicas se aplican en este escenario. Extendemos este trabajo a las ecuaciones fraccionales discretas con retardo, obteniendo resultados similares en términos de precisión. Adicionalmente, mostramos que la misma arquitectura se puede usar para discriminar entre trayectorias con y sin retardo con gran confianza. Finalmente, también investigamos modelos fraccionales discretos. Hemos analizado esquemas de paso temporal con la cuadratura de Lubich en lugar del clásico esquema de orden 1 de Euler. En el primer estudio de este nuevo paradigma hemos comparado los diagramas de bifurcación de los mapas logístico y del seno, obtenidos de la discretización de Euler de orden 1, 2 y 1/2. / [CAT] Durant les darreres dècades l'ús de l'aprenentatge automàtic (machine learning) i de la intel.ligència artificial ha mostrat un creixement exponencial en moltes àrees de la ciència. El fet que els ordinadors hagen augmentat les seues prestacions a la vegada que han reduït el seu preu, junt amb la disponibilitat d'entorns de desenvolupament de codi obert han permès l'accés a la intel.ligència artificial a un gran rang d'investigadors, democratitzant així l'accés a mètodes d'intel.ligència artificial a la comunitat investigadora. És la nostra creença que la multidisciplinaritat és clau per a nous èxits, amb equips compostos d'investigadors amb diferents preparacions i diferents camps d'especialització. Amb aquest ànim, hem orientat aquesta tesi en l'ús d'intel.ligència artificial machine learning, aprenentatge profund o deep learning, entenent totes les anteriors com a part d'un concepte global que concretem en el terme intel.ligència, a intentar donar llum a alguns problemes dels camps de les matemàtiques i la física. Desenvolupem una arquitectura deep learning i la mesurem amb èxit en la caracterització de processos de difusió anòmala. Mentre que prèviament s'havien utilitzat mètodes estadístics clàssics amb aquest objectiu, els mètodes de deep learning han demostrat millorar les prestacions d'aquests mètodes clàssics. La nostra architectura va demostrar que pot inferir amb precisió l'exponent de difusió anòmala i classificar trajectòries entre un conjunt donat de models subjacents de difusió. Mentre que les xarxes neuronals recurrents van irrompre recentment, els models basats en xarxes convolucionals han estat àmpliament testats al camp del processament d'imatge durant més de 15 anys. Hi ha molts models i arquitectures, pre-entrenats i llestos per ser usats per la comunitat. No cal fer recerca ja que aquests models han provat la seva vàlua durant anys i estan ben documentats a la literatura. El nostre objectiu era ser capaços de fer servir aquests models ben coneguts i fiables, amb trajectòries de difusió anòmala. Només necessitàvem convertir una sèrie temporal en una imatge, cosa que vam fer aplicant gramian angular fields a les trajectòries, posant el focus a les trajectòries curtes. Fins on sabem, aquesta és la primera vegada que aquestes tècniques són usades en aquest camp. Mostrem com aquesta aproximació millora les prestacions de qualsevol altra proposta a la classificació del model subjacent de difusió anòmala per a trajectòries curtes. Més enllà de la física hi ha les matemàtiques. Utilitzem la nostra arquitectura basada en xarxes recurrents neuronals per inferir els paràmetres que defineixen les trajectòries de Wu Baleanu. Mostrem que la nostra proposta pot inferir amb raonable precisió els paràmetres mu i nu. Sent la primera vegada, novament fins on arriba el nostre coneixement, que aquestes tècniques s'apliquen en aquest escenari. Estenem aquest treball a les equacions fraccionals discretes amb retard, obtenint resultats similars en termes de precisió. Addicionalment, mostrem que la mateixa arquitectura es pot fer servir per discriminar entre trajectòries amb i sense retard amb gran confiança. Finalment, també investiguem models fraccionals discrets. Hem analitzat esquemes de pas temporal amb la quadratura de Lubich en lloc del clàssic esquema d'ordre 1 d'Euler. Al primer estudi d'aquest nou paradigma hem comparat els diagrames de bifurcació dels mapes logístic i del sinus, obtinguts de la discretització d'Euler d'ordre 1, 2 i 1/2. / [EN] During the last decades the use of machine learning and artificial intelligence have showed an exponential growth in many areas of science. The fact that computer's hardware has increased its performance while lowering the price and the availability of open source frameworks have enabled the access to artificial intelligence to a broad range of researchers, hence democratizing the access to artificial intelligence methods to the research community. It is our belief that multi-disciplinarity is the key to new achievements, with teams composed of researchers with different backgrounds and fields of specialization. With this aim, we focused this thesis in using machine learning, artificial intelligence, deep learing, all of them being understood as part of a whole concept we concrete in artificial intelligence, to try to shed light to some problems from the fields of mathematics and physics. A deep learning architecture was developed and successfully benchmarked with the characterization of anomalous diffusion processes. Whereas traditional statistical methods had previously been used with this aim, deep learing methods, mainly based on recurrent neural networks have proved to outperform these clasical methods. Our architecture showed it can precisely infer the anomalous diffusion exponent and accurately classify trajectories among a given set of underlaying diffusion models. While recurrent neural networks irrupted in the recent years, convolutional network based models had been extensively tested in the field of image processing for more than 15 years. There exist many models and architectures, pre-trained and set to be used by the community. No further investigation needs to be done since the architecture have proved their value for years and are very well documented in the literature. Our goal was being able to used this well-known and reliable models with anomalous diffusion trajectories. We only needed to be able to convert a time series into an image, which we successfully did by applying gramian angular fields to the trajectories, focusing on short ones. To our knowledge this is the first time these techniques were used in this field. We show how this approach outperforms any other proposal in the underlaying diffusion model classification for short trajectories. Besides physics it is maths. We used our recurrent neural networks architecture to infer the parameters that define the Wu Baleanu trajectories. We show that our proposal can precisely infer both the mu and nu parameters with a reasonable confidence. Being the first time, to the best of our knowledge, that such techniques were applied to this scenario. We extend this work to the discrete delayed fractional equations, obtaining similar results in terms of precision. Additionally, we showed that the same architecture can be used to discriminate delayed from non-delayed trajectories with a high confidence. Finally, we also searched fractional discrete models. We have considered Lubich's quadrature time-stepping schemes instead of the classical Euler scheme of order 1. As the first study with this new paradigm, we compare the bifurcation diagrams for the logistic and sine maps obtained from Euler discretizations of orders 1, 2, and 1/2. / J.A.C. acknowledges support from ALBATROSS project (National Plan for Scientific and Technical Research and Innovation 2017-2020, No. PID2019-104978RB-I00). M.A.G.M. acknowledges funding from the Spanish Ministry of Education and Vocational Training (MEFP) through the Beatriz Galindo program 2018 (BEAGAL18/00203) and Spanish Ministry MINECO (FIDEUA PID2019- 106901GBI00/10.13039/501100011033). We thank M.A. Garc ́ıa-March for helpful comments and discussions on the topic. NF is sup- ported by the National University of Singapore through the Singapore International Graduate Student Award (SINGA) program. OGO and LS acknowledge funding from MINECO project, grant TIN2017-88476-C2-1-R. JAC acknowledges funding from grant PID2021-124618NB-C21 funded by MCIN/AEI/ 10.13039/501100011033 and by “ERDF A way of making Europe”, by the “European Union”. We also thank funding for the open access charges from CRUE-Universitat Politècnica de València. / Garibo Orts, Ó. (2023). Anomalous Diffusion Characterization using Machine Learning Methods [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/192831 / Compendio

Tesis por compendio / [ES] La argumentación computacional es el área de investigación que estudia y analiza el uso de distintas técnicas y algoritmos que aproximan el razonamiento argumentativo humano desde un punto de vista computacional. En esta tesis doctoral se estudia el uso de distintas técnicas propuestas bajo el marco de la argumentación computacional para realizar un análisis automático del discurso argumentativo, y para desarrollar técnicas de persuasión computacional basadas en argumentos. Con estos objetivos, en primer lugar se presenta una completa revisión del estado del arte y se propone una clasificación de los trabajos existentes en el área de la argumentación computacional. Esta revisión nos permite contextualizar y entender la investigación previa de forma más clara desde la perspectiva humana del razonamiento argumentativo, así como identificar las principales limitaciones y futuras tendencias de la investigación realizada en argumentación computacional. En segundo lugar, con el objetivo de solucionar algunas de estas limitaciones, se ha creado y descrito un nuevo conjunto de datos que permite abordar nuevos retos y investigar problemas previamente inabordables (e.g., evaluación automática de debates orales). Conjuntamente con estos datos, se propone un nuevo sistema para la extracción automática de argumentos y se realiza el análisis comparativo de distintas técnicas para esta misma tarea. Además, se propone un nuevo algoritmo para la evaluación automática de debates argumentativos y se prueba con debates humanos reales. Finalmente, en tercer lugar se presentan una serie de estudios y propuestas para mejorar la capacidad persuasiva de sistemas de argumentación computacionales en la interacción con usuarios humanos. De esta forma, en esta tesis se presentan avances en cada una de las partes principales del proceso de argumentación computacional (i.e., extracción automática de argumentos, representación del conocimiento y razonamiento basados en argumentos, e interacción humano-computador basada en argumentos), así como se proponen algunos de los cimientos esenciales para el análisis automático completo de discursos argumentativos en lenguaje natural. / [CA] L'argumentació computacional és l'àrea de recerca que estudia i analitza l'ús de distintes tècniques i algoritmes que aproximen el raonament argumentatiu humà des d'un punt de vista computacional. En aquesta tesi doctoral s'estudia l'ús de distintes tècniques proposades sota el marc de l'argumentació computacional per a realitzar una anàlisi automàtic del discurs argumentatiu, i per a desenvolupar tècniques de persuasió computacional basades en arguments. Amb aquestos objectius, en primer lloc es presenta una completa revisió de l'estat de l'art i es proposa una classificació dels treballs existents en l'àrea de l'argumentació computacional. Aquesta revisió permet contextualitzar i entendre la investigació previa de forma més clara des de la perspectiva humana del raonament argumentatiu, així com identificar les principals limitacions i futures tendències de la investigació realitzada en argumentació computacional. En segon lloc, amb l'objectiu de sol$\cdot$lucionar algunes d'aquestes limitacions, hem creat i descrit un nou conjunt de dades que ens permet abordar nous reptes i investigar problemes prèviament inabordables (e.g., avaluació automàtica de debats orals). Conjuntament amb aquestes dades, es proposa un nou sistema per a l'extracció d'arguments i es realitza l'anàlisi comparativa de distintes tècniques per a aquesta mateixa tasca. A més a més, es proposa un nou algoritme per a l'avaluació automàtica de debats argumentatius i es prova amb debats humans reals. Finalment, en tercer lloc es presenten una sèrie d'estudis i propostes per a millorar la capacitat persuasiva de sistemes d'argumentació computacionals en la interacció amb usuaris humans. D'aquesta forma, en aquesta tesi es presenten avanços en cada una de les parts principals del procés d'argumentació computacional (i.e., l'extracció automàtica d'arguments, la representació del coneixement i raonament basats en arguments, i la interacció humà-computador basada en arguments), així com es proposen alguns dels fonaments essencials per a l'anàlisi automàtica completa de discursos argumentatius en llenguatge natural. / [EN] Computational argumentation is the area of research that studies and analyses the use of different techniques and algorithms that approximate human argumentative reasoning from a computational viewpoint. In this doctoral thesis we study the use of different techniques proposed under the framework of computational argumentation to perform an automatic analysis of argumentative discourse, and to develop argument-based computational persuasion techniques. With these objectives in mind, we first present a complete review of the state of the art and propose a classification of existing works in the area of computational argumentation. This review allows us to contextualise and understand the previous research more clearly from the human perspective of argumentative reasoning, and to identify the main limitations and future trends of the research done in computational argumentation. Secondly, to overcome some of these limitations, we create and describe a new corpus that allows us to address new challenges and investigate on previously unexplored problems (e.g., automatic evaluation of spoken debates). In conjunction with this data, a new system for argument mining is proposed and a comparative analysis of different techniques for this same task is carried out. In addition, we propose a new algorithm for the automatic evaluation of argumentative debates and we evaluate it with real human debates. Thirdly, a series of studies and proposals are presented to improve the persuasiveness of computational argumentation systems in the interaction with human users. In this way, this thesis presents advances in each of the main parts of the computational argumentation process (i.e., argument mining, argument-based knowledge representation and reasoning, and argument-based human-computer interaction), and proposes some of the essential foundations for the complete automatic analysis of natural language argumentative discourses. / This thesis has been partially supported by the Generalitat Valenciana project PROMETEO/2018/002 and by the Spanish Government projects TIN2017-89156-R and PID2020-113416RB-I00 / Ruiz Dolz, R. (2023). Computational Argumentation for the Automatic Analysis of Argumentative Discourse and Human Persuasion [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/194806 / Compendio

Tesis por compendio / [ES] El mundo es testigo de nuevos avances tecnológicos que afectan significativamente a las organizaciones en diferentes departamentos. La inteligencia artificial (IA) es uno de estos avances, visto como una tecnología revolucionaria en la gestión de recursos humanos (RRHH). Profesionales y académicos han discutido el brillante papel de la IA en RRHH. Sin embargo, el análisis profundo de esta tecnología en el proceso de RRHH es aún escaso. Con todo ello, el objetivo principal de esta tesis es investigar el estado de la IA en RRHH y así identificar factores clave de implementación concretos. Primero, construyendo un marco académico para la IA en RRHH; segundo, analizar las aplicaciones de IA más utilizada en los procesos de RRHH; tercero, identificar las formas óptimas de transferir el conocimiento en los procesos de implementación de IA. La metodología utilizada para la investigación combina la revisión sistemática de la literatura y técnicas de investigación cualitativa. Como base y medida preparatoria para abordar las preguntas de investigación, se llevó a cabo un extenso análisis de la literatura en el campo AI-RRHH, con un enfoque particular en las publicaciones de algoritmos de IA en HRM, análisis de HR-Big data, aplicaciones/soluciones de IA en HRM e implementación de IA. En la misma línea, el autor publicó artículos en varias conferencias que contribuyeron a mejorar la madurez de las preguntas de investigación. Con base en este conocimiento, los estudios publicados ilustraron la brecha entre la promesa y la realidad de la IA en RRHH, teniendo en cuenta los requisitos técnicos de la implementación de la IA, así como las aplicaciones y limitaciones. Posteriormente, se entrevistó a expertos en recursos humanos y consultores de IA que ya habían adquirido experiencia de primera mano con los procesos de recursos humanos en un entorno de IA para descubrir la verdad de la aplicación de la IA dominante en el proceso de RRHH. Los principales hallazgos de esta tesis incluyen la derivación de una definición completa de IA en RRHH, así como el estado de las estrategias de adopción de aplicaciones de IA en RRHH. Como resultado adicional, se explora la utilidad y las limitaciones de los chatbots en el proceso de contratación en la India. Además, factores clave para transferir el conocimiento del proceso de implementación de IA a los gerentes y empleados de recursos humanos. Finalmente, se concluye identificando desafíos asociados con la implementación de IA en el proceso de recursos humanos y el impacto de COVID-19 en la implementación de IA. / [CA] El món és testimoni de nous avanços tecnològics, que afecten significativament les organitzacions en diferents departaments. La intel·ligència artificial (IA) és un d'aquests avanços que s'anuncia àmpliament com una tecnologia revolucionària en la gestió de recursos humans (HRM). Professionals i acadèmics han discutit el brillant paper de la IA en HRM. No obstant això, encara és escàs l'anàlisi profund d'aquesta tecnologia en el procés de HRM. Per tant, l'objectiu principal d'aquesta tesi és investigar l'estat de la IA en HRM i derivar factors clau d'implementació concrets. Primer, construint un marc acadèmic per a la IA en HRM; segon, analitzar l'aplicació de IA més utilitzada en el procés de recursos humans; tercer, identificar les formes òptimes de transferir el coneixement dels processos d'implementació de IA. La metodologia utilitzada per a la investigació es combina entre una revisió sistemàtica de la literatura i una tècnica d'investigació qualitativa. Com a base i mesura preparatòria per a abordar les preguntes d'investigació, es va dur a terme una extensa anàlisi de la literatura en el camp IA-HRM, amb un enfocament particular en les publicacions d'algorismes de IA en HRM, anàlisis de HR-Big data, aplicacions/soluciones de IA en HRM i implementació de IA. En la mateixa línia, l'autor va publicar articles en diverses conferències que van procedir a millorar la maduresa de les preguntes d'investigació. Amb base en aquest coneixement, els estudis publicats van illustrar la bretxa entre la promesa i la realitat de la IA en HRM, tenint en compte els requisits tècnics de la implementació de la IA, així com les aplicacions i limitacions. Posteriorment, es va entrevistar experts en recursos humans i consultors de IA que ja havien adquirit experiència de primera mà amb els processos de recursos humans en un entorn de IA per a descobrir la veritat de l'aplicació de la IA dominant en el procés de recursos humans. Les principals troballes d'aquesta tesi són la derivació d'una definició completa de IA en HRM, així com l'estat de les estratègies d'adopció d'aplicacions de IA en HRM. Com a resultat addicional, explore la utilitat i les limitacions dels chatbots en el procés de contractació a l'Índia. A més, factors clau per a transferir el coneixement del procés d'implementació de IA als gerents i empleats de recursos humans. També es van concloure els desafiaments associats amb la implementació de IA en el procés de recursos humans i l'impacte de COVID-19 en la implementació de IA. / [EN] The world is witnessing new technological advancements, which significantly impacts organizations across different departments. Artificial intelligence (AI) is one of these advancements that is widely heralded as a revolutionary technology in Human Resource Management (HRM). Professionals and scholars have discussed the bright role of AI in HRM. However, deep analysis of this technology in the HR process is still scarce. Therefore, the main goal of this thesis is to investigate the status of AI in HRM and derive concrete implementation key factors. Through, first, building an academic framework for AI in HRM; second, analyzing the most commonly used AI applications in HR process; third, identifying the optimal ways to transfer the knowledge of AI implementation processes. The methodology used for the investigation combines a systematic literature review and a qualitative research technique. As a basis and preparatory measure to address the research questions, an extensive literature analysis in the AI-HRM field was carried out, with a particular focus on publications of AI in HRM, HR-Big data analysis, AI applications/solutions in HRM and AI implementation. Along similar lines, the author published papers in several conference proceedings to improve the maturity of research questions. Based on this work, the published studies illustrate the gap between the promise and reality of AI in HRM, taking into account the requirements of AI implementation as well as the applications and limitations. Subsequently, HR experts and AI consultants, who had already gained first-hand experience with HR processes in an AI environment, were interviewed to find out the truth of the dominant AI's application in HR process. The main findings of this thesis are the derivation of a complete definition of AI in HRM as well as the status of the adoption strategies of AI applications in HRM. As a further result, it explores the usefulness and limitations of chatbots in the recruitment processes in India. In addition, derived the key factors to transfer the knowledge of AI implementation process to HR managers and employees. Challenges associated with AI implementation in the HR process and the impact of COVID-19 on AI implementation were also concluded. / Tuffaha, M. (2022). Adoption Factors of Artificial intelligence in Human Resource Management [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/185909 / TESIS / Compendio

[ES] La Esclerosis Múltiple (EM) es una enfermedad inflamatoria y autoinmune del sistema nervioso central (SNC) con rasgos de desmielinización y degeneración axonal en el tiempo, y caracterizada por ser muy heterogénea en los síntomas y en el curso de la enfermedad. La Imagen de Resonancia Magnética (RM) es una de las herramientas clínicas más sensibles para la evaluación de los procesos inflamatorios y neurodegenerativos. En los últimos años, la evaluación de la médula espinal ha tenido un creciente interés clínico para mejorar el diagnóstico y el fenotipado de la enfermedad, aunque, a diferencia del cerebro, en médula espinal cervical no existen algoritmos de inteligencia artificial (IA) desarrollados y certificados para práctica clínica. Es por ello, que nuestro objetivo se centra en investigar y desarrollar un método automático de segmentación de médula cervical en RM, facilitando así una evaluación automática y mejorada de la atrofia de la médula espinal, pues esta puede proporcionar información valiosa sobre la progresión de la enfermedad y sus consecuencias clínicas. El algoritmo se desarrolló mediante datos del mundo real (real-world data) recogidos de manera retrospectiva en 121 pacientes de EM. Se utilizaron 96 de ellos para el entrenamiento del modelo, 25 para test y 13 para la validación del modelo. Durante la tesis se trabajaron secuencias de RM adquiridas en un equipo de 3T (SignaHD, GEHC), de tipo 3D axiales potenciadas en T1, dada su mejor resolución y contraste para identificar pequeñas estructuras anatómicas como la médula espinal. El etiquetado manual de los datos fue realizado bajo el consejo y supervisión de dos radiólogos experimentados, obteniendo finalmente el ground-truth. Varias fueron las arquitecturas, hiperparámetros y formas de preprocesado aplicados al dataset en busca de la solución óptima. Dada su conocida importancia en la segmentación de imagen médica, la arquitectura U-Net fue el punto de partida. Tras la ausencia de buenos resultados y una mayor investigación en el campo, se dio con la problemática del desbalanceo de datos. Finalmente, para obtener la segmentación deseada, se implementó y entrenó una red neuronal convolucional 2D compuesta por un mecanismo de atención residual y conexiones basadas en la arquitectura U-Net. El mecanismo de atención permitió que el modelo se centrara en aquellas localizaciones de la imagen que son importantes para la tarea de clasificación de los vóxeles correspondientes a la médula cervical, a la vez que retenía la información del resto de estructuras anatómicas, mientras que los bloques residuales nos permitieron solventar problemas de desvanecimiento de gradiente comunes en redes neuronales profundas. El entrenamiento se diseñó con una función de pérdidas local, basada en el índice de Tversky con el fin de controlar el problema de desbalanceo de datos de imagen médica, y un buscador automático de tasa de aprendizaje óptima que nos permitió mejorar la convergencia y rendimiento del modelo. Finalmente, nuestro método proporcionó una segmentación con una elevada tasa de acierto, obteniendo un valor de 0.95 como MCC en la métrica de entrenamiento y consiguiendo en validación un coeficiente DICE de 0.904±0.101 tomando como referencia la segmentación manual. Además de obtener una herramienta para la segmentación automática de la médula, también creamos un módulo para el cálculo de sus dimensiones, actuando como biomarcador de imagen, lo que será útil y eficaz para la valoración de la atrofia. De esta forma, los clínicos pueden evaluar el grado de daño neurológico y seguir su evolución a lo largo del tiempo. Como biomarcadores de imagen, calculamos las dimensiones de las médulas de nuestros pacientes en forma de volumen (mm3) y sección media (mm2) y estudiamos la relación entre sección media de la médula espinal cervical con la distribución de las distintas formas clínicas y los niveles en Escala de Discapacidad Extendida de Kurtzke (EDSS) de los pacientes. / [CA] L'Esclerosi Múltiple (EM), és una malaltia inflamatòria i autoimmune del sistema nerviós central (SNC) amb trets de desmielinització i degeneració axonal en el el temps. Es caracteritza per ser molt heterogènia amb els símptomes i curs de la malaltia. La Imatge de Ressonància Magnètica (RM) és una de les eines més sensibles per a l'avaluació dels processos inflamatoris i neurodegeneratius. Als darrers anys, l'evolució de la medul·la espinal ha tingut un creixent interés clínic per tal de millorar el diagnòstic i el fenotipatge de la malaltia, encara que, a diferència del cervell, en medul·la espinal cervical no existeixen algoritmes d'intel·ligència artificial (IA) desenvolupats i certificats. Aquest fet motiva el present estudi, que se centra en la recerca i desenvolupament d'un mètode automàtic de segmentació de medul·la cervical en RM. L'automatització i millora del procés d'avaluació de l'atròfia de la medul·la espinal podrà proporcionar valuosa informació sobre la progressió de la malaltia i les seves conseqüències clíniques. L'algoritme proposat al present treball va ser desenvolupat mitjançant dades del món real (real-world data) recollides de manera retrospectiva en 121 pacients d'EM. D'aquestes mostres, 96 foren utilitzades per a l'entrenament del model d'IA, 13 per a la validació durant l'entrenament i les 25 restants com a conjunt d'avaluació. Les seqüències d'imatges de RM fetes servir foren adquirides amb un equip 3T de tipus 3D axials potenciats en T1, donada la seua millor resolució i contrast alhora identificar petites estructures anatòmiques com la medul·la espinal. L'etiquetatge de les dades fou realitzat sota la supervisió i consell de dos experimentats radiòlegs. El resultat final fou un conjunt d'imatges RM de referència (ground truth dataset) amb les corresponents màscares de segmentació de la medul·la espinal cervical definides pels radiòlegs. Diverses van ser les arquitectures, hiperparàmetres i tècniques de preprocessat aplicades al conjunt de dades en cerca de la solució òptima. Donada la seua coneguda importància en la segmentació d'imatge mèdica, l'arquitectura U-Net fou el punt de partida. Un altre punt d'inflexió fou resoldre la problemàtica de la desproporció de representativitat al conjunt de dades utilitzat (dataset imbalancement). Finalment, per obtindre la segmentació desitjada, es va implementar i entrenar una xarxa neuronal convolucional 2D composta per un mecanisme d'atenció residual i connexions basades en l'arquitectura U-Net. El mecanisme d'atenció va permetre que el model se centrara en aquelles localitzacions de la imatge més importants per a la tasca de classificació dels corresponents vòxels a la medul·la cervical, a la volta que retenia la informació de la resta d'estructures anatòmiques. Alhora, els blocs residuals, van permetre resoldre els problemes d'esvaïment de gradient, comuns a l'entrenament de xarxes neuronals profundes. L'entrenament es va dissenyar amb una funció de cost local, basada en l'índex Tversky, amb el fi de controlar la problemàtica del dataset imbalancement i, un buscador automàtic de la taxa d'aprenentatge òptima que permetia una millor convergència i rendiment del model. Els resultats proporcionats pel nostre mètode de segmentació automàtica, presentaren una elevada taxa d'encert, obtinguen un valor de 0.95 com coeficient de correlació de Matthew en la mètrica d'entrenament i aconseguint en validació un coeficient DICE de 0.904±0.101 prenent com a referència la segmentació manual. A més de l'eina de segmentació automàtica, també hem desenvolupat un mòdul per al càlcul de les seues dimensions, el que serà útil per a una eficaç valoració de l'atròfia. Com biomarcadors d'imatge, calcularem les dimensions de les medul·les dels nostres pacients en forma de volum (mm³) i secció mitjana (mm²) i estudiarem la relació entre secció mitjana de la medul·la espinal cervical amb la distribució de les distintes formes clíniques i l'escala de discapacitat estesa de Kurtzke / [EN] Multiple Sclerosis (MS) is an inflammatory and autoimmune disease of the central nervous system (CNS) with features of demyelination and axonal degeneration over time, and characterised by being very heterogeneous in symptoms, disease course and outcome. Magnetic Resonance Imaging (MRI) is one of the most sensitive clinical tools for the evaluation of inflammatory and neurodegenerative processes. In recent years, the evaluation of the spinal cord has been of increasing clinical interest to improve the diagnosis and phenotyping of the disease, although, unlike the brain, in the cervical spinal cord there are no artificial intelligence (AI) algorithms developed and certified for clinical practice. Therefore, our aim is to investigate and develop an automatic method of cervical cord segmentation in MRI, thus facilitating an automatic and improved assessment of spinal cord atrophy, which can provide valuable information on the progression of the disease and its clinical consequences. The algorithm was developed using real-world data collected retrospectively from 121 MS patients. Of these, 96 were used for model training, 25 for testing and 13 for validation of the proposed model. During the thesis, 3D axial T1-weighted MRI sequences acquired in 3T equipment (SignaHD, GEHC) were used, given their better resolution and contrast to identify small anatomical structures such as the spinal cord. Manual labelling of the data was performed under the advice and supervision of two experienced radiologists, between whom possible discrepancies were resolved with a third radiologist, resulting in a set of cervical spinal cord masks as ground-truth. Several architectures, hyperparameters and forms of pre-processing were applied to the dataset in search of the optimal solution. Given its known importance in medical image segmentation, the U-Net architecture was the starting point. After the absence of good results and further research in the field, the problem of data imbalance was identified. Finally, to obtain the desired segmentation, a 2D convolutional neural network (CNN) composed of a residual attention mechanism and connections based on the U-Net architecture was implemented and trained. The attention mechanism allowed the model to focus on those image locations that are important for the classification task of the voxels corresponding to the cervical cord, while retaining the information of the rest of the anatomical structures. Residual blocks allowed us to solve common gradient fading problems in deep neural networks. Training was designed with a local loss function, based on the Tversky index in order to control the medical image data imbalance problem, and an automatic optimal learning rate finder that allowed us to improve the convergence and performance of the model. Finally, our method provided a segmentation with a high success rate, obtaining a value of 0.95 as MCC in the training metric and obtaining in validation a DICE coefficient of 0.904±0.101 taking manual segmentation as a reference. In addition to obtaining a tool for the automatic segmentation of the spinal cord, we also created a module for the calculation of its dimensions, which will be useful and effective for the assessment of atrophy. Atrophy is a direct indicator of neuronal damage and tissue loss in both the brain and spinal cord, and is a key risk factor for disability in MS. By accurately calculating atrophy, clinicians can assess the degree of neurological damage and follow its evolution over time. In our study, we calculated the dimensions of our patients' cords, as possible imaging biomarkers, in terms of volume (mm3) and mean section (mm2), and studied the relationship between the mean section of the cervical spinal cord with the distribution of the different clinical forms and the Kurtzke Expanded Disability Status Scale (EDSS) levels in our study group. / Bueno Gómez, A. (2024). Investigación y desarrollo de metodología avanzada de segmentación de la médula espinal cervical a partir de imágenes RM para la ayuda al diagnóstico y seguimiento de pacientes de esclerosis múltiple [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/205742