Tesis por compendio / [ES] En los últimos años, el aprendizaje profundo (DL) se ha convertido en una de las principales áreas de la inteligencia artificial (IA), impulsado principalmente por el avance en la capacidad de procesamiento. Los algoritmos basados en DL han logrado resultados asombrosos en la comprensión y manipulación de diversos tipos de datos, incluyendo imágenes, señales de habla y texto. La revolución digital del sector sanitario ha permitido la generación de nuevas bases de datos, lo que ha facilitado la implementación de modelos de DL bajo el paradigma de aprendizaje supervisado. La incorporación de estos métodos promete mejorar y automatizar la detección y el diagnóstico de enfermedades, permitiendo pronosticar su evolución y facilitar la aplicación de intervenciones clínicas de manera más efectiva. Una de las principales limitaciones de la aplicación de algoritmos de DL supervisados es la necesidad de grandes bases de datos anotadas por expertos, lo que supone una barrera importante en el ámbito médico. Para superar este problema, se está abriendo un nuevo campo de desarrollo de estrategias de aprendizaje no supervisado o débilmente supervisado que utilizan los datos disponibles no anotados o débilmente anotados. Estos enfoques permiten aprovechar al máximo los datos existentes y superar las limitaciones de la dependencia de anotaciones precisas. Para poner de manifiesto que el aprendizaje débilmente supervisado puede ofrecer soluciones óptimas, esta tesis se ha enfocado en el desarrollado de diferentes paradigmas que permiten entrenar modelos con bases de datos débilmente anotadas o anotadas por médicos no expertos. En este sentido, se han utilizado dos modalidades de datos ampliamente empleadas en la literatura para estudiar diversos tipos de cáncer y enfermedades inflamatorias: datos ómicos e imágenes histológicas. En el estudio sobre datos ómicos, se han desarrollado métodos basados en deep clustering que permiten lidiar con las altas dimensiones inherentes a este tipo de datos, desarrollando un modelo predictivo sin la necesidad de anotaciones. Al comparar el método propuesto con otros métodos de clustering presentes en la literatura, se ha observado una mejora en los resultados obtenidos. En cuanto a los estudios con imagen histológica, en esta tesis se ha abordado la detección de diferentes enfermedades, incluyendo cáncer de piel (melanoma spitzoide y neoplasias de células fusocelulares) y colitis ulcerosa. En este contexto, se ha empleado el paradigma de multiple instance learning (MIL) como línea base en todos los marcos desarrollados para hacer frente al gran tamaño de las imágenes histológicas. Además, se han implementado diversas metodologías de aprendizaje, adaptadas a los problemas específicos que se abordan. Para la detección de melanoma spitzoide, se ha utilizado un enfoque de aprendizaje inductivo que requiere un menor volumen de anotaciones. Para abordar el diagnóstico de colitis ulcerosa, que implica la identificación de neutrófilos como biomarcadores, se ha utilizado un enfoque de aprendizaje restrictivo. Con este método, el coste de anotación se ha reducido significativamente al tiempo que se han conseguido mejoras sustanciales en los resultados obtenidos. Finalmente, considerando el limitado número de expertos en el campo de las neoplasias de células fusiformes, se ha diseñado y validado un novedoso protocolo de anotación para anotaciones no expertas. En este contexto, se han desarrollado modelos de aprendizaje profundo que trabajan con la incertidumbre asociada a dichas anotaciones. En conclusión, esta tesis ha desarrollado técnicas de vanguardia para abordar el reto de la necesidad de anotaciones precisas que requiere el sector médico. A partir de datos débilmente anotados o anotados por no expertos, se han propuesto novedosos paradigmas y metodologías basados en deep learning para abordar la detección y diagnóstico de enfermedades utilizando datos ómicos e imágenes histológicas. / [CA] En els últims anys, l'aprenentatge profund (DL) s'ha convertit en una de les principals àrees de la intel·ligència artificial (IA), impulsat principalment per l'avanç en la capacitat de processament. Els algorismes basats en DL han aconseguit resultats sorprenents en la comprensió i manipulació de diversos tipus de dades, incloent-hi imatges, senyals de parla i text. La revolució digital del sector sanitari ha permés la generació de noves bases de dades, la qual cosa ha facilitat la implementació de models de DL sota el paradigma d'aprenentatge supervisat. La incorporació d'aquests mètodes promet millorar i automatitzar la detecció i el diagnòstic de malalties, permetent pronosticar la seua evolució i facilitar l'aplicació d'intervencions clíniques de manera més efectiva. Una de les principals limitacions de l'aplicació d'algorismes de DL supervisats és la necessitat de grans bases de dades anotades per experts, la qual cosa suposa una barrera important en l'àmbit mèdic. Per a superar aquest problema, s'està obrint un nou camp de desenvolupament d'estratègies d'aprenentatge no supervisat o feblement supervisat que utilitzen les dades disponibles no anotades o feblement anotats. Aquests enfocaments permeten aprofitar al màxim les dades existents i superar les limitacions de la dependència d'anotacions precises. Per a posar de manifest que l'aprenentatge feblement supervisat pot oferir solucions òptimes, aquesta tesi s'ha enfocat en el desenvolupat de diferents paradigmes que permeten entrenar models amb bases de dades feblement anotades o anotades per metges no experts. En aquest sentit, s'han utilitzat dues modalitats de dades àmpliament emprades en la literatura per a estudiar diversos tipus de càncer i malalties inflamatòries: dades ómicos i imatges histològiques. En l'estudi sobre dades ómicos, s'han desenvolupat mètodes basats en deep clustering que permeten bregar amb les altes dimensions inherents a aquesta mena de dades, desenvolupant un model predictiu sense la necessitat d'anotacions. En comparar el mètode proposat amb altres mètodes de clustering presents en la literatura, s'ha observat una millora en els resultats obtinguts. Quant als estudis amb imatge histològica, en aquesta tesi s'ha abordat la detecció de diferents malalties, incloent-hi càncer de pell (melanoma spitzoide i neoplàsies de cèl·lules fusocelulares) i colitis ulcerosa. En aquest context, s'ha emprat el paradigma de multiple instance learning (MIL) com a línia base en tots els marcs desenvolupats per a fer front a la gran grandària de les imatges histològiques. A més, s'han implementat diverses metodologies d'aprenentatge, adaptades als problemes específics que s'aborden. Per a la detecció de melanoma spitzoide, s'ha utilitzat un enfocament d'aprenentatge inductiu que requereix un menor volum d'anotacions. Per a abordar el diagnòstic de colitis ulcerosa, que implica la identificació de neutròfils com biomarcadores, s'ha utilitzat un enfocament d'aprenentatge restrictiu. Amb aquest mètode, el cost d'anotació s'ha reduït significativament al mateix temps que s'han aconseguit millores substancials en els resultats obtinguts. Finalment, considerant el limitat nombre d'experts en el camp de les neoplàsies de cèl·lules fusiformes, s'ha dissenyat i validat un nou protocol d'anotació per a anotacions no expertes. En aquest context, s'han desenvolupat models d'aprenentatge profund que treballen amb la incertesa associada a aquestes anotacions. En conclusió, aquesta tesi ha desenvolupat tècniques d'avantguarda per a abordar el repte de la necessitat d'anotacions precises que requereix el sector mèdic. A partir de dades feblement anotades o anotats per no experts, s'han proposat nous paradigmes i metodologies basats en deep learning per a abordar la detecció i diagnòstic de malalties utilitzant dades *ómicos i imatges histològiques. Aquestes innovacions poden millorar l'eficàcia i l'automatització en la detecció precoç i el seguiment de malalties. / [EN] In recent years, deep learning (DL) has become one of the main areas of artificial intelligence (AI), driven mainly by the advancement in processing power. DL-based algorithms have achieved amazing results in understanding and manipulating various types of data, including images, speech signals and text. The digital revolution in the healthcare sector has enabled the generation of new databases, facilitating the implementation of DL models under the supervised learning paradigm. Incorporating these methods promises to improve and automate the detection and diagnosis of diseases, allowing the prediction of their evolution and facilitating the application of clinical interventions with higher efficacy. One of the main limitations in the application of supervised DL algorithms is the need for large databases annotated by experts, which is a major barrier in the medical field. To overcome this problem, a new field of developing unsupervised or weakly supervised learning strategies using the available unannotated or weakly annotated data is opening up. These approaches make the best use of existing data and overcome the limitations of reliance on precise annotations. To demonstrate that weakly supervised learning can offer optimal solutions, this thesis has focused on developing different paradigms that allow training models with weakly annotated or non-expert annotated databases. In this regard, two data modalities widely used in the literature to study various types of cancer and inflammatory diseases have been used: omics data and histological images. In the study on omics data, methods based on deep clustering have been developed to deal with the high dimensions inherent to this type of data, developing a predictive model without requiring annotations. In comparison, the results of the proposed method outperform other existing clustering methods. Regarding histological imaging studies, the detection of different diseases has been addressed in this thesis, including skin cancer (spitzoid melanoma and spindle cell neoplasms) and ulcerative colitis. In this context, the multiple instance learning (MIL) paradigm has been employed as the baseline in all developed frameworks to deal with the large size of histological images. Furthermore, diverse learning methodologies have been implemented, tailored to the specific problems being addressed. For the detection of spitzoid melanoma, an inductive learning approach has been used, which requires a smaller volume of annotations. To address the diagnosis of ulcerative colitis, which involves the identification of neutrophils as biomarkers, a constraint learning approach has been utilized. With this method, the annotation cost has been significantly reduced while achieving substantial improvements in the obtained results. Finally, considering the limited number of experts in the field of spindle cell neoplasms, a novel annotation protocol for non-experts has been designed and validated. In this context, deep learning models that work with the uncertainty associated with such annotations have been developed. In conclusion, this thesis has developed cutting-edge techniques to address the medical sector's challenge of precise data annotation. Using weakly annotated or non-expert annotated data, novel paradigms and methodologies based on deep learning have been proposed to tackle disease detection and diagnosis in omics data and histological images. These innovations can improve effectiveness and automation in early disease detection and monitoring. / The work of Rocío del Amor to carry out this research and to elaborate this dissertation has been supported by the Spanish Ministry of Universities under the FPU grant FPU20/05263. / Amor Del Amor, MRD. (2023). Deep Learning Strategies for Overcoming Diagnosis Challenges with Limited Annotations [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/200227 / Compendio

Tesis por compendio / [ES] Según World Health Organization (WHO), el cáncer es una de las principales causas de muerte a nivel mundial, con cerca de 10 millones de fallecimientos en 2020. Esto significa que aproximadamente una de cada seis muertes es causada por el cáncer. Para prevenir y disminuir esta enorme cantidad de muertes, es necesario un diagnóstico preciso del cáncer. Las técnicas basadas en Deep Learning (DL) han ofrecido algunas técnicas en el Diagnóstico Asistido por Computadora (CAD) para ayudar a los médicos con su diagnóstico. Estas técnicas no solo disminuyen la carga de trabajo de los patólogos, sino que también aumentan la precisión de sus diagnósticos con menos costos. Las colecciones de imágenes de alta resolución, como las láminas histopatológicas y las exploraciones médicas, han mejorado el rendimiento de estas técnicas. En esta tesis, nos enfocamos principalmente en imágenes histopatológicas escaneadas por escáneres de Whole Slide Images (WSI). Estas imágenes se introducen en métodos basados en DL, que emplean Redes Neuronales Convolucionales (CNN) para detectar las anomalías y los patrones en el tejido escaneado. Estas técnicas son capaces de analizar el tejido para disminuir los impactos de los errores humanos en el diagnóstico del cáncer. Content-Based Medical Image Retrieval (CBMIR) es uno de estos métodos que recientemente ha captado la atención de los investigadores en patología digital. En esta tesis, proponemos tres marcos CBMIR sobre imágenes histopatológicas con dos técnicas basadas en DL que se presentan en diferentes escenarios. En cuanto a los obstáculos potenciales que un CBMIR en patología digital podría enfrentar, incluida la limitación de recursos de GPU, la falta de suficientes conjuntos de datos, y las estrictas regulaciones de privacidad de datos para el intercambio de datos. En relación con estas complejidades, nos enfocamos en el aprendizaje federado en la segunda clase de nuestra investigación. En esta sección, combinamos los conceptos de Federated Learning (FL) con un marco CBMIR para imitar un CBMIR Federado Mundial (FedCBMIR) en imágenes histológicas de cáncer de mama. En esta investigación, seguimos tres escenarios para imitar los tres casos de uso de FedCBMIR en el flujo de trabajo médico. En la última contribución de esta tesis, el enfoque principal es una estrategia basada en aprendizaje contrastivo. Proponemos un marco CBMIR que puede superar las técnicas anteriores con el top K (K>1) y también tener un alto rendimiento en la recuperación de imágenes en el top primero. Además, otra contribución de esta tesis es resolver los desafíos que los patólogos tienen al clasificar los Tumores Spitzoides de Potencial Maligno Incierto (STUMP). Los STUMP presentan un dilema diagnóstico debido a su intrincada histología, creando desafíos para establecer parámetros claros entre nevos benignos y melanomas potencialmente malignos. Para ayudar a los patólogos a enfrentar esta complejidad, el marco puede proporcionar parches similares al top K para ellos con sus etiquetas correspondientes. En resumen, los marcos CBMIR y CBHIR propuestos en esta tesis contribuyen al diagnóstico del cáncer de próstata, mama y piel a partir de imágenes histopatológicas mediante el uso de FEs basados en DL en diferentes escenarios. Estos no solo mejoran la precisión y la eficiencia del diagnóstico del cáncer, sino que también prometen facilitar la detección temprana y las estrategias de tratamiento personalizado. Aprovechar estos marcos en el diagnóstico actual del cáncer podría conducir en última instancia a mejores resultados para los pacientes, menores costos de atención médica y una mayor calidad de vida para las personas afectadas por el cáncer de próstata, mama y piel. Estos avances tienen el potencial de impulsar un cambio social positivo y contribuir a la lucha global contra el cáncer. / [CA] Segons l'Organització Mundial de la Salut (OMS), el càncer és una de les principals causes de mort a nivell mundial, amb prop de 10 milions de defuncions en 2020. Això significa que aproximadament una de cada sis morts és causada pel càncer. Per prevenir i disminuir aquesta enorme quantitat de morts, és necessari un diagnòstic precís del càncer. Les tècniques basades en Deep Learning (DL) han ofert algunes tècniques en el Diagnòstic Assistit per Ordinador (CAD) per ajudar els metges amb el seu diagnòstic. Aquestes tècniques no només disminueixen la càrrega de treball dels patòlegs, sinó que també augmenten la precisió dels seus diagnòstics amb menys costos. Les col·leccions d'imatges d'alta resolució, com les làmines histopatològiques i les exploracions mèdiques, han millorat el rendiment d'aquestes tècniques. En aquesta tesi, ens enfoquem principalment en imatges histopatològiques escanejades per escàners de Whole Slide Images (WSI). Aquestes imatges s'introdueixen en mètodes basats en DL, que empren Xarxes Neuronals Convolucionals (CNN) per detectar les anomalies i els patrons en el teixit escanejat. Aquestes tècniques són capaces d'analitzar el teixit per disminuir els impactes dels errors humans en el diagnòstic del càncer. El Content-Based Medical Image Retrieval (CBMIR) és un d'aquests mètodes que recentment ha captat l'atenció dels investigadors en patologia digital. En aquesta tesi, proposem tres marcs CBMIR sobre imatges histopatològiques amb dues tècniques basades en DL que es presenten en diferents escenaris. Pel que fa als obstacles potencials que un CBMIR en patologia digital podria afrontar, inclou la limitació de recursos de GPU, la manca de suficients conjunts de dades, i les estrictes regulacions de privadesa de dades per a l'intercanvi de dades. En relació amb aquestes complexitats, ens enfoquem en l'aprenentatge federat en la segona classe de la nostra investigació. En aquesta secció, combinem els conceptes de Federated Learning (FL) amb un marc CBMIR per imitar un CBMIR Federat Mundial (FedCBMIR) en imatges histològiques de càncer de mama. En aquesta investigació, seguim tres escenaris per imitar els tres casos d'ús de FedCBMIR en el flux de treball mèdic. En l'última contribució d'aquesta tesi, l'enfocament principal és una estratègia basada en aprenentatge contrastiu. Proposem un marc CBMIR que pot superar les tècniques anteriors amb el top K (K>1) i també tenir un alt rendiment en la recuperació d'imatges en el top primer. A més, una altra contribució d'aquesta tesi és resoldre els desafiaments que els patòlegs tenen a l'hora de classificar els Tumors Spitzoides de Potencial Maligne Incert (STUMP). Els STUMP presenten un dilema diagnòstic a causa de la seva intricada histologia, creant desafiaments per establir paràmetres clars entre nevus benignes i melanomes potencialment malignes. Per ajudar els patòlegs a enfrontar aquesta complexitat, el marc pot proporcionar parches similars al top K per a ells amb les seves etiquetes corresponents. En resum, els marcs CBMIR i CBHIR proposats en aquesta tesi contribueixen al diagnòstic del càncer de pròstata, mama i pell a partir d'imatges histopatològiques mitjançant l'ús de FEs basats en DL en diferents escenaris. Aquests no només milloren la precisió i l'eficiència del diagnòstic del càncer, sinó que també prometen facilitar la detecció primerenca i les estratègies de tractament personalitzat. Aprofitar aquests marcs en el diagnòstic actual del càncer podria conduir en última instància a millors resultats per als pacients, menors costos d'atenció mèdica i una major qualitat de vida per a les persones afectades pel càncer de pròstata, mama i pell. Aquests avenços tenen el potencial d'impulsar un canvi social positiu i contribuir a la lluita global contra el càncer. / [EN] According to the World Health Organization (WHO), cancer is one of the leading causes of death worldwide, with nearly 10 million deaths in 2020. This means that approximately one in six deaths is caused by cancer. To prevent and decrease this enormous number of deaths, an accurate cancer diagnosis is necessary. Deep Learning (DL)-based techniques have offered some methods in Computer-Aided Diagnosis (CAD) to assist doctors with their diagnoses. These techniques not only reduce the workload of pathologists but also increase the accuracy of their diagnoses at lower costs. Collections of high-resolution images, such as histopathological slides and medical scans, have improved the performance of these techniques. In this thesis, we focus mainly on histopathological images scanned by Whole Slide Image (WSI) scanners. These images are introduced into DL-based methods, which employ Convolutional Neural Networks (CNN) to detect anomalies and patterns in the scanned tissue. These techniques can analyze the tissue to reduce the impacts of human errors in cancer diagnosis. Content-Based Medical Image Retrieval (CBMIR) is one of these methods that has recently attracted the attention of researchers in digital pathology. In this thesis, we propose three CBMIR frameworks on histopathological images with two DL-based techniques presented in different scenarios. Regarding potential obstacles that a CBMIR in digital pathology might face, including the limitation of GPU resources, the lack of sufficient datasets, and strict data privacy regulations for data sharing. Considering these complexities, we focus on federated learning in the second part of our research. In this section, we combine the concepts of Federated Learning (FL) with a CBMIR framework to simulate a World-Wide Federated CBMIR (FedCBMIR) on histological images of breast cancer. In this research, we follow three scenarios to mimic the three use cases of FedCBMIR in the medical workflow. In the final contribution of this thesis, the main focus is a contrastive learning-based strategy. We propose a CBMIR framework that can surpass previous techniques with the top K (K>1) and also have high performance in retrieving images at the top first. Additionally, another contribution of this thesis is to solve the challenges that pathologists face in grading Spitzoid Tumors of Uncertain Malignant Potential (STUMP). STUMPs present a diagnostic dilemma due to their intricate histology, creating challenges for establishing clear parameters between benign nevi and potentially malignant melanomas. To assist pathologists in coping with this complexity, the framework can provide top K similar patches for them with their corresponding labels. In summary, the CBMIR and CBHIR frameworks proposed in this thesis contribute to the diagnosis of prostate, breast, and skin cancer from histopathological images using DL-based FEs in different scenarios. These not only improve the accuracy and efficiency of cancer diagnosis but also promise to facilitate early detection and personalized treatment strategies. Leveraging these frameworks in current cancer diagnosis could ultimately lead to better patient outcomes, lower healthcare costs, and a higher quality of life for individuals affected by prostate, breast, and skin cancer. These advances have the potential to drive positive social change and contribute to the global fight against cancer. / This study is funded by European Union’s Horizon 2020 research and innovation program under the Marie Skłodowska-Curie grant agreement No. 860627 (CLAR- IFY Project). The work of Adrián Colomer has been supported by the ValgrAI – Valencian Graduate School and Research Network for Artificial Intelligence & Gen- eralitat Valenciana and Universitat Politècnica de València (PAID-PD-22). / Tabatabaei, Z. (2024). Deep learning strategies for histological image retrieval [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/207119 / Compendio