Tesis por compendio / [ES] El objetivo principal de esta tesis es el desarrollo de técnicas avanzadas de seguimiento de posturas para reconocimiento de comportamientos del Caenorhabditis elegans o C. elegans. El C. elegans es una clase de nematodo utilizado como organismo modelo para el estudio y tratamientos de diferentes enfermedades patológicas así como neurodegenerativas. Su comportamiento ofrece información valiosa para la investigación de nuevos fármacos (o productos alimenticios y cosméticos saludables) en el estudio de lifespan y healthspan. Al día de hoy, muchos de los ensayos con C. elegans se realizan de forma manual, es decir, usando microscopios para seguirlos y observar sus comportamientos o en laboratorios más modernos utilizando programas específicos. Estos programas no son totalmente automáticos, requieren ajuste de parámetros. Y en otros casos, son programas para visualización de imágenes donde el operador debe etiquetar maualmente el comportamiento de cada C. elegans. Todo esto se traduce a muchas horas de trabajo, lo cual se puede automatizar utilizando técnicas de visión por computador. Además de poder estimar indicadores de movilidad con mayor precisión que un operador humano. El problema principal en el seguimiento de posturas de C. elegans en placas de Petri son las agregaciones entre nematodos o con ruido del entorno. La pérdida o cambios de identidad son muy comunes ya sea de forma manual o usando programas automáticos/semi-automáticos. Y este problema se vuelve más complicado aún en imágenes de baja resolución. Los programas que automatizan estas tareas de seguimiento de posturas trabajan con técnicas de visión por computador usando técnicas tradicionales de procesamiento de imágenes o técnicas de aprendizaje profundo. Ambas técnicas han demostrado excelentes resultados en la detección y seguimiento de posturas de C. elegan}. Por un lado, técnicas tradicionales utilizan algoritmos/optimizadores para obtener la mejor solución, mientras que las técnicas de aprendizaje profundo aprenden de forma automática características del conjunto de datos de entrenamiento. El problema con las técnicas de aprendizaje profundo es que necesitan un conjunto de datos dedicado y grande para entrenar los modelos. La metodología utilizada para el desarrollo de esta tesis (técnicas avanzadas de seguimiento de posturas) se encuadran dentro del área de investigación de la visión artificial. Y ha sido abordada explorando ambas ramas de visión por computador para resolver los problemas de seguimiento de posturas de C. elegans en imágenes de baja resolución. La primera parte, es decir, secciones 1 y 2, capítulo 2, utilizó técnicas tradicionales de procesamiento de imágenes para realizar la detección y seguimiento de posturas de los C. elegans. Para ello se propuso una nueva técnica de esqueletización y dos nuevos criterios de evaluación para obtener mejores resultados de seguimiento, detección, y segmentación de posturas. Las siguientes secciones del capítulo 2 utilizan técnicas de aprendizaje profundo, y simulación de imágenes sintéticas para entrenar modelos y mejorar los resultados de detección y predicción de posturas. Los resultados demostraron ser más rápidos y más precisos en comparación con técnicas tradicionales. También se demostró que los métodos de aprendizaje profundo son más robustos ante la presencia de ruido en la placa. / [CA] L'objectiu principal d'aquesta tesi és el desenvolupament de tècniques avançades de seguiment de postures per a reconeixement de comportaments del Caenorhabditis elegans o C. elegans. El C. elegans és una classe de nematodo utilitzat com a organisme model per a l'estudi i tractaments de diferents malalties patològiques així com neurodegeneratives. El seu comportament ofereix informació valuosa per a la investigació de nous fàrmacs (o productes alimentosos i cosmètics saludables) en l'estudi de lifespan i healthspan. Al dia de hui, molts dels assajos amb C. elegans es realitzen de manera manual, és a dir, usant microscopis per a seguir-los i observar els seus comportaments o en laboratoris més moderns utilitzant programes específics. Aquests programes no són totalment automàtics, requereixen ajust de paràmetres. I en altres casos, són programes per a visualització d'imatges on l'operador ha d'etiquetar maualment el comportament de cada C. elegans. Tot això es tradueix a moltes hores de treball, la qual cosa es pot automatitzar utilitzant tècniques de visió per computador. A més de poder estimar indicadors de mobilitat amb major precisió que un operador humà. El problema principal en el seguiment de postures de C. elegans en plaques de Petri són les agregacions entre nematodes o amb soroll de l'entorn. La pèrdua o canvis d'identitat són molt comuns ja siga de manera manual o usant programes automàtics/semi-automàtics. I aquest problema es torna més complicat encara en imatges de baixa resolució. Els programes que automatitzen aquestes tasques de seguiment de postures treballen amb tècniques de visió per computador usant tècniques tradicionals de processament d'imatges o tècniques d'aprenentatge profund. Totes dues tècniques han demostrat excel·lents resultats en la detecció i seguiment de postures de C. elegans. D'una banda, tècniques tradicionals utilitzen algorismes/optimizadors per a obtindre la millor solució, mentre que les tècniques d'aprenentatge profund aprenen de manera automàtica característiques del conjunt de dades d'entrenament. El problema amb les tècniques d'aprenentatge profund és que necessiten un conjunt de dades dedicat i gran per a entrenar els models. La metodologia utilitzada per al desenvolupament d'aquesta tesi (tècniques avançades de seguiment de postures) s'enquadren dins de l'àrea d'investigació de la visió artificial. I ha sigut abordada explorant totes dues branques de visió per computador per a resoldre els problemes de seguiment de postures de C. elegans en imatges de baixa resolució. La primera part, és a dir, secció 1 i 2, capítol 2, va utilitzar tècniques tradicionals de processament d'imatges per a realitzar la detecció i seguiment de postures dels C. elegans. Per a això es va proposar una nova tècnica de esqueletizació i dos nous criteris d'avaluació per a obtindre millors resultats de seguiment, detecció i segmentació de postures. Les següents seccions del capítol 2 utilitzen tècniques d'aprenentatge profund i simulació d'imatges sintètiques per a entrenar models i millorar els resultats de detecció i predicció de postures. Els resultats van demostrar ser més ràpids i més precisos en comparació amb tècniques tradicionals. També es va demostrar que els mètodes d'aprenentatge profund són més robustos davant la presència de soroll en la placa. / [EN] The main objective of this thesis is the development of advanced posture-tracking techniques for behavioural recognition of Caenorhabditis elegans or C. elegans. C. elegans is a kind of nematode used as a model organism for the study and treatment of different pathological and neurodegenerative diseases. Their behaviour provides valuable information for the research of new drugs (or healthy food and cosmetic products) in the study of lifespan and healthspan. Today, many of the tests on C. elegans are performed manually, i.e. using microscopes to track them and observe their behaviour, or in more modern laboratories using specific software. These programmes are not fully automatic, requiring parameter adjustment. And in other cases, they are programmes for image visualisation where the operator must label the behaviour of each C. elegans manually. All this translates into many hours of work, which can be automated using computer vision techniques. In addition to being able to estimate mobility indicators more accurately than a human operator. The main problem in tracking C. elegans postures in Petri dishes is aggregations between nematodes or with noise from the environment. Loss or changes of identity are very common either manually or using automatic/semi-automatic programs. And this problem becomes even more complicated in low-resolution images. Programs that automate these pose-tracking tasks work with computer vision techniques using either traditional image processing techniques or deep learning techniques. Both techniques have shown excellent results in the detection and tracking of C. elegans postures. On the one hand, traditional techniques use algorithms/optimizers to obtain the best solution, while deep learning techniques automatically learn features from the training dataset. The problem with deep learning techniques is that they need a dedicated and large dataset to train the models. The methodology used for the development of this thesis (advanced posture-tracking techniques) falls within the research area of computer vision. It has been approached by exploring both branches of computer vision to solve the posture-tracking problems of C. elegans in low-resolution images. The first part, i.e. sections 1 and 2, chapter 2, used traditional image processing techniques to perform posture detection and tracking of C. elegans. For this purpose, a new skeletonization technique and two new evaluation criteria were proposed to obtain better posture-tracking, detection, and segmentation results. The next sections of chapter 2 use deep learning techniques, and synthetic image simulation to train models and improve posture detection and prediction results. The results proved to be faster and more accurate compared to traditional techniques. Deep learning methods were also shown to be more robust in the presence of plate noise. / This research was supported by Ministerio de Ciencia, Innovación y Universidades [RTI2018-094312-B-I00 (European FEDER funds); FPI PRE2019-088214], and also was supported by Universitat Politècnica de València [“Funding for open access charge: Uni- versitat Politècnica de València”]. The author received a scholarship from the grant: Ayudas para contratos predoctorales para la formación de doctores 2019. / Layana Castro, PE. (2023). Desarrollo de técnicas avanzadas de seguimiento de posturas para reconocimiento de comportamientos de C. elegans [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/198879 / Compendio

[ES] El síndrome metabólico se define como un conjunto de trastornos (e.g., niveles elevados de presión arterial, niveles elevados de glucosa en sangre, exceso de grasa abdominal o niveles elevados de colesterol o triglicéridos) que afectan a un individuo al mismo tiempo. La presencia de uno de estos factores no implica un riesgo elevado para la salud, sin embargo, presentar varios de ellos aumenta la probabilidad de sufrir enfermedades secundarias como la enfermedad cardiovascular o la diabetes tipo II. Las enfermedades difusas hepáticas son todas aquellas enfermedades que afectan a las células funcionales del hígado, los hepatocitos, alterando, de este modo, la función hepática. En estos procesos, los hepatocitos se ven sustituidos por adipocitos y tejido fibroso. La enfermedad de hígado graso no alcohólico es una afección reversible originada por la acumulación de triglicéridos en los hepatocitos. El alcoholismo, la obesidad, y la diabetes son las causas más comunes de esta enfermedad. Este estado del hígado es reversible si se cambia la dieta del paciente, sin embargo, si este no se cuida, la enfermedad puede ir avanzando hacia estadios más severos, desencadenando fibrosis, cirrosis e incluso carcinoma hepatocelular (CHC). La temprana detección de todos estos procesos es de gran importancia en la mejora del pronóstico de los pacientes. Así, las técnicas de imagen en combinación con modelos computacionales permiten caracterizar el tejido mediante la extracción de parámetros objetivos, conocidos como biomarcadores de imagen, relacionados con estos procesos fisiológicos y patológicos, permitiendo una estadificación más precisa de las enfermedades. Además, gracias a las técnicas de inteligencia artificial, se pueden desarrollar algoritmos de segmentación automática que permitan realizar dicha caracterización de manera completamente automática y acelerar, de este modo, el flujo radiológico. Por todo esto, en la presente tesis doctoral, se presenta una metodología para el desarrollo de modelos de segmentación y cuantificación automática, siendo aplicada a tres casos de uso. Para el estudio del síndrome metabólico se propone un método de segmentación automática de la grasa visceral y subcutánea en imágenes de tomografía computarizada (TC), para el estudio de la enfermedad hepática difusa se propone un método de segmentación hepática y cuantificación de la grasa y hierro hepáticos en imágenes de resonancia magnética (RM), y, finalmente, para el estudio del CHC, se propone un método de segmentación hepática y cuantificación de los descriptores de la curva de perfusión en imágenes de RM. Todo esto se ha integrado en una plataforma que permite su integración en la práctica clínica. Así, se han adaptado los algoritmos desarrollados para ser ejecutados en contenedores Docker de forma que, dada una imagen de entrada, generen los parámetros cuantitativos de salida junto con un informe que resuma dichos resultados; se han implementado herramientas para que los usuarios puedan interactuar con las segmentaciones generadas por los algoritmos de segmentación automática desarrollados; finalmente, éstos se han implementado de forma que generen dichas segmentaciones en formatos estándar como DICOM RT Struct o DICOM Seg, para garantizar la interoperabilidad con el resto de sistemas sanitarios. / [CA] La síndrome metabòlica es defineix com un conjunt de trastorns (e.g., nivells elevats de pressió arterial, nivells elevats de glucosa en sang, excés de greix abdominal o nivells elevats de colesterol o triglicèrids) que afecten un individu al mateix temps. La presència d'un d'aquests factors no implica un risc elevat per a la salut, no obstant això, presentar diversos d'ells augmenta la probabilitat de patir malalties secundàries com la malaltia cardiovascular o la diabetis tipus II. Les malalties difuses hepàtiques són totes aquelles malalties que afecten les cèl·lules funcionals del fetge, els hepatòcits, alterant, d'aquesta manera, la funció hepàtica. En aquests processos, els hepatòcits es veuen substituïts per adipòcits i teixit fibrós. La malaltia de fetge gras no alcohòlic és una afecció reversible originada per l'acumulació de triglicèrids en els hepatòcits. L'alcoholisme, l'obesitat, i la diabetis són les causes més comunes d'aquesta malaltia. Aquest estat del fetge és reversible si es canvia la dieta del pacient, no obstant això, si aquest no es cuida, la malaltia pot anar avançant cap a estadis més severs, desencadenant fibrosis, cirrosis i fins i tot carcinoma hepatocel·lular (CHC). La primerenca detecció de tots aquests processos és de gran importància en la millora del pronòstic dels pacients. Així, les tècniques d'imatge en combinació amb models computacionals permeten caracteritzar el teixit mitjançant l'extracció paràmetres objectius, coneguts com biomarcadores d'imatge, relacionats amb aquests processos fisiològics i patològics, permetent una estratificació més precisa de les malalties. A més, gràcies a les tècniques d'intel·ligència artificial, es poden desenvolupar algorismes de segmentació automàtica que permeten realitzar aquesta caracterització de manera completament automàtica i accelerar, d'aquesta manera, el flux radiològic. Per tot això, en la present tesi doctoral, es presenta una metodologia per al desenvolupament de models de segmentació i quantificació automàtica, sent aplicada a tres casos d'ús. Per a l'estudi de la síndrome metabòlica es proposa un mètode de segmentació automàtica del greix visceral i subcutani en imatges de tomografia computada (TC), per a l'estudi de la malaltia hepàtica difusa es proposa un mètode segmentació hepàtica i quantificació del greix i ferro hepàtics en imatges de ressonància magnètica (RM), i, finalment, per a l'estudi del CHC, es proposa un mètode de segmentació hepàtica i quantificació dels descriptors de la corba de perfusió en imatges de RM. Tot això s'ha integrat en una plataforma que permet la seua integració en la pràctica clínica. Així, s'han adaptat els algorismes desenvolupats per a ser executats en contenidors Docker de manera que, donada una imatge d'entrada, generen els paràmetres quantitatius d'eixida juntament amb un informe que resumisca aquests resultats; s'han implementat eines perquè els usuaris puguen interactuar amb les segmentacions generades pels algorismes de segmentació automàtica desenvolupats; finalment, aquests s'han implementat de manera que generen aquestes segmentacions en formats estàndard com DICOM RT Struct o DICOM Seg, per a garantir la interoperabilitat amb la resta de sistemes sanitaris. / [EN] Metabolic syndrome is defined as a group of disorders (e.g., high blood pressure, high blood glucose levels, excess abdominal fat, or high cholesterol or triglyceride levels) that affect an individual at the same time. The presence of one of these factors does not imply an elevated health risk; however, having several of them increases the probability of secondary diseases such as cardiovascular disease or type II diabetes. Diffuse liver diseases are all those diseases that affect the functional cells of the liver, the hepatocytes, thus altering liver function. In these processes, the hepatocytes are replaced by adipocytes and fibrous tissue. Non-alcoholic fatty liver disease is a reversible condition caused by the accumulation of triglycerides in hepatocytes. Alcoholism, obesity, and diabetes are the most common causes of this disease. This liver condition is reversible if the patient's diet is changed; however, if the patient is not cared for, the disease can progress to more severe stages, triggering fibrosis, cirrhosis and even hepatocellular carcinoma (HCC). Early detection of all these processes is of great importance in improving patient prognosis. Thus, imaging techniques in combination with computational models allow tissue characterization by extracting objective parameters, known as imaging biomarkers, related to these physiological and pathological processes, allowing a more accurate statification of diseases. Moreover, thanks to artificial intelligence techniques, it is possible to develop automatic segmentation algorithms that allow to perform such characterization in a fully automatic way and thus accelerate the radiological workflow. Therefore, in this PhD, a methodology for the development of automatic segmentation and quantification models is presented and applied to three use cases. For the study of metabolic syndrome, a method of automatic segmentation of visceral and subcutaneous fat in computed tomography (CT) images is proposed; for the study of diffuse liver disease, a method of liver segmentation and quantification of hepatic fat and iron in magnetic resonance imaging (MRI) is proposed; and, finally, for the study of HCC, a method of liver segmentation and quantification of perfusion curve descriptors in MRI is proposed. All this has been integrated into a platform that allows its integration into clinical practice. Thus, the developed algorithms have been adapted to be executed in Docker containers so that, given an input image, they generate the quantitative output parameters together with a report summarizing these results; tools have been implemented so that users can interact with the segmentations generated by the automatic segmentation algorithms developed; finally, these have been implemented so that they generate these segmentations in standard formats such as DICOM RT Struct or DICOM Seg, to ensure interoperability with other health systems. / Jimenez Pastor, AM. (2023). Aprendizaje profundo y biomarcadores de imagen en el estudio de enfermedades metabólicas y hepáticas a partir de resonancia magnética y tomografía computarizada [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/202602

[ES] El triaje de los incidentes de urgencias y emergencias extrahospitalarias representa un reto difícil, debido a las limitaciones temporales y a la incertidumbre. Además, errores en este proceso pueden tener graves consecuencias para los pacientes. Por lo tanto, cualquier herramienta o estrategia novedosa que mejore estos procesos ofrece un valor sustancial en términos de atención al paciente y gestión global de los incidentes. La hipótesis en la que se basa esta tesis es que el Aprendizaje Automático, concretamente el Aprendizaje Profundo, puede mejorar estos procesos proporcionando estimaciones de la gravedad de los incidentes, mediante el análisis de millones de datos derivados de llamadas de emergencia de la Comunitat Valenciana (España) que abarcan desde 2009 hasta 2019. Por tanto, esta tesis profundiza en el diseño y desarrollo de modelos basados en Aprendizaje Profundo Multitarea que aprovechan los datos multimodales asociados a eventos de urgencias y emergencias extrahospitalarias. Nuestro objetivo principal era predecir si el incidente suponía una situación de riesgo vital, la demora admisible de la respuesta y si era competencia del sistema de emergencias o de atención primaria. Utilizando datos disponibles entre 2009 y 2012, se observaron mejoras sustanciales en las métricas macro F1, con ganancias del 12.5% para la clasificación de riesgo vital, del 17.5% para la demora en la respuesta y del 5.1% para la clasificación por jurisdicción, en comparación con el protocolo interno de triaje de la Comunidad Valenciana. Sin embargo, los sistemas, los protocolos de triaje y las prácticas operativas evolucionan de forma natural con el tiempo. Los modelos que mostraron un rendimiento excelente con el conjunto de datos inicial de 2009 a 2012 no demostraron la misma eficacia cuando se evaluaron con datos posteriores que abarcaban de 2014 a 2019. Estos últimos habían sufrido modificaciones en comparación con los anteriores, que dieron lugar a variaciones en las distribuciones de probabilidad, caracterizadas e investigadas meticulosamente en esta tesis. Continuando con nuestra investigación, nos centramos en la incorporación de técnicas de Aprendizaje Continuo Profundo en nuestros desarrollos. Gracias a ello, pudimos mitigar sustancialmente los efectos adversos consecuencia de los cambios distribucionales sobre el rendimiento. Los resultados indican que, si bien las fluctuaciones de rendimiento no se eliminan por completo, pueden mantenerse dentro de un rango manejable. En particular, con respecto a la métrica F1, cuando las variaciones distribucionales son ligeras o moderadas, el comportamiento se mantiene estable, sin variar más de un 2.5%. Además, nuestra tesis demuestra la viabilidad de construir herramientas auxiliares que permitan a los operadores interactuar con estos complejos modelos. En consecuencia, sin interrumpir el flujo de trabajo de los profesionales, se hace posible proporcionar retroalimentación mediante predicciones de probabilidad para cada clase de etiqueta de gravedad y tomar las medidas pertinentes. Por último, los resultados de esta tesis tienen implicaciones directas en la gestión de las urgencias y emergencias extrahospitalarias en la Comunidad Valenciana, al integrarse el modelo final resultante en los centros de atención de llamadas. Este modelo utilizará los datos proporcionados por los operadores telefónicos para calcular automáticamente las predicciones de gravedad, que luego se compararán con las generadas por el protocolo de triaje interno. Cualquier disparidad entre estas predicciones desencadenará la derivación del incidente a un coordinador médico, que supervisará su tratamiento. Por lo tanto, nuestra tesis, además de realizar importantes contribuciones al campo de la Investigación en Aprendizaje Automático Biomédico, también conlleva implicaciones sustanciales para mejorar la gestión de las urgencias y emergencias extrahospitalarias en el contexto de la Comunidad Valenciana. / [CA] El triatge dels incidents d'urgències i emergències extrahospitalàries representa un repte difícil, a causa de les limitacions temporals i de la incertesa. A més, els errors en aquest procés poden tindre greus conseqüències per als pacients. Per tant, qualsevol eina o estratègia innovadora que millore aquests processos ofereix un valor substancial en termes d'atenció al pacient i gestió global dels incidents. La hipòtesi en què es basa aquesta tesi és que l'Aprenentatge Automàtic, concretament l'Aprenentatge Profund, pot millorar significativament aquests processos proporcionant estimacions de la gravetat dels incidents, mitjançant l'anàlisi de milions de dades derivades de trucades d'emergència de la Comunitat Valenciana (Espanya) que abasten des de 2009 fins a 2019. Per tant, aquesta tesi aprofundeix en el disseny i desenvolupament de models basats en Aprenentatge Profund Multitasca que aprofiten dades multimodals d'incidents mèdics d'urgències i emergències extrahospitalàries. El nostre objectiu principal era predir si l'incident suposava una situació de risc vital, la demora admissible de la resposta i si era competència del sistema d'emergències o d'atenció primària. Utilitzant dades disponibles entre 2009 i 2012, es van observar millores substancials en les mètriques macro F1, amb guanys del 12.5% per a la classificació de risc vital, del 17.5% per a la demora en la resposta i del 5.1% per a la classificació per jurisdicció, en comparació amb el protocol intern de triatge de la Comunitat Valenciana. Tanmateix, els protocols de triatge i les pràctiques operatives evolucionen de forma natural amb el temps. Els models que van mostrar un rendiment excel·lent amb el conjunt de dades inicial de 2009 a 2012 no van demostrar la mateixa eficàcia quan es van avaluar amb dades posteriors que abastaven de 2014 a 2019. Aquestes últimes havien sofert modificacions en comparació amb les anteriors, que van donar lloc a variacions en les distribucions de probabilitat, caracteritzades i investigades minuciosament en aquesta tesi. Continuant amb la nostra investigació, ens vam centrar en la incorporació de tècniques d'Aprenentatge Continu als nostres desenvolupaments. Gràcies a això, vam poder mitigar substancialment els efectes adversos sobre el rendiment conseqüència dels canvis distribucionals. Els resultats indiquen que, si bé les fluctuacions de rendiment no s'eliminen completament al llarg del temps, poden mantenir-se dins d'un rang manejable. En particular, respecte a la mètrica F1, quan les variacions distribucionals són lleugeres o moderades, el comportament es manté estable, sense variar més d'un 2.5%. A més, la nostra tesi demostra la viabilitat de construir eines auxiliars que permeten als operadors interactuar amb aquests models complexos. En conseqüència, sense interrompre el flux de treball dels professionals, es fa possible proporcionar retroalimentació mitjançant prediccions de probabilitat per a cada classe d'etiqueta de gravetat i prendre les mesures pertinents. Finalment, els resultats d'aquesta tesi tenen implicacions directes en la gestió de les urgències i emergències extrahospitalàries a la Comunitat Valenciana, al integrar-se el model final resultant als centres d'atenció de telefonades. Aquest model utilitzarà les dades proporcionades pels operadors telefònics per calcular automàticament les prediccions de gravetat, que després es compararan amb les generades pel protocol de triatge intern. Qualsevol disparitat entre aquestes prediccions desencadenarà la derivació de l'incident a un coordinador mèdic, que supervisarà el seu tractament. Per tant, és evident que la nostra tesi, a més de realitzar importants contribucions al camp de la Investigació en Aprenentatge Automàtic Biomèdic, també comporta implicacions substancials per a millorar la gestió de les urgències i emergències extrahospitalàries en el context de la Comunitat Valenciana. / [EN] Triage for out-of-hospital emergency incidents represents a tough challenge, primarily due to time constraints and uncertainty. Furthermore, errors in this process can have severe consequences for patients. Therefore, any novel tool or strategy that enhances these processes can offer substantial value in terms of patient care and overall management of out-of-hospital emergency medical incidents. The hypothesis upon which this thesis is based is that Machine Learning, specifically Deep Learning, can improve these processes by providing estimations of the severity of incidents, by analyzing millions of data derived from emergency calls from the Valencian Region (Spain) spanning from 2009 to 2019. Hence, this thesis delves into designing and developing Deep Multitask Learning models that leverage multimodal out-of-hospital emergency medical data. Our primary objective was to predict whether the incident posed a life-threatening situation, the admissible response delay, and whether it fell under the jurisdiction of the emergency system or primary care. Using data available from 2009 to 2012, the results obtained were promising. We observed substantial improvements in macro F1-scores, with gains of 12.5% for life-threatening classification, 17.5% for response delay, and 5.1% for jurisdiction classification, compared to the in-house triage protocol of the Valencian Region. However, systems, dispatch protocols, and operational practices naturally evolve over time. Models that exhibited excellent performance with the initial dataset from 2009 to 2012 did not demonstrate the same efficacy when evaluated on data spanning from 2014 to 2019. This later dataset had undergone modifications compared to the earlier one, which led to dataset shifts, which we have meticulously characterized and investigated in this thesis. Continuing our research, we incorporated Deep Continual Learning techniques in our developments. As a result, we could substantially mitigate the adverse performance effects consequence of dataset shifts. The results indicate that, while performance fluctuations are not completely eliminated, they can be kept within a manageable range. In particular, with respect to the F1-score, when distributional variations fall within the light to moderate range, the performance remains stable, not varying by more than 2.5%. Furthermore, our thesis demonstrates the feasibility of building auxiliary tools that enable dispatchers to interact with these complex deep models. Consequently, without disrupting professionals' workflow, it becomes possible to provide feedback through probability predictions for each severity label class and take appropriate actions based on these predictions. Finally, the outcomes of this thesis hold direct implications for the management of out-of-hospital emergency medical incidents in the Valencian Region. The final model resulting from our research is slated for integration into the emergency medical dispatch centers of the Valencian Region. This model will utilize data provided by dispatchers to automatically compute severity predictions, which will then be compared with those generated by the in-house triage protocol. Any disparities between these predictions will trigger the referral of the incident to a physician coordinator, who will oversee its handling. Therefore, it is evident that our thesis, in addition to making significant contributions to the field of Biomedical Machine Learning Research, also carries substantial implications for enhancing the management of out-of-hospital emergencies in the context of the Valencian Region. / Ferri Borredà, P. (2024). Deeep Continual Multimodal Multitask Modells for Out-of-Hospital Emergency Medical Call Incidents Triage Support in the Presence of Dataset Shifts [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/203192

Tesis por compendio / [ES] Edge Computing es un modelo de computación emergente basado en acercar el procesamiento a los dispositivos de captura de datos en las infraestructuras Internet of things (IoT). Edge computing mejora, entre otras cosas, los tiempos de respuesta, ahorra anchos de banda, incrementa la seguridad de los servicios y oculta las caídas transitorias de la red. Este paradigma actúa en contraposición a la ejecución de servicios en entornos cloud y es muy útil cuando se desea desarrollar soluciones de inteligencia artificial (AI) que aborden problemas en entornos de desastres naturales, como pueden ser inundaciones, incendios u otros eventos derivados del cambio climático. La cobertura de estos escenarios puede resultar especialmente difícil debido a la escasez de infraestructuras disponibles, lo que a menudo impide un análisis de los datos basado en la nube en tiempo real. Por lo tanto, es fundamental habilitar técnicas de IA que no dependan de sistemas de cómputo externos y que puedan ser embebidas en dispositivos de móviles como vehículos aéreos no tripulados (VANT), para que puedan captar y procesar información que permita inferir posibles situaciones de emergencia y determinar así el curso de acción más adecuado de manera autónoma. Históricamente, se hacía frente a este tipo de problemas utilizando los VANT como dispositivos de recogida de datos con el fin de, posteriormente, enviar esta información a la nube donde se dispone de servidores capacitados para analizar esta ingente cantidad de información. Este nuevo enfoque pretende realizar todo el procesamiento y la obtención de resultados en el VANT o en un dispositivo local complementario. Esta aproximación permite eliminar la dependencia de un centro de cómputo remoto que añade complejidad a la infraestructura y que no es una opción en escenarios específicos, donde las conexiones inalámbricas no cumplen los requisitos de transferencia de datos o son entornos en los que la información tiene que obtenerse en ese preciso momento, por requisitos de seguridad o inmediatez. Esta tesis doctoral está compuesta de tres propuestas principales. En primer lugar se plantea un sistema de despegue de enjambres de VANTs basado en el algoritmo de Kuhn Munkres que resuelve el problema de asignación en tiempo polinómico. Nuestra evaluación estudia la complejidad de despegue de grandes enjambres y analiza el coste computacional y de calidad de nuestra propuesta. La segunda propuesta es la definición de una secuencia de procesamiento de imágenes de catástrofes naturales tomadas desde drones basada en Deep learning (DL). El objetivo es reducir el número de imágenes que deben procesar los servicios de emergencias en la catástrofe natural para poder tomar acciones sobre el terreno de una manera más rápida. Por último, se utiliza un conjunto de datos de imágenes obtenidas con VANTs y relativas a diferentes inundaciones, en concreto, de la DANA de 2019, cedidas por el Ayuntamiento de San Javier, ejecutando un modelo DL de segmentación semántica que determina automáticamente las regiones más afectadas por las lluvias (zonas inundadas). Entre los resultados obtenidos se destacan los siguientes: 1- la mejora drástica del rendimiento del despegue vertical coordinado de una red de VANTs. 2- La propuesta de un modelo no supervisado para la vigilancia de zonas desconocidas representa un avance para la exploración autónoma mediante VANTs. Esto permite una visión global de una zona concreta sin realizar un estudio detallado de la misma. 3- Por último, un modelo de segmentación semántica de las zonas inundadas, desplegado para el procesamiento de imágenes en el VANTs, permite la obtención de datos de inundaciones en tiempo real (respetando la privacidad) para una reconstrucción virtual fidedigna del evento. Esta tesis ofrece una propuesta para mejorar el despegue coordinado de drones y dotar de capacidad de procesamiento de algoritmos de deep learning a dispositivos edge, más concretamente UAVs autónomos. / [CA] Edge Computing és un model de computació emergent basat a acostar el processament als dispositius de captura de dades en les infraestructures Internet of things (IoT). Edge computing millora, entre altres coses, els temps de resposta, estalvia amplades de banda, incrementa la seguretat dels serveis i oculta les caigudes transitòries de la xarxa. Aquest paradigma actua en contraposició a l'execució de serveis en entorns cloud i és molt útil quan es desitja desenvolupar solucions d'intel·ligència artificial (AI) que aborden problemes en entorns de desastres naturals, com poden ser inundacions, incendis o altres esdeveniments derivats del canvi climàtic. La cobertura d'aquests escenaris pot resultar especialment difícil a causa de l'escassetat d'infraestructures disponibles, la qual cosa sovint impedeix una anàlisi de les dades basat en el núvol en temps real. Per tant, és fonamental habilitar tècniques de IA que no depenguen de sistemes de còmput externs i que puguen ser embegudes en dispositius de mòbils com a vehicles aeris no tripulats (VANT), perquè puguen captar i processar informació per a inferir possibles situacions d'emergència i determinar així el curs d'acció més adequat de manera autònoma. Històricament, es feia front a aquesta mena de problemes utilitzant els VANT com a dispositius de recollida de dades amb la finalitat de, posteriorment, enviar aquesta informació al núvol on es disposa de servidors capacitats per a analitzar aquesta ingent quantitat d'informació. Aquest nou enfocament pretén realitzar tot el processament i l'obtenció de resultats en el VANT o en un dispositiu local complementari. Aquesta aproximació permet eliminar la dependència d'un centre de còmput remot que afig complexitat a la infraestructura i que no és una opció en escenaris específics, on les connexions sense fils no compleixen els requisits de transferència de dades o són entorns en els quals la informació ha d'obtindre's en aqueix precís moment, per requisits de seguretat o immediatesa. Aquesta tesi doctoral està composta de tres propostes principals. En primer lloc es planteja un sistema d'enlairament d'eixams de VANTs basat en l'algorisme de Kuhn Munkres que resol el problema d'assignació en temps polinòmic. La nostra avaluació estudia la complexitat d'enlairament de grans eixams i analitza el cost computacional i de qualitat de la nostra proposta. La segona proposta és la definició d'una seqüència de processament d'imatges de catàstrofes naturals preses des de drons basada en Deep learning (DL).L'objectiu és reduir el nombre d'imatges que han de processar els serveis d'emergències en la catàstrofe natural per a poder prendre accions sobre el terreny d'una manera més ràpida. Finalment, s'utilitza un conjunt de dades d'imatges obtingudes amb VANTs i relatives a diferents inundacions, en concret, de la DANA de 2019, cedides per l'Ajuntament de San Javier, executant un model DL de segmentació semàntica que determina automàticament les regions més afectades per les pluges (zones inundades). Entre els resultats obtinguts es destaquen els següents: 1- la millora dràstica del rendiment de l'enlairament vertical coordinat d'una xarxa de VANTs. 2- La proposta d'un model no supervisat per a la vigilància de zones desconegudes representa un avanç per a l'exploració autònoma mitjançant VANTs. Això permet una visió global d'una zona concreta sense realitzar un estudi detallat d'aquesta. 3- Finalment, un model de segmentació semàntica de les zones inundades, desplegat per al processament d'imatges en el VANTs, permet l'obtenció de dades d'inundacions en temps real (respectant la privacitat) per a una reconstrucció virtual fidedigna de l'esdeveniment. / [EN] Edge Computing is an emerging computing model based on bringing data processing and storage closer to the location needed to improve response times and save bandwidth. This new paradigm acts as opposed to running services in cloud environments and is very useful in developing artificial intelligence (AI) solutions that address problems in natural disaster environments, such as floods, fires, or other events of an adverse nature. Coverage of these scenarios can be particularly challenging due to the lack of available infrastructure, which often precludes real-time cloud-based data analysis. Therefore, it is critical to enable AI techniques that do not rely on external computing systems and can be embedded in mobile devices such as unmanned aerial vehicles (UAVs) so that they can capture and process information to understand their context and determine the appropriate course of action independently. Historically, this problem was addressed by using UAVs as data collection devices to send this information to the cloud, where servers can process it. This new approach aims to do all the processing and get the results on the UAV or a complementary local device. This approach eliminates the dependency on a remote computing center that adds complexity to the infrastructure and is not an option in specific scenarios where wireless connections do not meet the data transfer requirements. It is also an option in environments where the information has to be obtained at that precise moment due to security or immediacy requirements. This study consists of three main proposals. First, we propose a UAV swarm takeoff system based on the Kuhn Munkres algorithm that solves the assignment problem in polynomial time. Our evaluation studies the takeoff complexity of large swarms and analyzes our proposal's computational and quality cost. The second proposal is the definition of a Deep learning (DL) based image processing sequence for natural disaster images taken from drones to reduce the number of images processed by the first responders in the natural disaster. Finally, a dataset of images obtained with UAVs and related to different floods is used to run a semantic segmentation DL model that automatically determines the regions most affected by the rains (flooded areas). The results are 1- The drastic improvement of the performance of the coordinated vertical take-off of a network of UAVs. 2- The proposal of an unsupervised model for the surveillance of unknown areas represents a breakthrough for autonomous exploration by UAVs. This allows a global view of a specific area without performing a detailed study. 3- Finally, a semantic segmentation model of flooded areas, deployed for image processing in the UAV, allows obtaining real-time flood data (respecting privacy) for a reliable virtual reconstruction of the event. This thesis offers a proposal to improve the coordinated take-off of drones, to provide edge devices with deep learning algorithms processing capacity, more specifically autonomous UAVs, in order to develop services for the surveillance of areas affected by natural disasters such as fire detection, segmentation of flooded areas or detection of people in danger. Thanks to this research, services can be developed that enable the coordination of large arrays of drones and allow image processing without needing additional devices. This flexibility makes our approach a bet for the future and thus provides a development path for anyone interested in deploying an autonomous drone-based surveillance and actuation system. / I would like to acknowledge the project Development of High-Performance IoT Infrastructures against Climate Change based on Artificial Intelligence (GLOBALoT). Funded by Ministerio de Ciencia e Innovación (RTC2019-007159-5), of which this thesis is part. / Hernández Vicente, D. (2023). Analysis Design and Implementation of Artificial Intelligence Techniques in Edge Computing Environments [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/192605 / Compendio