Tesis por compendio / [ES] El uso de la realidad virtual (RV) se ha incrementado notablemente en la comunidad científica para la investigación del comportamiento humano. En particular, la RV inmersiva ha crecido debido a la democratización de las gafas de realidad virtual o head mounted displays (HMD), que ofrecen un alto rendimiento con una inversión económica. Uno de los campos que ha emergido con fuerza en la última década es el Affective Computing, que combina psicofisiología, informática, ingeniería biomédica e inteligencia artificial, desarrollando sistemas que puedan reconocer emociones automáticamente. Su progreso es especialmente importante en el campo de la investigación del comportamiento humano, debido al papel fundamental que las emociones juegan en muchos procesos psicológicos como la percepción, la toma de decisiones, la creatividad, la memoria y la interacción social. Muchos estudios se han centrado en intentar obtener una metodología fiable para evocar y automáticamente identificar estados emocionales, usando medidas fisiológicas objetivas y métodos de aprendizaje automático. Sin embargo, la mayoría de los estudios previos utilizan imágenes, audios o vídeos para generar los estados emocionales y, hasta donde llega nuestro conocimiento, ninguno de ellos ha desarrollado un sistema de reconocimiento emocional usando RV inmersiva. Aunque algunos trabajos anteriores sí analizan las respuestas fisiológicas en RV inmersivas, estos no presentan modelos de aprendizaje automático para procesamiento y clasificación automática de bioseñales. Además, un concepto crucial cuando se usa la RV en investigación del comportamiento humano es la validez: la capacidad de evocar respuestas similares en un entorno virtual a las evocadas por el espacio físico. Aunque algunos estudios previos han usado dimensiones psicológicas y cognitivas para comparar respuestas entre entornos reales y virtuales, las investigaciones que analizan respuestas fisiológicas o comportamentales están mucho menos extendidas. Según nuestros conocimientos, este es el primer trabajo que compara entornos físicos con su réplica en RV, empleando respuestas fisiológicas y algoritmos de aprendizaje automático y analizando la capacidad de la RV de transferir y extrapolar las conclusiones obtenidas al entorno real que se está simulando. El objetivo principal de la tesis es validar el uso de la RV inmersiva como una herramienta de estimulación emocional usando respuestas psicofisiológicas y comportamentales en combinación con algoritmos de aprendizaje automático, así como realizar una comparación directa entre un entorno real y virtual. Para ello, se ha desarrollado un protocolo experimental que incluye entornos emocionales 360º, un museo real y una virtualización 3D altamente realista del mismo museo. La tesis presenta novedosas contribuciones del uso de la RV inmersiva en la investigación del comportamiento humano, en particular en lo relativo al estudio de las emociones. Esta ayudará a aplicar metodologías a estímulos más realistas para evaluar entornos y situaciones de la vida diaria, superando las actuales limitaciones de la estimulación emocional que clásicamente ha incluido imágenes, audios o vídeos. Además, en ella se analiza la validez de la RV realizando una comparación directa usando una simulación altamente realista. Creemos que la RV inmersiva va a revolucionar los métodos de estimulación emocional en entornos de laboratorio. Además, su sinergia junto a las medidas fisiológicas y las técnicas de aprendizaje automático, impactarán transversalmente en muchas áreas de investigación como la arquitectura, la salud, la evaluación psicológica, el entrenamiento, la educación, la conducción o el marketing, abriendo un nuevo horizonte de oportunidades para la comunidad científica. La presente tesis espera contribuir a caminar en esa senda. / [EN] In recent years the scientific community has significantly increased its use of virtual reality (VR) technologies in human behaviour research. In particular, the use of immersive VR has grown due to the introduction of affordable, high performance head mounted displays (HMDs). Among the fields that has strongly emerged in the last decade is affective computing, which combines psychophysiology, computer science, biomedical engineering and artificial intelligence in the development of systems that can automatically recognize emotions. The progress of affective computing is especially important in human behaviour research due to the central role that emotions play in many background processes, such as perception, decision-making, creativity, memory and social interaction. Several studies have tried to develop a reliable methodology to evoke and automatically identify emotional states using objective physiological measures and machine learning methods. However, the majority of previous studies used images, audio or video to elicit emotional statements; to the best of our knowledge, no previous research has developed an emotion recognition system using immersive VR. Although some previous studies analysed physiological responses in immersive VR, they did not use machine learning techniques for biosignal processing and classification. Moreover, a crucial concept when using VR for human behaviour research is validity: the capacity to evoke a response from the user in a simulated environment similar to the response that might be evoked in a physical environment. Although some previous studies have used psychological and cognitive dimensions to compare responses in real and virtual environments, few have extended this research to analyse physiological or behavioural responses. Moreover, to our knowledge, this is the first study to compare VR scenarios with their real-world equivalents using physiological measures coupled with machine learning algorithms, and to analyse the ability of VR to transfer and extrapolate insights obtained from VR environments to real environments. The main objective of this thesis is, using psycho-physiological and behavioural responses in combination with machine learning methods, and by performing a direct comparison between a real and virtual environment, to validate immersive VR as an emotion elicitation tool. To do so we develop an experimental protocol involving emotional 360º environments, an art exhibition in a real museum, and a highly-realistic 3D virtualization of the same art exhibition. This thesis provides novel contributions to the use of immersive VR in human behaviour research, particularly in relation to emotions. VR can help in the application of methodologies designed to present more realistic stimuli in the assessment of daily-life environments and situations, thus overcoming the current limitations of affective elicitation, which classically uses images, audio and video. Moreover, it analyses the validity of VR by performing a direct comparison using highly-realistic simulation. We believe that immersive VR will revolutionize laboratory-based emotion elicitation methods. Moreover, its synergy with physiological measurement and machine learning techniques will impact transversely in many other research areas, such as architecture, health, assessment, training, education, driving and marketing, and thus open new opportunities for the scientific community. The present dissertation aims to contribute to this progress. / [CA] L'ús de la realitat virtual (RV) s'ha incrementat notablement en la comunitat científica per a la recerca del comportament humà. En particular, la RV immersiva ha crescut a causa de la democratització de les ulleres de realitat virtual o head mounted displays (HMD), que ofereixen un alt rendiment amb una reduïda inversió econòmica. Un dels camps que ha emergit amb força en l'última dècada és el Affective Computing, que combina psicofisiologia, informàtica, enginyeria biomèdica i intel·ligència artificial, desenvolupant sistemes que puguen reconéixer emocions automàticament. El seu progrés és especialment important en el camp de la recerca del comportament humà, a causa del paper fonamental que les emocions juguen en molts processos psicològics com la percepció, la presa de decisions, la creativitat, la memòria i la interacció social. Molts estudis s'han centrat en intentar obtenir una metodologia fiable per a evocar i automàticament identificar estats emocionals, utilitzant mesures fisiològiques objectives i mètodes d'aprenentatge automàtic. No obstant això, la major part dels estudis previs utilitzen imatges, àudios o vídeos per a generar els estats emocionals i, fins on arriba el nostre coneixement, cap d'ells ha desenvolupat un sistema de reconeixement emocional mitjançant l'ús de la RV immersiva. Encara que alguns treballs anteriors sí que analitzen les respostes fisiològiques en RV immersives, aquests no presenten models d'aprenentatge automàtic per a processament i classificació automàtica de biosenyals. A més, un concepte crucial quan s'utilitza la RV en la recerca del comportament humà és la validesa: la capacitat d'evocar respostes similars en un entorn virtual a les evocades per l'espai físic. Encara que alguns estudis previs han utilitzat dimensions psicològiques i cognitives per a comparar respostes entre entorns reals i virtuals, les recerques que analitzen respostes fisiològiques o comportamentals estan molt menys esteses. Segons els nostres coneixements, aquest és el primer treball que compara entorns físics amb la seua rèplica en RV, emprant respostes fisiològiques i algorismes d'aprenentatge automàtic i analitzant la capacitat de la RV de transferir i extrapolar les conclusions obtingudes a l'entorn real que s'està simulant. L'objectiu principal de la tesi és validar l'ús de la RV immersiva com una eina d'estimulació emocional usant respostes psicofisiològiques i comportamentals en combinació amb algorismes d'aprenentatge automàtic, així com realitzar una comparació directa entre un entorn real i virtual. Per a això, s'ha desenvolupat un protocol experimental que inclou entorns emocionals 360º, un museu real i una virtualització 3D altament realista del mateix museu. La tesi presenta noves contribucions de l'ús de la RV immersiva en la recerca del comportament humà, en particular quant a l'estudi de les emocions. Aquesta ajudarà a aplicar metodologies a estímuls més realistes per a avaluar entorns i situacions de la vida diària, superant les actuals limitacions de l'estimulació emocional que clàssicament ha inclòs imatges, àudios o vídeos. A més, en ella s'analitza la validesa de la RV realitzant una comparació directa usant una simulació altament realista. Creiem que la RV immersiva revolucionarà els mètodes d'estimulació emocional en entorns de laboratori. A més, la seua sinergia al costat de les mesures fisiològiques i les tècniques d'aprenentatge automàtic, impactaran transversalment en moltes àrees de recerca com l'arquitectura, la salut, l'avaluació psicològica, l'entrenament, l'educació, la conducció o el màrqueting, obrint un nou horitzó d'oportunitats per a la comunitat científica. La present tesi espera contribuir a caminar en aquesta senda. / Marín Morales, J. (2020). Modelling human emotions using immersive virtual reality, physiological signals and behavioural responses [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/148717 / TESIS / Compendio

[ES] Las enfermedades cardiovasculares son una de las principales causas de mortalidad y morbilidad en el mundo. Entre las arritmias más comunes en adultos destaca la Fibrilación Auricular (FA), presentando una tendencia de crecimiento muy significativa, sobre todo en población de edad avanzada o con trastornos de obesidad. En el otro extremo, nos encontramos con la Miocardiopatía Arritmogénica (MCA), considerada una enfermedad rara con una prevalencia de 1:2000-5000 pero con gran afectación entre familiares directos, causante de muerte súbita cardiaca (MSC), y con un diagnóstico clínico complicado. Más allá de la FA o la MCA, existe una amplia variedad de patologías derivadas de una disfunción en la activación y conducción eléctrica del corazón. Para todas ellas, el electrocardiograma (ECG) continúa figurando como la primera y principal técnica de diagnóstico clínico, siendo una herramienta fundamental de cribado y detección de patologías relativamente económica y ampliamente accesible. Sin embargo, el diagnóstico preciso a partir de la interpretación del ECG requiere de médicos experimentados, siendo ésta una tarea que consume recursos, tiempo y que además está sujeta a la variabilidad entre observadores. Respecto a las afecciones cardiacas más comunes, conseguir un diagnóstico de forma automática que sea fiable, utilizando tanto 12 como un número reducido o único de derivaciones, sigue presentándose como un desafío. Este aspecto cobra especial relevancia con el uso cada vez más extendido de dispositivos portátiles o wearables, los cuales están ganando un gran interés para la detección temprana y preventiva de enfermedades cardiacas, registrando normalmente un número reducido de derivaciones ECG. Dicho uso masivo les confiere un gran potencial para facilitar el cribado y seguimiento de distintas afecciones en una amplia variedad de escenarios, a pesar de registrar señales de peor calidad en comparación con equipos certificados para uso clínico. El principal reto con estos dispositivos es encontrar un equilibrio adecuado entre la sensibilidad y la especificidad en la detección de ritmos cardiacos susceptibles de ser patológicos. En consecuencia, es indispensable diseñar e implementar algoritmos precisos adecuados para dispositivos móviles o portátiles capaces de detectar distintas afecciones cardiacas en registros de ECG. Respecto las afecciones cardiacas menos comunes como el caso de la MCA, es necesario incrementar la sensibilidad en la detección durante los cribados intra-familiares realizados tras una MSC. Para ello, sería posible explorar biomarcadores propios a esta enfermedad obtenidos mediante técnicas de procesado de señales ECG, además de modelos de clasificación que hagan uso de ellos, contribuyendo así a reducir el número de casos de muerte súbita. En base a lo descrito anteriormente, la presente tesis estudia las posibilidades de diagnóstico basadas en técnicas de aprendizaje y clasificación automática en dos escenarios principales. El primero aborda la detección de la FA, así como un amplio abanico de otras patologías cardiacas comunes, donde proponemos y validamos distintos modelos de clasificación de bajo consumo computacional. Todo esto, utilizando extensas bases de datos de acceso abierto, y haciendo énfasis en enfoques de derivación única, ya que son los más utilizados en dispositivos móviles e inteligentes. El segundo escenario se centra en la detección de MCA mediante las 12 derivaciones estándar del ECG, donde proponemos y validamos nuevos biomarcadores y modelos de clasificación que tratan de incrementar la sensibilidad de los cribados intra-familiares realizados tras una MSC. Para ello, utilizamos una base de datos específica de la Unidad de Cardiopatías Familiares del Hospital Universitario y Politécnico La Fe de València. / [CA] Les malalties cardiovasculars són una de les principals causes de mortalitat i morbiditat en el món. Entre les arrítmies més comunes en adults destaca la Fibril·lació Auricular (FA), presentant una tendència de creixement molt significativa, sobretot en població d'edat avançada o amb trastorns d'obesitat. En l'altre extrem, ens trobem amb la Miocardiopatia Arritmogènica (MCA), considerada una malaltia rara amb una prevalença de 1:2000-5000 però amb gran afectació entre familiars directes, causant de mort sobtada cardíaca (MSC), i amb un diagnòstic clínic complicat. Més enllà de la FA o la MCA, existeix una àmplia varietat de patologies derivades d'una disfunció en l'activació i conducció elèctrica del cor. Per a totes elles, l'electrocardiograma (ECG) continua figurant com la primera i principal tècnica de diagnòstic clínic, sent una eina fonamental de cribratge i detecció de patologies relativament econòmica i àmpliament accessible. No obstant això, el diagnòstic precís a partir de la interpretació del ECG requereix de metges experimentats, sent aquesta una tasca que consumeix recursos, temps i que a més està subjecta a la variabilitat entre observadors. Respecte a les afeccions cardíaques més comunes, aconseguir un diagnòstic de manera automàtica que siga fiable, utilitzant tant 12 com un número reduït o únic de derivacions, continua presentant-se com un desafiament. Aquest aspecte cobra especial rellevància amb l'ús cada vegada més estés de dispositius portàtils o wearables, els quals estan guanyant un gran interés per a la detecció precoç i preventiva de malalties cardíaques, registrant normalment un nombre reduït de derivacions ECG. Aquest ús massiu els confereix un gran potencial per a facilitar el cribratge i seguiment de diferents afeccions en una àmplia varietat d'escenaris, malgrat registrar senyals de pitjor qualitat en comparació amb equips certificats per a ús clínic. El principal repte amb aquests dispositius és trobar un equilibri adequat entre la sensibilitat i l'especificitat en la detecció de ritmes cardíacs susceptibles de ser patològics. En conseqüència, és indispensable dissenyar i implementar algorismes precisos adequats per a dispositius mòbils o portàtils capaços de detectar diferents afeccions cardíaques en registres de ECG. Respecte les afeccions cardíaques menys comunes com el cas de la MCA, és necessari incrementar la sensibilitat en la detecció durant els cribratges intra-familiars realitzats després d'una MSC. Per a això, seria possible explorar biomarcadors propis a aquesta malaltia obtinguts mitjançant tècniques de processament de senyals ECG, a més de models de classificació que facen ús d'ells, contribuint així a reduir el nombre de casos de mort sobtada. Sobre la base del descrit anteriorment, la present tesi estudia les possibilitats de diagnòstic basades en tècniques d'aprenentatge i classificació automàtica en dos escenaris principals. El primer aborda la detecció de la FA, així com un ampli ventall d'altres patologies cardíaques comunes, on proposem i validem diferents models de classificació de baix consum computacional. Tot això, utilitzant extenses bases de dades d'accés obert, i fent èmfasi en enfocaments de derivació única, ja que són els més utilitzats en dispositius mòbils i intel·ligents. El segon escenari se centra en la detecció de MCA mitjançant les 12 derivacions estàndard de l'ECG, on proposem i validem nous biomarcadors i models de classificació que tracten d'incrementar la sensibilitat dels cribratges intra-familiars realitzats després d'una MSC. Per a això, utilitzem una base de dades específica de la Unitat de Cardiopaties Familiars de l'Hospital Universitari i Politècnic La Fe de València. / [EN] Cardiovascular diseases are one of the leading causes of mortality and morbidity worldwide. Atrial Fibrillation (AF) stands out among adults' most common arrhythmias, presenting a very significant growth trend, especially in the elderly population or those with obesity disorders. At the other extreme, we find Arrhythmogenic Cardiomyopathy (ACM), a rare disease with a prevalence of 1:2000-5000 but great affectation among direct relatives, causing sudden cardiac death (SCD), and with a complicated clinical diagnosis. Beyond AF or ACM, there is a wide variety of pathologies derived from dysfunctions in the activation or electrical conduction of the heart. For all of them, the electrocardiogram (ECG) continues to appear as the first and foremost clinical diagnostic technique, being a fundamental tool for screening and detecting pathologies that is relatively cheap and widely accessible. However, accurate diagnosis based on ECG interpretation requires experienced physicians, as this task consumes resources, time and is subject to variability between observers. For the most common cardiac conditions, achieving a reliable diagnosis automatically, using either 12 or a smaller or single number of leads, remains a challenge. This aspect is especially relevant with the increasingly widespread use of portable or wearable devices, which are gaining significant interest for the early and preventive detection of heart disease, typically recording a reduced number of ECG leads. Such massive use gives them great potential to facilitate screening and monitoring different conditions in different scenarios, despite registering signals of lower quality compared to equipment certified for clinical use. The main challenge with these devices is finding the right balance between sensitivity and specificity in detecting pathologic heart rhythms. Consequently, designing and implementing accurate algorithms suitable for mobile or portable devices capable of detecting different cardiac conditions in ECG recordings is essential. Concerning less common cardiac conditions such as the case of ACM, it is necessary to increase the sensitivity in detection during intra-family screenings carried out after an SCD. Hence, it would be possible to explore specific biomarkers to this disease obtained through ECG signal processing techniques, as well as classification models that use them, thus contributing to reduce the number of cases of sudden death. Based on the previously described, this thesis studies the diagnostic possibilities based on machine learning and classification techniques in two main scenarios. The first deals with detecting AF and a wide range of other common cardiac pathologies, where we propose and validate different classification models with low computational consumption. All this, using extensive open access databases, and emphasizing single-lead approaches, since they are the most used in mobile and smart devices. The second scenario focuses on detecting ACM using the standard 12-lead ECG, where we propose and validate new biomarkers and classification models that try to increase the sensitivity of intra-family screenings carried out after an MSC. For this task, we used a specific database of the Familial Cardiopathies Unit of the Hospital Universitario y Politécnico La Fe de València. / Jiménez Serrano, S. (2023). Desarrollo de nuevos marcadores y clasificadores de bajo coste computacional para identificar afecciones cardiacas en registros ECG [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/196826