Tesis por compendio / [ES] Esta tesis se centra en explotar las posibilidades de la Realidad Aumentada (RA) basada en SLAM (localización y mapeo simultáneos) para la evaluación de la memoria espacial. El objetivo principal fue desarrollar nuevas técnicas de localización en interiores en el ámbito de la RA, aprovechando los avances tecnológicos, y validarlas mediante la construcción de frameworks y aplicaciones orientadas a la evaluación de la capacidad de localización espacial en adultos; y estudiar el aumento perceptivo en los canales visual y táctil. En esta tesis, para cumplir con este objetivo principal, se desarrolló un framework para el desarrollo de aplicaciones de autor para utilizar en el estudio de la memoria espacial aprovechando la RA basada en SLAM. Nuestro framework permite utilizar diferentes motores/SDKs de RA. Existen diferentes interfaces incorporadas en el framework a través de las cuales se puede acceder a los diferentes módulos de RA. Esto permite un uso modular e independiente del motor de RA para los desarrolladores. El funcionamiento general de las aplicaciones desarrolladas en esta tesis consta de tres fases. En una primera fase, el supervisor selecciona el número de objetos virtuales a memorizar y los propios objetos virtuales, que coloca en los lugares deseados del entorno. En la segunda fase, el usuario recorre el entorno y memoriza las ubicaciones de los objetos virtuales en el entorno real. En la tercera fase, el usuario debe colocar los objetos virtuales en las ubicaciones que tenían en la fase anterior. Hasta donde sabemos, este es el primer trabajo que utiliza la RA basada en SLAM para la evaluación de la memoria espacial, implicando el movimiento físico del usuario, y considerando estímulos visuales y táctiles. Para la validación, se realizaron tres estudios centrados en investigar la viabilidad del uso de las aplicaciones en entornos de pequeñas y grandes dimensiones, así como el uso de estímulos visuales y táctiles. El rendimiento de nuestras aplicaciones se comparó con los métodos tradicionales. También se evaluaron las variables subjetivas. En el primer estudio (N=55) se consideraron los estímulos visuales y los entornos de pequeñas dimensiones. Los participantes se dividieron en dos grupos: ARGroup (memorización mediante RA) y el NoARGroup (memorizaron mirando fotografías). El segundo estudio (N=46) consideró los estímulos visuales y los entornos de grandes dimensiones. Se evaluó el rendimiento de los participantes en una tarea verbal de recuerdo de objetos, una tarea de colocación en mapas y una tarea de orientación espacial con lápiz y papel. También se evaluó la importancia de las distintas estrategias espaciales de orientación y los niveles de ansiedad. En el tercer estudio (N=53) se comparó el rendimiento con estímulos visuales y táctiles y se utilizaron entornos de pequeñas dimensiones. Del desarrollo y de los tres estudios realizados se extrajeron las siguientes conclusiones generales: 1) La RA basada en SLAM es adecuada para desarrollar tareas de evaluación de la memoria espacial, pudiéndose utilizar en cualquier entorno y sin necesidad de añadir elementos reales al entorno para su registro; 2) Las aplicaciones desarrolladas en esta tesis permiten la personalización de la tarea y el almacenamiento de las variables de rendimiento; 3) Estas aplicaciones han permitido una evaluación ecológica; 4) Estas aplicaciones y otras herramientas similares podrían utilizarse para evaluar y entrenar la memoria espacial como alternativa a los métodos tradicionales; 5) Los estímulos táctiles son estímulos válidos que pueden beneficiar la evaluación de la memoria de las asociaciones táctiles-espaciales, pero la memoria de las asociaciones visuales-espaciales es dominante; 6) Las aplicaciones desarrolladas en esta tesis y otras herramientas similares podrían ayudar en el diagnóstico de las alteraciones de la memoria espacial. / [CA] Aquesta tesi se centra en explotar les possibilitats de la Realitat Augmentada (RA) basada en SLAM (localització i mapeig simultanis) per a l'avaluació de la memòria espacial. L'objectiu principal va ser desenvolupar noves tècniques de localització en interiors en l'àmbit de la RA, aprofitant els avanços tecnològics, i validarles mitjançant la construcció de frameworks i aplicacions orientades a l'avaluació de la capacitat de localització espacial en adults; i estudiar l'augment perceptiu en els canals visual i tàctil. En aquesta tesi, per a complir amb aquest objectiu principal, es va desenvolupar un framework per al desenvolupament d'aplicacions d'autor per a utilitzar en l'estudi de la memòria espacial aprofitant la RA basada en SLAM. El nostre framework permet utilitzar diferents motors/SDKs de RA. Hi ha diferents interfícies incorporades en el framework a través de les quals es poden connectar els diferents mòduls de RA. Això permet un ús modular i independent del motor de RA per als desenvolupadors. El funcionament general de les aplicacions desenvolupades en aquesta tesi consta de tres fases. En una primera fase, el supervisor selecciona el nombre d'objectes virtuals a memoritzar i els propis objectes virtuals, que col·loca en els llocs desitjats de l'entorn. En la segona fase, l'usuari recorre l'entorn i memoritza les ubicacions dels objectes virtuals en l'entorn real. En la tercera fase, l'usuari ha de col·locar els objectes virtuals en les ubicacions que tenien en la fase anterior. Fins on sabem, aquest és el primer treball que utilitza la RA basada en SLAM per a l'avaluació de la memòria espacial, implicant el moviment físic de l'usuari, i considerant estímuls visuals i tàctils. Per a la validació, es van realitzar tres estudis centrats en estudiar la viabilitat de l'ús de les aplicacions en entorns de xicotetes i grans dimensions, així com l'ús d'estímuls visuals i tàctils. El rendiment de les nostres aplicacions es va comparar amb els mètodes tradicionals. També es van avaluar les variables subjectives. En el primer estudi (N=55) es van considerar els estímuls visuals i els entorns de xicotetes dimensions. Els participants es van dividir en dos grups: ARGroup (memorització mitjançant RA) i el NoARGroup (memorització mirant fotografies). El segon estudi (N=46) va tindre en compte els estímuls visuals i els entorns de grans dimensions. Es va avaluar el rendiment dels participants en una tasca verbal de record d'objectes, una tasca de col·locació en mapes i una tasca d'orientació espacial amb llapis i paper. També es va avaluar la importància de les diferents estratègies espacials d'orientació i els nivells d'ansietat. En el tercer estudi (N=53) es va comparar el rendiment amb estímuls visuals i tàctils i es van utilitzar entorns de xicotetes dimensions. Del desenvolupament i dels tres estudis realitzats es van extraure les següents conclusions generals: 1) La RA basada en SLAM és adequada per a desenvolupar tasques d'avaluació de la memòria espacial, podent-se utilitzar en qualsevol entorn i sense necessitat d'afegir elements reals a l'entorn per al seu registre; 2) Les aplicacions desenvolupades en aquesta tesi permeten la personalització de la tasca i l'emmagatzematge de les variables de rendiment; 3) Aquestes aplicacions han permés una avaluació ecològica; 4) Aquestes aplicacions i altres ferramentes similars podrien utilitzar-se per a avaluar i entrenar la memòria espacial com a alternativa als mètodes tradicionals; 5) Els estímuls tàctils són estímuls vàlids que poden beneficiar l'avaluació de la memoria de les associacions tàctils-espacials, però la memòria de les associacions visualsespacials és dominant; 6) Les aplicacions desenvolupades en aquesta tesi i altres ferramentes similars podrien ajudar en el diagnòstic de les alteracions de la memòria espacial. / [EN] This thesis focuses on exploiting the possibilities of Augmented Reality (AR) based on SLAM (Simultaneous Localization and Mapping) for the assessment of spatial memory. The main objective was to develop new indoor localization techniques in the field of AR, taking advantage of technological advances, and to validate them by building frameworks and applications oriented to the assessment of spatial location ability in adults; and studying perceptual augmentation in the visual and tactile channels. In this thesis, to fulfill this main objective, a framework was developed for the development of author applications to use in the study of spatial memory taking advantage of AR based on SLAM. Our framework enables using different AR engines or SDKs. There are different interfaces incorporated in the framework through which the different AR modules can be connected. This enables a modular and independent use of the AR engine for developers. The general functioning of the applications developed in this thesis consists of three phases. In a first phase, the supervisor selects the number of virtual objects to be memorized and the virtual objects themselves, which she/he places at desired locations in the environment. In the second phase, the user walks through the environment and memorizes the locations of the virtual objects in the real environment. In the third phase, the user must place the virtual objects in the locations they were in the previous phase. To our knowledge, this is the first work using SLAM-based AR for the assessment of spatial memory, involving physical movement of the user, and considering visual and tactile stimuli. For the validation, three studies were carried out that focused on studying the feasibility of using the applications in small and large environments, as well as the use of visual and tactile stimuli. The performance of our applications was compared with traditional methods. Subjective variables were also assessed. The first study considered visual stimulus and small environments. This study involved 55 users. Participants were divided into two groups: ARGroup (participants memorized the location of virtual objects in the real world in a memorization phase using AR) and the NoARGroup (participants memorized the location of virtual objects by looking at photographs of the augmented environment using the device). The second study considered visual stimulus and large environments. This study involved 46 young adults. The participants had to go through a two-story building and memorize the position of a total of eight virtual objects. Participants' performance was also evaluated in a verbal object recall task, a pencil and paper spatial orientation task and a map-pointing task. The importance of different spatial strategies for orientation and anxiety levels were also evaluated. The third study compared the performance using visual versus tactile stimuli and used small environments. This study involved 53 subjects. The participants were divided into two groups: Visual, which used visual stimuli, and Tactile, which used tactile stimuli. The following general conclusions were extracted from the development and the three studies carried out: 1) SLAM-based AR is suitable for developing spatial memory assessment tasks, working in any environment and without the need to add real objects to the environment for registration; 2) The applications developed in this thesis allow task customization and storage of performance variables; 3) These applications have allowed an ecological assessment; 4) These applications and similar tools could be used to assess and train spatial memory as an alternative to traditional methods; 5) Tactile stimuli are valid stimuli that can help the assessment of memory of tactile-spatial associations, but memory of visual-spatial associations is dominant; 6) The applications developed in this thesis and similar tools could help in the diagnosis of spatial memory impairments. / Muñoz Montoya, FM. (2023). Augmented Reality through Various Sensory Channels and its Application to Orientation and Spatial Localization Processes [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/195733 / Compendio

[EN] This thesis work contributes to the field of the {Automatic Speech Recognition} (ASR). And particularly to the {Interactive Speech Transcription} and {Confidence Measures} (CM) for ASR. The main goals of this thesis work can be summarised as follows: 1. To design IST methods and tools to tackle the problem of improving automatically generated transcripts. 2. To assess the designed IST methods and tools on real-life tasks of transcription in large educational repositories of video lectures. 3. To improve the reliability of the IST by improving the underlying (CM). Abstracts: The {Automatic Speech Recognition} (ASR) is a crucial task in a broad range of important applications which could not accomplished by means of manual transcription. The ASR can provide cost-effective transcripts in scenarios of increasing social impact such as the {Massive Open Online Courses} (MOOC), for which the availability of accurate enough is crucial even if they are not flawless. The transcripts enable search-ability, summarisation, recommendation, translation; they make the contents accessible to non-native speakers and users with impairments, etc. The usefulness is such that students improve their academic performance when learning from subtitled video lectures even when transcript is not perfect. Unfortunately, the current ASR technology is still far from the necessary accuracy. The imperfect transcripts resulting from ASR can be manually supervised and corrected, but the effort can be even higher than manual transcription. For the purpose of alleviating this issue, a novel {Interactive Transcription of Speech} (IST) system is presented in this thesis. This IST succeeded in reducing the effort if a small quantity of errors can be allowed; and also in improving the underlying ASR models in a cost-effective way. In other to adequate the proposed framework into real-life MOOCs, another intelligent interaction methods involving limited user effort were investigated. And also, it was introduced a new method which benefit from the user interactions to improve automatically the unsupervised parts ({Constrained Search} for ASR). The conducted research was deployed into a web-based IST platform with which it was possible to produce a massive number of semi-supervised lectures from two different well-known repositories, videoLectures.net and poliMedia. Finally, the performance of the IST and ASR systems can be easily increased by improving the computation of the {Confidence Measure} (CM) of transcribed words. As so, two contributions were developed: a new particular {Logistic Regresion} (LR) model; and the speaker adaption of the CM for cases in which it is possible, such with MOOCs. / [ES] Este trabajo contribuye en el campo del {reconocimiento automático del habla} (RAH). Y en especial, en el de la {transcripción interactiva del habla} (TIH) y el de las {medidas de confianza} (MC) para RAH. Los objetivos principales son los siguientes: 1. Diseño de métodos y herramientas TIH para mejorar las transcripciones automáticas. 2. Evaluar los métodos y herramientas TIH empleando tareas de transcripción realistas extraídas de grandes repositorios de vídeos educacionales. 3. Mejorar la fiabilidad del TIH mediante la mejora de las MC. Resumen: El {reconocimiento automático del habla} (RAH) es una tarea crucial en una amplia gama de aplicaciones importantes que no podrían realizarse mediante transcripción manual. El RAH puede proporcionar transcripciones rentables en escenarios de creciente impacto social como el de los {cursos abiertos en linea masivos} (MOOC), para el que la disponibilidad de transcripciones es crucial, incluso cuando no son completamente perfectas. Las transcripciones permiten la automatización de procesos como buscar, resumir, recomendar, traducir; hacen que los contenidos sean más accesibles para hablantes no nativos y usuarios con discapacidades, etc. Incluso se ha comprobado que mejora el rendimiento de los estudiantes que aprenden de videos con subtítulos incluso cuando estos no son completamente perfectos. Desafortunadamente, la tecnología RAH actual aún está lejos de la precisión necesaria. Las transcripciones imperfectas resultantes del RAH pueden ser supervisadas y corregidas manualmente, pero el esfuerzo puede ser incluso superior al de la transcripción manual. Con el fin de aliviar este problema, esta tesis presenta un novedoso sistema de {transcripción interactiva del habla} (TIH). Este método TIH consigue reducir el esfuerzo de semi-supervisión siempre que sea aceptable una pequeña cantidad de errores; además mejora a la par los modelos RAH subyacentes. Con objeto de transportar el marco propuesto para MOOCs, también se investigaron otros métodos de interacción inteligentes que involucran esfuerzo limitado por parte del usuario. Además, se introdujo un nuevo método que aprovecha las interacciones para mejorar aún más las partes no supervisadas (ASR con {búsqueda restringida}). La investigación en TIH llevada a cabo se desplegó en una plataforma web con el que fue posible producir un número masivo de transcripciones de videos de dos conocidos repositorios, videoLectures.net y poliMedia. Por último, el rendimiento de la TIH y los sistemas de RAH se puede aumentar directamente mediante la mejora de la estimación de la {medida de confianza} (MC) de las palabras transcritas. Por este motivo se desarrollaron dos contribuciones: un nuevo modelo discriminativo {logístico} (LR); y la adaptación al locutor de la MC para los casos en que es posible, como por ejemplo en MOOCs. / [CA] Aquest treball hi contribueix al camp del {reconeixment automàtic de la parla} (RAP). I en especial, al de la {transcripció interactiva de la parla} i el de {mesures de confiança} (MC) per a RAP. Els objectius principals són els següents: 1. Dissenyar mètodes i eines per a TIP per tal de millorar les transcripcions automàtiques. 2. Avaluar els mètodes i eines TIP per a tasques de transcripció realistes extretes de grans repositoris de vídeos educacionals. 3. Millorar la fiabilitat del TIP, mitjançant la millora de les MC. Resum: El {reconeixment automàtic de la parla} (RAP) és una tasca crucial per una àmplia gamma d'aplicacions importants que no es poden dur a terme per mitjà de la transcripció manual. El RAP pot proporcionar transcripcions en escenaris de creixent impacte social com els {cursos online oberts massius} (MOOC). Les transcripcions permeten automatitzar tasques com ara cercar, resumir, recomanar, traduir; a més a més, fa accessibles els continguts als parlants no nadius i els usuaris amb discapacitat, etc. Fins i tot, pot millorar el rendiment acadèmic de estudiants que aprenen de xerrades amb subtítols, encara que aquests subtítols no siguen perfectes. Malauradament, la tecnologia RAP actual encara està lluny de la precisió necessària. Les transcripcions imperfectes resultants de RAP poden ser supervisades i corregides manualment, però aquest l'esforç pot acabar sent superior a la transcripció manual. Per tal de resoldre aquest problema, en aquest treball es presenta un sistema nou per a {transcripció interactiva de la parla} (TIP). Aquest sistema TIP va ser reeixit en la reducció de l'esforç per quan es pot permetre una certa quantitat d'errors; així com també en en la millora dels models RAP subjacents. Per tal d'adequar el marc proposat per a MOOCs, també es van investigar altres mètodes d'interacció intel·ligents amb esforç d''usuari limitat. A més a més, es va introduir un nou mètode que aprofita les interaccions per tal de millorar encara més les parts no supervisades (RAP amb {cerca restringida}). La investigació en TIP duta a terme es va desplegar en una plataforma web amb la qual va ser possible produir un nombre massiu de transcripcions semi-supervisades de xerrades de repositoris ben coneguts, videoLectures.net i poliMedia. Finalment, el rendiment de la TIP i els sistemes de RAP es pot augmentar directament mitjançant la millora de l'estimació de la {Confiança Mesura} (MC) de les paraules transcrites. Per tant, es van desenvolupar dues contribucions: un nou model discriminatiu logístic (LR); i l'adaptació al locutor de la MC per casos en que és possible, per exemple amb MOOCs. / Sánchez Cortina, I. (2016). Confidence Measures for Automatic and Interactive Speech Recognition [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/61473

El uso de la Realidad Virtual dentro del campo de la Rehabilitaci on Motora en pacientes con Da~no Cerebral Adquirido (DCA) es un hecho cient camente contrastado en los ultimos a~nos. Los prometedores y satisfactorios resultados que se est an obteniendo en esta l nea de investigaci on (tanto a nivel cognitivo, como a nivel motor), en conjunci on con los procesos terap euticos tradicionales, proporcionan el auge de un nuevo hito dentro de la rehabilitaci on tradicional conocido como Virtual Motor Rehabilitation cuyo acr onimo es (VMR), describi endolo como Rehabilitaci on Virtual Motora (RVM). Hoy en d a, el Da~no Cerebral Adquirido es uno de los principales problemas de discapacidad y muerte en el mundo, donde las metodolog as propuestas dentro del campo de la rehabilitaci on tradicional, proporcionan resultados prometedores y esperanzadores. No obstante, este tipo de terapias presentan inconvenientes como son la falta de motivaci on del paciente, que lleva a una limitada adherencia al tratamiento, o las limitaciones de tiempo, espacio o coste que surgen en el proceso rehabilitador. Tradicionalmente, los principales experimentos realizados dentro del campo de la Rehabilitaci on Motora, se han realizado en pacientes DCA post-agudos y agudos, con escasas publicaciones basadas en el proceso rehabilitador motor de pacientes DCA cr onicos. En la presente tesis se han desarrollado sistemas de Rehabilitaci on Virtual para que, gracias al uso de dispositivos de bajo coste y las aportaciones obtenidas por los especialistas cl nicos, se haya validado la hip otesis: Mediante t ecnicas de rehabilitaci on virtual es posible obtener en pacientes cr onicos una recuperaci on del equilibrio estad sticamente signi- cativa, y similar a la que es posible obtener en pacientes agudos. Los experimentos realizados en el proceso rehabilitador, junto con las validaciones cl nicas realizadas en el Hospital Valencia al Mar, y el Instituto Valenciano de la Discapacidad, han servido para obtener unos resultados contrastables y satisfactorios, que corroboran la hip otesis de trabajo planteada. / Albiol Pérez, S. (2014). Rehabilitación Virtual Motora: una Evaluación al tratamiento de pacientes con Daño Cerebral Adquirido [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/38450

The work of this thesis was focused on the development of high-performance algorithms for a new generation of molecular descriptors, with many advantages with respect to its predecessors, suitable for diverse applications in the field of drug design, as well as its implementation in commercial grade scientific software (Pentacle). As a first step, we developed a new algorithm (AMANDA) for discretizing molecular interaction fields which allows extracting from them the most interesting regions in an efficient way. This algorithm was incorporated into a new generation of alignmentindependent molecular descriptors, named GRIND-2. The computing speed and efficiency of the new algorithm allow the application of these descriptors in virtual screening. In addition, we developed a new alignment-independent encoding algorithm (CLACC) producing quantitative structure-activity relationship models which have better predictive ability and are easier to interpret than those obtained with other methods. / El trabajo que se presenta en esta tesis se ha centrado en el desarrollo de algoritmos de altas prestaciones para la obtención de una nueva generación de descriptores moleculares, con numerosas ventajas con respecto a sus predecesores, adecuados para diversas aplicaciones en el área del diseño de fármacos, y en su implementación en un programa científico de calidad comercial (Pentacle). Inicialmente se desarrolló un nuevo algoritmo de discretización de campos de interacción molecular (AMANDA) que permite extraer eficientemente las regiones de máximo interés. Este algoritmo fue incorporado en una nueva generación de descriptores moleculares independientes del alineamiento, denominados GRIND-2. La rapidez y eficiencia del nuevo algoritmo permitieron aplicar estos descriptores en cribados virtuales. Por último, se puso a punto un nuevo algoritmo de codificación independiente de alineamiento (CLACC) que permite obtener modelos cuantitativos de relación estructura-actividad con mejor capacidad predictiva y mucho más fáciles de interpretar que los obtenidos con otros métodos.