En esta tesis, el objetivo principal fue diseñar y desarrollar una nueva tarea que combinara interfaces de usuario naturales (NUI) y dispositivos inteligentes para evaluar la memoria espacial utilizando estímulos auditivos, y su validación tanto en niños como en adultos. La nueva tarea evalúa la capacidad de los participantes para detectar y localizar estímulos auditivos que se emiten en diferentes posiciones del área de trabajo. La tarea reconoce los movimientos de los brazos del usuario, utilizando para ello Kinect. Los dispositivos inteligentes (conejos Karotz) se utilizan para emitir estímulos auditivos y también como señales visuales. Por lo tanto, la tarea combina estímulos auditivos con claves visuales reales para la evaluación de la memoria espacial. La tarea incluye un total de 45 estímulos acústicos, repartidos en 5 niveles y cada nivel consta de 3 ensayos. Nuestra tarea es el primer trabajo que combina NUI y dispositivos inteligentes para la evaluación de la memoria espacial. Del mismo modo, nuestra tarea es el primer trabajo que utiliza estímulos auditivos para evaluar la memoria espacial. Para la validación, se llevaron a cabo 3 estudios. El rendimiento de nuestra tarea se comparó con métodos tradicionales. El primer estudio involucró niños con y sin síntomas de falta de atención. Un total de 34 niños participaron (17 niños con falta de atención). Los resultados demostraron que los niños con falta de atención mostraron un rendimiento estadísticamente peor en la tarea. Estos niños con falta de atención también mostraron un rendimiento estadísticamente peor con el método tradicional para evaluar el aprendizaje de sonidos verbales. No se encontraron diferencias estadísticamente significativas en el tiempo dedicado por cada grupo para completar la tarea. Los resultados sugieren que la tarea es una buena herramienta para distinguir las dificultades de memoria espacial en niños con falta de atención. El segundo estudio comparó el rendimiento en la tarea entre niños mayores y adultos (32 niños y 38 adultos sanos). Los resultados de rendimiento con la tarea fueron significativamente más bajos para los niños mayores. Se encontraron correlaciones entre nuestra tarea y los métodos tradicionales, lo que indica que nuestra tarea ha demostrado ser una herramienta válida para evaluar la memoria espacial mediante el uso de estímulos auditivos tanto para niños mayores como para adultos. A partir del análisis, podemos concluir que la satisfacción con la tarea de los niños mayores fue significativamente mayor que la de los adultos. El tercer estudio incluyó un total de 148 participantes (niños más pequeños, niños mayores y adultos). Los resultados están en línea con el segundo estudio. El rendimiento de la tarea se relacionó significativamente, de forma incremental y directa con el grupo de edad (niños más pequeños <niños mayores <adultos). Los resultados fueron mejores para adultos y niños mayores; resultado que es consistente con la idea de que los adultos pueden almacenar más elementos en la memoria a corto plazo que los niños. Las siguientes conclusiones generales se han extraído del desarrollo y los tres estudios: * Las interfaces de usuario naturales y los dispositivos inteligentes son apropiados para desarrollar tareas para la evaluación de la memoria espacial. * Como juego de ordenador, nuestra tarea facilita el control de la presentación de estímulos y el almacenamiento de las respuestas. * Nuestra tarea y tareas similares podrían usarse para la evaluación y el entrenamiento de la memoria espacial en niños y adultos. * La tarea podría ser una herramienta alternativa para evaluar la memoria espacial en niños con síntomas de falta de atención. * La tarea promueve interés y permite la evaluación de una manera ecológica. * La tarea podría ayudar a identificar alteraciones en la memoria espacial tanto en niños como en adultos. / In this thesis, the main objective was to design and develop a new task that combine Natural User Interfaces (NUI) and smart devices for assessing spatial memory using auditory stimuli, and its validation in both children and adults. The new task tests the ability of participants to detect and localize auditory stimuli that are emitted in different positions of the task area. The task recognizes the movements of the arms of the user using Kinect. Smart devices (Karotz rabbits) are used for emitting auditory stimuli and also as visual cues. Therefore, the task combines auditory stimuli with real visual cues for the assessment of spatial memory. The task includes a total of 45 acoustic stimuli, which should be randomly emitted in different locations. The task is composed of five different levels. Each level consists of 3 trials. The difference between levels lies in the number of sounds to be used in each trial. To our knowledge, our task is the first work that combines NUI and smart devices for the assessment of spatial memory. Similarly, our task is the first work that uses auditory stimuli to assess the spatial memory. For the validation, three studies were carried out to determine the efficacy and utility of our task with regard to the performance outcomes, usability, fun, perception and overall satisfaction. The performance of our task was compared with traditional methods. The first study involved children with and without symptoms of inattention. A total of 34 children participated (17 children with inattention). The results showed that the children with inattention showed statistically worse performance in the task. These children with inattention also showed statistically worse performance in the traditional method for testing the learning of verbal sounds. There were no statistically significant differences in the time spent by each group to complete the task. The results suggest that the task is a good tool for distinguishing spatial memory difficulties in children with inattention. The second study compared the performance in the task between older children and adults. A total of 70 participants were involved in this study. There were 32 healthy children from 9 to 10 years old, and 38 healthy adults from 18 to 28 years old. The performance outcomes with the task were significantly lower for the older children. Correlations were found between our task and traditional methods, indicating that our task has proven to be a valid tool for assessing spatial memory by using auditory stimuli for both older children and adults. From the analysis, we can conclude that the older children were significantly more satisfied with the task than the adults. In the third study, a total of 148 participants were involved. They were distributed in three groups (younger children, older children and adults). A total of 100 children and 48 adults participated in this study. The results are in line with the second study. The task performance was significantly incrementally and directly related to the age group (younger children <older children <adults). The results were better for adults and older children; this is consistent with the idea that adults can store more elements in short-term memory than children. The following general conclusions were extracted from the development and the studies: * Natural user interfaces and smart devices are appropriated for developing tasks for the assessment of spatial memory. * As a computer-based game, our task facilitates the control of the presentation of stimuli and the recording of responses. * Our task and similar tasks could be used for assessment and training of spatial memory in children and adults. * The task could be an alternative tool to assess spatial memory in children with symptoms of inattention. * The task promotes engagement and allows the assessment in an ecological way. * The task could help in the identification of alterations in spatial memory in both children and adults. / En aquesta tesi, l'objectiu principal va ser dissenyar i desenvolupar una nova tasca que combinés NUI i dispositius intel·ligents per a avaluar la memòria espacial utilitzant estímuls auditius, i la seua validació tant en xiquets, com en adults. La nova tasca avalua la capacitat dels participants per a detectar i localitzar estímuls auditius que s'emeten en diferents posicions de l'àrea de treball. La tasca reconeix els moviments dels braços de l'usuari, utilitzant per a açò Kinect. Els dispositius intel·ligents (conills Karotz) s'utilitzen per a emetre estímuls auditius i, també, com a senyals visuals. Per tant, la tasca combina estímuls auditius amb claus visuals reals per a l'avaluació de la memòria espacial. La tasca inclou un total de 45 estímuls acústics, repartits en 5 nivells diferents i cada nivell consta de 3 assajos. La nostra tasca és el primer treball que combina NUI i dispositius intel·ligents per a l'avaluació de la memòria espacial. De la mateixa manera, la nostra tasca és el primer treball que utilitza estímuls auditius per a avaluar la memòria espacial. Per a la validació, es van dur a terme tres estudis. El rendiment de la nostra tasca es va comparar amb mètodes tradicionals. El primer estudi va involucrar 34 xiquets (17 xiquets amb inatenció). Els resultats van demostrar que els xiquets amb inatenció van mostrar un rendiment estadísticament pitjor en la tasca. Aquests xiquets amb inatenció també van mostrar un rendiment estadísticament pitjor amb el mètode tradicional per a avaluar l'aprenentatge de sons verbals. No es van trobar diferències estadísticament significatives en el temps dedicat per cada grup per a completar la tasca. Els resultats suggereixen que la tasca és una bona ferramenta per a distingir les dificultats de memòria espacial en xiquets amb dificultats d'atenció. El segon estudi va comparar el rendiment en la tasca entre xiquets majors i adults. Un total de 70 participants van estar involucrats en aquest estudi. Van participar 32 xiquets i 38 adults sans. Els resultats de rendiment amb la tasca van ser significativament més baixos per als xiquets majors. Es van trobar correlacions entre la nostra tasca i els mètodes tradicionals, la qual cosa indica que la nostra tasca ha demostrat ser una ferramenta vàlida per a avaluar la memòria espacial mitjançant l'ús d'estímuls auditius tant per a xiquets majors, com per a adults. A partir de l'anàlisi, podem concloure que la satisfacció amb la tasca dels xiquets majors va ser significativament major que la dels adults. El tercer estudi va incloure un total de 148 participants (100 xiquets i 48 adults). Es van distribuir en tres grups (xiquets més xicotets, xiquets majors i adults). Els resultats estan en línia amb el segon estudi. El rendiment de la tasca es va relacionar significativament, de forma incremental i directa amb el grup d'edat (xiquets més xicotets <xiquets majors <adults). Els resultats van ser millors per a adults i xiquets majors; resultat que és consistent amb la idea que els adults poden emmagatzemar més elements en la memòria a curt termini que els xiquets. Las següents conclusions generals s'han extret del desenvolupament i els tres estudis: * Les NUI i els dispositius intel·ligents són apropiats per a desenvolupar tasques per a l'avaluació de la memòria espacial. * Com a joc d'ordinador, la nostra tasca facilita el control de la presentació d'estímuls i l'emmagatzematge de les respostes. * La nostra tasca, i tasques similars, podrien usar-se per a l'avaluació i l'entrenament de la memòria espacial en xiquets i adults. * La tasca podria ser una ferramenta alternativa per a avaluar la memòria espacial en xiquets amb problemes de inatenció. * La tasca promou interès i permet l'avaluació d'una manera ecològica. * La tasca podria ajudar a identificar alteracions en la memòria espacial tant en xiquets, com en adults. / Loachamín Valencia, MR. (2018). Natural user interfaces and smart devices for the assessment of spatial memory using auditory stimuli [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/107955 / TESIS

Tesis por compendio / [ES] Esta tesis se centra en explotar las posibilidades de la Realidad Aumentada (RA) basada en SLAM (localización y mapeo simultáneos) para la evaluación de la memoria espacial. El objetivo principal fue desarrollar nuevas técnicas de localización en interiores en el ámbito de la RA, aprovechando los avances tecnológicos, y validarlas mediante la construcción de frameworks y aplicaciones orientadas a la evaluación de la capacidad de localización espacial en adultos; y estudiar el aumento perceptivo en los canales visual y táctil. En esta tesis, para cumplir con este objetivo principal, se desarrolló un framework para el desarrollo de aplicaciones de autor para utilizar en el estudio de la memoria espacial aprovechando la RA basada en SLAM. Nuestro framework permite utilizar diferentes motores/SDKs de RA. Existen diferentes interfaces incorporadas en el framework a través de las cuales se puede acceder a los diferentes módulos de RA. Esto permite un uso modular e independiente del motor de RA para los desarrolladores. El funcionamiento general de las aplicaciones desarrolladas en esta tesis consta de tres fases. En una primera fase, el supervisor selecciona el número de objetos virtuales a memorizar y los propios objetos virtuales, que coloca en los lugares deseados del entorno. En la segunda fase, el usuario recorre el entorno y memoriza las ubicaciones de los objetos virtuales en el entorno real. En la tercera fase, el usuario debe colocar los objetos virtuales en las ubicaciones que tenían en la fase anterior. Hasta donde sabemos, este es el primer trabajo que utiliza la RA basada en SLAM para la evaluación de la memoria espacial, implicando el movimiento físico del usuario, y considerando estímulos visuales y táctiles. Para la validación, se realizaron tres estudios centrados en investigar la viabilidad del uso de las aplicaciones en entornos de pequeñas y grandes dimensiones, así como el uso de estímulos visuales y táctiles. El rendimiento de nuestras aplicaciones se comparó con los métodos tradicionales. También se evaluaron las variables subjetivas. En el primer estudio (N=55) se consideraron los estímulos visuales y los entornos de pequeñas dimensiones. Los participantes se dividieron en dos grupos: ARGroup (memorización mediante RA) y el NoARGroup (memorizaron mirando fotografías). El segundo estudio (N=46) consideró los estímulos visuales y los entornos de grandes dimensiones. Se evaluó el rendimiento de los participantes en una tarea verbal de recuerdo de objetos, una tarea de colocación en mapas y una tarea de orientación espacial con lápiz y papel. También se evaluó la importancia de las distintas estrategias espaciales de orientación y los niveles de ansiedad. En el tercer estudio (N=53) se comparó el rendimiento con estímulos visuales y táctiles y se utilizaron entornos de pequeñas dimensiones. Del desarrollo y de los tres estudios realizados se extrajeron las siguientes conclusiones generales: 1) La RA basada en SLAM es adecuada para desarrollar tareas de evaluación de la memoria espacial, pudiéndose utilizar en cualquier entorno y sin necesidad de añadir elementos reales al entorno para su registro; 2) Las aplicaciones desarrolladas en esta tesis permiten la personalización de la tarea y el almacenamiento de las variables de rendimiento; 3) Estas aplicaciones han permitido una evaluación ecológica; 4) Estas aplicaciones y otras herramientas similares podrían utilizarse para evaluar y entrenar la memoria espacial como alternativa a los métodos tradicionales; 5) Los estímulos táctiles son estímulos válidos que pueden beneficiar la evaluación de la memoria de las asociaciones táctiles-espaciales, pero la memoria de las asociaciones visuales-espaciales es dominante; 6) Las aplicaciones desarrolladas en esta tesis y otras herramientas similares podrían ayudar en el diagnóstico de las alteraciones de la memoria espacial. / [CA] Aquesta tesi se centra en explotar les possibilitats de la Realitat Augmentada (RA) basada en SLAM (localització i mapeig simultanis) per a l'avaluació de la memòria espacial. L'objectiu principal va ser desenvolupar noves tècniques de localització en interiors en l'àmbit de la RA, aprofitant els avanços tecnològics, i validarles mitjançant la construcció de frameworks i aplicacions orientades a l'avaluació de la capacitat de localització espacial en adults; i estudiar l'augment perceptiu en els canals visual i tàctil. En aquesta tesi, per a complir amb aquest objectiu principal, es va desenvolupar un framework per al desenvolupament d'aplicacions d'autor per a utilitzar en l'estudi de la memòria espacial aprofitant la RA basada en SLAM. El nostre framework permet utilitzar diferents motors/SDKs de RA. Hi ha diferents interfícies incorporades en el framework a través de les quals es poden connectar els diferents mòduls de RA. Això permet un ús modular i independent del motor de RA per als desenvolupadors. El funcionament general de les aplicacions desenvolupades en aquesta tesi consta de tres fases. En una primera fase, el supervisor selecciona el nombre d'objectes virtuals a memoritzar i els propis objectes virtuals, que col·loca en els llocs desitjats de l'entorn. En la segona fase, l'usuari recorre l'entorn i memoritza les ubicacions dels objectes virtuals en l'entorn real. En la tercera fase, l'usuari ha de col·locar els objectes virtuals en les ubicacions que tenien en la fase anterior. Fins on sabem, aquest és el primer treball que utilitza la RA basada en SLAM per a l'avaluació de la memòria espacial, implicant el moviment físic de l'usuari, i considerant estímuls visuals i tàctils. Per a la validació, es van realitzar tres estudis centrats en estudiar la viabilitat de l'ús de les aplicacions en entorns de xicotetes i grans dimensions, així com l'ús d'estímuls visuals i tàctils. El rendiment de les nostres aplicacions es va comparar amb els mètodes tradicionals. També es van avaluar les variables subjectives. En el primer estudi (N=55) es van considerar els estímuls visuals i els entorns de xicotetes dimensions. Els participants es van dividir en dos grups: ARGroup (memorització mitjançant RA) i el NoARGroup (memorització mirant fotografies). El segon estudi (N=46) va tindre en compte els estímuls visuals i els entorns de grans dimensions. Es va avaluar el rendiment dels participants en una tasca verbal de record d'objectes, una tasca de col·locació en mapes i una tasca d'orientació espacial amb llapis i paper. També es va avaluar la importància de les diferents estratègies espacials d'orientació i els nivells d'ansietat. En el tercer estudi (N=53) es va comparar el rendiment amb estímuls visuals i tàctils i es van utilitzar entorns de xicotetes dimensions. Del desenvolupament i dels tres estudis realitzats es van extraure les següents conclusions generals: 1) La RA basada en SLAM és adequada per a desenvolupar tasques d'avaluació de la memòria espacial, podent-se utilitzar en qualsevol entorn i sense necessitat d'afegir elements reals a l'entorn per al seu registre; 2) Les aplicacions desenvolupades en aquesta tesi permeten la personalització de la tasca i l'emmagatzematge de les variables de rendiment; 3) Aquestes aplicacions han permés una avaluació ecològica; 4) Aquestes aplicacions i altres ferramentes similars podrien utilitzar-se per a avaluar i entrenar la memòria espacial com a alternativa als mètodes tradicionals; 5) Els estímuls tàctils són estímuls vàlids que poden beneficiar l'avaluació de la memoria de les associacions tàctils-espacials, però la memòria de les associacions visualsespacials és dominant; 6) Les aplicacions desenvolupades en aquesta tesi i altres ferramentes similars podrien ajudar en el diagnòstic de les alteracions de la memòria espacial. / [EN] This thesis focuses on exploiting the possibilities of Augmented Reality (AR) based on SLAM (Simultaneous Localization and Mapping) for the assessment of spatial memory. The main objective was to develop new indoor localization techniques in the field of AR, taking advantage of technological advances, and to validate them by building frameworks and applications oriented to the assessment of spatial location ability in adults; and studying perceptual augmentation in the visual and tactile channels. In this thesis, to fulfill this main objective, a framework was developed for the development of author applications to use in the study of spatial memory taking advantage of AR based on SLAM. Our framework enables using different AR engines or SDKs. There are different interfaces incorporated in the framework through which the different AR modules can be connected. This enables a modular and independent use of the AR engine for developers. The general functioning of the applications developed in this thesis consists of three phases. In a first phase, the supervisor selects the number of virtual objects to be memorized and the virtual objects themselves, which she/he places at desired locations in the environment. In the second phase, the user walks through the environment and memorizes the locations of the virtual objects in the real environment. In the third phase, the user must place the virtual objects in the locations they were in the previous phase. To our knowledge, this is the first work using SLAM-based AR for the assessment of spatial memory, involving physical movement of the user, and considering visual and tactile stimuli. For the validation, three studies were carried out that focused on studying the feasibility of using the applications in small and large environments, as well as the use of visual and tactile stimuli. The performance of our applications was compared with traditional methods. Subjective variables were also assessed. The first study considered visual stimulus and small environments. This study involved 55 users. Participants were divided into two groups: ARGroup (participants memorized the location of virtual objects in the real world in a memorization phase using AR) and the NoARGroup (participants memorized the location of virtual objects by looking at photographs of the augmented environment using the device). The second study considered visual stimulus and large environments. This study involved 46 young adults. The participants had to go through a two-story building and memorize the position of a total of eight virtual objects. Participants' performance was also evaluated in a verbal object recall task, a pencil and paper spatial orientation task and a map-pointing task. The importance of different spatial strategies for orientation and anxiety levels were also evaluated. The third study compared the performance using visual versus tactile stimuli and used small environments. This study involved 53 subjects. The participants were divided into two groups: Visual, which used visual stimuli, and Tactile, which used tactile stimuli. The following general conclusions were extracted from the development and the three studies carried out: 1) SLAM-based AR is suitable for developing spatial memory assessment tasks, working in any environment and without the need to add real objects to the environment for registration; 2) The applications developed in this thesis allow task customization and storage of performance variables; 3) These applications have allowed an ecological assessment; 4) These applications and similar tools could be used to assess and train spatial memory as an alternative to traditional methods; 5) Tactile stimuli are valid stimuli that can help the assessment of memory of tactile-spatial associations, but memory of visual-spatial associations is dominant; 6) The applications developed in this thesis and similar tools could help in the diagnosis of spatial memory impairments. / Muñoz Montoya, FM. (2023). Augmented Reality through Various Sensory Channels and its Application to Orientation and Spatial Localization Processes [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/195733 / Compendio