Nous nous intéressons à l'interaction dans le contexte d'environnements physiques augmentés, plus précisément avec les objets physiques qui les composent. Bien que l'augmentation de ces objets offre de nouvelles possibilités d'interaction, notamment celle d'interagir à distance, le monde physique possède des caractéristiques propres rendant difficile l'adaptation de techniques d'interaction existantes en environnements virtuels. Il convient alors d'identifier ces caractéristiques afin de concevoir des techniques d'interaction à la fois efficaces et plaisantes dédiées à ces environnements physiques augmentés. Dans nos travaux, nous décomposons cette interaction à distance avec des objets physiques augmentés en deux étapes complémentaires : la sélection et le contrôle. Nous apportons deux contributions à chacun de ces champs de recherche. Ces contributions sont à la fois conceptuelles, avec la création d'espaces de conception, et pratiques, avec la conception, la réalisation logicielle et l'évaluation expérimentale de techniques d'interaction :- Pour l'étape de sélection, nous explorons la désambiguïsation potentielle après un geste de pointage à distance définissant un volume de sélection comme avec une télécommande infrarouge par exemple. En effet, bien que ce type de pointage sollicite moins de précision de la part de l'utilisateur, il peut néanmoins impliquer la sélection de plusieurs objets dans le volume de sélection et donc nécessiter une phase de désambiguïsation. Nous définissons et utilisons un espace de conception afin de concevoir et évaluer expérimentalement deux techniques de désambiguïsation visant à maintenir l'attention visuelle de l'utilisateur sur les objets physiques.- Pour l'étape de contrôle, nous explorons le guidage de gestes 3D lors d'une interaction gestuelle afin de spécifier des commandes à distance. Ce guidage est nécessaire afin d'indiquer à l'utilisateur les commandes disponibles ainsi que les gestes associés. Nous définissons un espace de conception capturant les caractéristiques comportementales d'un large ensemble de guides ainsi qu'un outil en ligne facilitant son utilisation. Nous explorons ensuite plusieurs options de conception afin d'étudier expérimentalement leurs impacts sur la qualité du guidage de gestes 3D. / We explore interaction with augmented physical objects within physical environments. Augmented physical objects allow new ways of interaction, including distant interaction. However, the physical world has specificities making difficult the adaptation of interaction techniques already existing in virtual environments. These specificities need to be identified in order to design efficient and enjoyable interaction techniques dedicated to augmented physical environments. In our work, we split up distant interaction into two complementary stages: the selection and the control of augmented physical objects. For each of these stages, our contribution is two-fold. These contributions are both theoretical, with the establishment of design spaces, and practical, with the design, the implementation and the experimental evaluation of interaction techniques:- For the selection stage, we study the disambiguation potentially needed after a distal pointing gesture using a volume selection such as an infrared remote controller. Indeed, although the volume selection can facilitate the aiming action, several objects can fall into the selected volume. Thus, users should disambiguate this coarse pointing selection. We define and use a design space in order to design and experimentally evaluate two disambiguation techniques that maintain the user's focus on the physical objects.- For the control stage, we study the guidance of 3D hand gestures in order to trigger commands at a distance. Such guidance is essential in order to reveal available commands and the associated gestures. We define a design space capturing specificities of a wide range of guiding systems. We also provide an online tool, easing the use of such a large design space. We then explore the impact of several design options on the quality of 3D gestures guidance.

L'expérience de l'utilisateur (UX) est devenue une préoccupation majeure pour la conception de produits. Aujourd'hui, il existe différents outils pour l'évaluation de l'expérience de l'utilisateur sur l'apparence des produits finaux. Très peu d'outils et de méthodes permettant d'anticiper l'expérience de l'utilisateur au cours de la conception amont existent. Cette thèse explore le large éventail de dimensions en conception qui constituent potentiellement l'expérience de l'utilisateur. Les propriétés dynamiques des produits apparaissent comme un facteur important. Dans les expérimentations, un logiciel basé sur des mots et des liens d'inspiration, ainsi que la technique ‘body storming' sont testés comme un moyen de génération de l'expérience utilisateur. Les concepts et les gestes d'interaction produits sont ensuite évalués par une combinaison de questionnaires et de mesures comportementales et physiologiques. Les résultats des expérimentations montrent premièrement qu'une large gamme de dimensions de conception doit être considérée dès la conception amont, deuxièmement qu'il est possible d'appliquer les évaluations UX sur les premiers concepts et troisièmement que les évaluations UX peuvent également être effectuées sur les propriétés dynamiques comme les gestes d'interaction. Cette thèse apporte aussi un nouveau modèle sur l'expérience de l'utilisateur et une liste de dimensions en conception pour la recherche en design et pour les designers. / The User Experience (UX) has become a major concern for the design of consumer products. Today exist various tools for the evaluation of static properties of final products on their User Experience value. However, very few tools and methods are available that allow anticipating the future User Experience during the first stages of product conception. This thesis explores the wide range of design dimensions that potentially form the experience of the user. Dynamic product properties emerge as an important factor for User Experience. In the studies a software based on inspiration words and links, as well as the technique body storming are tested as a new means of User Experience generation. The produced early concepts and interaction gestures are then evaluated through a combination of questionnaires, behavioural and physiological measurements. The study results show firstly that a wide range of design dimension needs to be regarded to design for User Experience, secondly that it is possible to apply UX evaluations on early concepts and thirdly that UX evaluations can also be done on dynamic properties like interaction gestures. This thesis furthermore contributes design research and practice with a new model on the mechanism of User Experience and a list of design dimensions for early product conception.

Syftet med denna rapport är att undersöka bilförares uppfattning om touchless som interaktion och med det bidra med kunskap om utforskandet av interaktionstyper använda i fordon. Touchless är ett samlingsnamn som syftar till att människa-datorinteraktion sker utan fysiska beröringar. Två interaktionstyper inom touchless är röstinteraktion och gestinteraktion. Röstinteraktion syftar till att använda röstkommandon och dialoger för att interagera med ett system. Gestinteraktion syftar till att använda sig av kroppsrörelser i form av gester för att interagera med ett system.I studien har det genomförts enkäter samt intervjuer. Tidigare forskning har även undersökts kring hur bilförare uppfattar touchless som interaktion. I analysen har ett affinitetsdiagram och ett chi-två test genomförts. Intervju-och enkätdata har kategoriserats till positiva och negativa uppfattningar om interaktionstypernaResultatet från enkäten visar att personers generella uppfattning om gestinteraktion är negativ och att röstinteraktion är positiv, men att interaktionstyperna kan vara bra på olika saker. Resultatet från intervjun bekräftar enkätens resultat, det visar även att en kombination av röst-respektive gestinteraktion möjligtvis kan vara optimalt för interaktion med fordon. / The purpose of this study is to examine driver’s perception regarding touchless as an interaction and therefore contribute with knowledge regarding the research of how interactions are being used in vehicles. Touchless is an interaction term that aims towards human-computer interactions that does not require physical touch. Two subcategories to touchless is voice interaction and gesture interaction. Voice interaction aims towards the use of voice commands as well as voice dialogs to interact with a system. Gesture interaction aims towards the use of body movements in the shape of gestures to interact with a system.Surveys and interviews have been used in this study. Earlier research about driver’s perception regarding touchless as an interaction has also been considered. The analysis phase includes an affinity Diagram and a chi-square test. Interview and survey data have been categorised into positive as well as negative perceptions regarding the interaction types.The result from the survey shows that the general perception of the respondents regarding gesture interaction is negative and the perception of voice interaction is positive, however the different interaction types are shown to be more optimal at different systems. The results from the interviews confirms the result from the survey, it also shows that a combination of both voice and gesture interaction can be ideal for interaction with vehicles.

Visions of Couture is a project that explores the relationship between high fashion and technology. The aim of this work was to incorporate interactivity in a context, namely fashion, that has always been a pioneer in research and innovation but where interactive artefacts have so far had quite a marginal role. After collecting insights through literature review and interviews, the project focused on creating a system for fashion showrooms that would permit users and clients to interact with holographic projections of the models through gestures. This system allows for a slower and more attentive interaction, in contrast with the frenzy of the fashion show, letting the users linger on the looks they are interested in and possibly overcoming the space and time limitations that fashion showrooms usually have. The result of this project is a system composed of a holographic projection mesh and a wearable bracelet to recognise gestures. The bracelet contains an Arduino Nano 33 BLE that has been trained through Machine Learning to recognise the selected gestures and communicates with Processing to play the right videos. The project suggests a way to use holography as a mean for a shared and embodied mixed reality experience and a path for designing comfortable gesture interactions that are intuitive and coherent with the context. Crucial to this project were the concepts of embodiment, corporality, shared mixed reality and intuitive gestures.

En esta tesis, el objetivo principal fue diseñar y desarrollar una nueva tarea que combinara interfaces de usuario naturales (NUI) y dispositivos inteligentes para evaluar la memoria espacial utilizando estímulos auditivos, y su validación tanto en niños como en adultos. La nueva tarea evalúa la capacidad de los participantes para detectar y localizar estímulos auditivos que se emiten en diferentes posiciones del área de trabajo. La tarea reconoce los movimientos de los brazos del usuario, utilizando para ello Kinect. Los dispositivos inteligentes (conejos Karotz) se utilizan para emitir estímulos auditivos y también como señales visuales. Por lo tanto, la tarea combina estímulos auditivos con claves visuales reales para la evaluación de la memoria espacial. La tarea incluye un total de 45 estímulos acústicos, repartidos en 5 niveles y cada nivel consta de 3 ensayos. Nuestra tarea es el primer trabajo que combina NUI y dispositivos inteligentes para la evaluación de la memoria espacial. Del mismo modo, nuestra tarea es el primer trabajo que utiliza estímulos auditivos para evaluar la memoria espacial. Para la validación, se llevaron a cabo 3 estudios. El rendimiento de nuestra tarea se comparó con métodos tradicionales. El primer estudio involucró niños con y sin síntomas de falta de atención. Un total de 34 niños participaron (17 niños con falta de atención). Los resultados demostraron que los niños con falta de atención mostraron un rendimiento estadísticamente peor en la tarea. Estos niños con falta de atención también mostraron un rendimiento estadísticamente peor con el método tradicional para evaluar el aprendizaje de sonidos verbales. No se encontraron diferencias estadísticamente significativas en el tiempo dedicado por cada grupo para completar la tarea. Los resultados sugieren que la tarea es una buena herramienta para distinguir las dificultades de memoria espacial en niños con falta de atención. El segundo estudio comparó el rendimiento en la tarea entre niños mayores y adultos (32 niños y 38 adultos sanos). Los resultados de rendimiento con la tarea fueron significativamente más bajos para los niños mayores. Se encontraron correlaciones entre nuestra tarea y los métodos tradicionales, lo que indica que nuestra tarea ha demostrado ser una herramienta válida para evaluar la memoria espacial mediante el uso de estímulos auditivos tanto para niños mayores como para adultos. A partir del análisis, podemos concluir que la satisfacción con la tarea de los niños mayores fue significativamente mayor que la de los adultos. El tercer estudio incluyó un total de 148 participantes (niños más pequeños, niños mayores y adultos). Los resultados están en línea con el segundo estudio. El rendimiento de la tarea se relacionó significativamente, de forma incremental y directa con el grupo de edad (niños más pequeños <niños mayores <adultos). Los resultados fueron mejores para adultos y niños mayores; resultado que es consistente con la idea de que los adultos pueden almacenar más elementos en la memoria a corto plazo que los niños. Las siguientes conclusiones generales se han extraído del desarrollo y los tres estudios: * Las interfaces de usuario naturales y los dispositivos inteligentes son apropiados para desarrollar tareas para la evaluación de la memoria espacial. * Como juego de ordenador, nuestra tarea facilita el control de la presentación de estímulos y el almacenamiento de las respuestas. * Nuestra tarea y tareas similares podrían usarse para la evaluación y el entrenamiento de la memoria espacial en niños y adultos. * La tarea podría ser una herramienta alternativa para evaluar la memoria espacial en niños con síntomas de falta de atención. * La tarea promueve interés y permite la evaluación de una manera ecológica. * La tarea podría ayudar a identificar alteraciones en la memoria espacial tanto en niños como en adultos. / In this thesis, the main objective was to design and develop a new task that combine Natural User Interfaces (NUI) and smart devices for assessing spatial memory using auditory stimuli, and its validation in both children and adults. The new task tests the ability of participants to detect and localize auditory stimuli that are emitted in different positions of the task area. The task recognizes the movements of the arms of the user using Kinect. Smart devices (Karotz rabbits) are used for emitting auditory stimuli and also as visual cues. Therefore, the task combines auditory stimuli with real visual cues for the assessment of spatial memory. The task includes a total of 45 acoustic stimuli, which should be randomly emitted in different locations. The task is composed of five different levels. Each level consists of 3 trials. The difference between levels lies in the number of sounds to be used in each trial. To our knowledge, our task is the first work that combines NUI and smart devices for the assessment of spatial memory. Similarly, our task is the first work that uses auditory stimuli to assess the spatial memory. For the validation, three studies were carried out to determine the efficacy and utility of our task with regard to the performance outcomes, usability, fun, perception and overall satisfaction. The performance of our task was compared with traditional methods. The first study involved children with and without symptoms of inattention. A total of 34 children participated (17 children with inattention). The results showed that the children with inattention showed statistically worse performance in the task. These children with inattention also showed statistically worse performance in the traditional method for testing the learning of verbal sounds. There were no statistically significant differences in the time spent by each group to complete the task. The results suggest that the task is a good tool for distinguishing spatial memory difficulties in children with inattention. The second study compared the performance in the task between older children and adults. A total of 70 participants were involved in this study. There were 32 healthy children from 9 to 10 years old, and 38 healthy adults from 18 to 28 years old. The performance outcomes with the task were significantly lower for the older children. Correlations were found between our task and traditional methods, indicating that our task has proven to be a valid tool for assessing spatial memory by using auditory stimuli for both older children and adults. From the analysis, we can conclude that the older children were significantly more satisfied with the task than the adults. In the third study, a total of 148 participants were involved. They were distributed in three groups (younger children, older children and adults). A total of 100 children and 48 adults participated in this study. The results are in line with the second study. The task performance was significantly incrementally and directly related to the age group (younger children <older children <adults). The results were better for adults and older children; this is consistent with the idea that adults can store more elements in short-term memory than children. The following general conclusions were extracted from the development and the studies: * Natural user interfaces and smart devices are appropriated for developing tasks for the assessment of spatial memory. * As a computer-based game, our task facilitates the control of the presentation of stimuli and the recording of responses. * Our task and similar tasks could be used for assessment and training of spatial memory in children and adults. * The task could be an alternative tool to assess spatial memory in children with symptoms of inattention. * The task promotes engagement and allows the assessment in an ecological way. * The task could help in the identification of alterations in spatial memory in both children and adults. / En aquesta tesi, l'objectiu principal va ser dissenyar i desenvolupar una nova tasca que combinés NUI i dispositius intel·ligents per a avaluar la memòria espacial utilitzant estímuls auditius, i la seua validació tant en xiquets, com en adults. La nova tasca avalua la capacitat dels participants per a detectar i localitzar estímuls auditius que s'emeten en diferents posicions de l'àrea de treball. La tasca reconeix els moviments dels braços de l'usuari, utilitzant per a açò Kinect. Els dispositius intel·ligents (conills Karotz) s'utilitzen per a emetre estímuls auditius i, també, com a senyals visuals. Per tant, la tasca combina estímuls auditius amb claus visuals reals per a l'avaluació de la memòria espacial. La tasca inclou un total de 45 estímuls acústics, repartits en 5 nivells diferents i cada nivell consta de 3 assajos. La nostra tasca és el primer treball que combina NUI i dispositius intel·ligents per a l'avaluació de la memòria espacial. De la mateixa manera, la nostra tasca és el primer treball que utilitza estímuls auditius per a avaluar la memòria espacial. Per a la validació, es van dur a terme tres estudis. El rendiment de la nostra tasca es va comparar amb mètodes tradicionals. El primer estudi va involucrar 34 xiquets (17 xiquets amb inatenció). Els resultats van demostrar que els xiquets amb inatenció van mostrar un rendiment estadísticament pitjor en la tasca. Aquests xiquets amb inatenció també van mostrar un rendiment estadísticament pitjor amb el mètode tradicional per a avaluar l'aprenentatge de sons verbals. No es van trobar diferències estadísticament significatives en el temps dedicat per cada grup per a completar la tasca. Els resultats suggereixen que la tasca és una bona ferramenta per a distingir les dificultats de memòria espacial en xiquets amb dificultats d'atenció. El segon estudi va comparar el rendiment en la tasca entre xiquets majors i adults. Un total de 70 participants van estar involucrats en aquest estudi. Van participar 32 xiquets i 38 adults sans. Els resultats de rendiment amb la tasca van ser significativament més baixos per als xiquets majors. Es van trobar correlacions entre la nostra tasca i els mètodes tradicionals, la qual cosa indica que la nostra tasca ha demostrat ser una ferramenta vàlida per a avaluar la memòria espacial mitjançant l'ús d'estímuls auditius tant per a xiquets majors, com per a adults. A partir de l'anàlisi, podem concloure que la satisfacció amb la tasca dels xiquets majors va ser significativament major que la dels adults. El tercer estudi va incloure un total de 148 participants (100 xiquets i 48 adults). Es van distribuir en tres grups (xiquets més xicotets, xiquets majors i adults). Els resultats estan en línia amb el segon estudi. El rendiment de la tasca es va relacionar significativament, de forma incremental i directa amb el grup d'edat (xiquets més xicotets <xiquets majors <adults). Els resultats van ser millors per a adults i xiquets majors; resultat que és consistent amb la idea que els adults poden emmagatzemar més elements en la memòria a curt termini que els xiquets. Las següents conclusions generals s'han extret del desenvolupament i els tres estudis: * Les NUI i els dispositius intel·ligents són apropiats per a desenvolupar tasques per a l'avaluació de la memòria espacial. * Com a joc d'ordinador, la nostra tasca facilita el control de la presentació d'estímuls i l'emmagatzematge de les respostes. * La nostra tasca, i tasques similars, podrien usar-se per a l'avaluació i l'entrenament de la memòria espacial en xiquets i adults. * La tasca podria ser una ferramenta alternativa per a avaluar la memòria espacial en xiquets amb problemes de inatenció. * La tasca promou interès i permet l'avaluació d'una manera ecològica. * La tasca podria ajudar a identificar alteracions en la memòria espacial tant en xiquets, com en adults. / Loachamín Valencia, MR. (2018). Natural user interfaces and smart devices for the assessment of spatial memory using auditory stimuli [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/107955 / TESIS