Thesis (Ph. D.)--Auburn University. / Abstract. Includes bibliographical references (p. 86-89).

[EN] Human-Computer Interaction is a multidisciplinary research field that combines, amongst others, Computer Science and Psychology. It studies human-computer interfaces from the point of view of both, technology and the user experience. Researchers in this area have now a great opportunity, mostly because the technology required to develop 3D user interfaces for computer applications (e.g. visualization, tracking or portable devices) is now more affordable than a few years ago. Augmented Reality and Omni-Directional Video are two promising examples of this type of interfaces where the user is able to interact with the application in the three-dimensional space beyond the 2D screen. The work described in this thesis is focused on the evaluation of interaction aspects in both types of applications. The main goal is contributing to increase the knowledge about this new type of interfaces to improve their design. We evaluate how computer interfaces can convey information to the user in Augmented Reality applications exploiting human multisensory capabilities. Furthermore, we evaluate how the user can give commands to the system using more than one type of input modality, studying Omnidirectional Video gesture-based interaction. We describe the experiments we performed, outline the results for each particular scenario and discuss the general implications of our findings. / [ES] El campo de la Interacción Persona-Computadora es un área multidisciplinaria que combina, entre otras a las Ciencias de la Computación y Psicología. Estudia la interacción entre los sistemas computacionales y las personas considerando tanto el desarrollo tecnológico, como la experiencia del usuario. Los dispositivos necesarios para crear interfaces de usuario 3D son ahora más asequibles que nunca (v.gr. dispositivos de visualización, de seguimiento o móviles) abriendo así un área de oportunidad para los investigadores de esta disciplina. La Realidad Aumentada y el Video Omnidireccional son dos ejemplos de este tipo de interfaces en donde el usuario es capaz de interactuar en el espacio tridimensional más allá de la pantalla de la computadora. El trabajo presentado en esta tesis se centra en la evaluación de la interacción del usuario con estos dos tipos de aplicaciones. El objetivo principal es contribuir a incrementar la base de conocimiento sobre este tipo de interfaces y así, mejorar su diseño. En este trabajo investigamos de qué manera se pueden emplear de forma eficiente las interfaces multimodales para proporcionar información relevante en aplicaciones de Realidad Aumentada. Además, evaluamos de qué forma el usuario puede usar interfaces 3D usando más de un tipo de interacción; para ello evaluamos la interacción basada en gestos para Video Omnidireccional. A lo largo de este documento se describen los experimentos realizados y los resultados obtenidos para cada caso en particular. Se presenta además una discusión general de los resultados. / [CA] El camp de la Interacció Persona-Ordinador és una àrea d'investigació multidisciplinar que combina, entre d'altres, les Ciències de la Informàtica i de la Psicologia. Estudia la interacció entre els sistemes computacionals i les persones considerant tant el desenvolupament tecnològic, com l'experiència de l'usuari. Els dispositius necessaris per a crear interfícies d'usuari 3D són ara més assequibles que mai (v.gr. dispositius de visualització, de seguiment o mòbils) obrint així una àrea d'oportunitat per als investigadors d'aquesta disciplina. La Realitat Augmentada i el Vídeo Omnidireccional són dos exemples d'aquest tipus d'interfícies on l'usuari és capaç d'interactuar en l'espai tridimensional més enllà de la pantalla de l'ordinador. El treball presentat en aquesta tesi se centra en l'avaluació de la interacció de l'usuari amb aquests dos tipus d'aplicacions. L'objectiu principal és contribuir a augmentar el coneixement sobre aquest nou tipus d'interfícies i així, millorar el seu disseny. En aquest treball investiguem de quina manera es poden utilitzar de forma eficient les interfícies multimodals per a proporcionar informació rellevant en aplicacions de Realitat Augmentada. A més, avaluem com l'usuari pot utilitzar interfícies 3D utilitzant més d'un tipus d'interacció; per aquesta raó, avaluem la interacció basada en gest per a Vídeo Omnidireccional. Al llarg d'aquest document es descriuen els experiments realitzats i els resultats obtinguts per a cada cas particular. A més a més, es presenta una discussió general dels resultats. / Rovelo Ruiz, GA. (2015). Multimodal 3D User Interfaces for Augmented Reality and Omni-Directional Video [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/53916

Il presente lavoro di ricerca ha l'obiettivo di analizzare i primi minuti del colloquio clinico tra ginecologo e paziente, allo scopo di individuare gli elementi verbali e non verbali che caratterizzano questo scenario comunicativo. I colloqui sono stati videoregistrati e il comportamento è stato codificato mediante un software specifico, Theme, che ha permesso di rilevare sequenze comportamentali ripetute nel corso dell'interazione, denominate T-pattern. Il campione è costituito da 32 colloqui ginecologo-paziente, suddivisi in funzione delle variabili di ricerca. La prima variabile è la patologia della paziente (endometriosi o patologia oncologica), la seconda variabile è il numero di medici presenti al colloquio (un medico o più medici), la terza variabile è il ruolo rivestito nel corso del colloquio (medico o paziente). I risultati ottenuti hanno mostrato un effetto significativo della patologia e del ruolo sulla manifestazione di una serie di comportamenti verbali e non verbali. L'analisi dei T-pattern ha evidenziato che i gruppi di colloqui si differenziano in base all'organizzazione temporale e ritmica dell'interazione. / This research's aim is the analysis of the initial minutes of the clinical consultation in gynaecology, in order to identify the verbal and nonverbal aspects that characterize this communicative context. The interactions were video recorded and the behaviour coded using specific software, Theme that made possible the detection of repeated interactive behavioural patterns, called T-patterns. A total of 32 interactions between gynaecologists and patients were considered in this work. The interactions were grouped according to the research variables. The first variable is patient's disease (endometriosis or gynaecological cancer), the second one is the number of physicians taking part in the interaction (one physician or more physicians), the third one is the role during the consultation (physician or patient). The results showed that patient's disease and role have a significant effect on some verbal and nonverbal behaviour. T-pattern analysis illustrated that the consultations differ because of the temporal and rhythmic interactive organization.

Mluvčí typologicky odlišných jazyků volí různé strategie při popisu stejné události v závislosti na dostupných jazykově-specifických gramatických prostředcích. Tyto strategie se projevují např. různými způsoby konceptualizace událostních rámců bě- hem jazykového vyjádření, ale v nejazykové kognici. Jedním z jevů, které byly v této souvislosti zaznemány, jsou jazykově specifické způsoby gestikulace doprovázející mluvené popisy událostí, které reflektují (či manifestují) tělesně ukotvená konceptuál- ní schémata, na nichž naše vnímání událostí stojí. Tématem této práce je multimodální konstruování (construal) událostí v češtině a v angličtině. Konkrétně se práce zaměřuje na spojitosti mezi formálními rysy gest (způsob pohybu a jeho zakončení) a sémantické rysy, které konstituují tzv. aspektuální kontury událostí (konstruování časového a kvalitativního průběhu události). První část prezentovaného výzkumu tvoří analýza materiálu z českého a anglického multimodální korpusu. Oba použité korpusy obsahují nahrávky spontánních pro- jevů v interakcích zachycených během pracovních jednání v akademickém prostředí. Kvantitativní analýzy (metoda tzv. klasifikačních stromů a náhodných lesů) ukázala, že a) v angličtině je významným prediktorem výskytu gest s rysem ukončenosti aktion- sartová kategorie achievement...