This thesis addresses the subject of converging real and virtual environments to a combined entity that can facilitate physiologically complying interfaces for the purpose of training. Based on the mobility and physiological demands of dismounted soldiers, the base assumption is that greater immersion means better learning and potentially higher training transfer. As the user can interface with the system in a natural way, more focus and energy can be used for training rather than for control itself. Identified requirements on a simulator relating to physical and psychological user aspects are support for unobtrusive and wireless use, high field of view, high performance tracking, use of authentic tools, ability to see other trainees, unrestricted movement and physical feedback. Using only commercially available systems would be prohibitively expensive whilst not providing a solution that would be fully optimized for the target group for this simulator. For this reason, most of the systems that compose the simulator are custom made to facilitate physiological human aspects as well as to bring down costs. With the use of chroma keying, a cylindrical simulator room and parallax corrected high field of view video see-though head mounted displays, the real and virtual reality are mixed. This facilitates use of real tool as well as layering and manipulation of real and virtual objects. Furthermore, a novel omnidirectional floor and thereto interface scheme is developed to allow limitless physical walking to be used for virtual translation. A physically confined real space is thereby transformed into an infinite converged environment. The omnidirectional floor regulation algorithm can also provide physical feedback through adjustment of the velocity in order to synchronize virtual obstacles with the surrounding simulator walls. As an alternative simulator target use, an omnidirectional robotic platform has been developed that can match the user movements. This can be utilized to increase situation awareness in telepresence applications.

Nos últimos anos o interesse por plataformas de compartilhamento de conteúdo multimídia na Web, como vídeos, tem crescido consideravelmente e atraindo usuários com diferentes perfis, incluindo pessoas com deficiência visual. Para tais usuários, diretrizes de acessibilidade e usabilidade devem ser aplicadas para que o acesso a estes conteúdos multimídias seja garantido. Apesar de iniciativas como a WCAG 2.0 (Web Content Acessibility Guidelines) definirem diretrizes sobre a acessibilidade para reprodutores de vídeos na Web, usuários com deficiência visual ainda encontram barreiras e dificuldades para acessar este tipo de conteúdo. Em muitos casos reprodutores de vídeo na Web não oferecem total suporte a acessibilidade, dificultando assim o acesso ao conteúdo por tal público, seja por meio de mouse ou de navegação por teclado via leitores de tela. Nesse sentindo, este trabalho teve como objetivo investigar se interações por meios de gestos fornecem melhoria nos níveis de acessibilidade durante o acesso a vídeos na Web realizado por usuários com deficiência visual, a fim de que as barreiras de interação fossem reduzidas ou eliminadas. Inicialmente estudou-se os diferentes tipos de sensores gestuais, bem como se estes sensores poderiam ser utilizados para atingir o objetivo proposto. A partir desses estudos, foi desenvolvido um framework para captura, representação e interpretação de gestos. Em seguida, foi desenvolvido uma aplicação Web, utilizando o framework desenvolvido para viabilizar possíveis testes com usuários. Finalmente, um estudo de caso com 38 usuários com deficiência visual foi conduzido, a fim de levantar indícios que ajudem a entender se a utilização de gestos como modo de interação entre pessoas com deficiência visual e reprodutores de vídeo oferece melhoria de acessibilidade. / Recently the interest in multimedia Web content sharing platforms, such as videos, has increased considerably attracting users with different profiles, including people with visual impairment. For such users, accessibility and usability guidelines should be applied for access guaranteed of these multimedia content. Although initiatives such as WCAG 2.0 (Web Content Acessibility Guidelines) set guidelines for video players, users with visual impairment still find barriers and difficulties to access this type of content. In many cases Web video players do not provide full accessibility support, making it difficult to access content by such a public, either through mouse or keyboard navigation by screen readers. This paper aims at investigating if gesture interactions provide improve improvement in accessibility levels during access to Web videos by visually impaired users, in order to reduce or eliminate the interactions barriers. We initially analyzed the different types of gesture sensors, as well as if these sensors could be used to achieve the proposed objective. Based on this analysis, we developed a framework for capture, representation and interpretation of gestures. Then, we developed a Web application, using the framework guidelines developed to enable users tests. Finally, we then run a study case with 38 users with visual impairment, in order to get evidence to help understand if the use of gestures as a mode of interaction between people with visual impairments and video players offers improved accessibility.

Nos últimos anos o interesse por plataformas de compartilhamento de conteúdo multimídia na Web, como vídeos, tem crescido consideravelmente e atraindo usuários com diferentes perfis, incluindo pessoas com deficiência visual. Para tais usuários, diretrizes de acessibilidade e usabilidade devem ser aplicadas para que o acesso a estes conteúdos multimídias seja garantido. Apesar de iniciativas como a WCAG 2.0 (Web Content Acessibility Guidelines) definirem diretrizes sobre a acessibilidade para reprodutores de vídeos na Web, usuários com deficiência visual ainda encontram barreiras e dificuldades para acessar este tipo de conteúdo. Em muitos casos reprodutores de vídeo na Web não oferecem total suporte a acessibilidade, dificultando assim o acesso ao conteúdo por tal público, seja por meio de mouse ou de navegação por teclado via leitores de tela. Nesse sentindo, este trabalho teve como objetivo investigar se interações por meios de gestos fornecem melhoria nos níveis de acessibilidade durante o acesso a vídeos na Web realizado por usuários com deficiência visual, a fim de que as barreiras de interação fossem reduzidas ou eliminadas. Inicialmente estudou-se os diferentes tipos de sensores gestuais, bem como se estes sensores poderiam ser utilizados para atingir o objetivo proposto. A partir desses estudos, foi desenvolvido um framework para captura, representação e interpretação de gestos. Em seguida, foi desenvolvido uma aplicação Web, utilizando o framework desenvolvido para viabilizar possíveis testes com usuários. Finalmente, um estudo de caso com 38 usuários com deficiência visual foi conduzido, a fim de levantar indícios que ajudem a entender se a utilização de gestos como modo de interação entre pessoas com deficiência visual e reprodutores de vídeo oferece melhoria de acessibilidade. / Recently the interest in multimedia Web content sharing platforms, such as videos, has increased considerably attracting users with different profiles, including people with visual impairment. For such users, accessibility and usability guidelines should be applied for access guaranteed of these multimedia content. Although initiatives such as WCAG 2.0 (Web Content Acessibility Guidelines) set guidelines for video players, users with visual impairment still find barriers and difficulties to access this type of content. In many cases Web video players do not provide full accessibility support, making it difficult to access content by such a public, either through mouse or keyboard navigation by screen readers. This paper aims at investigating if gesture interactions provide improve improvement in accessibility levels during access to Web videos by visually impaired users, in order to reduce or eliminate the interactions barriers. We initially analyzed the different types of gesture sensors, as well as if these sensors could be used to achieve the proposed objective. Based on this analysis, we developed a framework for capture, representation and interpretation of gestures. Then, we developed a Web application, using the framework guidelines developed to enable users tests. Finally, we then run a study case with 38 users with visual impairment, in order to get evidence to help understand if the use of gestures as a mode of interaction between people with visual impairments and video players offers improved accessibility.

Submitted by Clebson Anjos (clebson.leandro54@gmail.com) on 2016-02-16T22:01:14Z No. of bitstreams: 1 arquivototal.pdf: 4433829 bytes, checksum: 4713f292d2686f95f4ec248322aee517 (MD5) / Made available in DSpace on 2016-02-16T22:01:14Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 4433829 bytes, checksum: 4713f292d2686f95f4ec248322aee517 (MD5) Previous issue date: 2015-05-26 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / The use of our body language to communicate with computer systems is an increas-ingly possible and applicable feature in the real world. This fact is potentiated by the evolution of gesture recognition based commercial solutions. A gesture interface complements or replaces navigation in a conventional interface, it is up to each developer to choose the most appropriate option for their application. Therefore when opting for gesture usage, the gestures will be re-sponsible to activate the systems functions. This work presents a gesture development process that can be used to be used to aid the construction of gesture interfaces. The proposed process should help interface designers to incorporate gesture based natural interaction into their appli-cations in a more systematic way. In order to illustrate the Process, gestures for the actions "Select", "Rotate", "Translate", "Scale" and "Stop" were developed. / A utilização da nossa linguagem corporal para nos comunicarmos com sistemas computacionais é uma característica cada vez mais possível e aplicável no mundo real. Esse fato é potencializado pela evolução das soluções comerciais baseadas em reconhecimentos de gestos. Uma interface de gestos complementa ou substitui a forma de navegação de uma interface convencional, neste cenário cabe ao desenvolvedor escolher a opção mais adequada para a sua aplicação. Assim, quando se opta pelo uso de gestos, esses serão responsáveis por acionar as funções oferecidas pelos sistemas. O presente trabalho apresenta um processo de desenvolvimento de gestos que tem potencial para ser aplicado em qualquer interface em desenvolvimento que deseje agregar interação gestual. O processo proposto deve auxiliar designers de interfaces a integrarem interação natural por gestos em suas aplicações de forma mais sistemática. Como caso de uso foram gerados gestos para as funções: “Selecionar”, “Rotacionar”, “Transladar”, “Escalonar” e “Parar”.

In this thesis I present explorative work that shows how sounds beyond speak can be used on the input side in the design of interactive experiences and natural interfaces. By engagingin explorative approaches with a material view on sound and interactive machine learning, I’ve shown how these two counterparts may be combined with a goal to envision new possibilities and perspectives on sonic natural interfaces beyond speech. This exploration has been guided with a theoretical background ofdesign materials, machine learning, sonic interaction design and with a research through design driven process, I’ve used iterative prototyping and workshops with participants to conduct knowledge and guide the explorative process. My design work has resultedin new prototyping tools for designers to work with sound and interactive machine learning as well as a prototypes concept for kids that aims to manifest the material ndings around sound and interactive machine learning that I’ve done in this project.By evaluating my design work in contextual settings with participants, I’ve conducted both analytical and productive investigations than can construct new perspectives on how sound based interfaces beyond speech can be designed to support new interactive experiences with artefacts. Here my focus has been to engage with sound as a design material from both contextual and individual perspectives, and how this can be explored by end-users empowered by interactive machine learning to foster new forms of creative engagement with our physical world.

Tato práce se zabývá problematikou odpovídání na otázky nad strukturovanými daty. Ve většině případů jsou strukturovaná data reprezentována pomocí propojených grafů, avšak ukrytí koncové struktury dát je podstatné pro využití podobných systémů jako součástí rozhraní s přirozeným jazykem. Odpovídající systém byl navržen a vyvíjen v rámci této práce. V porovnání s tradičními odpovídajícími systémy, které jsou založené na lingvistické analýze nebo statistických metodách, náš systém zkoumá poskytnutý graf a ve výsledků generuje sémantické vazby na základě vstupních párů otázka-odpověd'. Vyvíjený systém je nezávislý na struktuře dát, ale pro účely vyhodnocení jsme využili soubor dát z Wikidata a DBpedia. Kvalita výsledného systému a zkoumaného přístupu byla vyhodnocena s využitím připraveného datasetu a standartních metrik.