Submitted by RAFAEL GUIMARÃES PEDROSO null (rafael@tvu.unesp.br) on 2016-04-05T20:10:33Z No. of bitstreams: 1 Dissertação - Interação com objetos digitais 3D.pdf: 3377799 bytes, checksum: 711e5e4a1ddfb59c95c882bd1c4d136f (MD5) / Approved for entry into archive by Felipe Augusto Arakaki (arakaki@reitoria.unesp.br) on 2016-04-07T16:16:41Z (GMT) No. of bitstreams: 1 pedroso_rg_me_bauru.pdf: 3377799 bytes, checksum: 711e5e4a1ddfb59c95c882bd1c4d136f (MD5) / Made available in DSpace on 2016-04-07T16:16:41Z (GMT). No. of bitstreams: 1 pedroso_rg_me_bauru.pdf: 3377799 bytes, checksum: 711e5e4a1ddfb59c95c882bd1c4d136f (MD5) Previous issue date: 2016-02-05 / O estúdio virtual é um sistema para a criação de cenas com objetos virtuais integrados digitalmente – e em tempo real – a imagens capturadas em estúdio. Seu emprego flexibiliza a produção audiovisual, permitindo a utilização de objetos e efeitos difíceis de serem recriados fisicamente. Diferente da forma clássica de produção, em que os efeitos são inseridos somente na pós-produção, o estúdio virtual insere o conteúdo digital na fase on set, facilitando direção e fotografia. Considerando este contexto, o objeto deste trabalho é a interação de atores com objetos virtuais utilizando técnicas de Realidade Aumentada em estúdios virtuais. O objetivo principal deste trabalho consiste na verificação da interação de atores com elementos virtuais 3D sob dois aspectos: o primeiro trata da aplicação de técnicas baseadas em interfaces tangíveis associadas ao uso de marcadores fiduciais; e o segundo foca-se na utilização da interação via gestos por meio de dispositivo de detecção de profundidade (Kinect). Para a comprovação do segundo aspecto procedeu-se na implementação, na forma de um protótipo, de um Módulo de Interação para o ambiente do ARSTUDIO, um ambiente de estúdio virtual que está em desenvolvimento na Unesp/Bauru, o qual permite a geração de cenas com Realidade Aumentada e associação de objetos virtuais por meio de marcadores fiduciais. / The virtual studio is a system for creating scenes with digitally integrated virtual objects - in real time - to images captured in the studio. Its use eases the audiovisual production, allowing the use of difficult physically rebuilt objects and effects. Unlike the classic production process, in which inserted effects just in post-production, the virtual studio inserts the digital content in the on set phase, facilitating direction and photography. Considering this context, the object of this research is the interaction of actors with virtual objects using Augmented Reality techniques in virtual studios. The main goal is to verify interaction between actors and 3D elements under two aspects: the first is about the application of based tangible interfaces and markers techniques; and the second is about gesture interaction by depth camera device (Kinect). To prove the second aspect it was made the implementation, in prototype, of a Interaction Module for the ARSTUDIO, a virtual studio environment under development in Unesp/Bauru, that allows generating of Augmented Reality scenes and association of virtual objects with markers.

A Organização Mundial de Saúde estima que existam hoje 285 milhões de pessoas com deficiência visual grave em todo o mundo. Com o advento da tecnologia, ambientes virtuais em 3D estão sendo cada vez mais utilizados para diversas aplicações. Muitas destas aplicações, no entanto, não são acessíveis para usuários com deficiência visual, criando uma divisão digital. O objetivo deste trabalho é desenvolver uma nova técnica de interação 3D de baixo custo que permita a identificação de objetos virtuais com autonomia usando apenas propriocepção e retorno de áudio. Foi desenvolvido um protótipo implementando esta técnica e foram realizados primeiramente testes funcionais com usuários com visão para avaliar se o protótipo implementou de fato a técnica proposta. Em seguida foi realizado um pré-teste com um deficiente visual, seguido de aprimoramento do protótipo e um experimento com oito usuários com deficiência em que deveriam diferenciar objetos virtuais usando somente a técnica proposta. Os resultados se mostraram bastante positivos, com cerca de 84\\% de acerto sem nenhum treino anterior. Este resultado sugere que a técnica desenvolvida pode trazer diversos benefícios para a sociedade e para a computação, como uma maior inclusão de pessoas com deficiência visual em tarefas que exijam interação com o objetos virtuais em três dimensões em diferentes áreas de aplicação, inclusive para educação, com boa usabilidade, acessibilidade e dispositivos disponíveis por custos relativamente baixos / The World Health Organization estimates that there are currently 285 million people with severe visual impairment worldwide. With the advent of technology, 3D virtual environments are being increasingly used for several applications. Many of these applications, however, are not accessible to visually impaired users, creating a digital divide. Our goal is to develop a novel and low cost 3D interaction technique to allow the identification of virtual objects with autonomy using only proprioception and hearing. We developed a prototype implementing this technique, which was first tested with sighted users simply to verify whether it correctly implemented the proposed technique. Then we conducted a preliminary experiment with a blind user followed by some prototype improvement and an experiment with eight users with visual impairment in which they were asked to classify tridimensional virtual objects using only the proposed technique. The results were quite positive, with approximately 84\\% correct answers without any prior training. This result suggests that our technique may benefit society and computing, such as a better inclusion of visually impaired users in tasks that require interaction with virtual objects in 3D in different areas of application, including education, with good usability, accessibility and devices available for relatively low costs

A Organização Mundial de Saúde estima que existam hoje 285 milhões de pessoas com deficiência visual grave em todo o mundo. Com o advento da tecnologia, ambientes virtuais em 3D estão sendo cada vez mais utilizados para diversas aplicações. Muitas destas aplicações, no entanto, não são acessíveis para usuários com deficiência visual, criando uma divisão digital. O objetivo deste trabalho é desenvolver uma nova técnica de interação 3D de baixo custo que permita a identificação de objetos virtuais com autonomia usando apenas propriocepção e retorno de áudio. Foi desenvolvido um protótipo implementando esta técnica e foram realizados primeiramente testes funcionais com usuários com visão para avaliar se o protótipo implementou de fato a técnica proposta. Em seguida foi realizado um pré-teste com um deficiente visual, seguido de aprimoramento do protótipo e um experimento com oito usuários com deficiência em que deveriam diferenciar objetos virtuais usando somente a técnica proposta. Os resultados se mostraram bastante positivos, com cerca de 84\\% de acerto sem nenhum treino anterior. Este resultado sugere que a técnica desenvolvida pode trazer diversos benefícios para a sociedade e para a computação, como uma maior inclusão de pessoas com deficiência visual em tarefas que exijam interação com o objetos virtuais em três dimensões em diferentes áreas de aplicação, inclusive para educação, com boa usabilidade, acessibilidade e dispositivos disponíveis por custos relativamente baixos / The World Health Organization estimates that there are currently 285 million people with severe visual impairment worldwide. With the advent of technology, 3D virtual environments are being increasingly used for several applications. Many of these applications, however, are not accessible to visually impaired users, creating a digital divide. Our goal is to develop a novel and low cost 3D interaction technique to allow the identification of virtual objects with autonomy using only proprioception and hearing. We developed a prototype implementing this technique, which was first tested with sighted users simply to verify whether it correctly implemented the proposed technique. Then we conducted a preliminary experiment with a blind user followed by some prototype improvement and an experiment with eight users with visual impairment in which they were asked to classify tridimensional virtual objects using only the proposed technique. The results were quite positive, with approximately 84\\% correct answers without any prior training. This result suggests that our technique may benefit society and computing, such as a better inclusion of visually impaired users in tasks that require interaction with virtual objects in 3D in different areas of application, including education, with good usability, accessibility and devices available for relatively low costs