Propiciar uma boa experiência de imersão ao usuário, quando este interage com conteúdos ou ambientes virtuais, é um dos principais desafios dos desenvolvedores e pesquisadores de tecnologias interativas, com destaque para realidade virtual e aumentada. Em especial nas áreas de educação e entretenimento, nas quais o engajamento do usuário e a significância dos conteúdos são cruciais para o sucesso da aplicação, é comum a busca por uma experiência que se aproxime de uma imersão total do participante. Quando as atividades envolvem interações a distância, um possível meio de se obter maior imersão são os chamados sistemas de telecomunicação imersiva. Tais sistemas oferecem compartilhamento de um ambiente virtual e troca de informações entre participantes remotos, além da interação desses com o ambiente. Um componente importante desses sistemas é o vídeo-avatar, uma representação visual do participante dentro do ambiente, baseado em sua captura de vídeo em tempo-real. Este trabalho apresenta novas propostas de reconstrução geométrica e renderização para a geração e apresentação de um vídeo-avatar. Inicialmente, um modelo teórico para se modularizar as técnicas de reconstrução e renderização existentes foi proposto. Por meio desse modelo foi criada uma nova técnica de reconstrução geométrica e renderização, denominada Video-based Microfacet Billboarding. Essa técnica emprega uma reconstrução e renderização em tempo-real que possibilita a representação de detalhes e melhora a percepção de integração com o ambiente. É também proposta neste trabalho o conceito de non-photorealistic video-avatar, que visa aplicar um estilo não fotorrealístico único sobre toda a cena, afim de melhorar a integração do avatar com o ambiente e, por sua vez, aumentar a imersão do usuário. Os resultados obtidos através da implementação do vídeo-avatar com essas técnicas e testes preliminares com usuários dão fortes indícios de que é possível a geração de uma representação visual que possua todos os requisitos do sistema iLive, sistema de telecomunicação imersiva voltado a educação e jogos eletrônicos em desenvolvimento pelo Laboratório de Tecnologias Interativas (Interlab) da Escola Politécnica da Universidade de São Paulo. / Providing good immersion experiences for users interacting with virtual contents or an environment is one of the main challenges for developers and researchers in interactive technologies, mainly virtual and augmented reality. Especially in areas of education and entertainment, in which the engagement of the user and the significance of content are of crucial importance for the success of the application, the search for experiences that approximate to one of a total immersion of the participant is common practice. When interaction at distance is necessary, one way to provide better immersion experiences is the use of a solution called Immersive Telecommunication System. This kind of system can provide the sharing of the virtual environment among participants, information exchange among them, and also their interaction with the virtual environment. One of the most important component of these systems is the video-avatar, the representation of the participant in the virtual environment based on a video of the participant captured in real-time. This work presents new approaches of geometric reconstruction and rendering for the creation of a video-avatar. First, a theoretical model to modularize the existing reconstruction and rendering approaches was proposed. Based on this model, a new approach of geometric reconstruction and rendering, called Video-based Microfacet Billboarding, was conceived. This approach uses a technique of real-time reconstruction and rendering that enables the representation of the object details and improves the integration of the avatar in the virtual environment. In this work, it is also proposed the concept of non-photorealistic video-avatar, that aims to apply a non-photorealistic style over all the scene to improve the avatar integration with the environment, and with this, to enhance the user\'s immersion. The results obtained by the implementation of a video-avatar with these approaches, as well as preliminary users tests, gives us strong evidences that we could create a user representation that attends all the requisites of the iLive system, an immersive telecommunication system for education and gaming purposes, in development by the Interactive Technologies Laboratory (Interlab) of Escola Politécnica da Universidade de São Paulo.
| Identifer | oai:union.ndltd.org:IBICT/oai:teses.usp.br:tde-20082010-161313 |
| Date | 07 June 2010 |
| Creators | Daniel Makoto Tokunaga |
| Contributors | Romero Tori, Carlos Hitoshi Morimoto, Ricardo Nakamura |
| Publisher | Universidade de São Paulo, Engenharia Elétrica, USP, BR |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Source | reponame:Biblioteca Digital de Teses e Dissertações da USP, instname:Universidade de São Paulo, instacron:USP |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0029 seconds