A proposta deste trabalho é demonstrar a viabilidade de um sistema para inserção de um vídeo-avatar interativo em um ambiente virtual 3D, utilizando-se somente um computador pessoal e câmeras domésticas. Sua contribuição, em relação a trabalhos similares, consiste em integrar técnicas e algoritmos em uma solução inovadora de baixo custo computacional, voltada principalmente para aplicações de educação e entretenimento. Este trabalho expande as pesquisas realizadas anteriormente no Laboratório de Tecnologias Interativas sobre vídeo-avatares para teleconferência. O vídeo-avatar proposto é posicionado corretamente em relação a outros objetos do ambiente virtual e pode interagir com eles, sem a utilização de técnicas de reconstrução geométrica que apresentam altos custos de processamento. A demonstração da viabilidade da proposta é feita através da implementação de protótipos. / The proposal of this work is to demonstrate the feasibility of a system for the insertion of an interactive video avatar in a 3D virtual environment, using a single personal computer and home-use cameras. Its contribution, relative to similar works, consists in integrating techniques and algorithms in an innovative solution with low computational cost, aimed mainly at educational and entertainment applications. This work extends research previously performed at the Laboratório de Tecnologias Interativas about video avatars for teleconferencing. The proposed video avatar is correctly positioned in relation to other objects in the virtual environment and is capable of interacting with them, without resorting to geometric reconstruction techniques that present high processing costs. The demonstration of the feasibility of the proposal is performed through the implementation of prototypes.

Propiciar uma boa experiência de imersão ao usuário, quando este interage com conteúdos ou ambientes virtuais, é um dos principais desafios dos desenvolvedores e pesquisadores de tecnologias interativas, com destaque para realidade virtual e aumentada. Em especial nas áreas de educação e entretenimento, nas quais o engajamento do usuário e a significância dos conteúdos são cruciais para o sucesso da aplicação, é comum a busca por uma experiência que se aproxime de uma imersão total do participante. Quando as atividades envolvem interações a distância, um possível meio de se obter maior imersão são os chamados sistemas de telecomunicação imersiva. Tais sistemas oferecem compartilhamento de um ambiente virtual e troca de informações entre participantes remotos, além da interação desses com o ambiente. Um componente importante desses sistemas é o vídeo-avatar, uma representação visual do participante dentro do ambiente, baseado em sua captura de vídeo em tempo-real. Este trabalho apresenta novas propostas de reconstrução geométrica e renderização para a geração e apresentação de um vídeo-avatar. Inicialmente, um modelo teórico para se modularizar as técnicas de reconstrução e renderização existentes foi proposto. Por meio desse modelo foi criada uma nova técnica de reconstrução geométrica e renderização, denominada Video-based Microfacet Billboarding. Essa técnica emprega uma reconstrução e renderização em tempo-real que possibilita a representação de detalhes e melhora a percepção de integração com o ambiente. É também proposta neste trabalho o conceito de non-photorealistic video-avatar, que visa aplicar um estilo não fotorrealístico único sobre toda a cena, afim de melhorar a integração do avatar com o ambiente e, por sua vez, aumentar a imersão do usuário. Os resultados obtidos através da implementação do vídeo-avatar com essas técnicas e testes preliminares com usuários dão fortes indícios de que é possível a geração de uma representação visual que possua todos os requisitos do sistema iLive, sistema de telecomunicação imersiva voltado a educação e jogos eletrônicos em desenvolvimento pelo Laboratório de Tecnologias Interativas (Interlab) da Escola Politécnica da Universidade de São Paulo. / Providing good immersion experiences for users interacting with virtual contents or an environment is one of the main challenges for developers and researchers in interactive technologies, mainly virtual and augmented reality. Especially in areas of education and entertainment, in which the engagement of the user and the significance of content are of crucial importance for the success of the application, the search for experiences that approximate to one of a total immersion of the participant is common practice. When interaction at distance is necessary, one way to provide better immersion experiences is the use of a solution called Immersive Telecommunication System. This kind of system can provide the sharing of the virtual environment among participants, information exchange among them, and also their interaction with the virtual environment. One of the most important component of these systems is the video-avatar, the representation of the participant in the virtual environment based on a video of the participant captured in real-time. This work presents new approaches of geometric reconstruction and rendering for the creation of a video-avatar. First, a theoretical model to modularize the existing reconstruction and rendering approaches was proposed. Based on this model, a new approach of geometric reconstruction and rendering, called Video-based Microfacet Billboarding, was conceived. This approach uses a technique of real-time reconstruction and rendering that enables the representation of the object details and improves the integration of the avatar in the virtual environment. In this work, it is also proposed the concept of non-photorealistic video-avatar, that aims to apply a non-photorealistic style over all the scene to improve the avatar integration with the environment, and with this, to enhance the user\'s immersion. The results obtained by the implementation of a video-avatar with these approaches, as well as preliminary users tests, gives us strong evidences that we could create a user representation that attends all the requisites of the iLive system, an immersive telecommunication system for education and gaming purposes, in development by the Interactive Technologies Laboratory (Interlab) of Escola Politécnica da Universidade de São Paulo.

Propiciar uma boa experiência de imersão ao usuário, quando este interage com conteúdos ou ambientes virtuais, é um dos principais desafios dos desenvolvedores e pesquisadores de tecnologias interativas, com destaque para realidade virtual e aumentada. Em especial nas áreas de educação e entretenimento, nas quais o engajamento do usuário e a significância dos conteúdos são cruciais para o sucesso da aplicação, é comum a busca por uma experiência que se aproxime de uma imersão total do participante. Quando as atividades envolvem interações a distância, um possível meio de se obter maior imersão são os chamados sistemas de telecomunicação imersiva. Tais sistemas oferecem compartilhamento de um ambiente virtual e troca de informações entre participantes remotos, além da interação desses com o ambiente. Um componente importante desses sistemas é o vídeo-avatar, uma representação visual do participante dentro do ambiente, baseado em sua captura de vídeo em tempo-real. Este trabalho apresenta novas propostas de reconstrução geométrica e renderização para a geração e apresentação de um vídeo-avatar. Inicialmente, um modelo teórico para se modularizar as técnicas de reconstrução e renderização existentes foi proposto. Por meio desse modelo foi criada uma nova técnica de reconstrução geométrica e renderização, denominada Video-based Microfacet Billboarding. Essa técnica emprega uma reconstrução e renderização em tempo-real que possibilita a representação de detalhes e melhora a percepção de integração com o ambiente. É também proposta neste trabalho o conceito de non-photorealistic video-avatar, que visa aplicar um estilo não fotorrealístico único sobre toda a cena, afim de melhorar a integração do avatar com o ambiente e, por sua vez, aumentar a imersão do usuário. Os resultados obtidos através da implementação do vídeo-avatar com essas técnicas e testes preliminares com usuários dão fortes indícios de que é possível a geração de uma representação visual que possua todos os requisitos do sistema iLive, sistema de telecomunicação imersiva voltado a educação e jogos eletrônicos em desenvolvimento pelo Laboratório de Tecnologias Interativas (Interlab) da Escola Politécnica da Universidade de São Paulo. / Providing good immersion experiences for users interacting with virtual contents or an environment is one of the main challenges for developers and researchers in interactive technologies, mainly virtual and augmented reality. Especially in areas of education and entertainment, in which the engagement of the user and the significance of content are of crucial importance for the success of the application, the search for experiences that approximate to one of a total immersion of the participant is common practice. When interaction at distance is necessary, one way to provide better immersion experiences is the use of a solution called Immersive Telecommunication System. This kind of system can provide the sharing of the virtual environment among participants, information exchange among them, and also their interaction with the virtual environment. One of the most important component of these systems is the video-avatar, the representation of the participant in the virtual environment based on a video of the participant captured in real-time. This work presents new approaches of geometric reconstruction and rendering for the creation of a video-avatar. First, a theoretical model to modularize the existing reconstruction and rendering approaches was proposed. Based on this model, a new approach of geometric reconstruction and rendering, called Video-based Microfacet Billboarding, was conceived. This approach uses a technique of real-time reconstruction and rendering that enables the representation of the object details and improves the integration of the avatar in the virtual environment. In this work, it is also proposed the concept of non-photorealistic video-avatar, that aims to apply a non-photorealistic style over all the scene to improve the avatar integration with the environment, and with this, to enhance the user\'s immersion. The results obtained by the implementation of a video-avatar with these approaches, as well as preliminary users tests, gives us strong evidences that we could create a user representation that attends all the requisites of the iLive system, an immersive telecommunication system for education and gaming purposes, in development by the Interactive Technologies Laboratory (Interlab) of Escola Politécnica da Universidade de São Paulo.

A proposta deste trabalho é demonstrar a viabilidade de um sistema para inserção de um vídeo-avatar interativo em um ambiente virtual 3D, utilizando-se somente um computador pessoal e câmeras domésticas. Sua contribuição, em relação a trabalhos similares, consiste em integrar técnicas e algoritmos em uma solução inovadora de baixo custo computacional, voltada principalmente para aplicações de educação e entretenimento. Este trabalho expande as pesquisas realizadas anteriormente no Laboratório de Tecnologias Interativas sobre vídeo-avatares para teleconferência. O vídeo-avatar proposto é posicionado corretamente em relação a outros objetos do ambiente virtual e pode interagir com eles, sem a utilização de técnicas de reconstrução geométrica que apresentam altos custos de processamento. A demonstração da viabilidade da proposta é feita através da implementação de protótipos. / The proposal of this work is to demonstrate the feasibility of a system for the insertion of an interactive video avatar in a 3D virtual environment, using a single personal computer and home-use cameras. Its contribution, relative to similar works, consists in integrating techniques and algorithms in an innovative solution with low computational cost, aimed mainly at educational and entertainment applications. This work extends research previously performed at the Laboratório de Tecnologias Interativas about video avatars for teleconferencing. The proposed video avatar is correctly positioned in relation to other objects in the virtual environment and is capable of interacting with them, without resorting to geometric reconstruction techniques that present high processing costs. The demonstration of the feasibility of the proposal is performed through the implementation of prototypes.

O interesse no uso de técnicas de aquisição de dados 3D em vídeos interativos e sistemas de videoconferência imersiva aumentou significativamente nos últimos anos. A disponibilidade de sensores de profundidade baseados em luz estruturada no varejo apresenta uma série de novas oportunidades em sistemas de teleconferência, entretenimento e e-learning. No entanto, problemas de oclusão frequentemente ocorrem quando é utilizado um único sensor ou técnicas de reconstrução 2,5D. Outras técnicas de interação e aplicações de teleconferências podem exigir uma reconstrução mais completa do usuário. Uma possível solução para isso implica na utilização de múltiplos dispositivos simultaneamente, o que traz novos desafios relacionados ao processo de calibração de câmaras e a aferição do aumento da superfície capturada quando é adicionado um novo sensor. Neste trabalho é apresentada a proposta VMD (Video-avatar from Multiple Depth maps), uma arquitetura de sistema que trata esses dois problemas. Com a finalidade de validar a viabilidade dessa proposta, três experimentos foram feitos resultando em uma análise qualitativa e quantitativa a fim de encontrar uma configuração adequada de múltiplos sensores de profundidade. / The interest in the use of 3D data acquisition techniques in video based interaction and immersive videoconferencing systems has noticeably increased in recent years. The availability of structured light 3D sensors as off-the-shelf hardware presents a series of new opportunities in teleconferences, entertainment and e-learning. However, occlusion issues often occur when it is used a single sensor or 2,5D reconstruction techniques. Other interaction techniques and teleconferencing applications may require a more complete reconstruction of the user. One possible solution to this involves the use of multiple devices simultaneously, which may bring new challenges related to the calibration process of cameras and measurement of the increase in covered area when it is added a new sensor. In this work we present VMD (Video-avatar from Multiple Depth maps), a system architecture that addresses this two issues. In order to validate the feasibility of this proposal, three experiments were performed resulting in a qualitative and quantitative analysis with the purpose of finding a suitable setup with multiple depth sensors.

Este trabalho apresenta os resultados da pesquisa e da aplicação de técnicas de GPGPU (General-Purpose computation on Graphics Processing Units) sobre o sistema de vídeo-avatar com realidade aumentada denominado AVMix. Com o aumento da demanda por gráficos tridimensionais interativos em tempo real cada vez mais próximos da realidade, as GPUs (Graphics Processing Units) evoluíram até o estado atual, como um hardware com alto poder computacional que permite o processamento de algoritmos paralelamente sobre um grande volume de dados. Desta forma, É possível usar esta capacidade para aumentar o desempenho de algoritmos usados em diversas áreas, tais como a área de processamento de imagens e visão computacional. A partir das pesquisas de trabalhos semelhantes, definiu-se o uso da arquitetura CUDA (Computer Unified Device Architecture) da Nvidia, que facilita a implementação dos programas executados na GPU e ao mesmo tempo flexibiliza o seu uso, expondo ao programador o detalhamento de alguns recursos de hardware, como por exemplo a quantidade de processadores alocados e os diferentes tipos de memória. Após a reimplementação das rotinas críticas ao desempenho do sistema AVMix (mapa de profundidade, segmentação e interação), os resultados mostram viabilidade do uso da GPU para o processamento de algoritmos paralelos e a importância da avaliação do algoritmo a ser implementado em relação a complexidade do cálculo e ao volume de dados transferidos entre a GPU e a memória principal do computador. / This work presents the results of research and application of GPGPU (General-Purpose computation on Graphics Processing Units) techniques on the video-avatar system with augmented reality called AVMix. With increasing demand for interactive three-dimensional graphics rendered in real-time and closer to reality, GPUs (Graphics Processing Units) evolved to the present state as a high-powered computing hardware enabled to process parallel algorithms over a large data set. This way, it is possible to use this capability to increase the performance of algorithms used in several areas, such as image processing and computer vision. From the research of similar work, it is possible to define the use of CUDA (Computer Unified Device Architecture) from Nvidia, which facilitates the implementation of the programs that run on GPU and at the same time flexibilize its use, exposing to the programmer some details of hardware such as the number of processors allocated and the different types of memory. Following the reimplementation of critical performance routines of AVMix system (depth map, segmentation and interaction), the results show the viability of using the GPU to process parallel algorithms in this application and the importance of evaluating the algorithm to be implemented, considering the complexity of the calculation and the volume of data transferred between the GPU and the computer\'s main memory.

O interesse no uso de técnicas de aquisição de dados 3D em vídeos interativos e sistemas de videoconferência imersiva aumentou significativamente nos últimos anos. A disponibilidade de sensores de profundidade baseados em luz estruturada no varejo apresenta uma série de novas oportunidades em sistemas de teleconferência, entretenimento e e-learning. No entanto, problemas de oclusão frequentemente ocorrem quando é utilizado um único sensor ou técnicas de reconstrução 2,5D. Outras técnicas de interação e aplicações de teleconferências podem exigir uma reconstrução mais completa do usuário. Uma possível solução para isso implica na utilização de múltiplos dispositivos simultaneamente, o que traz novos desafios relacionados ao processo de calibração de câmaras e a aferição do aumento da superfície capturada quando é adicionado um novo sensor. Neste trabalho é apresentada a proposta VMD (Video-avatar from Multiple Depth maps), uma arquitetura de sistema que trata esses dois problemas. Com a finalidade de validar a viabilidade dessa proposta, três experimentos foram feitos resultando em uma análise qualitativa e quantitativa a fim de encontrar uma configuração adequada de múltiplos sensores de profundidade. / The interest in the use of 3D data acquisition techniques in video based interaction and immersive videoconferencing systems has noticeably increased in recent years. The availability of structured light 3D sensors as off-the-shelf hardware presents a series of new opportunities in teleconferences, entertainment and e-learning. However, occlusion issues often occur when it is used a single sensor or 2,5D reconstruction techniques. Other interaction techniques and teleconferencing applications may require a more complete reconstruction of the user. One possible solution to this involves the use of multiple devices simultaneously, which may bring new challenges related to the calibration process of cameras and measurement of the increase in covered area when it is added a new sensor. In this work we present VMD (Video-avatar from Multiple Depth maps), a system architecture that addresses this two issues. In order to validate the feasibility of this proposal, three experiments were performed resulting in a qualitative and quantitative analysis with the purpose of finding a suitable setup with multiple depth sensors.

Este trabalho apresenta os resultados da pesquisa e da aplicação de técnicas de GPGPU (General-Purpose computation on Graphics Processing Units) sobre o sistema de vídeo-avatar com realidade aumentada denominado AVMix. Com o aumento da demanda por gráficos tridimensionais interativos em tempo real cada vez mais próximos da realidade, as GPUs (Graphics Processing Units) evoluíram até o estado atual, como um hardware com alto poder computacional que permite o processamento de algoritmos paralelamente sobre um grande volume de dados. Desta forma, É possível usar esta capacidade para aumentar o desempenho de algoritmos usados em diversas áreas, tais como a área de processamento de imagens e visão computacional. A partir das pesquisas de trabalhos semelhantes, definiu-se o uso da arquitetura CUDA (Computer Unified Device Architecture) da Nvidia, que facilita a implementação dos programas executados na GPU e ao mesmo tempo flexibiliza o seu uso, expondo ao programador o detalhamento de alguns recursos de hardware, como por exemplo a quantidade de processadores alocados e os diferentes tipos de memória. Após a reimplementação das rotinas críticas ao desempenho do sistema AVMix (mapa de profundidade, segmentação e interação), os resultados mostram viabilidade do uso da GPU para o processamento de algoritmos paralelos e a importância da avaliação do algoritmo a ser implementado em relação a complexidade do cálculo e ao volume de dados transferidos entre a GPU e a memória principal do computador. / This work presents the results of research and application of GPGPU (General-Purpose computation on Graphics Processing Units) techniques on the video-avatar system with augmented reality called AVMix. With increasing demand for interactive three-dimensional graphics rendered in real-time and closer to reality, GPUs (Graphics Processing Units) evolved to the present state as a high-powered computing hardware enabled to process parallel algorithms over a large data set. This way, it is possible to use this capability to increase the performance of algorithms used in several areas, such as image processing and computer vision. From the research of similar work, it is possible to define the use of CUDA (Computer Unified Device Architecture) from Nvidia, which facilitates the implementation of the programs that run on GPU and at the same time flexibilize its use, exposing to the programmer some details of hardware such as the number of processors allocated and the different types of memory. Following the reimplementation of critical performance routines of AVMix system (depth map, segmentation and interaction), the results show the viability of using the GPU to process parallel algorithms in this application and the importance of evaluating the algorithm to be implemented, considering the complexity of the calculation and the volume of data transferred between the GPU and the computer\'s main memory.