A proposta deste trabalho é demonstrar a viabilidade de um sistema para inserção de um vídeo-avatar interativo em um ambiente virtual 3D, utilizando-se somente um computador pessoal e câmeras domésticas. Sua contribuição, em relação a trabalhos similares, consiste em integrar técnicas e algoritmos em uma solução inovadora de baixo custo computacional, voltada principalmente para aplicações de educação e entretenimento. Este trabalho expande as pesquisas realizadas anteriormente no Laboratório de Tecnologias Interativas sobre vídeo-avatares para teleconferência. O vídeo-avatar proposto é posicionado corretamente em relação a outros objetos do ambiente virtual e pode interagir com eles, sem a utilização de técnicas de reconstrução geométrica que apresentam altos custos de processamento. A demonstração da viabilidade da proposta é feita através da implementação de protótipos. / The proposal of this work is to demonstrate the feasibility of a system for the insertion of an interactive video avatar in a 3D virtual environment, using a single personal computer and home-use cameras. Its contribution, relative to similar works, consists in integrating techniques and algorithms in an innovative solution with low computational cost, aimed mainly at educational and entertainment applications. This work extends research previously performed at the Laboratório de Tecnologias Interativas about video avatars for teleconferencing. The proposed video avatar is correctly positioned in relation to other objects in the virtual environment and is capable of interacting with them, without resorting to geometric reconstruction techniques that present high processing costs. The demonstration of the feasibility of the proposal is performed through the implementation of prototypes.

A proposta deste trabalho é demonstrar a viabilidade de um sistema para inserção de um vídeo-avatar interativo em um ambiente virtual 3D, utilizando-se somente um computador pessoal e câmeras domésticas. Sua contribuição, em relação a trabalhos similares, consiste em integrar técnicas e algoritmos em uma solução inovadora de baixo custo computacional, voltada principalmente para aplicações de educação e entretenimento. Este trabalho expande as pesquisas realizadas anteriormente no Laboratório de Tecnologias Interativas sobre vídeo-avatares para teleconferência. O vídeo-avatar proposto é posicionado corretamente em relação a outros objetos do ambiente virtual e pode interagir com eles, sem a utilização de técnicas de reconstrução geométrica que apresentam altos custos de processamento. A demonstração da viabilidade da proposta é feita através da implementação de protótipos. / The proposal of this work is to demonstrate the feasibility of a system for the insertion of an interactive video avatar in a 3D virtual environment, using a single personal computer and home-use cameras. Its contribution, relative to similar works, consists in integrating techniques and algorithms in an innovative solution with low computational cost, aimed mainly at educational and entertainment applications. This work extends research previously performed at the Laboratório de Tecnologias Interativas about video avatars for teleconferencing. The proposed video avatar is correctly positioned in relation to other objects in the virtual environment and is capable of interacting with them, without resorting to geometric reconstruction techniques that present high processing costs. The demonstration of the feasibility of the proposal is performed through the implementation of prototypes.

O interesse no uso de técnicas de aquisição de dados 3D em vídeos interativos e sistemas de videoconferência imersiva aumentou significativamente nos últimos anos. A disponibilidade de sensores de profundidade baseados em luz estruturada no varejo apresenta uma série de novas oportunidades em sistemas de teleconferência, entretenimento e e-learning. No entanto, problemas de oclusão frequentemente ocorrem quando é utilizado um único sensor ou técnicas de reconstrução 2,5D. Outras técnicas de interação e aplicações de teleconferências podem exigir uma reconstrução mais completa do usuário. Uma possível solução para isso implica na utilização de múltiplos dispositivos simultaneamente, o que traz novos desafios relacionados ao processo de calibração de câmaras e a aferição do aumento da superfície capturada quando é adicionado um novo sensor. Neste trabalho é apresentada a proposta VMD (Video-avatar from Multiple Depth maps), uma arquitetura de sistema que trata esses dois problemas. Com a finalidade de validar a viabilidade dessa proposta, três experimentos foram feitos resultando em uma análise qualitativa e quantitativa a fim de encontrar uma configuração adequada de múltiplos sensores de profundidade. / The interest in the use of 3D data acquisition techniques in video based interaction and immersive videoconferencing systems has noticeably increased in recent years. The availability of structured light 3D sensors as off-the-shelf hardware presents a series of new opportunities in teleconferences, entertainment and e-learning. However, occlusion issues often occur when it is used a single sensor or 2,5D reconstruction techniques. Other interaction techniques and teleconferencing applications may require a more complete reconstruction of the user. One possible solution to this involves the use of multiple devices simultaneously, which may bring new challenges related to the calibration process of cameras and measurement of the increase in covered area when it is added a new sensor. In this work we present VMD (Video-avatar from Multiple Depth maps), a system architecture that addresses this two issues. In order to validate the feasibility of this proposal, three experiments were performed resulting in a qualitative and quantitative analysis with the purpose of finding a suitable setup with multiple depth sensors.

Este trabalho apresenta os resultados da pesquisa e da aplicação de técnicas de GPGPU (General-Purpose computation on Graphics Processing Units) sobre o sistema de vídeo-avatar com realidade aumentada denominado AVMix. Com o aumento da demanda por gráficos tridimensionais interativos em tempo real cada vez mais próximos da realidade, as GPUs (Graphics Processing Units) evoluíram até o estado atual, como um hardware com alto poder computacional que permite o processamento de algoritmos paralelamente sobre um grande volume de dados. Desta forma, É possível usar esta capacidade para aumentar o desempenho de algoritmos usados em diversas áreas, tais como a área de processamento de imagens e visão computacional. A partir das pesquisas de trabalhos semelhantes, definiu-se o uso da arquitetura CUDA (Computer Unified Device Architecture) da Nvidia, que facilita a implementação dos programas executados na GPU e ao mesmo tempo flexibiliza o seu uso, expondo ao programador o detalhamento de alguns recursos de hardware, como por exemplo a quantidade de processadores alocados e os diferentes tipos de memória. Após a reimplementação das rotinas críticas ao desempenho do sistema AVMix (mapa de profundidade, segmentação e interação), os resultados mostram viabilidade do uso da GPU para o processamento de algoritmos paralelos e a importância da avaliação do algoritmo a ser implementado em relação a complexidade do cálculo e ao volume de dados transferidos entre a GPU e a memória principal do computador. / This work presents the results of research and application of GPGPU (General-Purpose computation on Graphics Processing Units) techniques on the video-avatar system with augmented reality called AVMix. With increasing demand for interactive three-dimensional graphics rendered in real-time and closer to reality, GPUs (Graphics Processing Units) evolved to the present state as a high-powered computing hardware enabled to process parallel algorithms over a large data set. This way, it is possible to use this capability to increase the performance of algorithms used in several areas, such as image processing and computer vision. From the research of similar work, it is possible to define the use of CUDA (Computer Unified Device Architecture) from Nvidia, which facilitates the implementation of the programs that run on GPU and at the same time flexibilize its use, exposing to the programmer some details of hardware such as the number of processors allocated and the different types of memory. Following the reimplementation of critical performance routines of AVMix system (depth map, segmentation and interaction), the results show the viability of using the GPU to process parallel algorithms in this application and the importance of evaluating the algorithm to be implemented, considering the complexity of the calculation and the volume of data transferred between the GPU and the computer\'s main memory.

O interesse no uso de técnicas de aquisição de dados 3D em vídeos interativos e sistemas de videoconferência imersiva aumentou significativamente nos últimos anos. A disponibilidade de sensores de profundidade baseados em luz estruturada no varejo apresenta uma série de novas oportunidades em sistemas de teleconferência, entretenimento e e-learning. No entanto, problemas de oclusão frequentemente ocorrem quando é utilizado um único sensor ou técnicas de reconstrução 2,5D. Outras técnicas de interação e aplicações de teleconferências podem exigir uma reconstrução mais completa do usuário. Uma possível solução para isso implica na utilização de múltiplos dispositivos simultaneamente, o que traz novos desafios relacionados ao processo de calibração de câmaras e a aferição do aumento da superfície capturada quando é adicionado um novo sensor. Neste trabalho é apresentada a proposta VMD (Video-avatar from Multiple Depth maps), uma arquitetura de sistema que trata esses dois problemas. Com a finalidade de validar a viabilidade dessa proposta, três experimentos foram feitos resultando em uma análise qualitativa e quantitativa a fim de encontrar uma configuração adequada de múltiplos sensores de profundidade. / The interest in the use of 3D data acquisition techniques in video based interaction and immersive videoconferencing systems has noticeably increased in recent years. The availability of structured light 3D sensors as off-the-shelf hardware presents a series of new opportunities in teleconferences, entertainment and e-learning. However, occlusion issues often occur when it is used a single sensor or 2,5D reconstruction techniques. Other interaction techniques and teleconferencing applications may require a more complete reconstruction of the user. One possible solution to this involves the use of multiple devices simultaneously, which may bring new challenges related to the calibration process of cameras and measurement of the increase in covered area when it is added a new sensor. In this work we present VMD (Video-avatar from Multiple Depth maps), a system architecture that addresses this two issues. In order to validate the feasibility of this proposal, three experiments were performed resulting in a qualitative and quantitative analysis with the purpose of finding a suitable setup with multiple depth sensors.

Este trabalho apresenta os resultados da pesquisa e da aplicação de técnicas de GPGPU (General-Purpose computation on Graphics Processing Units) sobre o sistema de vídeo-avatar com realidade aumentada denominado AVMix. Com o aumento da demanda por gráficos tridimensionais interativos em tempo real cada vez mais próximos da realidade, as GPUs (Graphics Processing Units) evoluíram até o estado atual, como um hardware com alto poder computacional que permite o processamento de algoritmos paralelamente sobre um grande volume de dados. Desta forma, É possível usar esta capacidade para aumentar o desempenho de algoritmos usados em diversas áreas, tais como a área de processamento de imagens e visão computacional. A partir das pesquisas de trabalhos semelhantes, definiu-se o uso da arquitetura CUDA (Computer Unified Device Architecture) da Nvidia, que facilita a implementação dos programas executados na GPU e ao mesmo tempo flexibiliza o seu uso, expondo ao programador o detalhamento de alguns recursos de hardware, como por exemplo a quantidade de processadores alocados e os diferentes tipos de memória. Após a reimplementação das rotinas críticas ao desempenho do sistema AVMix (mapa de profundidade, segmentação e interação), os resultados mostram viabilidade do uso da GPU para o processamento de algoritmos paralelos e a importância da avaliação do algoritmo a ser implementado em relação a complexidade do cálculo e ao volume de dados transferidos entre a GPU e a memória principal do computador. / This work presents the results of research and application of GPGPU (General-Purpose computation on Graphics Processing Units) techniques on the video-avatar system with augmented reality called AVMix. With increasing demand for interactive three-dimensional graphics rendered in real-time and closer to reality, GPUs (Graphics Processing Units) evolved to the present state as a high-powered computing hardware enabled to process parallel algorithms over a large data set. This way, it is possible to use this capability to increase the performance of algorithms used in several areas, such as image processing and computer vision. From the research of similar work, it is possible to define the use of CUDA (Computer Unified Device Architecture) from Nvidia, which facilitates the implementation of the programs that run on GPU and at the same time flexibilize its use, exposing to the programmer some details of hardware such as the number of processors allocated and the different types of memory. Following the reimplementation of critical performance routines of AVMix system (depth map, segmentation and interaction), the results show the viability of using the GPU to process parallel algorithms in this application and the importance of evaluating the algorithm to be implemented, considering the complexity of the calculation and the volume of data transferred between the GPU and the computer\'s main memory.