[pt] Sensores de profundidade do tipo RGB-D são alternativas interessantes para realizar a reconstrução 3D do ambiente a um baixo custo. Neste trabalho, avaliamos uma pipe-line de reconstrução implementada em GPU que une um sistema de tracking baseado no alinhamento de nuvem de pontos para estimar a posição da câmera e um sistema de reconstrução/visualização volumétrica para suavizar as medidas naturalmente ruidosas do sensor, utilizando o Kinect como entrada RGB-D. Foi feita uma análise técnica do algoritmo, demonstrando o impacto de modificações de parâmetros do sistema, além de um comparativo de tempo e precisão entre a implementação aqui apresentada e uma versão pública disponibilizada pela Point Cloud Library(PCL) durante o desenvolvimento deste trabalho. Algumas modificações em relação ao trabalho original foram feitas e os testes de desempenho demonstram que nossa implementação é mais rápida do que a da PCL sem comprometer significantemente a precisão da reconstrução. / [en] Depth sensors of the type RGB-D are interesting alternatives to do a 3D reconstruction of the environment with low cost. In this work, we evaluate a reconstruction pipe-line implemented on GPU that merges a point cloud alignment tracking system to estimate the camera position and a volumetric reconstruction/visualization to smooth the naturally noise measures from the sensor, using the Kinect as RGB-D input. A technical analysis of the algorithm has been made, showing the impact of parameter modifications of the system and a comparative of time and precision between the presented implementation and a public version available by the Point Cloud Library (PCL) during the development of this work. Some modifications to the original work have been made and the performance tests demonstrate that our implementation is faster than the PCL version without compromising the reconstruction precision.

[pt] As aplicações da reconstrução em três dimensões de uma cena real são as mais diversas. O surgimento de sensores de profundidade de baixo custo, tal qual o Kinect, sugere o desenvolvimento de sistemas de reconstrução mais baratos que aqueles já existentes. Contudo, os dados disponibilizados por este dispositivo ainda carecem em muito quando comparados àqueles providos por sistemas mais sofisticados. No mundo acadêmico e comercial, algumas iniciativas, como aquelas de Tong et al. [1] e de Cui et al. [2], se propõem a solucionar tal problema. A partir do estudo das mesmas, este trabalho propôs a modificação do algoritmo de super-resolução descrito por Mitzel et al. [3] no intuito de considerar em seus cálculos as imagens coloridas também fornecidas pelo dispositivo, conforme abordagem de Cui et al. [2]. Tal alteração melhorou os mapas de profundidade super-resolvidos fornecidos, mitigando interferências geradas por movimentações repentinas na cena captada. Os testes realizados comprovam a melhoria dos mapas gerados, bem como analisam o impacto da implementação em CPU e GPU dos algoritmos nesta etapa da super-resolução. O trabalho se restringe a esta etapa. As etapas seguintes da reconstrução 3D não foram implementadas. / [en] There are a lot of three dimensions reconstruction applications of real scenes. The rise of low cost sensors, like the Kinect, suggests the development of systems cheaper than the existing ones. Nevertheless, data provided by this device are worse than that provided by more sophisticated sensors. In the academic and commercial world, some initiatives, described in Tong et al. [1] and in Cui et al. [2], try to solve that problem. Studying that attempts, this work suggests the modification of super-resolution algorithm described for Mitzel et al. [3] in order to consider in its calculations coloured images provided by Kinect, like the approach of Cui et al. [2]. This change improved the super resolved depth maps provided, mitigating interference caused by sudden changes of captured scenes. The tests proved the improvement of generated maps and analysed the impact of CPU and GPU algorithms implementation in the superresolution step. This work is restricted to this step. The next stages of 3D reconstruction have not been implemented.

[pt] Esta dissertação faz um estudo sobre a geração de efeitos visuais (VFX) a partir da captura de objetos em movimento como nuvens muito densas de pontos utilizando múltiplas câmeras RGB-D de baixo custo. Para este estudo, são utilizados um software comercial para renderização de partículas e alguns módulos já desenvolvidos pelo Departamento de P&D em VFX da TV Globo em parceria com o laboratório ICAD/VisionLab para a captura simultânea de múltiplas câmeras MS Kinect. No pipeline de produção proposto, um servidor sincroniza os disparos das várias câmeras, unifica as nuvens e gera um arquivo em formato padrão (PRP ou PLY). Este arquivo é, então, utilizado para a renderização de partículas volumétricas com adição de efeitos visuais utilizando o software Krakatoa MX para o 3DS Max. O objetivo é filmar cenas de maneira que o diretor possa posteriormente definir as cenas finais com qualquer trajetória de câmera e adicionar efeitos visuais. / [en] This dissertation is an investigation on the generation of visual effects (VFX) from the capture of moving objects as very dense point clouds using multiple low-cost RGB-D cameras. For this investigation, we use a commercial software for particle rendering and some modules already developed by the Department of VFX R&D of TV Globo in partnership with ICAD/VisionLab laboratory for the simultaneous capture of multiple MS Kinect cameras. In the proposed production pipeline, a server synchronizes the shooting of multiple cameras, unifies the clouds and generates a file in standard format (PRP or PLY). This file is then used for volumetric particle rendering with added visual effects using the Krakatoa MX software for 3DS Max. The goal is to shoot scenes in such a way that the film director can later define the final scenes with any camera path and adding visual effects.

[pt] O equilíbrio corporal é uma importante habilidade física e um aspecto fundamental para a saúde dos idosos, sendo as quedas a principal causa de lesões não intencionais que levam a perda de autonomia e ao óbito neste grupo. Com o envelhecimento da população mundial e sendo os déficits de equilíbrio uma das maiores causas de atendimentos fisioterapêuticos, o uso de instrumentos portáveis de baixo custo e confiáveis para avaliação do equilíbrio são de extrema relevância. Diversos estudos avaliaram a validade concorrente e/ou confiabilidade do Microsoft Kinect (Kinect) e do Nintendo Wii Balance Board (WBB) durante testes de equilíbrio. Estes estudos foram favoráveis ao uso destes equipamentos nestas avaliações em posições semi-estáticas. Este estudo examinou a confiabilidade teste-reteste com o uso concorrente do Kinect e do WBB durante um teste de equilíbrio em três posições semi-estáticas, analisando variáveis do centro de pressão (CoP) e do centro de gravidade (CoG) em manequins e em 70 indivíduos saudáveis. Cada participante executou dois testes na mesma sessão. Os equipamentos demonstraram sensibilidade para identificar diferentes padrões de oscilação corporal. As variáveis mais confiáveis foram a velocidade média e o percurso total em todas as direções e tarefas. A confiabilidade foi considerada de fraca a boa nos testes com pessoas e nos testes com manequins, excelente. Porém, os resultados com as variáveis das pessoas baseadas em dados consolidados das três tarefas alcançaram confiabilidade excelente. Propriedades do CoP demonstraram ser mais confiáveis do que as do CoG, sugerindo que o WBB seja superior ao Kinect nesta tarefa. O presente trabalho corrobora estudos anteriores, podendo, estes dispositivos, prover informações quantitativas confiáveis, aprimorando avaliações qualitativas do equilíbrio. / [en] Body balance is an important physical skill and it is fundamental for elderly´s health, considering that falls are a major cause of unintentional injuries leading to the loss of autonomy and death in this group. Growth of aging in world population and being balance impairment one of the major causes of physiotherapeutic attendance, simple, affordable, portable, and reliable devices for evaluating body balance are of great relevance. Several studies have been examining concurrent validity and reliability of Microsoft Kinect (Kinect) and Nintendo Wii Balance Board (WBB) during balance tests. The majority of these studies suggested that those devices could be used as reliable and valid tools for assessing balance in semi-static positions. Based on that, this study investigated test-retest reliability using Kinect and WBB, concurrently, in three standing positions, and analyzed variables related to center of pressure (CoP) and center of gravity (CoG), in static manikins and in 70 healthy subjects. Each participant performed the set of tests twice in the same day. Our solution demonstrated sensibility to identify different body sway patterns. Tests showed that the most reliable variables were average speed and total path length in all directions and tasks. Despite tests with static manikin signalized excellent reliability, tests with individuals were considered poor to good. However, variables of consolidated data based on different tasks achieved excellent scores. CoP properties outperformed those related to CoG, suggesting that WBB was superior when compared to Kinect in providing more reliable body sway information. This study reinforced that these devices may provide reliable quantitative information that enhances qualitative body balance assessments.

[pt] Alvo de intenso estudo da visão computacional, a reconstrução densa 3D teve um importante marco com os primeiros sistemas em tempo real a alcançarem precisão milimétrica com uso de câmeras RGBD e GPUs. Entretanto estes métodos não são aplicáveis a dispositivos de menor poder computacional. Tendo a limitação de recursos computacionais como requisito, o objetivo deste trabalho é apresentar um método de odometria visual utilizando câmeras comuns e sem a necessidade de GPU, baseado em técnicas de Structure from Motion (SFM) com features esparsos, utilizando as informações de uma reconstrução densa. A Odometria visual é o processo de estimar a orientação e posição de um agente (um robô, por exemplo), a partir das imagens. Esta dissertação fornece uma comparação entre a precisão da odometria calculada pelo método proposto e pela reconstrução densa utilizando o Kinect Fusion. O resultado desta pesquisa é diretamente aplicável na área de realidade aumentada, tanto pelas informações da odometria que podem ser usadas para definir a posição de uma câmera, como pela reconstrução densa, que pode tratar aspectos como oclusão dos objetos virtuais com reais. / [en] Aim of intense research in the field computational vision, dense 3D reconstruction achieves an important landmark with first methods running in real time with millimetric precision, using RGBD cameras and GPUs. However these methods are not suitable for low computational resources. Having low computational resources as requirement, the goal of this work is to show a method of visual odometry using regular cameras, without using a GPU. The proposed method is based on technics of sparse Structure From Motion (SFM), using data provided by dense 3D reconstruction. Visual odometry is the process of estimating the position and orientation of an agent (a robot, for instance), based on images. This dissertation compares the proposed method with the odometry calculated by Kinect Fusion. Results of this research are applicable in augmented reality. Odometry provided by this work can be used to model a camera and the data from dense 3D reconstruction, can be used to handle occlusion between virtual and real objects.