Universidade de Uberaba / In the past years, motion capture has been widely used in many application areas. In movies and games, motion capture is frequently employed to animate virtual characters. In sports, motion capture and analyses focus on optimizing movements of athletes and injury prevention. More applications areas include medicine, military and engineering. Motion capture can be accomplished by several technologies. However, optical marker-based systems are considered the gold standard of the motion capture field. They can offer high precision levels and flexibility to support most applications, but they are also the most expensive systems due to high costs of hardware and software. Although low-cost optical systems have been proposed in the last decade, these systems cannot provide enough precision, flexibility, automatism and/or real-time capability for a number of applications. In this context, the present research aims to develop a complete and high precision approach to track and reconstruct a cloud of independent markers, in real time, using multiple infrared specialized cameras. The proposed method includes a set of relatively simple algorithms which are part of a three-stage procedure. These stages work on the tracking and matching of the image points and spatial reconstruction of the marker trajectories. In order to evaluate the method, a prototype software has been implemented and experiments were performed using a pack of eight infrared cameras. The NaturalPoint s OptiTrack system, which includes the Arena software, was used as a reference system. In the experiments, the proposed technique was able to successfully track and reconstruct a set of 38 reflective markers in real time. When compared to the commercial software, the method performed better for automatically maker tracking. In addition, the reconstructed trajectories produced by the prototype software were far less contaminated by noise than the trajectories generated by the Arena software. The proposed method should encourage the development of new high performance systems at a more affordable price. / Nos últimos anos, os sistemas de captura de movimento vêm sendo aplicados em diversas áreas do conhecimento. A animação de personagens virtuais na indústria cinematográfica e a avaliação dos movimentos corporais em áreas da saúde e nos esportes são apenas algumas de suas diversas aplicações. Dos diferentes tipos de sistemas de captura de movimento existentes, os sistemas ópticos baseados em marcadores são reconhecidos como os mais avançados e os que oferecem níveis de precisão e flexibilidade suficientes para suportar o maior número de aplicações. Todavia, esses sistemas estão também entre os mais caros, devido ao alto preço dos elementos de hardware e software. As propostas de baixo custo existentes possuem limitações com relação à precisão, flexibilidade, automatismo e/ou velocidade de processamento, que as tornam inviáveis para uma considerável parcela de aplicações. Neste contexto, esta pesquisa propõe um método computacional completo, considerando as principais deficiências dos trabalhos existentes, para rastrear e reconstruir as trajetórias de uma nuvem de marcadores reflexivos independentes, em tempo real, utilizando múltiplas câmeras especializadas de infravermelho. A técnica proposta envolve um conjunto de algoritmos relativamente simples, os quais integram três etapas principais. Estas etapas realizam o rastreamento e o casamento dos pontos nas imagens e a reconstrução tridimensional das trajetórias dos marcadores. O método foi implementado em software e testado utilizando uma coleção de oito câmeras de infravermelho. Como referência, utilizou-se o software Arena e o sistema OptiTrack comercializado pela empresa NaturalPoint. Nos experimentos conduzidos, a técnica foi capaz de rastrear automaticamente um conjunto de 38 marcadores em tempo real. Comparada ao software comercial Arena, a técnica revelou uma melhor capacidade de rastreamento automático dos marcadores e ainda reconstruiu trajetórias com menor incidência de ruídos. O método proposto deve incentivar pesquisadores e empresas a desenvolverem sistemas de captura de movimento de alto desempenho e com menor custo. / Doutor em Ciências

Este documento apresenta uma dissertação sobre o desenvolvimento de um sistema de integração de dados para geração de estruturas tridimensionais a partir de vídeo 3D. O trabalho envolve a extensão de um sistema de vídeo 3D em tempo real proposto recentemente. Esse sistema, constituído por projetor e câmera, obtém imagens de profundidade de objetos por meio da projeção de slides com um padrão de faixas coloridas. Tal procedimento permite a obtenção, em tempo real, tanto do modelo 2,5 D dos objetos quanto da textura dos mesmos, segundo uma técnica denominada luz estruturada. Os dados são capturados a uma taxa de 30 quadros por segundo e possuem alta qualidade: resoluções de 640 x 480 pixeis para a textura e de 90 x 240 pontos (em média) para a geometria. A extensão que essa dissertação propõe visa obter o modelo tridimensional dos objetos presentes em uma cena por meio do registro dos dados (textura e geometria) dos diversos quadros amostrados. Assim, o presente trabalho é um passo intermediário de um projeto maior, no qual pretende-se fazer a reconstrução dos modelos por completo, bastando para isso apenas algumas imagens obtidas a partir de diferentes pontos de observação. Tal reconstrução deverá diminuir a incidência de pontos de oclusão (bastante comuns nos resultados originais) de modo a permitir a adaptação de todo o sistema para objetos móveis e deformáveis, uma vez que, no estado atual, o sistema é robusto apenas para objetos estáticos e rígidos. Até onde pudemos averiguar, nenhuma técnica já foi aplicada com este propósito. Este texto descreve o trabalho já desenvolvido, o qual consiste em um método para detecção, rastreamento e casamento espacial de componentes conexas presentes em um vídeo 3D. A informação de imagem do vídeo (textura) é combinada com posições tridimensionais (geometria) a fim de alinhar partes de superfícies que são vistas em quadros subseqüentes. Esta é uma questão chave no vídeo 3D, a qual pode ser explorada em diversas aplicações tais como compressão, integração geométrica e reconstrução de cenas, dentre outras. A abordagem que adotamos consiste na detecção de características salientes no espaço do mundo, provendo um alinhamento de geometria mais completo. O processo de registro é feito segundo a aplicação do algoritmo ICP---Iterative Closest Point---introduzido por Besl e McKay em 1992. Resultados experimentais bem sucedidos corroborando nosso método são apresentados. / This document presents a MSc thesis focused on the development of a data integration system to generate tridimensional structures from 3D video. The work involves the extension of a recently proposed real time 3D video system. This system, composed by a video camera and a projector, obtains range images of recorded objects using slide projection of a coloured stripe pattern. This procedure allows capturing, in real time, objects´ texture and 2,5 D model, at the same time, by a technique called structured light. The data are acquired at 30 frames per second, being of high quality: the resolutions are 640 x 480 pixels and 90 x 240 points (in average), respectively. The extension that this thesis proposes aims at obtaining the tridimensional model of the objects present in a scene through data matching (texture and geometry) of various sampled frames. Thus, the current work is an intermediary step of a larger project with the intent of achieving a complete reconstruction from only a few images obtained from different viewpoints. Such reconstruction will reduce the incidence of occlusion points (very common on the original results) such that it should be possible to adapt the whole system to moving and deformable objects (In the current state, the system is robust only to static and rigid objects.). To the best of our knowledge, there is no method that has fully solved this problem. This text describes the developed work, which consists of a method to perform detection, tracking and spatial matching of connected components present in a 3D video. The video image information (texture) is combined with tridimensional sites (geometry) in order to align surface portions seen on subsequent frames. This is a key step in the 3D video that may be explored in several applications such as compression, geometric integration and scene reconstruction, to name but a few. Our approach consists of detecting salient features in both image and world spaces, for further alignment of texture and geometry. The matching process is accomplished by the application of the ICP---Iterative Closest Point---algorithm, introduced by Besl and McKay in 1992. Succesful experimental results corroborating our method are shown.