Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2016. / Submitted by Fernanda Percia França (fernandafranca@bce.unb.br) on 2016-09-19T20:08:47Z No. of bitstreams: 1 2016_EnnioWillianLimaSilva.pdf: 204214123 bytes, checksum: feab0c27461620dfbb6d622fbe4abd70 (MD5) / Approved for entry into archive by Raquel Viana(raquelviana@bce.unb.br) on 2016-10-22T18:48:06Z (GMT) No. of bitstreams: 1 2016_EnnioWillianLimaSilva.pdf: 204214123 bytes, checksum: feab0c27461620dfbb6d622fbe4abd70 (MD5) / Made available in DSpace on 2016-10-22T18:48:06Z (GMT). No. of bitstreams: 1 2016_EnnioWillianLimaSilva.pdf: 204214123 bytes, checksum: feab0c27461620dfbb6d622fbe4abd70 (MD5) / A evolução dos sistemas e tecnologias de vídeo 3D nos últimos anos é uma consequência do empenho das produtoras de conteúdos multimídia no intuito de proporcionar a imersão 3D ao usuário. A disponibilidade dos conteúdos 3D estão voltadas para os mais variados tipos de tecnologias como dispositivos móveis (celulares e tablets), computadores pessoais, televisões, entre outras, o que aumenta ainda mais o número de usuários alcançados. Este fato, fez da televisão 3D (3DTV - 3D Television) e a televisão de ponto de vista livre (FVT - Free ViewPoint Television) tópicos relevantes em pesquisas relacionadas ao 3D. O uso das abordagens vídeo+profundidade e multivista+profundidade fornece uma forma otimizada de transmissão do conteúdo nestas aplicações. A síntese de vista se faz um processo necessário para utilização destes formatos, sendo a renderização baseada em imagem de profundidade (DIBR - Depth-Image-Based Rendering) um dos métodos fundamentais para este processo. A DIBR produz vistas virtuais que possuem buracos também chamados desoclusões. O preenchimento destes buracos de maneira visualmente plausível é imprescindível para minimizar a degradação da qualidade dos resultados da síntese de vista. Portanto este trabalho apresenta um algoritmo de inpainting que utiliza mapa de profundidade como auxílio para preenchimento de buracos presentes nas imagens virtuais que foram geradas no processo de síntese de vista. Os resultados objetivos e subjetivos mostram que o algoritmo proposto possui melhores performances em diversas sequências de imagens testadas em relação à outros algoritmos da literatura. ______________________________________________________________________________________ ABSTRACT / The recent evolution of 3D video system technologies is a consequence of multimídia content producers efforts to provide 3D immersion to the user. The 3D contents are available to a great range of technologies such as mobile devices (mobile phones and tablets), personal computers and televisions which increases even more the number of users. This fact has turned out made 3D television (3DTV) and Free ViewPoint Television (FTV) a promising topic regarding researches in 3D technologies. The use of video+depth and multiview+depth approaches provides an optimized way of streaming 3D content on these applications. The view synthesis is a required procedure when using the aforementioned approaches, being the depth-image-based rendering (DIBR)a fundamental method in this context. The DIBR produces virtual views that have holes, which are also called disocclusion. Filling these holes in a visually plausible way is essential to minimise the degradation of quality of the view synthesis results. Therefore, this work presents an inpainting algorithm that uses depth maps as aid for filling the holes present in virtual images, which are generated by the view synthesis process. Objective and subjective results show that the proposed algorithm has better performance in various image sequences in comparison to other state-of-art algorithms.

Submitted by Automa??o e Estat?stica (sst@bczm.ufrn.br) on 2017-11-06T21:05:53Z No. of bitstreams: 1 LuisEnriqueOrtizFernandez_DISSERT.pdf: 11059946 bytes, checksum: bdd41462c0c6560f2ac2ded683b3e6b2 (MD5) / Approved for entry into archive by Arlan Eloi Leite Silva (eloihistoriador@yahoo.com.br) on 2017-11-20T22:59:57Z (GMT) No. of bitstreams: 1 LuisEnriqueOrtizFernandez_DISSERT.pdf: 11059946 bytes, checksum: bdd41462c0c6560f2ac2ded683b3e6b2 (MD5) / Made available in DSpace on 2017-11-20T22:59:57Z (GMT). No. of bitstreams: 1 LuisEnriqueOrtizFernandez_DISSERT.pdf: 11059946 bytes, checksum: bdd41462c0c6560f2ac2ded683b3e6b2 (MD5) Previous issue date: 2017-07-05 / Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior (CAPES) / Na vis?o artificial usam-se v?rios dispositivos como o MS Kinect v1/v2, as c?meras est?reo PG Bumblebee XB3 e a Stereolabs ZED, entre outros. Como todos s?o dispositivos que estimam dados de profundidade, podem conter erros. Neste trabalho, apresenta-se o projeto e implementa??o de um m?todo gen?rico para a estima??o do erro RMS em dados de profundidade fornecidos por qualquer dispositivo, capaz de gerar dados do tipo RGB-D, isto ?, uma imagem e um mapa de profundidade ao mesmo tempo. Para verifica??o do m?todo foi constru?do um sistema embarcado baseado na placa NVIDIA Jetson TK1 e tr?s sensores, as duas vers?es do MS Kinect e a c?mera est?reo ZED. No momento da coleta de dados foram estabelecidos os modelos matem?ticos do erro RMS para cada dispositivo e, ao final, foi feita uma an?lise da exatid?o de cada um. / In the artificial vision are used several devices like MS Kinect v1 / v2, the stereo cameras PG Bumblebee XB3 and Stereolabs ZED, among others. Because they are all devices that estimate depth data, they may contain errors. In this work, we present the design and implementation of a generic method for estimating the RMS error in depth data provided by any device, capable of generating data of type RGB-D, that is, an image and a depth map Same time. To verify the method was built an embedded system based on the NVIDIA Jetson TK1 and three sensors, the two versions of MS Kinect and the ZED stereo camera. At the moment of the data collection, the mathematical models of the RMS error were established for each device and, at the end, an analysis was made of the accuracy of each one.

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2017. / Submitted by Raquel Almeida (raquel.df13@gmail.com) on 2017-08-11T17:54:07Z No. of bitstreams: 1 2017_GizeleFernandaAbdonJúlio.pdf: 8246830 bytes, checksum: 08a772c1a262f57b66e4c717dccfd722 (MD5) / Approved for entry into archive by Raquel Viana (raquelviana@bce.unb.br) on 2017-09-26T16:34:31Z (GMT) No. of bitstreams: 1 2017_GizeleFernandaAbdonJúlio.pdf: 8246830 bytes, checksum: 08a772c1a262f57b66e4c717dccfd722 (MD5) / Made available in DSpace on 2017-09-26T16:34:31Z (GMT). No. of bitstreams: 1 2017_GizeleFernandaAbdonJúlio.pdf: 8246830 bytes, checksum: 08a772c1a262f57b66e4c717dccfd722 (MD5) Previous issue date: 2017-09-26 / Sistemas de múltiplas vistas são amplamente empregados na criação de vídeos 3D e de aplicações de ponto de vista livre. As múltiplas vistas, contendo vídeos de textura (cor) e profundidade, devem ser eficientemente comprimidas para serem transmitidas ao cliente e podem servir para síntese de vistas no receptor. Nesse contexto, a proposta deste trabalho é desenvolver um pré-processamento baseado no modelo de Distorção de Profundidade Admissível (ADD) que atue sobre os mapas de profundidade antes da codificação destes. Esse trabalho explora o modelo ADD e, adicionalmente, propõe a escolha e substituição dos valores de profundidade para aumentar a compressão dos mesmos de acordo com a distribuição dos blocos (coding units) empregados por codificadores padrões. Este pré-processamento tem como intuito a diminuição da carga de transmissão sem gerar perdas de qualidade na síntese da vista. Os histogramas dos mapas de profundidade após o pré-processamento são modificados, pois a alteração dos valores de profundidade dependerá da localização dos blocos. Os resultados mostram que é possível alcançar ganhos de compressão de até 13.9% usando o método da Mínima Variância no Bloco-ADD (ADD-MVB) sem a introdução de perdas por distorção e preservando a qualidade das imagens sintetizadas. / Multiview systems are widely used to create 3D video as well as in FreeViewpoint Video applications. The multiple views, consisting of texture images and depth maps, must be efficiently compressed and trasmitted to clients where they may be used towards the synthesis of virtual views. In this context, the Allowable Depth Distorion (ADD) has been used in a preprocessing step prior to depth coding. This work explores ADD and, additionally, the choice of depth value to increase compression for transmission in accordance to the distribution of blocks (e.g., coding units) commonly employed by standardized coders without generating synthesis quality losses. Their histograms will be modified depending on the location and where the pixel belongs in the image. Experimental results show that our proposal can achieve compression gains of up to 13.9% applying the minimum variance method within a block, without introducing losses in terms of distortion and preserving synthesized image quality.

Este trabalho apresenta os resultados da pesquisa e da aplicação de técnicas de GPGPU (General-Purpose computation on Graphics Processing Units) sobre o sistema de vídeo-avatar com realidade aumentada denominado AVMix. Com o aumento da demanda por gráficos tridimensionais interativos em tempo real cada vez mais próximos da realidade, as GPUs (Graphics Processing Units) evoluíram até o estado atual, como um hardware com alto poder computacional que permite o processamento de algoritmos paralelamente sobre um grande volume de dados. Desta forma, É possível usar esta capacidade para aumentar o desempenho de algoritmos usados em diversas áreas, tais como a área de processamento de imagens e visão computacional. A partir das pesquisas de trabalhos semelhantes, definiu-se o uso da arquitetura CUDA (Computer Unified Device Architecture) da Nvidia, que facilita a implementação dos programas executados na GPU e ao mesmo tempo flexibiliza o seu uso, expondo ao programador o detalhamento de alguns recursos de hardware, como por exemplo a quantidade de processadores alocados e os diferentes tipos de memória. Após a reimplementação das rotinas críticas ao desempenho do sistema AVMix (mapa de profundidade, segmentação e interação), os resultados mostram viabilidade do uso da GPU para o processamento de algoritmos paralelos e a importância da avaliação do algoritmo a ser implementado em relação a complexidade do cálculo e ao volume de dados transferidos entre a GPU e a memória principal do computador. / This work presents the results of research and application of GPGPU (General-Purpose computation on Graphics Processing Units) techniques on the video-avatar system with augmented reality called AVMix. With increasing demand for interactive three-dimensional graphics rendered in real-time and closer to reality, GPUs (Graphics Processing Units) evolved to the present state as a high-powered computing hardware enabled to process parallel algorithms over a large data set. This way, it is possible to use this capability to increase the performance of algorithms used in several areas, such as image processing and computer vision. From the research of similar work, it is possible to define the use of CUDA (Computer Unified Device Architecture) from Nvidia, which facilitates the implementation of the programs that run on GPU and at the same time flexibilize its use, exposing to the programmer some details of hardware such as the number of processors allocated and the different types of memory. Following the reimplementation of critical performance routines of AVMix system (depth map, segmentation and interaction), the results show the viability of using the GPU to process parallel algorithms in this application and the importance of evaluating the algorithm to be implemented, considering the complexity of the calculation and the volume of data transferred between the GPU and the computer\'s main memory.

Este trabalho apresenta os resultados da pesquisa e da aplicação de técnicas de GPGPU (General-Purpose computation on Graphics Processing Units) sobre o sistema de vídeo-avatar com realidade aumentada denominado AVMix. Com o aumento da demanda por gráficos tridimensionais interativos em tempo real cada vez mais próximos da realidade, as GPUs (Graphics Processing Units) evoluíram até o estado atual, como um hardware com alto poder computacional que permite o processamento de algoritmos paralelamente sobre um grande volume de dados. Desta forma, É possível usar esta capacidade para aumentar o desempenho de algoritmos usados em diversas áreas, tais como a área de processamento de imagens e visão computacional. A partir das pesquisas de trabalhos semelhantes, definiu-se o uso da arquitetura CUDA (Computer Unified Device Architecture) da Nvidia, que facilita a implementação dos programas executados na GPU e ao mesmo tempo flexibiliza o seu uso, expondo ao programador o detalhamento de alguns recursos de hardware, como por exemplo a quantidade de processadores alocados e os diferentes tipos de memória. Após a reimplementação das rotinas críticas ao desempenho do sistema AVMix (mapa de profundidade, segmentação e interação), os resultados mostram viabilidade do uso da GPU para o processamento de algoritmos paralelos e a importância da avaliação do algoritmo a ser implementado em relação a complexidade do cálculo e ao volume de dados transferidos entre a GPU e a memória principal do computador. / This work presents the results of research and application of GPGPU (General-Purpose computation on Graphics Processing Units) techniques on the video-avatar system with augmented reality called AVMix. With increasing demand for interactive three-dimensional graphics rendered in real-time and closer to reality, GPUs (Graphics Processing Units) evolved to the present state as a high-powered computing hardware enabled to process parallel algorithms over a large data set. This way, it is possible to use this capability to increase the performance of algorithms used in several areas, such as image processing and computer vision. From the research of similar work, it is possible to define the use of CUDA (Computer Unified Device Architecture) from Nvidia, which facilitates the implementation of the programs that run on GPU and at the same time flexibilize its use, exposing to the programmer some details of hardware such as the number of processors allocated and the different types of memory. Following the reimplementation of critical performance routines of AVMix system (depth map, segmentation and interaction), the results show the viability of using the GPU to process parallel algorithms in this application and the importance of evaluating the algorithm to be implemented, considering the complexity of the calculation and the volume of data transferred between the GPU and the computer\'s main memory.

[pt] As aplicações da reconstrução em três dimensões de uma cena real são as mais diversas. O surgimento de sensores de profundidade de baixo custo, tal qual o Kinect, sugere o desenvolvimento de sistemas de reconstrução mais baratos que aqueles já existentes. Contudo, os dados disponibilizados por este dispositivo ainda carecem em muito quando comparados àqueles providos por sistemas mais sofisticados. No mundo acadêmico e comercial, algumas iniciativas, como aquelas de Tong et al. [1] e de Cui et al. [2], se propõem a solucionar tal problema. A partir do estudo das mesmas, este trabalho propôs a modificação do algoritmo de super-resolução descrito por Mitzel et al. [3] no intuito de considerar em seus cálculos as imagens coloridas também fornecidas pelo dispositivo, conforme abordagem de Cui et al. [2]. Tal alteração melhorou os mapas de profundidade super-resolvidos fornecidos, mitigando interferências geradas por movimentações repentinas na cena captada. Os testes realizados comprovam a melhoria dos mapas gerados, bem como analisam o impacto da implementação em CPU e GPU dos algoritmos nesta etapa da super-resolução. O trabalho se restringe a esta etapa. As etapas seguintes da reconstrução 3D não foram implementadas. / [en] There are a lot of three dimensions reconstruction applications of real scenes. The rise of low cost sensors, like the Kinect, suggests the development of systems cheaper than the existing ones. Nevertheless, data provided by this device are worse than that provided by more sophisticated sensors. In the academic and commercial world, some initiatives, described in Tong et al. [1] and in Cui et al. [2], try to solve that problem. Studying that attempts, this work suggests the modification of super-resolution algorithm described for Mitzel et al. [3] in order to consider in its calculations coloured images provided by Kinect, like the approach of Cui et al. [2]. This change improved the super resolved depth maps provided, mitigating interference caused by sudden changes of captured scenes. The tests proved the improvement of generated maps and analysed the impact of CPU and GPU algorithms implementation in the superresolution step. This work is restricted to this step. The next stages of 3D reconstruction have not been implemented.

[pt] Modelagem e renderização baseadas em imagem tem sido uma área de pesquisa muito ativa nas últimas décadas, tendo recebido grande atenção como uma alternativa às técnicas tradicionais de síntese de imagens baseadas primariamente em geometria. Nesta área, algoritmos de visão computacional são usados para processar e interpretar fotos ou vídeos do mundo real a fim de construir um modelo representativo de uma cena, ao passo que técnicas de computação gráfica são usadas para tomar proveito desta representação e criar cenas foto-realistas. O propósito deste trabalho é investigar técnicas de renderização capazes de gerar vistas virtuais de alta qualidade de uma cena, em tempo real. Para garantir a performance interativa do algoritmo, além de aplicar otimizações a métodos de renderização existentes, fazemos uso intenso da GPU para o processamento de geometria e das imagens para gerar as imagens finais. Apesar do foco deste trabalho ser a renderização, sem reconstruir o mapa de profundidade a partir das fotos, ele implicitamente contorna possíveis problemas na estimativa da profundidade para que as cenas virtuais geradas apresentem um nível aceitável de realismo. Testes com dados públicos são apresentados para validar o método proposto e para ilustrar deficiências dos métodos de renderização baseados em imagem em geral. / [en] Image-based modeling and rendering has been a very active research topic as a powerful alternative to traditional geometry-based techniques for image synthesis. In this area, computer vision algorithms are used to process and interpret real-world photos or videos in order to build a model of a scene, while computer graphics techniques use this model to create photorealistic images based on the captured photographs or videos. The purpose of this work is to investigate rendering techniques capable of delivering visually accurate virtual views of a scene in real-time. Even though this work is mainly focused on the rendering task, without the reconstruction of the depth map, it implicitly overcomes common errors in depth estimation, yielding virtual views with an acceptable level of realism. Tests with publicly available datasets are also presented to validate our framework and to illustrate some limitations in the IBR general approach.

Em um primeiro momento as novas tecnologias podem impulsionar acentuadamente a interação com um elemento, o que pode levar à um aprendizado significativo, mas esse impulso reduz assim que a interação se torna comum ou até mesmo repetitiva. Quando essa nova tecnologia se torna natural para o usuário ela deixa de ser uma novidade e se torna uma ferramenta. O uso de Imagens Geradas por Computador (IGC) experienciaram exatamente isso, décadas atrás, mas estão constantemente sendo iteradas de acordo com suas necessidades de reavaliação frequentes. Com o desenvolvimento das IGC as imagens tridimensionais deixaram de ser um formato excessivamente complicado, ao passo que hardwares e conceitos foram adentrando objetos do dia-a-dia como smartphones, webcams, câmeras, aplicativos de geração de malhas 3D, etc. O seu uso com objetivos museológicos se tornou evidente no campo da herança cultural para arquivamento e comunicação. Sendo assim, para verificar a viabilidade para uma solução fácil e de baixo custo visando novos usuários, diferentes tipos de métodos não-destrutivos de reconstrução baseadas na superfície foram analisados. Para isso, identificou-se a qualidade do resultado de precisão da malha, a rastreabilidade e a compatibilidade dos mesmos. Com esse objetivo, foi proposto um método com um conjunto de métricas que podem ser aplicadas para determinar a usabilidade de um objeto reconstruído com um fim específico. Quatro artefatos arqueológicos foram escaneados usando métodos de vídeo fotogrametria e vídeo de profundidade, a serem comparados com substitutos escaneados a laser. Depois de analisar os escaneamentos dos mesmos objetos com esses diferentes métodos, concluiu-se que a fotogrametria é capaz de gerar com rapidez um modelo altamente detalhado, mas com várias distorções. A profundidade de câmera gerou superfícies mais suaves e maior incidência de erros. Em última análise, cada método apresentado demonstra múltiplas possibilidades para materialização, dependendo do objetivo, resolução e de quão detalhado o objeto deve ser para ser corretamente compreendido. / At first glance new technologies can provide an engaging way to interact with a subject which may induce a meaningful learning, but it soon falls short when it becomes common or even repetitive. As this new technology becomes natural to the user, it no longer relies on novelty and goes into another condition, as a tool. The use of Computer-Generated Imagery (CGI) experienced exactly this, decades ago, but as it\'s constantly being iterated upon it needs to be reassessed often. As CGI goes, the tridimensional imagery as an overcomplicated format started to fade, as new hardware and concepts made way into everyday objects such as smartphones, webcams, cameras, 3D mesh generation apps, etc. It\'s use for museological purposes became clear in the field of cultural heritage for archiving and communication. So, to verify the viability for a low-cost and easy to use solution aiming to novice users, different types of non-destructive methods surface based reconstructions are analyzed to identify the quality of the resulted mesh based on precision, traceability and compatibility. To this end, it was proposed a method with a set of metrics which can be used to point out the usability of a reconstructed object for a specific end. Four archaeological artifacts were scanned using the video photogrammetry method and the depth video method, to be compared with a laser scanned surrogate. After analyzing the scans of the same objects with these different methods, the conclusion is that photogrammetry has the power to provide a highly detailed model very fast but with several distortions. The depth camera provided smoother surfaces and higher error. Ultimately, each method presented multiple possibilities for materialize itself, depending on target resolution and how detailed the object must be to correctly understand it.