Tese (doutorado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2015. / Submitted by Albânia Cézar de Melo (albania@bce.unb.br) on 2016-02-16T12:36:49Z No. of bitstreams: 1 2015_RenanUtidaFerreira.pdf: 28303647 bytes, checksum: 4ae4f308b3425ff5ad576a95e447bc55 (MD5) / Approved for entry into archive by Marília Freitas(marilia@bce.unb.br) on 2016-02-28T11:20:25Z (GMT) No. of bitstreams: 1 2015_RenanUtidaFerreira.pdf: 28303647 bytes, checksum: 4ae4f308b3425ff5ad576a95e447bc55 (MD5) / Made available in DSpace on 2016-02-28T11:20:25Z (GMT). No. of bitstreams: 1 2015_RenanUtidaFerreira.pdf: 28303647 bytes, checksum: 4ae4f308b3425ff5ad576a95e447bc55 (MD5) / Reconstrução de imagem por super-resolução (ou simplesmente super-resolução) tem sido um campo de vasto estudo na área de processamento de imagens e vídeos. Dentre as várias propostas para resolver este problema, a super-resolução baseada em exemplos tem por objetivo transformar uma imagem em baixa resolução para uma imagem em alta resolução a partir da inferência de informações de alta frequência de outras imagens em alta resolução. Neste trabalho, propomos novas técnicas de super-resolução baseada em exemplos usando correspondência de descritores de características SIFT e casamento de gradientes. A correspondência de descritores é usada para a geração de um fluxo de vetores de movimentos, a partir dos quais compomos novas imagens por compensação de movimento usando transformações de perspectivas. O casamento de gradientes é usado para geração de imagens refinadas, a partir das quais será extraída informação de alta frequência a ser inserida na imagem de baixa resolução. Apresentamos dois métodos distintos para a solução proposta:no primeiro método, usamos grades móveis para selecionar os grupos de vetores que definem as transformações de perspectivas e casamento de gradientes em vizinhanças quadradas; no segundo, usamos agrupamento automático de vetores e casamento de gradientes em vizinhanças circulares. A solução proposta é testada no contexto de vídeos de resolução mista. Nossos resultados mostram qualidade objetiva dos quadros de vídeo super-resolvidos da ordem de 2dB, medida em PSNR, superior ao obtido por outras soluções. ______________________________________________________________________________ ABSTRACT / Super-resolution image reconstruction (or simply super-resolution) has been a vast field of study in the area of image and video processing. Among the many solutions for this problem, example-based super-resolution has the objective of transforming a low resolution image into a high resolution one by inferring high frequency information from other high resolution images. In this work, we propose new techniques of example-based super-resolution by using SIFT feature descriptors matching followed by gradient matching. The descriptors’ matching is used to generate a motion vector flow, from which we compose new images by motion compensation using perspective transformation. The gradient matching is used to generate refined images, from which we extract the high frequency information to be inserted to the low resolution image. We present two distinct methods for this solution: in the first method, we use moving grids to select the groups of vectors from which we derive the perspective transformation, followed by the matching of gradients in a square neighborghood; in the second method, we use the automatic clustering of vectors and gradient matching in a circular neighborhood. The proposed solution is tested in the context of mixed resolution videos. Our results show superior objective quality in the super-resolved video frames of around 2dB, measured in PSNR, compared to other solutions.

Orientador: Prof. Dr. João Paulo Gois / Dissertação (mestrado) - Universidade Federal do ABC, Programa de Pós-Graduação em Ciências da computação, 2014. / O desenvolvimento tecnológico de dispositivos de captura 3D nos últimos anos permitiram que os usuários acessassem dados 3D de forma fácil e com baixo custo. Neste trabalho estamos interessados no processamento de dados de câmeras que produzem seqüências de imagens (canais RGB) e as informações de profundidade dos objetos que compõem a cena (canal Z) simultaneamente. Atualmente o dispositivo mais popular para a produção deste tipo de informação é o Microsoft Kinect, originalmente usado para rastreamento de movimentos em aplicações de jogos. A informação de profundidade, juntamente com as imagens permite a produção de muitos efeitos visuais de re-iluminação, abstração, segmentação de fundo, bem como a modelagem da geometria da cena. No entanto, o sensor de profundidade tende a gerar dados ruidosos, onde filtros multidimensionais para estabilizar os quadros de vídeo são necessários. Nesse sentido, este trabalho desenvolve e avalia um conjunto de ferramentas para o processamento de vídeos RGB-Z, desde filtros para estabilização de vídeos até efeitos gráficos (renderings não-fotorrealísticos). Para tal, um framework que captura e processa os dados RGB-Z interativamente foi proposto. A implementação deste framework explora programação em GPU com o OpenGL Shading Language (GLSL). / The technological development of 3D capture devices in recent years has enabled users to easily access 3D data easily an in a low cost. In this work we are interested in processing data from cameras that produce sequences of images (RGB-channels) and the depth information of objects that compose the scene (Z-channel) simultaneously. Currently the most popular device for producing this type of information is the Microsoft Kinect, originally used for tracking movements in game applications. The depth information coupled with the images allow the production of many visual eects of relighting, abstraction, background segmentation as well as geometry modeling from the scene. However, the depth sensor tends to generate noisy data, where multidimensional filters to stabilize the frames of the video are required. In that sense this work developed and evaluated a set of tools for video processing in RGB-Z, from filters to video stabilization to the graphical eects (based on non-photorealistic rendering). To this aim, an interactive framework that captures and processes RGB-Z data interactively was presented. The implementation of this framework explores GPU programming with OpenGL Shading Language (GLSL).

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Video-based interactive storytelling has as its main goal the generation of interactive narratives, allowing users to control the course of the story and using cinematographic compositions to dramatize it. For this process to be possible, there is a need for large amounts of cinematographic content in the form of filmed scenes. This content, on the other hand, has to be properly pre-processed in order to be usable. This work proposes an approach for video segmentation aimed for video-based interactive storytelling, using alpha matting to extract color and transparency of video elements to be later recomposed for dramatization purposes. The developed solution uses background subtraction and energy minimization techniques to automatically generate trimaps. / O storytelling interativo baseado em vídeo tem como objetivo a geração de narrativas, permitindo o controle de um usuário sobre o rumo da estória e utilizando composições cinematográficas para dramatizá-la. Para que este processo seja possível, existe a necessidade de uma grande quantidade de conteúdo cinematográfico na forma de filmagens. Este conteúdo, por sua vez, precisa ser adequadamente pré-processado para permitir sua utilização adequada. Nesse trabalho, uma abordagem para segmentação de vídeos para storytelling interativo baseado em vídeo é proposta, utilizando alpha matting para extrair informações de cor e transparência de elementos de vídeos para serem reutilizados em processos de dramatização. A solução desenvolvida utiliza técnicas de subtração de fundo e minimização de energia para gerar trimaps de forma automática.