Esta dissertação apresenta uma solução prática para o problema de reiluminação de imagens para objetos com geometria arbitrária. Nossa técnica baseia-se no que chamamos de shading proxies (versões deformadas de modelos 3D que aproximam o objeto a ser reiluminado) para guiar o processo de reiluminação. Nosso método é flexível e robusto, podendo reiluminar fotografias, pinturas, e desenhos de diferentes objetos de maneira eficaz. Além de reiluminação, nossa técnica pode ser usada para estimar mapas de normais e profundidade, bem como realizar decomposição intrínsica de imagens, e transferir iluminação para desenhos delineados. Uma avaliação preliminar mostra que nossa técnica produz resultados convincentes, e usuários novatos podem reiluminar imagens facilmente em poucos minutos. / We present a practical solution to the problem of single-image relighting of objects with arbitrary shapes. It is based on a shading-ratio image obtained from the original and target lighting applied to shading proxies (warped versions of 3-D models that approximate the objects to be relit). Our approach is flexible and robust, being applicable to objects with non-uniform albedos. We demonstrate its effectiveness by relighting a large number of photographs, paintings, and drawings containing a variety of objects of different materials. In addition to relighting, our technique can estimate smooth normal and depth maps from pictures, as well as perform intrinsic-image decomposition. Preliminary evaluation has shown that our technique produces convincing results, and novice users can relight images in just a couple of minutes.

Este trabalho apresenta um estudo sobre métodos utilizados para realizar metamorfose entre imagens digitais. Segundo esses métodos é possível estabelecer uma imagem fonte, uma destino e, através de operações de mapeamento de texturas, realizar uma seqüência de imagens intermediárias. Essas imagens intermediárias apresentam-se como deformações sobre a imagem fonte ou como etapas de transição entre as imagens originais, efeito produzido pela inserção de um processo de fusão de imagens. O processo de deformação varia segundo o método empregado e influencia diretamente nos resultados por ele gerado. Assim, dois métodos com características diferentes para deformação de imagens foram escolhidos, dentre os encontrados, para um estudo mais aprofundado e são referenciados como o Método das Malhas e o Método dos Campos de Influência. Esses métodos são apresentados, seus funcionamentos discutidos e resultados gerados para se estabelecer uma análise entre os mesmos. A análise é efetuada segundo os aspectos de tempo de processamento, consumo de minoria e atribuição de correspondências entre as imagens, sendo que esta última característica leva em consideração o tempo total gasto para se estabelecer as correspondências necessárias entre a imagem fonte e a destino. Neste ponto também é estabelecido um quadro comparativo entre os métodos escolhidos, destacando-se vantagens e desvantagens. Os resultados da aplicação dos métodos analisados encontram-se distribuídos ao longo do texto sob a forma de imagens e tabelas, são utilizados para provar a eficiência desses métodos e foram gerados por um sistema de testes implementado. O sistema de testes desenvolvido possibilita a geração de imagens, segundo o método escolhido, informa os tempos utilizados no processamento e exibe essas imagens seqüencialmente sob a forma de uma animação. Por fim o trabalho apresenta conclusões sobre o estudo, salientando aspectos considerados relevantes quando do estudo e implementação dos métodos, e indica futuras extensões que podem ser efetuadas a fim de tornar o sistema de testes mais flexível e completo. / This work presents a study on methods used to make digital images metamorphosis. According to these methods it is possible to establish a source image, a destination image and also to generate a sequence of intermediate images through operations of texture mapping. These intermediate images appears as deformations of the source image or as transition steps between the original images which are produced by the insertion of a cross-dissolve process. The warping process varies according to the method which is used and it influences directly its results. Thus, two methods for image warping with different characteristics were chosen, among the available ones, for a more detailed study and are refered as the Mesh Method and as the Fields of Influence Method. These two methods are presented, their functioning is discussed and results are generated to allow comparative analyses. The analysis concerns aspects of processing time, memory allocation and correspondence establishment, which take into account the time waisted in order to establish the correspondences between the images. At this point it is also established a comparative table between the chosen methods highlighting advantages and disadvantages. The results of the application of the analysed methods are distributed throughout the text as images and tables, which are used to prove the efficiency of them and were generated by a test system implemented. The system developed provides the generation of images, according to the choosen method, informs the time waisted on processing and shows those images sequentially as an animation. Finally this work presents conclusions about the study and indicates future extensions that can be done in order to make the developed system more flexible and complete.

As tarefas de visão computacional incentivam uma significativa parte da pesquisa em todas as áreas científicas e industriais, entre as quais, cita-se a área voltada para o desenvolvimento de arquiteturas de computadores. A visão computacional é considerada um dos problemas mais desafiadores para a computação de alto desempenho, pois esta requer um grande desempenho, bem como um alto grau de flexibilidade. A flexibilidade é necessária pois a visão computacional abrange aplicações em que há diferentes tarefas a serem realizadas com diferentes necessidades de desempenho. Esta flexibilidade é particularmente importante em sistemas destinados a atuar como ambientes experimentais para novas técnicas de processamento visual ou para a prototipação de novas aplicações. Computação configurável tem demonstrado, por meio de exemplos implementados pela comunidade científica, fornecer uma boa relação entre alto desempenho e flexibilidade necessária para a implementação de diferentes técnicas utilizadas na área de visão computacional. Contudo, poucos esforços de pesquisa têm sido realizados na concepção de sistemas completos visando a solução de um problema de visão computacional, incluindo ambos os requisitos de software e de hardware. O principal objetivo deste trabalho é mostrar que as técnicas e tecnologias disponíveis na área de computação configurável podem ser empregadas para a concepção de um sistema capaz de implementar um grande número de aplicações da área de visão computacional na pesquisa e no ambiente industrial. Entretanto, não é escopo deste trabalho implementar um sistema de computação que seja suficiente para abordar os requerimentos necessários para todas as aplicações em visão computacional, mas os métodos aqui introduzidos podem ser utilizados como uma base geral de implementação de várias tarefas de visão computacional. Este trabalho utiliza ambientes que permitem implementações conjuntas de hardware e software, pois os mesmos facilitam a validação das técnicas aqui apresentadas, por meio da implementação de um estudo de caso, sendo parte deste estudo de caso implementado em software e outra parte em hardware.

Sistemas de visão artificial são cada vez mais usados para auxiliar seres humanos a realizar diferentes tarefas. Estes sistemas são capazes de reconhecer padrões em imagens complexas. Técnicas de visão computacional têm encontrado crescente aplicação em estudos e sistemas de controle e monitoração de tráfego de automóveis. Uma das áreas de pesquisa que tem sido objeto de estudo por diferentes grupos é a leitura automática de placas de matrículas como forma de detectar transgressores, encontrar carros roubados ou efetuar estudos de origem/destino [BAR99]. Com o constante crescimento do volume de tráfego de automóvel e a limitada capacidade dos sensores convencionais, especialistas da área recorrem a técnicas de identificação automática de veículos para obter dados relativos ao escoamento de tráfego. A identificação automática de veículos tem tido essencialmente duas abordagens distintas: a utilização de transponders e a utilização de técnicas de visão computacional [INI85] . Estas são essencialmente úteis em casos em que não é viável obrigar os motoristas a instalar transponders em seus automóveis. No entanto, essas técnicas são mais sensíveis às condições atmosféricas e de iluminação tais como nevoeiros, chuva intensa, luz noturna, reflexos em superfícies, etc. Este trabalho apresenta um estudo de diversas técnicas de processamento de imagem objetivando o aperfeiçoamento de um sistema de identificação automática de placas de veículos. Este aperfeiçoamento está relacionado com a diminuição do tempo de execução necessário à localização e reconhecimento dos caracteres contidos nas placas dos veículos bem como a melhorar a taxa de sucesso no seu reconhecimento. A primeira versão do sistema de identificação da placas de veículos descrito em [SOU2000], desenvolvido no CPG-EE da UFRGS, denominado SIAV 1.0, localiza e extrai 91,3% das placas corretamente mas apresenta uma taxa de reconhecimento das placas de 37,3%, assim como um tempo de processamento não satisfatório. Neste trabalho, cujo sistema desenvolvido é denominado SIAV 2.0, a imagem é previamente processada através da aplicação de técnicas de realce da imagem. O principal objetivo das técnicas de realce é processar a imagem de modo que o resultado seja mais apropriado para uma aplicação específica do que a imagem original [GON93]. O sistema busca melhorar a qualidade da imagem eliminando ou suavizando sombras e reflexos presentes na cena em virtude da iluminação não controlada. Visando um menor tempo de execução durante o tratamento e análise da imagem um estudo estatístico baseado na distribuição gaussiana foi realizado de maneira a restringir a área de análise a ser processada. O SIAV possui duas redes neurais como ferramentas de reconhecimento de caracteres. A partir da análise dos diferentes modelos de redes neurais empregados na atualidade, foi desenvolvida uma nova arquitetura de rede a ser utilizada pelo SIAV 2.0 que oferece uma taxa de reconhecimento superior a rede neural usada no SIAV 1.0. Visando um melhor tempo de execução, a implementação em hardware dedicado para este modelo é abordado. Os testes foram realizados com três bancos de imagens obtidas por câmeras diferentes, inclusive por dispositivo "pardal" comercial. Estes testes foram realizados para verificar a efetividade dos algoritmos aperfeiçoados.

O advento das unidades de processamento gráfico (GPUs) programáveis forneceram um novo modelo computacional que pode ser utilizado em diversas aplicações. Baseadas em arquitetura de fluxo paralelo, a atual geração de GPUs oferece processadores de vértices e de fragmentos programáveis que podem aumentar drasticamente a performance comparada com soluções implementadas exclusivamente em CPUs. Entretanto obter performance ótima no modelo computacional da GPU, que é complexo e altamente paralelo, com ferramentas de depuração limitadas é uma tarefa difícil e importante. Neste trabalho nós descrevemos uma abordagem simples para avaliar diversas soluções baseadas em GPU para uma dada solução. Ela consiste de um modelo de estimativa de performance que procura reproduzir, dentro de faixas toleráveis de erro, a medida de performance para a unidade de processamento de fragmentos. Nós avaliamos a nossa proposta utilizando as últimas gerações de placas gráficas da NVidia e da ATI usando um conjunto de medidas sintéticas bem como um estudo de caso de uma aplicação em tempo-real. / The advent of Graphics Processing Units (GPUs) with programmable shaders brought a new computational model that can be used in several applications. Based on a parallel streaming architecture, current GPU generations offer a vertex and fragment shader that can drastically improve performance if compared to CPU-only solutions. However, obtaining optimal performance in the highly parallel and complex GPU model with limited debugging tools is a challenging and important task. In this work we describe a simple approach to evaluate several GPU alternatives to a given solution. It consists of a performance estimation model that aims to reproduce within acceptable errors the measured performance of the fragment shader. We evaluate our proposal using last generation cards from NVIDIA and ATI using synthetic benchmarks as well as a real-time graphics application case-study.

Este trabalho apresenta um estudo sobre métodos utilizados para realizar metamorfose entre imagens digitais. Segundo esses métodos é possível estabelecer uma imagem fonte, uma destino e, através de operações de mapeamento de texturas, realizar uma seqüência de imagens intermediárias. Essas imagens intermediárias apresentam-se como deformações sobre a imagem fonte ou como etapas de transição entre as imagens originais, efeito produzido pela inserção de um processo de fusão de imagens. O processo de deformação varia segundo o método empregado e influencia diretamente nos resultados por ele gerado. Assim, dois métodos com características diferentes para deformação de imagens foram escolhidos, dentre os encontrados, para um estudo mais aprofundado e são referenciados como o Método das Malhas e o Método dos Campos de Influência. Esses métodos são apresentados, seus funcionamentos discutidos e resultados gerados para se estabelecer uma análise entre os mesmos. A análise é efetuada segundo os aspectos de tempo de processamento, consumo de minoria e atribuição de correspondências entre as imagens, sendo que esta última característica leva em consideração o tempo total gasto para se estabelecer as correspondências necessárias entre a imagem fonte e a destino. Neste ponto também é estabelecido um quadro comparativo entre os métodos escolhidos, destacando-se vantagens e desvantagens. Os resultados da aplicação dos métodos analisados encontram-se distribuídos ao longo do texto sob a forma de imagens e tabelas, são utilizados para provar a eficiência desses métodos e foram gerados por um sistema de testes implementado. O sistema de testes desenvolvido possibilita a geração de imagens, segundo o método escolhido, informa os tempos utilizados no processamento e exibe essas imagens seqüencialmente sob a forma de uma animação. Por fim o trabalho apresenta conclusões sobre o estudo, salientando aspectos considerados relevantes quando do estudo e implementação dos métodos, e indica futuras extensões que podem ser efetuadas a fim de tornar o sistema de testes mais flexível e completo. / This work presents a study on methods used to make digital images metamorphosis. According to these methods it is possible to establish a source image, a destination image and also to generate a sequence of intermediate images through operations of texture mapping. These intermediate images appears as deformations of the source image or as transition steps between the original images which are produced by the insertion of a cross-dissolve process. The warping process varies according to the method which is used and it influences directly its results. Thus, two methods for image warping with different characteristics were chosen, among the available ones, for a more detailed study and are refered as the Mesh Method and as the Fields of Influence Method. These two methods are presented, their functioning is discussed and results are generated to allow comparative analyses. The analysis concerns aspects of processing time, memory allocation and correspondence establishment, which take into account the time waisted in order to establish the correspondences between the images. At this point it is also established a comparative table between the chosen methods highlighting advantages and disadvantages. The results of the application of the analysed methods are distributed throughout the text as images and tables, which are used to prove the efficiency of them and were generated by a test system implemented. The system developed provides the generation of images, according to the choosen method, informs the time waisted on processing and shows those images sequentially as an animation. Finally this work presents conclusions about the study and indicates future extensions that can be done in order to make the developed system more flexible and complete.

Este trabalho introduz uma interface para estender vídeos educacionais com panoramas e navegação não-linear baseada em conteúdo. Em vídeos de e-learning convencionais, cada quadro está restrito ao subconjunto da cena capturado naquele momento. Isso torna difícil para o usuário revisitar conteúdos mostrados anteriormente, que podem ser essenciais para o entendimento dos conceitos seguintes. Localizar conteúdos anteriores nesses vídeos requer uma navegação linear no tempo, o que pode ser ineficiente. Estendemos vídeo-aulas para prover ao usuário o acesso direto a todo o conteúdo apresentado através de uma simples interface. Isso é feito pela detecção automática de pontos relevantes no vídeo e a criação de hyperlinks a partir desses pontos de maneira completamente transparente. Nossa interface constrói gradualmente um panorama clicável que mostra todo o conteúdo visto no vídeo até o dado momento. O usuário pode navegar pelo vídeo simplesmente clicando no conteúdo desejado, ao invés de utilizar a tradicional barra deslizante de tempo. Nosso panorama também pode ser exportado no final da execução, juntamente com anotações feitas pelo usuário, como um conjunto de notas de aula. A eficiência da nossa técnica foi demonstrada com a aplicação bem-sucedida a três categorias de vídeos que são representativas de todo o conjunto de vídeo-aulas disponíveis: Khan Academy, Coursera e aulas convencionais gravadas com uma câmera. Demonstramos que foi possível atingir os resultados em tempo real para vídeos de baixa resolução (320x240). No caso de resoluções mais altas, é necessário que a detecção de features (usando SIFT) seja feita em uma fase de pré-processamento. Como a parte mais custosa do nosso pipeline é extremamente paralelizável, acreditamos que a execução de vídeos de alta resolução em tempo real seja um resultado alcançável em curto prazo. As técnicas descritas nessa dissertação disponibilizam maneiras mais eficientes de explorar vídeos educacionais. Dessa forma, elas tem potencial para impactar a educação, disponibilizando experiências educacionais mais customizáveis para milhões de estudantes em todo o mundo. / This thesis introduces a new interface for augmenting existing e-learning videos with panoramic frames and content-based non-linear navigation. In conventional e-learning videos, each frame is constrained to the subset of the lecture content captured by the camera or frame grabber at that moment. This makes it harder for users to quickly revisit and check previously shown subjects, which might be crucial for understanding subsequent concepts. Locating previously seen materials in pre-recorded videos requires one to perform visual inspection by sequentially navigating through time, which can be distracting and time-consuming. We augment e-learning videos to provide users direct access to all previously shown content through a simple pointing interface. This is achieved by automatically detecting relevant features in the videos as they play, and assigning them hyperlinks to a buffered version in a completely transparent way. The interface gradually builds panoramic video frames displaying all previously shown content. The user can then navigate through the video in a non-linear way by directly clicking over the content, as opposed to using a conventional time slider. As an additional feature, the final panorama can be exported as a set of annotated lecture notes. We demonstrate the effectiveness of our approach by successfully applying it to three representative styles of e-learning videos: Khan Academy, Coursera, and conventional lecture recorded with a camera. We show that we can achieve real-time performance for low-resolution videos (e.g., 320x240) on a single desktop PC. For higher resolution videos, some pre-processing is required for feature detection (using SIFT). However, since the most expensive parts of our processing pipeline are highly parallel, we believe that real-time performance might be soon achievable even for full HD resolution. The techniques described in this thesis provide more efficient ways for exploring the benefits of e-learning videos. As such, they have the potential to impact education by providing more customizable learning experiences for millions of e-learners around the world.

Litografia óptica é o processo pelo qual os padrões desenhados pelos projetistas de circuitos integrados são transferidos para o wafer através de ondas de luz. Com a miniaturização dos componentes, aumenta cada vez mais a discrepância entre os padrões projetados e o que é realmente impresso. Tal fato ocorre porque as dimensões dos padrões são menores do que o comprimento de onda utilizado para imprimi-los. Desta forma, é imprescindível que se saiba ou se tenha uma aproximação do que será impresso antes da fabricação dos circuitos para eliminar possíveis defeitos, através da utilização de técnicas de melhoramento de resolução. Essa aproximação é obtida através de simuladores de litografia óptica, que possuem o grande desafio de obter uma aproximação em um tempo viável. Sendo assim, neste trabalho apresentamos o problema de litografia óptica e seu embasamento matemático, bem como técnicas para implementar um simulador litográfico de forma eficiente. Tais técnicas foram utilizadas para o desenvolvimento do simulador Lithux. E, também apresentamos brevemente, técnicas de melhoramento de resolução, onde muitas utilizam simuladores de litografia para reproduzir sua eficiência. / Optical Lithography is the process whereby the patterns designed by the integrated circuit designers are transferred to the wafer by light waves. With the miniaturization of components, the gap between the projected patterns and what is actually printed is steadily increasing as the pattern dimensions are now smaller than the wavelength used to print them. Therefore, in this work we present the problem of optical lithography and its mathematical foundations, as well as techniques to efficiently implement a lithographic simulator. These techniques were used to develop the Lithux simulator. We also briefly present techniques for resolution enhancement, where many of them use lithographic simulators to simulate their efficiency. Thus, it is essential to know or to have an approximation of what will be printed before the circuit manufacturing to eliminate potential defects through the use of resolution enhancement techniques. This approximation is obtained by optical lithography simulators that have the challenge of getting this approximation in a practicable time.

Esta dissertação apresenta uma solução prática para o problema de reiluminação de imagens para objetos com geometria arbitrária. Nossa técnica baseia-se no que chamamos de shading proxies (versões deformadas de modelos 3D que aproximam o objeto a ser reiluminado) para guiar o processo de reiluminação. Nosso método é flexível e robusto, podendo reiluminar fotografias, pinturas, e desenhos de diferentes objetos de maneira eficaz. Além de reiluminação, nossa técnica pode ser usada para estimar mapas de normais e profundidade, bem como realizar decomposição intrínsica de imagens, e transferir iluminação para desenhos delineados. Uma avaliação preliminar mostra que nossa técnica produz resultados convincentes, e usuários novatos podem reiluminar imagens facilmente em poucos minutos. / We present a practical solution to the problem of single-image relighting of objects with arbitrary shapes. It is based on a shading-ratio image obtained from the original and target lighting applied to shading proxies (warped versions of 3-D models that approximate the objects to be relit). Our approach is flexible and robust, being applicable to objects with non-uniform albedos. We demonstrate its effectiveness by relighting a large number of photographs, paintings, and drawings containing a variety of objects of different materials. In addition to relighting, our technique can estimate smooth normal and depth maps from pictures, as well as perform intrinsic-image decomposition. Preliminary evaluation has shown that our technique produces convincing results, and novice users can relight images in just a couple of minutes.

O advento das unidades de processamento gráfico (GPUs) programáveis forneceram um novo modelo computacional que pode ser utilizado em diversas aplicações. Baseadas em arquitetura de fluxo paralelo, a atual geração de GPUs oferece processadores de vértices e de fragmentos programáveis que podem aumentar drasticamente a performance comparada com soluções implementadas exclusivamente em CPUs. Entretanto obter performance ótima no modelo computacional da GPU, que é complexo e altamente paralelo, com ferramentas de depuração limitadas é uma tarefa difícil e importante. Neste trabalho nós descrevemos uma abordagem simples para avaliar diversas soluções baseadas em GPU para uma dada solução. Ela consiste de um modelo de estimativa de performance que procura reproduzir, dentro de faixas toleráveis de erro, a medida de performance para a unidade de processamento de fragmentos. Nós avaliamos a nossa proposta utilizando as últimas gerações de placas gráficas da NVidia e da ATI usando um conjunto de medidas sintéticas bem como um estudo de caso de uma aplicação em tempo-real. / The advent of Graphics Processing Units (GPUs) with programmable shaders brought a new computational model that can be used in several applications. Based on a parallel streaming architecture, current GPU generations offer a vertex and fragment shader that can drastically improve performance if compared to CPU-only solutions. However, obtaining optimal performance in the highly parallel and complex GPU model with limited debugging tools is a challenging and important task. In this work we describe a simple approach to evaluate several GPU alternatives to a given solution. It consists of a performance estimation model that aims to reproduce within acceptable errors the measured performance of the fragment shader. We evaluate our proposal using last generation cards from NVIDIA and ATI using synthetic benchmarks as well as a real-time graphics application case-study.