Orientador: Prof. Dr. André Guilherme Ribeiro Balan / Dissertação (mestrado) - Universidade Federal do ABC, Programa de Pós-Graduação em Ciência da Computação, 2017. / Uma cena real possui uma grande variação de contraste que, quando vista pelo olho humano, resulta em detalhes que sensores de câmeras digitais comuns não conseguem capturar. Isso ocorre devido às limitações dos dispositivos para obter e exibir diferentes valores de cor. Imagens HDR (High Dynamic Range), por sua vez, são representações que conseguem reproduzir essa amplitude de valores. Para gerar e exibir imagens HDR, diante das limitações dos dispositivos, é necessário trabalhar em um domínio de menor alcance, com imagens LDR (Low Dynamic Range). Os algoritmos que mapeiam os valores entre os domínios são chamadas de operadores de tone-mapping. Apenas a aplicação de tone-mapping não gera resultados de alta qualidade, sendo necessárias técnicas de redução de ruídos e decomposição de imagem para tal. Essas técnicas implicam um alto custo computacional e demandam muito tempo quando executados na CPU. Por outro lado, o processamento na GPU oferece um paralelismo natural, por viabilizar operações a serem aplicadas a todos os pixels, simultaneamente. Uma das maneiras de programar essas operações na GPU é através do uso de shaders gráficos, alterando a forma que os pixels da imagem são reproduzidos. Com o constante crescimento da utilização de dispositivos móveis, um tema recorrente é o desempenho e a viabilidade de aplicações de alta performance em tais dispositivos, que atualmente, na maioria dos casos, possuem em sua arquitetura uma GPU programável. Nesse trabalho, desenvolvemos shaders gráficos OpenGL para processar operações de tonemapping, bem como a decomposição multiescala de imagens utilizando filtros não lineares importantes e modernos, a fim de preservar a maioria dos detalhes das imagens. Isso gera resultados mais nítidos quando comparados com técnicas que aplicam os operadores de tone-mapping diretamente nas imagens. Por outro lado, o processamento em GPU representa uma enorme melhoria de velocidade em relação ao processamento da CPU. A aplicação que desenvolvemos é multiplataforma para que ele possa ser executado em desktops e dispositivos móveis. Utilizamos a aplicação para avaliar o desempenho de diferentes operadores de tone-mapping e diferentes filtros de imagem não lineares para executar a decomposição de imagens em vários níveis. / A typical scene may have a highly nonuniform illumination that common digital camera sensors are currently not able to deal with, as well as typical screen monitors. A High Dynamic Range image (HDR) is an image model capable to store much larger illumination range than regular models, what is more similar to our human system view. To generate and display HDR images, given the limitations of the devices (cameras and screen monitors), it is necessary to work in a domain with smaller range, called LDR images (Low Dynamic Range). The algorithms that map HDR images to LDR images are called tone-mapping operators. These algorithms, when operating on very high resolution HDR images, demand very high computational effort that CPU are also not currently capable to deal with. On the other hand, GPU offers a natural parallelism by enabling operations to be applied on thousands of pixels simultaneously. One way to program these operations on the GPU is through the use of graphics shaders, directly changing a graphical pipeline that reproduce pixels of the image, such as OpenGL pipeline. Nowadays, mobile devices are also highly available devices that can have powerful GPUs. Hence, an important research subject is to access the viability of using such devices on HDR image processing and tone-mapping. In this work, we develop OpenGL graphic shaders to process tone-mapping operation as well as image multiscale decomposition using important and modern nonlinear image filters, in order to preserve the most of the images details. This generates sharper results when compared to techniques that directly apply tone-mapping operators on the images. On the other hand, GPU processing represents a huge speed improvement over CPU processing. The application we develop is multiplatform so it can run on desktops and mobile devices. We used it to evaluate the performance of different tone-mapping operators and different nonlinear image filters to perform image multiscale decomposition.

Digital photography became widespread with the global use of smartphones. However, most of the captured images do not fully use the camera capabilities by storing the captured photos in a format with limited dynamic range. The subject of dynamic range expansion and reconstruction has been researched since early 2000s and recently gave rise to several new reconstruction methods using convolutional neural networks (CNNs), whose performance has not yet been comprehensively compared. By implementing and using our dynamic range reconstruction evaluation framework we compare the reconstruction quality of individual CNN-based approaches. We also implement a mobile HDR camera application and evaluate the feasibility of running the best-performing reconstruction method directly on a mobile device.

[pt] A principal meta da computação gráfica é a síntese de imagens. Essas imagens podem ser tanto geradas por computador quanto ser resultado de manipulação digital de fotografias. Diferentes métodos para captura de imagens e fotografia digital mudaram a importância da imagem digital. Em relação a imagens geradas por computador, a busca por imagens mais realistas é importante para a indústria de filmes, de desenvolvimento de jogos entre outras. Uma das maiores revoluções na computação gráfica atual está relacionada a imagens High Dynamic Range. Essas imagens representam o próximo nível em termos de representação de imagens, uma vez que seus valores são verdadeiramente proporcionais às condições de iluminação em uma cena e são capazes de codificar a dynamic range encontrado no mundo real, fato impossível para as imagens tradicionais que apresentam 24 bits por pixel. Quando imagens high dynamic range são utilizadas para codificar as condições de iluminação em uma cena, elas são chamadas mapas de radiância ou mapas de iluminação. O foco principal dessa dissertação é mostrar técnicas de renderização em tempo real utilizando mapas de iluminação. Técnicas conhecidas como Image Based Lighting. Esse trabalho apresenta os conceitos de imagens high dynamic range, seus fundamentos físicos na teoria da luz, uma série de trabalhos importantes em manipulação dessas imagens e uma discussão sobre o pipeline de aplicações em tempo real que utilizam high dynamic range. Finalmente são apresentadas as técnicas para utilização de mapas de iluminação em alta precisão em tempo real. / [en] In 1997, the seminal work by Paul Debevec and Jitendra Malik on the generation of HDR (High Dynamic Range) images, from ordinary LDR (Low Dynamic Range) cameras, facilitated the generation of light probes enormously. In consequence, this caused a boom of works on the rendering of objects with images of light from the real world, which is known as Image- Based Lighting. The present dissertation aims to study this new area, trying to situate itself in the question of real-time compositing of synthetic objects in real images. This dissertation proposes a real-time rendering pipeline for 3D games, in the simple case of static scenes, adapting the non-real-time technique presented by Paul Debevec in 1998. There is no written work about this adaptation in the literature, although exists some reference to developments done by graphics card manufacturers in this direction. Also this dissertation presents an experiment with diffuse objects. Moreover, the author gives ideas towards the solution of shadow problems for diffuse objects.

Práce se zabývá adaptivními filtry pro vizualizaci obrazů s vysokým rozlišením. V teoretické části je popsán princip činnosti konfokálního mikroskopu a matematicky korektně zaveden pojem digitální obraz. Pro zpracování obrazů je volen jak frekvenční přístup (s využitím 2-D a 3-D diskrétní Fourierovy transformace a frekvenčních filtrů), tak přístup pomocí digitální geometrie (s využitím adaptivní ekvalizace histogramu s adaptivním okolím). Dále jsou popsány potřebné úpravy pro práci s neideálními obrazy obsahujícími aditivní a impulzní šum. Závěr práce se věnuje prostorové rekonstrukci objektů na základě jejich optických řezů. Veškeré postupy a algoritmy jsou i prakticky zpracovány v softwaru, který byl vyvinut v rámci této práce.

Práce se zabývá adaptivními filtry pro vizualizaci obrazů s vysokým rozlišením. V teoretické části je popsán princip činnosti konfokálního mikroskopu a matematicky korektně zaveden pojem digitální obraz. Pro zpracování obrazů je volen jak frekvenční přístup (s využitím 2-D a 3-D diskrétní Fourierovy transformace a frekvenčních filtrů), tak přístup pomocí digitální geometrie (s využitím adaptivní ekvalizace histogramu s adaptivním okolím). Dále jsou popsány potřebné úpravy pro práci s neideálními obrazy obsahujícími aditivní a impulzní šum. Závěr práce se věnuje prostorové rekonstrukci objektů na základě jejich optických řezů. Veškeré postupy a algoritmy jsou i prakticky zpracovány v softwaru, který byl vyvinut v rámci této práce.