abstract: The quality of real-world visual content is typically impaired by many factors including image noise and blur. Detecting and analyzing these impairments are important steps for multiple computer vision tasks. This work focuses on perceptual-based locally adaptive noise and blur detection and their application to image restoration. In the context of noise detection, this work proposes perceptual-based full-reference and no-reference objective image quality metrics by integrating perceptually weighted local noise into a probability summation model. Results are reported on both the LIVE and TID2008 databases. The proposed metrics achieve consistently a good performance across noise types and across databases as compared to many of the best very recent quality metrics. The proposed metrics are able to predict with high accuracy the relative amount of perceived noise in images of different content. In the context of blur detection, existing approaches are either computationally costly or cannot perform reliably when dealing with the spatially-varying nature of the defocus blur. In addition, many existing approaches do not take human perception into account. This work proposes a blur detection algorithm that is capable of detecting and quantifying the level of spatially-varying blur by integrating directional edge spread calculation, probability of blur detection and local probability summation. The proposed method generates a blur map indicating the relative amount of perceived local blurriness. In order to detect the flat/near flat regions that do not contribute to perceivable blur, a perceptual model based on the Just Noticeable Difference (JND) is further integrated in the proposed blur detection algorithm to generate perceptually significant blur maps. We compare our proposed method with six other state-of-the-art blur detection methods. Experimental results show that the proposed method performs the best both visually and quantitatively. This work further investigates the application of the proposed blur detection methods to image deblurring. Two selective perceptual-based image deblurring frameworks are proposed, to improve the image deblurring results and to reduce the restoration artifacts. In addition, an edge-enhanced super resolution algorithm is proposed, and is shown to achieve better reconstructed results for the edge regions. / Dissertation/Thesis / Doctoral Dissertation Electrical Engineering 2016

No description available.

A Microscopia Eletrônica de Baixa Energia (LEEM) é uma recente e poderosa modalidade para o estudo de superfície passível de uma grande quantidade de degradações, como ruídos e borramento. Ainda incipiente na literatura, este trabalho visou a análise e identificação das fontes de degradações presentes em vídeos, além da utilização de um conjunto de técnicas de remoção de ruído e borramento para a restauração de dados LEEM. Além disso, foram desenvolvidas duas novas técnicas de filtragem de vídeo como intuito de preservar detalhes pequenos e texturas presentes. Na etapa de análise foi constatado que as imagens LEEM possuem uma grande quantidade e variedade de ruídos, sendo o Gaussiano o mais preponderante. Foi também estimada a Função de Espalhamento de Ponto (PSF) do microscópio utilizado, visando o emprego de técnicas de redução de borramento. Este trabalho também analisou a combinação de técnicas de redução de borramento com as técnicas de filtragem do ruído Gaussiano existente. Foi constatado que as técnicas não locais, como Non-Local Means (NLM) eBlock-Matching 3-D (BM3D), proveem uma maior capacidade de filtragem das imagens LEEM, preservando descontinuidades. Ainda nesta análise, identificou-se que algumas técnicas de redução de borramento não são efetivas em imagens LEEM, exceto a técnica Richardson-Lucy (RL) que suprimiu grande parte do borramento sem adicionar mais degradação. A indesejável remoção de pequenas estruturas e texturas pelas técnicas de filtragem existentes motivou o desenvolvimento de duas novas técnicas de filtragem de ruído Gaussiano (NLM3D-LBP-MSB eNLM3D-LBP-Adaptive) que mostraram resultados superiores para filtragem de imagens com grande quantidade de textura. Porém, em imagens com muitas regiões homogêneas o BM3D foi superior. Avaliações quantitativas foram realizadas sobre imagens artificiais. Em imagens LEEM reais, realizou-se um experimento qualitativo em que observadores avaliaram visualmente o resultado de restaurações por diversas técnicas existentes e as propostas neste trabalho. O experimento comprovou que os métodos de filtragem não locais foram superiores, principalmente quando combinados com o método RL. Os métodos propostos produziram bons resultados, entretanto, inferiores aos exibidos pelas técnicas NLM eBM3D. Este trabalho demonstrou que as técnicas de filtragem não locais são as mais adequadas para dados LEEM. Além disso, a técnica RL mostrou-se eficaz na redução de borramento. / Low Energy Electronic Microscopy (LEEM) is a recent and powerful surface science image modality prone to considerable amounts of degradations, such as noise and blurring. Still not fully addressed in the literature, this worked aimed at analysing and identifying the sources of degradation in LEEM videos, as well as the adequacy of existing noise reduction and deblurring techniques for LEEM data. This work also presented two new noise reduction techniques aimed at preserving texture and small details. Our analysis has revealed that LEEM images exhibit a large amount and variety of noises, with Gaussian noise being the most frequent. To handle the deblurring issue, the Point Spread Function (PSF) for the microscopeused in the experiments has also been estimated. This work has also studied the combination of deblurring and denoising techniques for Gaussian noise. Results have shown that non-local techniques such as Non-Local Means (NLM) and Block-Matching 3-D (BM3D) are more adequate for filtering LEEM images, while preserving discontinuities. We have also shown that some deblurring techniques are not suitable for LEEM images, except the RichardsonLucy (RL) approach which coped with most of the blur without the addition of extra degradation. The undesirable removal of small structures and texture by the existing denoising techniques encouraged the development of two novel Gaussian denoising techniques (NLM3D-LBP-MSB and NLM3D-LBP-Adaptive) which exhibited good results for images with a large amount of texture. However, BM3D was superior for images with large homogeneous regions. Quantitative experiments have been carried out for synthetic images. For real LEEM images, a qualitative analysis has been conducted in which observers visually assessed restoration results for existing techniques and also the two proposed ones. This experiment has shown that non-local denoising methodswere superior, especially when combined with theRL method. The proposed methods produced good results, but were out performed by NLM and BM3D. This work has shown that non-local denoising techniques are more adequate for LEEM data. Also, theRL technique is very efficient for deblurring purposes.

A Microscopia Eletrônica de Baixa Energia (LEEM) é uma recente e poderosa modalidade para o estudo de superfície passível de uma grande quantidade de degradações, como ruídos e borramento. Ainda incipiente na literatura, este trabalho visou a análise e identificação das fontes de degradações presentes em vídeos, além da utilização de um conjunto de técnicas de remoção de ruído e borramento para a restauração de dados LEEM. Além disso, foram desenvolvidas duas novas técnicas de filtragem de vídeo como intuito de preservar detalhes pequenos e texturas presentes. Na etapa de análise foi constatado que as imagens LEEM possuem uma grande quantidade e variedade de ruídos, sendo o Gaussiano o mais preponderante. Foi também estimada a Função de Espalhamento de Ponto (PSF) do microscópio utilizado, visando o emprego de técnicas de redução de borramento. Este trabalho também analisou a combinação de técnicas de redução de borramento com as técnicas de filtragem do ruído Gaussiano existente. Foi constatado que as técnicas não locais, como Non-Local Means (NLM) eBlock-Matching 3-D (BM3D), proveem uma maior capacidade de filtragem das imagens LEEM, preservando descontinuidades. Ainda nesta análise, identificou-se que algumas técnicas de redução de borramento não são efetivas em imagens LEEM, exceto a técnica Richardson-Lucy (RL) que suprimiu grande parte do borramento sem adicionar mais degradação. A indesejável remoção de pequenas estruturas e texturas pelas técnicas de filtragem existentes motivou o desenvolvimento de duas novas técnicas de filtragem de ruído Gaussiano (NLM3D-LBP-MSB eNLM3D-LBP-Adaptive) que mostraram resultados superiores para filtragem de imagens com grande quantidade de textura. Porém, em imagens com muitas regiões homogêneas o BM3D foi superior. Avaliações quantitativas foram realizadas sobre imagens artificiais. Em imagens LEEM reais, realizou-se um experimento qualitativo em que observadores avaliaram visualmente o resultado de restaurações por diversas técnicas existentes e as propostas neste trabalho. O experimento comprovou que os métodos de filtragem não locais foram superiores, principalmente quando combinados com o método RL. Os métodos propostos produziram bons resultados, entretanto, inferiores aos exibidos pelas técnicas NLM eBM3D. Este trabalho demonstrou que as técnicas de filtragem não locais são as mais adequadas para dados LEEM. Além disso, a técnica RL mostrou-se eficaz na redução de borramento. / Low Energy Electronic Microscopy (LEEM) is a recent and powerful surface science image modality prone to considerable amounts of degradations, such as noise and blurring. Still not fully addressed in the literature, this worked aimed at analysing and identifying the sources of degradation in LEEM videos, as well as the adequacy of existing noise reduction and deblurring techniques for LEEM data. This work also presented two new noise reduction techniques aimed at preserving texture and small details. Our analysis has revealed that LEEM images exhibit a large amount and variety of noises, with Gaussian noise being the most frequent. To handle the deblurring issue, the Point Spread Function (PSF) for the microscopeused in the experiments has also been estimated. This work has also studied the combination of deblurring and denoising techniques for Gaussian noise. Results have shown that non-local techniques such as Non-Local Means (NLM) and Block-Matching 3-D (BM3D) are more adequate for filtering LEEM images, while preserving discontinuities. We have also shown that some deblurring techniques are not suitable for LEEM images, except the RichardsonLucy (RL) approach which coped with most of the blur without the addition of extra degradation. The undesirable removal of small structures and texture by the existing denoising techniques encouraged the development of two novel Gaussian denoising techniques (NLM3D-LBP-MSB and NLM3D-LBP-Adaptive) which exhibited good results for images with a large amount of texture. However, BM3D was superior for images with large homogeneous regions. Quantitative experiments have been carried out for synthetic images. For real LEEM images, a qualitative analysis has been conducted in which observers visually assessed restoration results for existing techniques and also the two proposed ones. This experiment has shown that non-local denoising methodswere superior, especially when combined with theRL method. The proposed methods produced good results, but were out performed by NLM and BM3D. This work has shown that non-local denoising techniques are more adequate for LEEM data. Also, theRL technique is very efficient for deblurring purposes.