Pedestrian detection is one of the most researched areas in computer vision and is rapidly gaining importance with the emergence of autonomous vehicles and steering assistance technology. Much work has been done in this field, ranging from the collection of extensive datasets to benchmarking of new technologies, but all the research depends on high-quality hardware such as high-resolution cameras, Light Detection and Ranging (LIDAR) and radar. For detection in low-quality moving camera videos, we use image deblurring techniques to reconstruct image frames and use existing pedestrian detection algorithms and compare our results with the leading research done in this area.

In the presented work we study methods of image deblurring using two images of the same scene with different exposure times, focusing on two main approach categories, the so called deconvolution and non-deconvolution methods. We present theoretical backgrounds on both categories and evaluate their limitations and advantages. We dedicate one section to a comparison of both method categories on test data (images) for which we use a MATLAB implementation of the methods. We also compare the effectiveness of said methods against the results of a selected single- image de-noising algorithm. We do not focus at computational efficiency of algorithms and work with grayscale images only.

The Blind Image Deconvolution/Deblurring (BID) problem was realised in the early 1960s but it still remains a challenging task for the image processing research community to find an efficient, reliable and most importantly a diversely applicable deblurring scheme. The main challenge arises from little or no prior information about the image or the blurring process as well as the lack of optimal restoration filters to reduce or completely eliminate the blurring effect. Moreover, restoration can be marred by the two common side effects of deblurring; namely the noise amplification and ringing artefacts that arise in the deblurred image due to an unrealizable or imperfect restoration filter. Also, developing a scheme that can process different types of blur, especially for real images, is yet to be realized to a satisfactory level. This research is focused on the development of blind restoration schemes for real life blurred images. The primary objective is to design a BID scheme that is robust in term of Point Spread Function (PSF) estimation, efficient in terms of restoration speed, and effective in terms of restoration quality. A desired scheme will require a deblurring measure to act as a feedback of quality regarding the deblurred image and lead the estimation of the blurring PSF. The blurred image and the estimated PSF can then be passed on to any classical restoration filter for deblurring. The deblurring measures presented in this research include blind non-Gaussianity measures as well as blind Image Quality Measures (IQMs). These measures are blind in the sense that they are able to gauge the quality of an image directly from it without the need to reference a high quality image. The non-Gaussianity measures include spatial and spectral kurtosis measures; while the image quality analysers include the Blind/Reference-less Image Spatial QUality Evaluator (BRISQUE), Natural Image Quality Evaluator (NIQE) index and Reblurring based Peak Signal to Noise Ratio (RPSNR) measure. BRISQUE, NIQE and spectral kurtosis, are introduced for the first time as deblurring measures for BID. RPSNR is a novel full reference yet blind IQM designed and used in this research work. Experiments were conducted on different image datasets and real life blurred images. Optimization of the BID schemes has been achieved using a gradient descent based scheme and a Genetic Algorithm (GA). Quantitative results based on full-reference and non-reference IQMs, present BRISQUE as a robust and computationally efficient blind feedback quality measure. Also, parametric and arbitrarily shaped (non-parametric or generic) PSFs were treated for the blind deconvolution of images. The parametric forms of PSF include uniform Gaussian, motion and out-of-focus blur. The arbitrarily shaped PSFs comprise blurs that have a much more complex blur shape which cannot be easily modelled in the parametric form. A novel scheme for arbitrarily shaped PSF estimation and blind deblurring has been designed, implemented and tested on artificial and real life blurred images. The scheme provides a unified base for the estimation of both parametric and arbitrarily shaped PSFs with the BRISQUE quality measure in conjunction with a GA. Full-reference and non-reference IQMs have been utilised to gauge the quality of deblurred images for the BID schemes. In the real BID case, only non-reference IQMs can be employed due to the unavailability of the reference high quality image. Quantitative results of these images depict the restoration ability of the BID scheme. The significance of the research work lies in the BID scheme‘s ability to handle parametric and arbitrarily shaped PSFs using a single algorithm, for single-shot blurred images, with enhanced optimization through the gradient descent scheme and GA in conjunction with multiple feedback IQMs.

No description available.

In this age, there are many applications of inverse problems to lots of areas ranging from astronomy, geoscience and so on. For example, image reconstruction and deblurring require the use of methods to solve inverse problems. Since the problems are subject to many factors and noise, we can't simply apply general inversion methods. Furthermore in the problems of interest, the number of unknown variables is huge, and some may depend nonlinearly on the data, such that we must solve nonlinear problems. It is quite different and significantly more challenging to solve nonlinear problems than linear inverse problems, and we need to use more sophisticated methods to solve these kinds of problems. / Master of Science / In various research areas, there are many required measurements which can't be observed due to physical and economical reasons. Instead, these unknown measurements can be recovered by known measurements. This phenomenon can be modeled and be solved by mathematics.

In this digital age, it is more important than ever to have good methods for processing images. We focus on the removal of blur from a captured image, which is called the image deblurring problem. In particular, we make no assumptions about the blur itself, which is called a blind deconvolution. We approach the problem by miniming an energy functional that utilizes total variation norm and a fidelity constraint. In particular, we extend the work of Chan and Wong to use a reference image in the computation. Using the shock filter as a reference image, we produce a superior result compared to existing methods. We are able to produce good results on non-black background images and images where the blurring function is not centro-symmetric. We consider using a general Lp norm for the fidelity term and compare different values for p. Using an analysis similar to Strong and Chan, we derive an adaptive scale method for the recovery of the blurring function. We also consider two numerical methods in this disseration. The first method is an extension of Picards method for PDEs in the discrete case. We compare the results to the analytical Picard method, showing the only difference is the use of the approximation versus exact derivatives. We relate the method to existing finite difference schemes, including the Lax-Wendroff method. We derive the stability constraints for several linear problems and illustrate the stability region is increasing. We conclude by showing several examples of the method and how the computational savings is substantial. The second method we consider is a black-box implementation of a method for solving the generalized eigenvalue problem. By utilizing the work of Golub and Ye, we implement a routine which is robust against existing methods. We compare this routine against JDQZ and LOBPCG and show this method performs well in numerical testing.

Esta tese apresenta dois métodos diferentes de estimativa de desfocagem usando uma única imagem. Ambos os métodos assumem uma função de espalhamento de ponto (Point Spread Function - PSF) Gaussiana e exploram a razão de magnitudes de gradientes de versões re-borradas da imagem original com escalas diferentes nas bordas da imagem, o que fornece uma expressão matemática fechada para borramento local. A primeira abordagem calcula perfis 1D ao longo de pontos de borda ortogonais ao contorno local, e avalia a localização da borda (máximo da derivada primeira) para selecionar adaptativamente o número de escalas no re-borramento. Considerando o consumo de tempo de explorar perfis de aresta orientados 1D, um segundo método foi proposto com base em gradientes de imagem diretamente no domínio 2D, e os parâmetros de re-borramento locais foram selecionados com base na concordância de um detector de bordas calculado em várias escalas. Dada uma estimativa inicial da escala de desfocagem nas posições de borda proporcionada por qualquer um destes dois métodos, é também proposto um passo de correção que atenua os erros introduzidos pela discretização da formulação contínua. Um novo método de filtragem local que suaviza as estimativas refinadas ao longo dos contornos de imagem também é proposto, e um filtro de domínio conjunto (jointdomain filter) rápido é explorado para propagar informações de desfocagem para toda a imagem, gerando o mapa de desfocagem completo. Os resultados experimentais em imagens sintéticas e reais mostram que os métodos propostos apresentam resultados promissores para a estimativa de borramento por desfoco, com um bom compromisso entre qualidade e tempo de execução quando comparados a técnicas estado-da-arte. Para lidar com sequências de vídeo desfocadas, a consistência temporal também foi incluída no modelo proposto. Mais precisamente, Filtros de Kalman foram aplicados para gerar estimativas temporais suaves para cada pixel quando a aparência local da sequência de vídeo não varia muito, permitindo transições durante mudanças drásticas da aparência local, que podem se relacionar com oclusões/desoclusões. Finalmente, esta tese também mostra aplicações dos métodos propostos para a estimativa de desfocagem de imagem e vídeo. Um novo método de redimensionamento (retargeting) de imagens é proposto para fotos tiradas por câmera com baixa profundidade de campo. O método inclui informação de desfocamento local no contexto do método seam carving, visando preservar objetos em foco com melhor qualidade visual. Assumindo que os pixels em foco estejam relacionados às regiões de interesse de uma imagem com desfocamento, o método de redimensionamento proposto começa com um método de corte (cropping), o qual remove as partes sem importância (borradas) da imagem, e então o método seam carving é aplicado com uma nova função de energia que prioriza as regiões em foco. Os resultados experimentais mostram que o método proposto funciona melhor na preservação de objetos em foco do que outras técnicas de redimensionamento de imagens. A tese também explora o método de estimação de desfocagem proposto no contexto de des-borramento de imagens e sequências de vídeo, e os resultados foram comparados com vários outros métodos de estimação de desfocagem. Os resultados obtidos mostram que as métricas tipicamente usadas para avaliar métodos de estimação de desfocagem (por exemplo, erro absoluto médio) podem não estar correlacionadas com a qualidade das métricas de imagem desfocada, como a Relação Sinal-Ruído de Pico. / This dissertation presents two different defocus blur estimation methods for still images. Both methods assume a Gaussian Point Spread Function (PSF) and explore the ratio of gradient magnitudes of reblurred images computed at edge location with different scales, which provides a closed form mathematical formulation for the local blur assuming continuous-time signals. The first approach computes 1D profiles along edge points orthogonal to the local contour, and evaluate the location of the edge (maximum of the derivative) to adaptively select the number of reblurring scales. Considering the time consumption of exploring 1D oriented edge profiles, a second method was proposed based on 2D multiscale image gradients, and local reblurring parameters were selected based on the agreement of an edge detector computed at several scales. Given an initial estimate of the blur scale at edge locations provided by either of these two methods, a correction step that accounts for the discretization of the continuous formulation is also proposed. A novel local filtering method that smooths the refined estimates along the image contours is also proposed, and a fast joint domain filter is explored to propagate blur information to the whole image to generate the full blur map. Experimental results on synthetic and real images show that the proposed methods have promising results for defocus blur estimation, with a good trade off between running time and accuracy when compared to state-of-the art defocus blur estimation methods. To deal with blurry video sequences, temporal consistency was also included in the proposed model. More precisely, Kalman Filters were applied to generate smooth temporal estimates for each pixel when the local appearance of the video sequence does not vary much, and allowing sharp transitions during drastic local appearance changes, which might relate to occlusions/disocclusions. Finally, this dissertation also shows applications of the proposed methods for image and video blur estimation. A new image retargeting method is proposed for photos taken by a shallow Depth of Field (DoF) camera. The method includes defocus blur information with the seam carving framework aiming to preserve in-focus objects with better visual quality. Assuming the in-focus pixels related to regions of interest of a blurry image, the proposed retargeting method starts with a cropping method, which removes the unimportant parts (blurry) of the image, then the seam carving method is applied with a novel energy function that prioritizes in-focus regions. Experimental results show that the proposed blur aware retargeting method works better at preserving in-focus objects than other well known competitive retargeting methods. The dissertation also explores the proposed blur estimation method in the context of image and video deblurring, and results were compared with several other blur estimation methods. The obtained results show that metrics typically used to evaluate blur estimation methods (e.g. Mean Absolute Error) might not be correlated with the quality of deblurred image metrics, such as Peak Signal to Noise Ratio.

No description available.

Esta tese apresenta dois métodos diferentes de estimativa de desfocagem usando uma única imagem. Ambos os métodos assumem uma função de espalhamento de ponto (Point Spread Function - PSF) Gaussiana e exploram a razão de magnitudes de gradientes de versões re-borradas da imagem original com escalas diferentes nas bordas da imagem, o que fornece uma expressão matemática fechada para borramento local. A primeira abordagem calcula perfis 1D ao longo de pontos de borda ortogonais ao contorno local, e avalia a localização da borda (máximo da derivada primeira) para selecionar adaptativamente o número de escalas no re-borramento. Considerando o consumo de tempo de explorar perfis de aresta orientados 1D, um segundo método foi proposto com base em gradientes de imagem diretamente no domínio 2D, e os parâmetros de re-borramento locais foram selecionados com base na concordância de um detector de bordas calculado em várias escalas. Dada uma estimativa inicial da escala de desfocagem nas posições de borda proporcionada por qualquer um destes dois métodos, é também proposto um passo de correção que atenua os erros introduzidos pela discretização da formulação contínua. Um novo método de filtragem local que suaviza as estimativas refinadas ao longo dos contornos de imagem também é proposto, e um filtro de domínio conjunto (jointdomain filter) rápido é explorado para propagar informações de desfocagem para toda a imagem, gerando o mapa de desfocagem completo. Os resultados experimentais em imagens sintéticas e reais mostram que os métodos propostos apresentam resultados promissores para a estimativa de borramento por desfoco, com um bom compromisso entre qualidade e tempo de execução quando comparados a técnicas estado-da-arte. Para lidar com sequências de vídeo desfocadas, a consistência temporal também foi incluída no modelo proposto. Mais precisamente, Filtros de Kalman foram aplicados para gerar estimativas temporais suaves para cada pixel quando a aparência local da sequência de vídeo não varia muito, permitindo transições durante mudanças drásticas da aparência local, que podem se relacionar com oclusões/desoclusões. Finalmente, esta tese também mostra aplicações dos métodos propostos para a estimativa de desfocagem de imagem e vídeo. Um novo método de redimensionamento (retargeting) de imagens é proposto para fotos tiradas por câmera com baixa profundidade de campo. O método inclui informação de desfocamento local no contexto do método seam carving, visando preservar objetos em foco com melhor qualidade visual. Assumindo que os pixels em foco estejam relacionados às regiões de interesse de uma imagem com desfocamento, o método de redimensionamento proposto começa com um método de corte (cropping), o qual remove as partes sem importância (borradas) da imagem, e então o método seam carving é aplicado com uma nova função de energia que prioriza as regiões em foco. Os resultados experimentais mostram que o método proposto funciona melhor na preservação de objetos em foco do que outras técnicas de redimensionamento de imagens. A tese também explora o método de estimação de desfocagem proposto no contexto de des-borramento de imagens e sequências de vídeo, e os resultados foram comparados com vários outros métodos de estimação de desfocagem. Os resultados obtidos mostram que as métricas tipicamente usadas para avaliar métodos de estimação de desfocagem (por exemplo, erro absoluto médio) podem não estar correlacionadas com a qualidade das métricas de imagem desfocada, como a Relação Sinal-Ruído de Pico. / This dissertation presents two different defocus blur estimation methods for still images. Both methods assume a Gaussian Point Spread Function (PSF) and explore the ratio of gradient magnitudes of reblurred images computed at edge location with different scales, which provides a closed form mathematical formulation for the local blur assuming continuous-time signals. The first approach computes 1D profiles along edge points orthogonal to the local contour, and evaluate the location of the edge (maximum of the derivative) to adaptively select the number of reblurring scales. Considering the time consumption of exploring 1D oriented edge profiles, a second method was proposed based on 2D multiscale image gradients, and local reblurring parameters were selected based on the agreement of an edge detector computed at several scales. Given an initial estimate of the blur scale at edge locations provided by either of these two methods, a correction step that accounts for the discretization of the continuous formulation is also proposed. A novel local filtering method that smooths the refined estimates along the image contours is also proposed, and a fast joint domain filter is explored to propagate blur information to the whole image to generate the full blur map. Experimental results on synthetic and real images show that the proposed methods have promising results for defocus blur estimation, with a good trade off between running time and accuracy when compared to state-of-the art defocus blur estimation methods. To deal with blurry video sequences, temporal consistency was also included in the proposed model. More precisely, Kalman Filters were applied to generate smooth temporal estimates for each pixel when the local appearance of the video sequence does not vary much, and allowing sharp transitions during drastic local appearance changes, which might relate to occlusions/disocclusions. Finally, this dissertation also shows applications of the proposed methods for image and video blur estimation. A new image retargeting method is proposed for photos taken by a shallow Depth of Field (DoF) camera. The method includes defocus blur information with the seam carving framework aiming to preserve in-focus objects with better visual quality. Assuming the in-focus pixels related to regions of interest of a blurry image, the proposed retargeting method starts with a cropping method, which removes the unimportant parts (blurry) of the image, then the seam carving method is applied with a novel energy function that prioritizes in-focus regions. Experimental results show that the proposed blur aware retargeting method works better at preserving in-focus objects than other well known competitive retargeting methods. The dissertation also explores the proposed blur estimation method in the context of image and video deblurring, and results were compared with several other blur estimation methods. The obtained results show that metrics typically used to evaluate blur estimation methods (e.g. Mean Absolute Error) might not be correlated with the quality of deblurred image metrics, such as Peak Signal to Noise Ratio.

Esta tese apresenta dois métodos diferentes de estimativa de desfocagem usando uma única imagem. Ambos os métodos assumem uma função de espalhamento de ponto (Point Spread Function - PSF) Gaussiana e exploram a razão de magnitudes de gradientes de versões re-borradas da imagem original com escalas diferentes nas bordas da imagem, o que fornece uma expressão matemática fechada para borramento local. A primeira abordagem calcula perfis 1D ao longo de pontos de borda ortogonais ao contorno local, e avalia a localização da borda (máximo da derivada primeira) para selecionar adaptativamente o número de escalas no re-borramento. Considerando o consumo de tempo de explorar perfis de aresta orientados 1D, um segundo método foi proposto com base em gradientes de imagem diretamente no domínio 2D, e os parâmetros de re-borramento locais foram selecionados com base na concordância de um detector de bordas calculado em várias escalas. Dada uma estimativa inicial da escala de desfocagem nas posições de borda proporcionada por qualquer um destes dois métodos, é também proposto um passo de correção que atenua os erros introduzidos pela discretização da formulação contínua. Um novo método de filtragem local que suaviza as estimativas refinadas ao longo dos contornos de imagem também é proposto, e um filtro de domínio conjunto (jointdomain filter) rápido é explorado para propagar informações de desfocagem para toda a imagem, gerando o mapa de desfocagem completo. Os resultados experimentais em imagens sintéticas e reais mostram que os métodos propostos apresentam resultados promissores para a estimativa de borramento por desfoco, com um bom compromisso entre qualidade e tempo de execução quando comparados a técnicas estado-da-arte. Para lidar com sequências de vídeo desfocadas, a consistência temporal também foi incluída no modelo proposto. Mais precisamente, Filtros de Kalman foram aplicados para gerar estimativas temporais suaves para cada pixel quando a aparência local da sequência de vídeo não varia muito, permitindo transições durante mudanças drásticas da aparência local, que podem se relacionar com oclusões/desoclusões. Finalmente, esta tese também mostra aplicações dos métodos propostos para a estimativa de desfocagem de imagem e vídeo. Um novo método de redimensionamento (retargeting) de imagens é proposto para fotos tiradas por câmera com baixa profundidade de campo. O método inclui informação de desfocamento local no contexto do método seam carving, visando preservar objetos em foco com melhor qualidade visual. Assumindo que os pixels em foco estejam relacionados às regiões de interesse de uma imagem com desfocamento, o método de redimensionamento proposto começa com um método de corte (cropping), o qual remove as partes sem importância (borradas) da imagem, e então o método seam carving é aplicado com uma nova função de energia que prioriza as regiões em foco. Os resultados experimentais mostram que o método proposto funciona melhor na preservação de objetos em foco do que outras técnicas de redimensionamento de imagens. A tese também explora o método de estimação de desfocagem proposto no contexto de des-borramento de imagens e sequências de vídeo, e os resultados foram comparados com vários outros métodos de estimação de desfocagem. Os resultados obtidos mostram que as métricas tipicamente usadas para avaliar métodos de estimação de desfocagem (por exemplo, erro absoluto médio) podem não estar correlacionadas com a qualidade das métricas de imagem desfocada, como a Relação Sinal-Ruído de Pico. / This dissertation presents two different defocus blur estimation methods for still images. Both methods assume a Gaussian Point Spread Function (PSF) and explore the ratio of gradient magnitudes of reblurred images computed at edge location with different scales, which provides a closed form mathematical formulation for the local blur assuming continuous-time signals. The first approach computes 1D profiles along edge points orthogonal to the local contour, and evaluate the location of the edge (maximum of the derivative) to adaptively select the number of reblurring scales. Considering the time consumption of exploring 1D oriented edge profiles, a second method was proposed based on 2D multiscale image gradients, and local reblurring parameters were selected based on the agreement of an edge detector computed at several scales. Given an initial estimate of the blur scale at edge locations provided by either of these two methods, a correction step that accounts for the discretization of the continuous formulation is also proposed. A novel local filtering method that smooths the refined estimates along the image contours is also proposed, and a fast joint domain filter is explored to propagate blur information to the whole image to generate the full blur map. Experimental results on synthetic and real images show that the proposed methods have promising results for defocus blur estimation, with a good trade off between running time and accuracy when compared to state-of-the art defocus blur estimation methods. To deal with blurry video sequences, temporal consistency was also included in the proposed model. More precisely, Kalman Filters were applied to generate smooth temporal estimates for each pixel when the local appearance of the video sequence does not vary much, and allowing sharp transitions during drastic local appearance changes, which might relate to occlusions/disocclusions. Finally, this dissertation also shows applications of the proposed methods for image and video blur estimation. A new image retargeting method is proposed for photos taken by a shallow Depth of Field (DoF) camera. The method includes defocus blur information with the seam carving framework aiming to preserve in-focus objects with better visual quality. Assuming the in-focus pixels related to regions of interest of a blurry image, the proposed retargeting method starts with a cropping method, which removes the unimportant parts (blurry) of the image, then the seam carving method is applied with a novel energy function that prioritizes in-focus regions. Experimental results show that the proposed blur aware retargeting method works better at preserving in-focus objects than other well known competitive retargeting methods. The dissertation also explores the proposed blur estimation method in the context of image and video deblurring, and results were compared with several other blur estimation methods. The obtained results show that metrics typically used to evaluate blur estimation methods (e.g. Mean Absolute Error) might not be correlated with the quality of deblurred image metrics, such as Peak Signal to Noise Ratio.