Abstract Pattern recognition and registration are integral elements of computer vision, which considers image patterns. This thesis presents novel blur, and combined blur and geometric invariant features for pattern recognition and registration related to images. These global or local features are based on the Fourier transform phase, and are invariant or insensitive to image blurring with a centrally symmetric point spread function which can result, for example, from linear motion or out of focus. The global features are based on the even powers of the phase-only discrete Fourier spectrum or bispectrum of an image and are invariant to centrally symmetric blur. These global features are used for object recognition and image registration. The features are extended for geometrical invariances up to similarity transformation: shift invariance is obtained using bispectrum, and rotation-scale invariance using log-polar mapping of bispectrum slices. Affine invariance can be achieved as well using rotated sets of the log-log mapped bispectrum slices. The novel invariants are shown to be more robust to additive noise than the earlier blur, and combined blur and geometric invariants based on image moments. The local features are computed using the short term Fourier transform in local windows around the points of interest. Only the lowest horizontal, vertical, and diagonal frequency coefficients are used, the phase of which is insensitive to centrally symmetric blur. The phases of these four frequency coefficients are quantized and used to form a descriptor code for the local region. When these local descriptors are used for texture classification, they are computed for every pixel, and added up to a histogram which describes the local pattern. There are no earlier textures features which have been claimed to be invariant to blur. The proposed descriptors were superior in the classification of blurred textures compared to a few non-blur invariant state of the art texture classification methods.

Abstract Image acquisition devices are always subject to physical limitations that often manifest as distortions in the appearance of the captured image. The most common types of distortions can be divided into two categories: geometric and radiometric distortions. Examples of the latter ones are: changes in brightness, contrast, or illumination, sensor noise and blur. Since image blur can have many different causes, it is usually not convenient and also computationally expensive to develop ad hoc algorithms to correct each specific type of blur. Instead, it is often possible to extract a blur-invariant representation of the image, and utilize such information to make algorithms that are insensitive to blur. The work presented here mainly focuses on developing techniques for the extraction and the application of blur-invariant operators. This thesis contains several contributions. First, we propose a generalized framework based on group theory to constructively generate complete blur-invariants. We construct novel operators that are invariant to a large family of blurs occurring in real scenarios: namely, those blurs that can be modeled by a convolution with a point-spread function having rotational symmetry, or combined rotational and axial symmetry. A second important contribution is represented by the utilization of such operators to develop an algorithm for blur-invariant translational image registration. This algorithm is experimentally demonstrated to be more robust than other state-of-the-art registration techniques. The blur-invariant registration algorithm is then used as pre-processing steps to several restoration methods based on image fusion, like depth-of-field extension, and multi-channel blind deconvolution. All the described techniques are then re-interpreted as a particular instance of Wiener deconvolution filtering. Thus, the third main contribution is the generalization of the blur-invariants and the registration techniques to color images, by using respectively a representation of color images based on quaternions, and the quaternion Wiener filter. This leads to the development of a blur-and-noise-robust registration algorithm for color images. We observe experimentally a significant increase in performance in both color texture recognition, and in blurred color image registration. / Tiivistelmä Kuvauslaitteet ovat aina fyysisten olosuhteiden rajoittamia, mikä usein ilmenee tallennetun kuvan ilmiasun vääristyminä. Yleisimmät vääristymätyypit voidaan jakaa kahteen kategoriaan: geometrisiin ja radiometrisiin distortioihin. Jälkimmäisestä esimerkkejä ovat kirkkauden, kontrastin ja valon laadun muutokset sekä sensorin kohina ja kuvan sumeus. Koska kuvan sumeus voi johtua monista tekijöistä, yleensä ei ole tarkoitukseen sopivaa eikä laskennallisesti kannattavaa kehittää ad hoc algoritmeja erityyppisten sumeuksien korjaamiseen. Sitä vastoin on mahdollista erottaa kuvasta sumeuden invariantin edustuma ja käyttää tätä tietoa sumeudelle epäherkkien algoritmien tuottamiseen. Tässä väitöskirjassa keskitytään esittämään, millaisia eri tekniikoita voidaan käyttää sumeuden invarianttien operaattoreiden muodostamiseen ja sovellusten kehittämiseen. Tämä opinnäyte sisältää useammanlaista tieteellistä vaikuttavuutta. Ensiksi, väitöskirjassa esitellään ryhmäteoriaan perustuva yleinen viitekehys, jolla voidaan generoida sumeuden invariantteja. Konstruoimme uudentyyppisiä operaattoreita, jotka ovat monenlaiselle kuvaustilanteessa ilmenevälle sumeudelle invariantteja. Kyseessä ovat ne rotationaalisesti (ja/tai aksiaalisesti) symmetrisen sumeuden lajit, jotka voidaan mallintaa pistelähteen hajaantumisen funktion (PSF) konvoluutiolla. Toinen tämän väitöskirjan tärkeä tutkimuksellinen anti on esitettyjen sumeuden invarianttien operaattoreiden hyödyntäminen algoritmin kehittelyssä, joka on käytössä translatorisen kuvan rekisteröinnissä. Tällainen algoritmi on tässä tutkimuksessa osoitettu kokeellisesti johtavia kuvien rekisteröintitekniikoita robustimmaksi. Sumeuden invariantin rekisteröinnin algoritmia on käytetty esiprosessointina tässä tutkimuksessa useissa kuvien restaurointimenetelmissä, jotka perustuvat kuvan fuusioon, kuten syväterävyysaluelaajennus ja monikanavainen dekonvoluutio. Kaikki kuvatut tekniikat ovat lopulta uudelleen tulkittu erityistapauksena Wienerin dekonvoluution suodattimesta. Näin ollen tutkimuksen kolmas saavutus on sumeuden invarianttien ja rekisteröintiteknikoiden yleistäminen värikuviin käyttämällä värikuvien kvaternion edustumaa sekä Wienerin kvaternion suodatinta. Havaitsemme kokeellisesti merkittävän parannuksen sekä väritekstuurin tunnistuksessa että sumean kuvan rekisteröinnissä.