This thesis considers statistical modelling of natural image data. Obtaining advances in this field can have significant impact for both engineering applications, and for the understanding of the human visual system. Several recent advances in natural image modelling have been obtained with the use of unsupervised feature learning. We consider a class of such models, restricted Boltzmann machines (RBMs), used in many recent state-of-the-art image models. We develop extensions of these stochastic artificial neural networks, and use them as a basis for building more effective image models, and tools for computational vision. We first develop a novel framework for obtaining Boltzmann machines, in which the hidden unit activations co-transform with transformed input stimuli in a stable and predictable way throughout the network. We define such models to be transformation equivariant. Such properties have been shown useful for computer vision systems, and have been motivational for example in the development of steerable filters, a widely used classical feature extraction technique. Translation equivariant feature sharing has been the standard method for scaling image models beyond patch-sized data to large images. In our framework we extend shallow and deep models to account for other kinds of transformations as well, focusing on in-plane rotations. Motivated by the unsatisfactory results of current generative natural image models, we take a step back, and evaluate whether they are able to model a subclass of the data, natural image textures. This is a necessary subcomponent of any credible model for visual scenes. We assess the performance of a state- of-the-art model of natural images for texture generation, using a dataset and evaluation techniques from in prior work. We also perform a dissection of the model architecture, uncovering the properties important for good performance. Building on this, we develop structured extensions for more complicated data comprised of textures from multiple classes, using the single-texture model architecture as a basis. These models are shown to be able to produce state-of-the-art texture synthesis results quantitatively, and are also effective qualitatively. It is demonstrated empirically that the developed multiple-texture framework provides a means to generate images of differently textured regions, more generic globally varying textures, and can also be used for texture interpolation, where the approach is radically dfferent from the others in the area. Finally we consider visual boundary prediction from natural images. The work aims to improve understanding of Boltzmann machines in the generation of image segment boundaries, and to investigate deep neural network architectures for learning the boundary detection problem. The developed networks (which avoid several hand-crafted model and feature designs commonly used for the problem), produce the fastest reported inference times in the literature, combined with state-of-the-art performance.

Dans cette thèse, on étudie la structuration des phases de la transformée de Fourier d'images naturelles, ce qui, du point de vue applicatif, débouche sur plusieurs mesures de netteté ainsi que sur des algorithmes rapides pour la synthèse de texture par l'exemple. Le Chapitre 2 présente dans un cadre unifié plusieurs modèles de champs aléatoires, notamment les champs spot noise et champs gaussiens, en prêtant une attention particulière aux représentations fréquentielles de ces champs aléatoires. Le Chapitre 3 détaille l'utilisation des champs à phase aléatoire à la synthèse de textures peu structurées (microtextures). On montre qu'une microtexture peut être résumée en une image de petite taille s'intégrant à un algorithme de synthèse très rapide et flexible via le modèle spot noise. Aussi on propose un algorithme de désocclusion de zones texturales uniformes basé sur la simulation gaussienne conditionnelle. Le Chapitre 4 présente trois mesures de cohérence globale des phases de la transformée de Fourier. Après une étude théorique et pratique établissant leur lien avec la netteté d'image, on propose un algorithme de déflouage aveugle basé sur l'optimisation stochastique de ces indices. Enfin, dans le Chapitre 5, après une discussion sur l'analyse et la synthèse directe de l'information de phase, on propose deux modèles de textures à phases cohérentes qui permettent la synthèse de textures plus structurées tout en conservant quelques garanties mathématiques simples. / This thesis deals with the Fourier phase structure of natural images, and addresses no-reference sharpness assessment and fast texture synthesis by example. In Chapter 2, we present several models of random fields in a unified framework, like the spot noise model and the Gaussian model, with particular attention to the spectral representation of these random fields. In Chapter 3, random phase models are used to perform by-example synthesis of microtextures (textures with no salient features). We show that a microtexture can be summarized by a small image that can be used for fast and flexible synthesis based on the spot noise model. Besides, we address microtexture inpainting through the use of Gaussian conditional simulation. In Chapter 4, we present three measures of the global Fourier phase coherence. Their link with the image sharpness is established based on a theoretical and practical study. We then derive a stochastic optimization scheme for these indices, which leads to a blind deblurring algorithm. Finally, in Chapter 5, after discussing the possibility of direct phase analysis or synthesis, we propose two non random phase texture models which allow for synthesis of more structured textures and still have simple mathematical guarantees.

Dans cette thèse, on étudie la structuration des phases de la transformée de Fourier d'images naturelles, ce qui, du point de vue applicatif, débouche sur plusieurs mesures de netteté ainsi que sur des algorithmes rapides pour la synthèse de texture par l'exemple. Le Chapitre 2 présente dans un cadre unifié plusieurs modèles de champs aléatoires, notamment les champs spot noise et champs gaussiens, en prêtant une attention particulière aux représentations fréquentielles de ces champs aléatoires. Le Chapitre 3 détaille l'utilisation des champs à phase aléatoire à la synthèse de textures peu structurées (microtextures). On montre qu'une microtexture peut être résumée en une image de petite taille s'intégrant à un algorithme de synthèse très rapide et flexible via le modèle spot noise. Aussi on propose un algorithme de désocclusion de zones texturales uniformes basé sur la simulation gaussienne conditionnelle. Le Chapitre 4 présente trois mesures de cohérence globale des phases de la transformée de Fourier. Après une étude théorique et pratique établissant leur lien avec la netteté d'image, on propose un algorithme de déflouage aveugle basé sur l'optimisation stochastique de ces indices. Enfin, dans le Chapitre 5, après une discussion sur l'analyse et la synthèse directe de l'information de phase, on propose deux modèles de textures à phases cohérentes qui permettent la synthèse de textures plus structurées tout en conservant quelques garanties mathématiques simples. / This thesis deals with the Fourier phase structure of natural images, and addresses no-reference sharpness assessment and fast texture synthesis by example. In Chapter 2, we present several models of random fields in a unified framework, like the spot noise model and the Gaussian model, with particular attention to the spectral representation of these random fields. In Chapter 3, random phase models are used to perform by-example synthesis of microtextures (textures with no salient features). We show that a microtexture can be summarized by a small image that can be used for fast and flexible synthesis based on the spot noise model. Besides, we address microtexture inpainting through the use of Gaussian conditional simulation. In Chapter 4, we present three measures of the global Fourier phase coherence. Their link with the image sharpness is established based on a theoretical and practical study. We then derive a stochastic optimization scheme for these indices, which leads to a blind deblurring algorithm. Finally, in Chapter 5, after discussing the possibility of direct phase analysis or synthesis, we propose two non random phase texture models which allow for synthesis of more structured textures and still have simple mathematical guarantees.

Dans cette thèse, on étudie la structuration des phases de la transformée de Fourier d'images naturelles, ce qui, du point de vue applicatif, débouche sur plusieurs mesures de netteté ainsi que sur des algorithmes rapides pour la synthèse de texture par l'exemple. Le Chapitre 2 présente dans un cadre unifié plusieurs modèles de champs aléatoires, notamment les champs spot noise et champs gaussiens, en prêtant une attention particulière aux représentations fréquentielles de ces champs aléatoires. Le Chapitre 3 détaille l'utilisation des champs à phase aléatoire à la synthèse de textures peu structurées (microtextures). On montre qu'une microtexture peut être résumée en une image de petite taille s'intégrant à un algorithme de synthèse très rapide et flexible via le modèle spot noise. Aussi on propose un algorithme de désocclusion de zones texturales uniformes basé sur la simulation gaussienne conditionnelle. Le Chapitre 4 présente trois mesures de cohérence globale des phases de la transformée de Fourier. Après une étude théorique et pratique établissant leur lien avec la netteté d'image, on propose un algorithme de déflouage aveugle basé sur l'optimisation stochastique de ces indices. Enfin, dans le Chapitre 5, après une discussion sur l'analyse et la synthèse directe de l'information de phase, on propose deux modèles de textures à phases cohérentes qui permettent la synthèse de textures plus structurées tout en conservant quelques garanties mathématiques simples. / This thesis deals with the Fourier phase structure of natural images, and addresses no-reference sharpness assessment and fast texture synthesis by example. In Chapter 2, we present several models of random fields in a unified framework, like the spot noise model and the Gaussian model, with particular attention to the spectral representation of these random fields. In Chapter 3, random phase models are used to perform by-example synthesis of microtextures (textures with no salient features). We show that a microtexture can be summarized by a small image that can be used for fast and flexible synthesis based on the spot noise model. Besides, we address microtexture inpainting through the use of Gaussian conditional simulation. In Chapter 4, we present three measures of the global Fourier phase coherence. Their link with the image sharpness is established based on a theoretical and practical study. We then derive a stochastic optimization scheme for these indices, which leads to a blind deblurring algorithm. Finally, in Chapter 5, after discussing the possibility of direct phase analysis or synthesis, we propose two non random phase texture models which allow for synthesis of more structured textures and still have simple mathematical guarantees.