Thèse ou mémoire avec insertion d’articles / La restauration d'image est un problème mal posé. Des images pourtant différentes peuvent devenir identiques une fois dégradées. Pour cette raison, les approches établies exploitent des connaissances préalables sur le processus de dégradation en question ou sur la distribution des données. Alors que les techniques traditionnelles de restauration d'image sont basées sur la compréhension mathématique de dégradations spécifiques, les méthodes de pointe basées sur l'apprentissage profond supervisé exploitent de grands ensembles de données d'images dégradées pour apprendre automatiquement la restauration nécessaire. À ce titre, ces méthodes offrent une grande flexibilité, au prix d'un long processus d'entraînement. Bien que ces méthodes aient une grande efficacité dans le cas général, elles ne peuvent pas incorporer d'a priori supplémentaire sans réentraînement. Par exemple, modifier la distribution des images pour un ensemble plus restreint, ou encore modifier les niveaux de dégradations acceptés nécessite le réentraînement. En particulier, il est impossible combiner des modèles adaptés et entraînés pour des dégradations distinctes sans réentrainer. Dans ce travail, nous développons une nouvelle technique de restauration d'image non-supervisée basée sur l'inversion StyleGAN. StyleGAN est un modèle génératif très populaire qui génère des images aléatoires réalistes à partir de codes latents ; son utilisation pour la restauration d'images nécessite d'inverser ce processus. Notre première contribution consiste en une nouvelle méthode qui améliore l'inversion StyleGAN en introduisant des paramètres libres supplémentaires. Dans un second temps, nous adaptons cette technique à la restauration d'image non supervisée. Cette technique utilise une approximation différentiable à la dégradation appliquée pour trouver, dans la distribution d'un StyleGAN pré-entraîné, une image nettoyée qui correspond bien à l'image dégradée. Contrairement aux travaux précédents et concurrents, notre méthode est robuste, en ce sens qu'elle utilise les mêmes hyperparamètres pour toutes les tâches et tous les niveaux de dégradations. Grâce à cette robustesse, il devient possible de combiner facilement différents modèles de dégradation, de façon à restaurer des dégradations combinées. / Image restoration is an ill-posed problem, where multiple solutions exists. Because of this, effective approches exploit prior knowledge of the image degradation process or the data distribution. While traditional image restoration techniques are based on mathematical understanding of specific image degradations, state of the art methods based on supervised deep learning leverage large datasets of degraded images to learn restoration automatically. As such, they offer great flexibility, at the cost of a lengthy training processes. While these methods have great efficacy in the general case, they cannot incorporate additional priors without retraining. For instance, specializing the dataset to a different domain requires retraining, modifying the levels of degradation requires retraining, and methods which are designed for specific degrdations cannot be combined together. In this work, we develop a novel technique for unsupervised image restoration based on StyleGAN inversion. StyleGAN is a very popular generative model which generates realistic random images from latent codes; its use in image restoration requires inverting this process. Our first contribution consists of a new method that improves StyleGAN inversion by introducing additional free parameters. As a second contribution, we adapt this technique to unsupervised image restoration. This technique uses a differentiable approximation of the image degradation to search the distribution of a pretrained StyleGAN. In contrast to previous and concurrent works, our method is robust, in that it uses the same hyperparameters for all tasks and all levels of degradations. As such, it can effectively handle new combinations of tasks, and restore multiple different degradations, without any training.
| Identifer | oai:union.ndltd.org:LAVAL/oai:corpus.ulaval.ca:20.500.11794/125365 |
| Date | 20 November 2023 |
| Creators | Poirier-Ginter, Yohan |
| Contributors | Lalonde, Jean-François |
| Source Sets | Université Laval |
| Language | French |
| Detected Language | French |
| Type | COAR1_1::Texte::Thèse::Mémoire de maîtrise |
| Format | 1 ressource en ligne (viii, 58 pages), application/pdf |
| Rights | http://purl.org/coar/access_right/c_abf2 |
Page generated in 0.016 seconds