Titre de l'écran-titre (visionné le 12 octobre 2023) / En tant qu'êtres humains, nous percevons naturellement les incohérences d'éclairage. Cette caractéristique rend primordiale la modélisation correcte de la lumière lors de la composition d'objets virtuels et réels. Ces dernières années, les approches d'apprentissage profond ont montré que de nombreuses propriétés de scène peuvent être estimées de manière robuste dans des systèmes de composition automatique à partir d'une seule image. Cela est particulièrement vrai pour les environnements extérieurs, car ils partagent la propriété d'être éclairés par le ciel terrestre, sous le soleil. Cependant, les approches actuelles d'apprentissage en profondeur pour l'estimation de l'éclairage ne produisent pas de textures précises pour les ciels nuageux, et celles qui génèrent des textures de nuages ne garantissent pas la fidélité à l'éclairage estimé. Quant à ce qui est modélisé en l'absence de lumière, les interactions entre les ombres réelles et synthétiques ne sont pas non plus gérées avec élégance par les méthodes existantes, qui supposent généralement un arrière-plan sans ombre. Ainsi, cette thèse a deux objectifs principaux : modéliser et éditer des ciels réalistes peu importe les conditions météorologiques et l'heure du jour, et modéliser des ombres réelles de manière à permettre des interactions avec des ombres synthétiques. Pour atteindre le premier objectif, nous proposons un modèle de ciel photoréaliste contrôlable par des paramètres, à notre connaissance le premier dans la littérature. Ensuite, pour le deuxième objectif, nous présentons la première méthode de composition d'images de la litérature pour l'éclairage extérieur capable de produire des interactions réalistes entre des ombres réelles et virtuelles dans des scènes inconnues. Pour atteindre nos objectifs, de nombreux défis intermédiaires ont également dû être relevés, notamment l'ajustement paramétrique soleil-ciel, la détection de pénombres et la détection d'ombres haute résolution. Nous introduisons également des jeux de donnés pour la détection des pénombres et le masquage d'ombres avec des vérités terrain annotées et fournissons des annotations paramétriques qui surpassent l'état de l'art pour le jeu de données Laval HDR Skies. En utilisant une multitude d'images au contenu varié et complexe provenant de diverses sources, nous effectuons des comparaisons quantitatives et qualitatives démontrant la supériorité de nos approches face aux alternatives existantes. Enfin, nous discutons des limites et proposons des pistes pour les travaux futurs. / As humans, we are naturally capable of perceiving lighting inconsistencies. This trait makes it paramount to model light correctly when compositing virtual and real objects together. In recent years, deep learning approaches have shown many scene properties can be robustly estimated in automatic single-image compositing systems. This is especially true for outdoor environments, as they share the property of being lit by Earth's sky, under the sun. However, current deep learning approaches for lighting estimation do not produce accurate textures for cloudy skies, and the ones that generate cloud textures do not guarantee fidelity to the estimated lighting. As for what is modeled in the absence of light, interactions between real and synthetic shadows are also not handled gracefully by existing methods, which typically assume a shadow-free background. Thus, this thesis has two main goals: to model and edit realistic skies regardless of weather, and to model real shadows in a way that allows for interactions with synthetic ones. To achieve the first goal, we propose a photorealistic, all-weather sky model controllable through parameters, to our knowledge the first in the literature. Then, for the second goal, we present the first compositing pipeline for outdoor lighting that is capable of producing realistic interactions between real and virtual shadows in unknown scenes. To achieve our goals, numerous intermediate challenges also had to be tackled, including parametric sun-sky fitting, soft shadow detection, and high-resolution shadow detection. We also introduce datasets for soft shadow detection and shadow matting with annotated ground truths and provide state-of-the-art parametric annotations for the Laval HDR Skies dataset. By using challenging outdoor images from multiple distributions, we perform quantitative and qualitative comparisons that show our approaches produce more realistic results than existing alternatives. Finally, we discuss limitations and propose pathways for future work.
| Identifer | oai:union.ndltd.org:LAVAL/oai:corpus.ulaval.ca:20.500.11794/126865 |
| Date | 26 March 2024 |
| Creators | Valença, Lucas |
| Contributors | Lalonde, Jean-François, Hold-Geoffroy, Yannick |
| Source Sets | Université Laval |
| Language | English |
| Detected Language | French |
| Type | COAR1_1::Texte::Thèse::Mémoire de maîtrise |
| Format | 1 ressource en ligne (xv, 116 pages), application/pdf |
| Rights | http://purl.org/coar/access_right/c_abf2 |
Page generated in 0.0023 seconds