Titre de l'écran-titre (visionné le 10 octobre 2023) / Comprendre l'éclairage intérieur est fondamental pour une variété de tâches. Cela peut avoir un impact significatif sur la segmentation sémantique, la décomposition intrinsèque des images, la navigation des robots, les effets spéciaux pour les films, et bien plus encore. L'estimer à partir d'une seule photographie est un problème mal posé, car de nombreuses combinaisons de lumière, de géométrie et de propriétés des matériaux peuvent conduire à la même image. Les travaux antérieurs se concentrent principalement sur le placement de matériel spécialisé dans la scène avant la séance photo, ce qui nécessite d'avoir accès à la scène, ou de modéliser la lumière avec des caractéristiques conçues manuellement. Récemment, l'apprentissage profond a été utilisé pour récupérer automatiquement ces caractéristiques à partir d'ensembles de données sans avoir besoin de matériel supplémentaire, et a fourni des résultats prometteurs. La majorité des travaux, cependant, ne se concentrent que sur l'aspect couleur de l'image et négligent d'autres propriétés comme la géométrie de la scène, qui peut maintenant être facilement estimée avec des approches standard. Dans cette thèse, nous explorons les avantages de l'intégration d'informations 3D dans le processus d'estimation de la lumière. Cela se fait avec les trois sous-objectifs suivants : 1) récupérer automatiquement une texture d'environnement HDR à partir de la couleur et de la géométrie d'un objet connu, 2) estimer une lumière éditable qui combine une représentation paramétrique et non paramétrique à l'aide de la disposition 3D de la scène, et 3) développer une représentation personnalisée conçue spécifiquement pour les panoramas 360° RGB-D. Nous effectuons des expériences approfondies pour valider nos hypothèses, les comparer à d'autres approches et montrer les contributions de l'utilisation de la 3D pour l'estimation de la lumière. / Understanding indoor lighting is fundamental for a variety of tasks. It can significantly impact semantic segmentation, intrinsic image decomposition, robot navigation, special effects for movies, and much more. Estimating it from a single photograph is an ill-posed problem, since many combinations of light, geometry, and material properties can lead to the same picture. Previous work mainly focus on placing specialized hardware in the scene before the photo shoot, which requires having access to the scene, or to model light with hand-crafted features. Recently, Deep Learning has been used to automatically retrieve these features from datasets without the need of additional hardware, and delivered promissing results. The majority of works, however, only focus on the color intensity of the photograph and neglect other properties like the scene geometry, which can be now easily estimated with off-the-shelf approaches. In this thesis, we explore the benefits of incorporating 3D information into the light estimation process. This is done with the following three sub-objectives: 1) automatically recover an HDR environment texture from the color and geometry of a known object, 2) estimate an editable light that combines a parametric and a non-parametric representation with the help of indoor 3D layouts, and 3) develop a customized representation designed specifically for 360° RGB-D panoramas. We perform extensive experiments to validate our assumptions, compare to other approaches, and show the contributions of leveraging 3D for light estimation.
| Identifer | oai:union.ndltd.org:LAVAL/oai:corpus.ulaval.ca:20.500.11794/126846 |
| Date | 26 March 2024 |
| Creators | Weber, Henrique |
| Contributors | Lalonde, Jean-François |
| Source Sets | Université Laval |
| Language | English |
| Detected Language | French |
| Type | COAR1_1::Texte::Thèse::Thèse de doctorat |
| Format | 1 ressource en ligne (ix, 73 page), application/pdf |
| Rights | http://purl.org/coar/access_right/c_abf2 |
Page generated in 0.0022 seconds