La création d’images combinant éléments réels et virtuels ne peut être faite de manière réaliste qu’en connaissant les conditions d’illumination de la scène sous-jacente. En effet, les engins de rendu requièrent cette information afin d’ajuster l’apparence des objets virtuels de telle manière qu’ils s’incorporent naturellement à l’environnement, réel celui-là, qui les entoure. Par conséquent, toute erreur dans l’estimation de la lumière peut en quelque sorte briser l’illusion et révéler la présence d’objets insérés. À l’heure où les créations artistiques générées par ordinateur commencent à peine à apparaître authentiquement réalistes, il est plus important que jamais pour les artistes d’avoir accès à une estimation réaliste et précise des conditions d’illumination. Des méthodes existent à cet effet, mais sont limitées de par le matériel spécialisé qu’elles requièrent et du fait qu’elles ne peuvent être appliquées a posteriori, par exemple lorsqu’un artiste souhaite utiliser une photographie déjà capturée. Cette thèse se concentre sur l’application de l’apprentissage profond au problème de l’estimation de l’illumination. Nous démontrons comment ce problème, à la base radiométrique, peut être formulé comme un problème d’apprentissage de bout en bout, où le réseau profond reçoit directement une image en entrée pour produire une estimation de l’éclairage de la scène. Les résultats expérimentaux obtenus soutiennent également notre hypothèse à l’effet qu’un réseau profond peut parvenir à estimer de manière fiable les conditions d’illumination en utilisant une seule image au champ de vue limité, telle que pourrait capturer un appareil photo standard. Plus spécifiquement, nous introduisons deux modèles d’apprentissage adaptés à cette tâche, l’un capable de produire un panorama HDR à partir d’une seule image en entrée, l’autre estimant l’illumination sous la forme d’un jeu de paramètres réduit. Nous présentons également une extension de ce dernier modèle, capable cette fois de recevoir et tirer profit d’un nombre arbitraire d’images en entrée. Pour chacune de ces approches, nous faisons suivre leur présentation détaillée par une analyse poussée et quantitative de leurs performances. Nous présentons également des résultats qualitatifs à chaque étape afin de démontrer leur applicabilité à des tâches artistiques communes. Le champ d’application des méthodes présentées dans cette thèse ne se restreint cependant pas aux applications graphiques telles que les effets spéciaux, la réalité augmentée ou l’édition d’images. Bien au contraire, les possibilités d’application sont multiples dans des domaines aussi variés que l’architecture (production de maquettes de projet plus réalistes), la simulation de conduite et de pilotage, la recherche de nouveaux concepts éducatifs et le divertissement personnel, pour ne nommer qu’eux. Au final, tout élément relié à l’image et à la lumière peut potentiellement être amélioré par les idées et concepts énoncés dans cette thèse, ce qui souligne l’importance du problème abordé ici. / Producing images mixing real and virtual elements in a realistic fashion requires knowing the illumination conditions. Indeed, rendering engines need this lighting information to adjust the appearance of the objects in such a way that they visually blend in the surrounding scene. As such, any mismatch can break the illusion and reveal the presence of these virtual inserted objects. At a time when computer generated graphics are barely out of the infamous uncanny valley, obtaining accurate lighting conditions is thus a crucial part of many artistic pipelines. There exist approaches to measure a scene illumination, but they rely on specialized hardware, require careful calibration, and cannot be applied a posteriori, for instance when the picture we want to work with is already taken. In this thesis, we show how indoor illumination estimation can be framed as an end-to-end learning problem, and how a deep neural network can reliably estimate lighting information using a single, limited field-of-view, low dynamic range image (as a regular camera would produce). More specifically, we introduce two learning models for this task: 1) a method regressing an entire high dynamic range (HDR) panorama from a single image, and 2) a method estimating illumination in the form of a reduced set of lighting parameters. We also extend the latter to support an arbitrary number of images as input, in addition to the single image case. We provide detailed justifications and performance analysis for each of these methods, in addition to qualitative results demonstrating the effectiveness of our approaches for common artistic tasks and pipelines. The work presented in this thesis has several important and practical applications. Graphics domains such as special effects, augmented and virtual reality, and image editing immediately come to mind, but the field of potential applications is far vaster. From architecture (with the production or realistic mock-ups) to piloting and driving simulators (which would benefit from a more realistic illumination), from better personal entertainment to more interactive and intuitive approaches in education, the potential applications are virtually limitless. Overall, everything somehow linked to imaging and lighting can potentially be improved using the techniques we present in this thesis, which underlines the importance of the problem tackled in this work.

Titre de l'écran-titre (visionné le 10 octobre 2023) / Comprendre l'éclairage intérieur est fondamental pour une variété de tâches. Cela peut avoir un impact significatif sur la segmentation sémantique, la décomposition intrinsèque des images, la navigation des robots, les effets spéciaux pour les films, et bien plus encore. L'estimer à partir d'une seule photographie est un problème mal posé, car de nombreuses combinaisons de lumière, de géométrie et de propriétés des matériaux peuvent conduire à la même image. Les travaux antérieurs se concentrent principalement sur le placement de matériel spécialisé dans la scène avant la séance photo, ce qui nécessite d'avoir accès à la scène, ou de modéliser la lumière avec des caractéristiques conçues manuellement. Récemment, l'apprentissage profond a été utilisé pour récupérer automatiquement ces caractéristiques à partir d'ensembles de données sans avoir besoin de matériel supplémentaire, et a fourni des résultats prometteurs. La majorité des travaux, cependant, ne se concentrent que sur l'aspect couleur de l'image et négligent d'autres propriétés comme la géométrie de la scène, qui peut maintenant être facilement estimée avec des approches standard. Dans cette thèse, nous explorons les avantages de l'intégration d'informations 3D dans le processus d'estimation de la lumière. Cela se fait avec les trois sous-objectifs suivants : 1) récupérer automatiquement une texture d'environnement HDR à partir de la couleur et de la géométrie d'un objet connu, 2) estimer une lumière éditable qui combine une représentation paramétrique et non paramétrique à l'aide de la disposition 3D de la scène, et 3) développer une représentation personnalisée conçue spécifiquement pour les panoramas 360° RGB-D. Nous effectuons des expériences approfondies pour valider nos hypothèses, les comparer à d'autres approches et montrer les contributions de l'utilisation de la 3D pour l'estimation de la lumière. / Understanding indoor lighting is fundamental for a variety of tasks. It can significantly impact semantic segmentation, intrinsic image decomposition, robot navigation, special effects for movies, and much more. Estimating it from a single photograph is an ill-posed problem, since many combinations of light, geometry, and material properties can lead to the same picture. Previous work mainly focus on placing specialized hardware in the scene before the photo shoot, which requires having access to the scene, or to model light with hand-crafted features. Recently, Deep Learning has been used to automatically retrieve these features from datasets without the need of additional hardware, and delivered promissing results. The majority of works, however, only focus on the color intensity of the photograph and neglect other properties like the scene geometry, which can be now easily estimated with off-the-shelf approaches. In this thesis, we explore the benefits of incorporating 3D information into the light estimation process. This is done with the following three sub-objectives: 1) automatically recover an HDR environment texture from the color and geometry of a known object, 2) estimate an editable light that combines a parametric and a non-parametric representation with the help of indoor 3D layouts, and 3) develop a customized representation designed specifically for 360° RGB-D panoramas. We perform extensive experiments to validate our assumptions, compare to other approaches, and show the contributions of leveraging 3D for light estimation.

Cette recherche propose d’analyser les performances énergétiques et lumineuses de différentes formes de panneaux isolants mobiles (PIM) extérieurs pour un espace de travail. Les niveaux élevés d’éclairement exigé dans ces espaces se traduisent par la quête d’un maximum de transparence qui entraîne cependant d’importantes déperditions thermiques en climat nordique. Les simulations numériques IESVE permettent d’évaluer la performance énergétique de l’isolation mobile et de l’occultation, alors que les simulations réalisées dans le module RADIANCE du même logiciel permettent d’analyser les niveaux et la répartition de l’éclairement intérieur générés par la présence et le mouvement des PIM. Des scénarios journaliers optimaux de mouvements, construits sur une base horaire à l’aide d’indicateurs énergétique et lumineux, aux solstices et à l’équinoxe d’automne sous ciel dégagé, permettent d’évaluer l’impact d’une façade adaptative sur un espace de travail. Bien que certains scénarios soient clairement incompatibles, d’autres présentent des performances élevées à la fois sur les plans énergétiques et lumineux. Cette recherche conclue sur le potentiel du PIM en tant qu’opportunité d’adaptation au sein d’une architecture adaptative. / This research focuses on the performance of movable insulation panels as manual shading devices and as an energy conservation strategy for an office space. High lighting level requirements for such spaces ask for a quest for transparency which results in high thermal losses in cold climates. Simulation results demonstrate the device’s potential in reducing energy consumption as well as diversifying visual ambiances. Three forms of panels are simulated using IES VE and Radiance module. Optimal manipulations are determined from an energy and lighting standpoint by assessing two metrics and are compared to illustrate their effects on lighting environment and energy loads. Optimal scenarios are constructed on an hourly basis to illustrate differences in energy and lighting needs. While some manipulation scenarios clearly demonstrate non compatible effects on energy and lighting performance, some scenarios can significantly improve both energy and lighting performance and should be considered. Conclusions address the potential of movable insulation panels as an effective adaptive strategy.

La recherche propose de faire la démonstration que la diversité des ambiances lumineuses, produite par l'intégration de l'éclairage naturel aux espaces intérieurs, est en mesure de créer des espaces confortables. Afin d'y parvenir, la recherche emploie un ensemble de méthodes complémentaires, notamment la cartographie positionnelle, le questionnaire fermé, la photographie, l'analyse numérique d'images et les outils développés pour le projet CRSH 2003-2007 : « Environmental Adaptability in Architecture - Towards a dynamic multi-sensory approach integrating users behavior ». Ces méthodes permettent d'étudier les ambiances lumineuses d'un espace réel, en l'occurrence le café de l'École d'architecture de l'Université Laval, et le niveau de confort perçu par ses occupants. Les résultats soulignent les différences marquées dans la perception du confort des occupants pourtant soumis aux mêmes conditions d'ambiances. Ils prouvent aussi que l'éclairage naturel est confortable puisque les ambiances lumineuses diversifiées qu'il engendre permettent aux occupants de choisir celles qui leur semblent les plus appropriées en regard à leur contexte d'activité et à leur propre définition du confort. / This research strives to demonstrate that the diversity of a luminous environment, created by the daylighting of buildings, is enough to generate comfortable spaces. In order to achieve it, the research uses a number of methods such as : behaviour mapping, a written survey, photography, the digital image analysis and parts of the methodology developed for the project SSHRC 2003-2007 intitled : "Environmental Adaptability in Architecture - Towards a dynamic multi-sensory approach integrating users behavior ". These methods allow the study of the luminous conditions of a real space, in the present case the "café of the school of architecture of Laval University", and the level of comfort perceived by its occupants. The results underline the important differences in the evaluation of comfort among occupants faced to the same conditions. They also prove that daylighting is comfortable since the diverse luminous conditions created allow the occupants to choose the ambience they feel most appropriate to their activity context as well to their own definition of comfort.