Explorer et comprendre des données volumétriques ou surfaciques est un des nombreux enjeux du domaine de l'informatique graphique. L'apparence de telles données peut être modélisée et visualisée en utilisant la théorie du transport lumineux. Afin de rendre une telle visualisation compréhensible, le recours à des matériaux transparents est très répandu. Si des solutions existent pour simuler correctement la propagation de la lumière et ainsi afficher des objets semi-transparents, offrir une visualisation compréhensible reste un sujet de recherche ouvert. Le but de cette thèse est double. Tout d'abord, une analyse approfondie du modèle optique pour le transport de la lumière et ses implications sur la génération d'images par ordinateur doit être effectuée. Ensuite, cette connaissance pourra être utilisée pour proposer des solutions efficaces et fiables pour visualiser des milieux transparents et semi-transparents. Dans ce manuscrit, premièrement, nous présentons le modèle optique communément utilisé pour modéliser le transport de la lumière dans des milieux participatifs, sa simplification si l'on réduit la situation à des surfaces et la manière dont ces modèles sont utilisés en informatique graphique pour générer des images. Deuxièmement, nous présentons une solution pour améliorer la représentation des formes dans le cas particulier des surfaces. La technique proposée utilise le transport lumineux comme base pour modifier le processus d'éclairage et modifier l'apparence et l'opacité des matériaux. Troisièmement, nous nous concentrons sur la problématique de l’utilisation de données volumétriques au lieu du cas simplifié des surfaces. Dans ce cas, le fait de ne modifier que les propriétés du matériau a un impact limité. Nous étudions donc comment le transport lumineux peut être utilisé pour fournir des informations utiles à la compréhension de milieux participatifs. Enfin, nous présentons notre modèle de transport lumineux pour les milieux participatifs, qui vise à explorer une région d'intérêt d’un volume. / Exploring and understanding volumetric or surface data is one of the challenges of Computer Graphics. The appearance of these data can be modeled and visualized using light transport theory. For the sake of understanding such a data visualization, transparent materials are widely used. If solutions exist to correctly simulate the light propagation and display semi-transparent objects, offering a understandable visualization remains an open research topic. The goal of this thesis is twofold. First, an in-depth analysis of the optical model for light transport and its implication on computer generated images is performed. Second, this knowledge can be used to tackle the problematic of providing efficient and reliable solution to visualize transparent and semi-transparent media. In this manuscript, we first introduce the general optical model for light transport in participating media, its simplification to surfaces, and how it is used in computer graphics to generate images. Second, we present a solution to improve shape depiction in the special case of surfaces. The proposed technique uses light transport as a basis to change the lighting process and modify the materials appearance and opacity. Third, we focus on the problematic of using full volumetric data instead of the simplified case of surfaces. In this case, changing only the material properties has a limited impact, thus we study how light transport can be used to provide useful information for participating media. Last, we present our light transport model for participating media that aims at exploring part of interest of a volume.

<p>What makes an image photorealistic and how to pinpoint and understand how our mind interprets different elements in an image conditions? It is proposed that the phrase "imperfect makes perfect" is the key for the photorealistic goal in today’s 3D. There is a review of all the elements for the creation of one perfect image, such as Global Illumination, Anti-Aliasing and also a basic review of photography, how a scene is set up, color temperature and the nature of the real light. To put different theories to a test, the common three dimensional software 3D Studio Max was used with the V-Ray renderer. On a field trip to IKEA communications, we were assigned a project of a room scene containing a kitchen, with a finished scene model. A kitchen was created and experimented to reach a result where there is no visible difference between a computer generated image and the photography. Our result was not what we had hoped for due to many problems with our scene. We ourselves see this as a first step toward a scientific explanation to photorealism and what makes something photorealistic.</p>

Shader programming is important for realistic material and global illumination real-time rendering, especially in 3D industrial fields nowadays, more and more customers of Visual Components Oy, a Finnish 3D software company have been found to be no longer only content with the correct simulation result, but also the result of realistic real-time rendering. This thesis project will provide a deep research on real world material classification, property definition and global illumination techniques in industrial fields. On the other hand, the Shader program for different materials and global illumination techniques are also created according to the classification and definition in this thesis work. Moreover, an external rendering tool Redway3D is evaluated as the reference and regarded as the considerable solution in the future development work.

Le design d'éclairage est une tâche qui est normalement faite manuellement, où les artistes doivent manipuler les paramètres de plusieurs sources de lumière pour obtenir le résultat désiré. Cette tâche est difficile, car elle n'est pas intuitive. Il existe déjà plusieurs systèmes permettant de dessiner directement sur les objets afin de positionner ou modifier des sources de lumière. Malheureusement, ces systèmes ont plusieurs limitations telles qu'ils ne considèrent que l'illumination locale, la caméra est fixe, etc. Dans ces deux cas, ceci représente une limitation par rapport à l'exactitude ou la versatilité de ces systèmes. L'illumination globale est importante, car elle ajoute énormément au réalisme d'une scène en capturant toutes les interréflexions de la lumière sur les surfaces. Ceci implique que les sources de lumière peuvent avoir de l'influence sur des surfaces qui ne sont pas directement exposées. Dans ce mémoire, on se consacre à un sous-problème du design de l'éclairage: la sélection et la manipulation de l'intensité de sources de lumière. Nous présentons deux systèmes permettant de peindre sur des objets dans une scène 3D des intentions de lumière incidente afin de modifier l'illumination de la surface. De ces coups de pinceau, le système trouve automatiquement les sources de lumière qui devront être modifiées et change leur intensité pour effectuer les changements désirés. La nouveauté repose sur la gestion de l'illumination globale, des surfaces transparentes et des milieux participatifs et sur le fait que la caméra n'est pas fixe. On présente également différentes stratégies de sélection de modifications des sources de lumière. Le premier système utilise une carte d'environnement comme représentation intermédiaire de l'environnement autour des objets. Le deuxième système sauvegarde l'information de l'environnement pour chaque sommet de chaque objet. / Lighting design is usually a task that is done manually, where the artists must manipulate the parameters of several light sources to obtain the desired result. This task is difficult because it is not intuitive. Some systems already exist that enable a user to paint light directly on objects in a scene to position or alter light sources. Unfortunately, these systems have some limitations such that they only consider local lighting, or the camera must be fixed, etc. Either way, this limitates the accuracy or the versatility of these systems. Global illumination is important because it adds a lot of realism to a scene by capturing all the light interreflections on the surfaces. This means that light sources can influence surfaces even if they are not directly exposed. In this M. Sc. thesis, we study a subset of the lighting design problem: the selection and alteration of the intensity of light sources. We present two different systems to design lighting on objects in 3D scenes. The user paints light intentions directly on the objects to alter the surface illumination. From these paint strokes, the systems find the light sources and alter their intensity to obtain as much as possible what the user wants. The novelty of our technique is that global illumination, transparent surfaces and subsurface scattering are all considered, and also that the camera is free to take any position. We also present strategies for selecting and altering the light sources. The first system uses an environment map as an intermediate representation of the environment surrounding the objects. The second system saves all the information of the environment for each vertex of each object.

En synthèse d'images, le principal calcul à effectuer pour générer une image a été formalisé dans une équation appelée équation du rendu [Kajiya1986]. Cette équation est la intègre la conservation de l'\'energie dans le transport de la lumi\`ere. Elle stipule que l'énergie lumineuse renvoyée, par les objets d'une scène, dans une direction donnée est égale à la somme de l'énergie émise et réfléchie par ceux-ci. De plus, l'énergie réfléchie par un élément de surface est définie comme la convolution de l'éclairement incident avec une fonction de réflectance. Cette dernière modélise le matériau (au sens physique) de l'objet et joue le rôle d'un filtre directionnel et énergétique dans l'équation du rendu, simulant ainsi la manière dont la surface se comporte vis-à-vis d'une réflexion. Dans ce mémoire de thèse, nous introduisons de nouvelles représentations pour la fonction de réflectance ainsi que pour la représentation de l'éclairement incident. Dans la première partie de ce mémoire, nous proposons deux nouveaux modèles pour représenter la fonction de réflectance. Le premier modèle s'inscrit dans une démarche artistique et est destiné à faciliter la création et l'édition des reflets spéculaires. Son principe est de laisser l'utilisateur peindre et esquisser les caractéristiques (forme, couleur, gradient et texture) du reflet spéculaire dans un plan de dessin paramétrisé en fonction de la direction de la réflexion miroir de la lumière. Le but du second modèle est de représenter de manière compacte et efficace les mesures des matériaux isotropes. Pour ce faire, nous introduisons une nouvelle représentation à base de polynômes rationnels. Les coefficients de ces derniers sont obtenus à l'aide d'un processus d'approximation qui garantit une solution optimale au sens de la convergence. Dans la seconde partie de ce mémoire, nous introduisons une nouvelle représentation volumétrique pour l'éclairement indirect représenté directionnellement à l'aide de vecteurs d'irradiance. Nous montrons que notre représentation est compacte et robuste aux variations géométriques et qu'elle peut être utilisée comme système de cache pour du rendu temps réel ou non, ainsi que dans le cadre de la transmission progressive des données (streaming). Enfin, nous proposons deux types de modifications de l'éclairement incident afin de mettre en valeur les détails et les formes d'une surface. Le première modification consiste à perturber les directions de l'éclairement incident tandis que la seconde consiste à en modifier l'intensité. / In image synthesis, the main computation involved to generate an image is characterized by an equation named rendering equation [Kajiya1986]. This equation represents the law of energy conservation. It stipulates that the light emanating from the scene objects is the sum of the emitted energy and the reflected energy. Moreover, the reflected energy at a surface point is defined as the convolution of the incoming lighting with a reflectance function. The reflectance function models the object material and represents, in the rendering equation, a directional and energetic filter that describes the surface behavior regarding the reflection. In this thesis, we introduce new representations for the reflectance function and the incoming lighting. In the first part of this thesis, we propose two new models for the reflectance function. The first model is targeted for artists to help them create and edit highlights. Our main idea is to let the user paint and sketch highlight characteristics (shape, color, gradient and texture) in a plane parametrized by the incident lighting direction. The second model is designed to represent efficiently isotropic material data. To achieve this result, we introduce a new representation of the reflectance function that uses rational polynomials. Their coefficients are computed using a fitting process that guarantees an optimal solution regarding convergence. In the second part of this thesis, we introduce a new volumetric structure for indirect illumination that is directionally represented with irradiance vector. We show that our representation is compact and robust to geometric variations, that it can be used as caching system for interactive and offline rendering and that it can also be transmitted with streaming techniques. Finally, we introduce two modifications of the incoming lighting to improve the shape depiction of a surface. The first modification consists in warping the incoming light directions whereas the second one consists in scaling the intensity of each light source. / Réalisé en cotutelle avec l'Université Bordeaux 1 (France)

What makes an image photorealistic and how to pinpoint and understand how our mind interprets different elements in an image conditions? It is proposed that the phrase "imperfect makes perfect" is the key for the photorealistic goal in today’s 3D. There is a review of all the elements for the creation of one perfect image, such as Global Illumination, Anti-Aliasing and also a basic review of photography, how a scene is set up, color temperature and the nature of the real light. To put different theories to a test, the common three dimensional software 3D Studio Max was used with the V-Ray renderer. On a field trip to IKEA communications, we were assigned a project of a room scene containing a kitchen, with a finished scene model. A kitchen was created and experimented to reach a result where there is no visible difference between a computer generated image and the photography. Our result was not what we had hoped for due to many problems with our scene. We ourselves see this as a first step toward a scientific explanation to photorealism and what makes something photorealistic.

[pt] A principal meta da computação gráfica é a síntese de imagens. Essas imagens podem ser tanto geradas por computador quanto ser resultado de manipulação digital de fotografias. Diferentes métodos para captura de imagens e fotografia digital mudaram a importância da imagem digital. Em relação a imagens geradas por computador, a busca por imagens mais realistas é importante para a indústria de filmes, de desenvolvimento de jogos entre outras. Uma das maiores revoluções na computação gráfica atual está relacionada a imagens High Dynamic Range. Essas imagens representam o próximo nível em termos de representação de imagens, uma vez que seus valores são verdadeiramente proporcionais às condições de iluminação em uma cena e são capazes de codificar a dynamic range encontrado no mundo real, fato impossível para as imagens tradicionais que apresentam 24 bits por pixel. Quando imagens high dynamic range são utilizadas para codificar as condições de iluminação em uma cena, elas são chamadas mapas de radiância ou mapas de iluminação. O foco principal dessa dissertação é mostrar técnicas de renderização em tempo real utilizando mapas de iluminação. Técnicas conhecidas como Image Based Lighting. Esse trabalho apresenta os conceitos de imagens high dynamic range, seus fundamentos físicos na teoria da luz, uma série de trabalhos importantes em manipulação dessas imagens e uma discussão sobre o pipeline de aplicações em tempo real que utilizam high dynamic range. Finalmente são apresentadas as técnicas para utilização de mapas de iluminação em alta precisão em tempo real. / [en] In 1997, the seminal work by Paul Debevec and Jitendra Malik on the generation of HDR (High Dynamic Range) images, from ordinary LDR (Low Dynamic Range) cameras, facilitated the generation of light probes enormously. In consequence, this caused a boom of works on the rendering of objects with images of light from the real world, which is known as Image- Based Lighting. The present dissertation aims to study this new area, trying to situate itself in the question of real-time compositing of synthetic objects in real images. This dissertation proposes a real-time rendering pipeline for 3D games, in the simple case of static scenes, adapting the non-real-time technique presented by Paul Debevec in 1998. There is no written work about this adaptation in the literature, although exists some reference to developments done by graphics card manufacturers in this direction. Also this dissertation presents an experiment with diffuse objects. Moreover, the author gives ideas towards the solution of shadow problems for diffuse objects.

L'un des buts principaux de la synthèse d'image est de générer une image en adéquation avec les attentes de l’utilisateur. Pour ce faire, l'utilisateur doit passer par plusieurs étapes. La première, dite « Moteur de rendu », a pour but de simuler de façon précise les différentes interactions lumineuses avec les objets d'une scène 3D. A l'issue de cette étape, l'utilisateur aura à sa disposition une image décrite par des grandeurs photométriques. Ensuite, l'utilisateur procède à une seconde étape, dite « Post-production », où l'utilisateur effectue différents traitements sur l’image générée. Afin que l’image finale soit en adéquation avec les attentes de l’utilisateur, ce dernier peut modifier la scène 3D ou les différents paramètres utilisés par chaque étape. Les travaux de recherche menés dans le cadre de la thèse se sont focalisés sur deux axes principaux : l’accélération de la génération d'images de synthèse et le développement d'outils, proposés à l'utilisateur, lui permettant de satisfaire ses attentes. Concernant le premier axe, nous avons travaillé sur les techniques de synthèse d'image permettant de générer des images de synthèse de haute qualité. Ces techniques s’appuient, le plus souvent, sur un processus stochastique qui construit de façon aléatoire des chemins de lumière. Cependant, dans certains cas de figure, il est difficile de construire de façon efficace ces chemins. C'est le cas des milieux participants (fumée, feu, etc.) pour lesquels un grand nombre d'interactions lumière/matière doit être pris en compte, ce qui est très coûteux en temps de calcul. Pour réduire ces temps de calcul, nous proposons une adaptation d'une approche de rendu discrète exploitant la puissance de calcul des cartes graphiques. Cependant, comme ce genre de techniques présentent de nombreuses limitations, nous avons développé une seconde technique basée sur le trace de photon. Par ailleurs, dans des scènes complexes, il est difficile de trouver des chemins contributifs. Pour cette raison, nous avons utilisé une approche, basée sur Metropolis-Hasting, qui permet d'explorer localement l'espace des chemins contributifs. En revanche, avec ce type d'approche, il est difficile de contrôler la répartition de l'erreur sur le plan image. C'est pourquoi, nous proposons une nouvelle approche permettant de mieux répartir l'erreur relative sur le plan image. Dans le second axe de travail, nous nous sommes intéressés à l’étape de « Post-production ». En effet, nous avons développé une nouvelle technique d'estimation de l'illuminant de référence. Connaître cet illuminant est important lors d’opérations manipulant l'espace couleur utilisé. Enfin, nous proposons une technique capable de déterminer automatiquement la configuration des sources de lumière dans le but de générer une image répondant aux attentes de l'utilisateur. / One of the main goal in computer graphics is to generate an image that matches the user intent. To do that, the user has to go through several steps. The first step, named « Rendering engine », aims to precisely simulate light interactions with the objects of a 3D scene. At the end of this step, an image is generated. This image is represented by photometric values. Then, the user moves on to the second step, named « Post-production », where she/he applies several transformations to the computer generated images. To make the final image be in line with her/his expectations, the user can modify the 3D scene or change parameter values used throughout the different steps. Two main research avenues are investigated: acceleration of the generation of computer generated images and the development of user assistance tools allowing to satisfy the user's intent. First, we have developed computer graphics algorithms that generate high quality images. These techniques often rely on a stochastic process. They randomly construct light paths. However, in some particular setup, it turns out that these algorithms are inefficient. This is the case when rendering participating media for which a huge amount of light interactions is needed. These interactions entail a costly computing time. In order to reduce the rendering time, we have proposed a new discrete approach that runs on the GPU. However, there exist several limitations with this type of technique. To overcome these limitations, we have developed a second approach based on progressive photon mapping. Furthermore, in complex scenes, it is difficult to find valid light paths. This is why, our algorithm is based on Metropolis-Hasting. This type of technique allows to explore locally the path space but still have several drawbacks. The main drawback is that the algorithm does not distribute evenly the error over the image space. We have proposed a novel approach to address this issue. In the second part of this PhD, we are interested in the "post-production" step. A new technique has been developed to estimate the main illuminant in a scene. Knowing this main illuminant is crucial for color transformations. Moreover, we have developed a technique that optimizes automatically the lighting setup in a 3D scene to meet the user's expectations.

Nous proposons une méthode pour placer automatiquement des sondes dans une scène par minimisation d’une fonction d’erreur. Nous guidons les sondes vers les sites d’échantillonnage optimaux en appliquant la descente de gradient à une fonction d’erreur qui représente la similarité entre la structure en construction et un ensemble de référence. En utilisant la pondération inverse à la distance comme fonction interpolante, nous avons construit avec fiabilité des ensembles de sondes dans trois scènes. En comparant nos résultats avec ceux produits par un ensemble de sondes de référence placées sur une grille régulière, nous atteignons théoriquement notre objectif dans une des trois scènes, où nous obtenons des valeurs d’erreur inférieures à la référence avec beaucoup moins de sondes. Nous avons eu des succès partiels dans les autres scènes, selon le nombre d’échantillons utilisés. / Diffuse global illumination within a 3D scene can be approximated in real time using irradiance probes. Probe placement typically relies on significant human input, and final quality of the approximation is often left to the subjectivity of a lighting artist. As demand for realism in rendering increases, the need to enhance the quality of such approximations is greater. We propose a method to automatically place probes in a scene by minimizing an error function. We guide probes to optimal sampling locations by applying gradient descent to an error function that represents similarity between our interpolated results and reference irradiance values. Using weighted nearest neighbour interpolation, we were able to reliably construct probe sets with minimal input in three scenes. Comparing our results to those produced by a set of probes placed on a 3D grid, we were theoretically successful in one scene, in which we could obtain lower error values with fewer probes. We obtained partial success in the other scenes, depending on the number of samples used.

Les images de synthèse sont présentes à travers un grand nombre d'applications tel que les jeux vidéo, le cinéma, l'architecture, la publicité, l'art, la réalité virtuelle, la visualisation scientifique, l'ingénierie en éclairage, etc. En conséquence, la demande en photoréalisme et techniques de rendu rapide ne cesse d'augmenter. Le rendu réaliste d'une scène virtuelle nécessite l'estimation de son illumination globale grâce à une simulation du transport de lumière, un processus coûteux en temps de calcul dont la vitesse de convergence diminue généralement lorsque la complexité de la scène augmente. En particulier, une forte illumination indirecte combinée à de nombreuses occlusions constitue une caractéristique globale de la scène que les techniques existantes ont du mal à gérer. Cette thèse s'intéresse à ce problème à travers l'application de techniques d'analyse de formes pour le rendu 3D.Notre principal outil est un squelette curviligne du vide de la scène, représenté par un graphe contenant des informations sur la topologie et la géométrie de la scène. Ce squelette nous permet de proposer de nouvelles méthodes pour améliorer des techniques de rendu temps réel et non temps réel. Concernant le rendu temps réel, nous utilisons les informations géométriques du squelette afin d'approximer le rendu des ombres projetés par un grand nombre de points virtuels de lumière représentant l'illumination indirecte de la scène 3D.Pour ce qui est du rendu non temps réel, nos travaux se concentrent sur des algorithmes basés sur l'échantillonnage de chemins, constituant actuellement le principal paradigme en rendu physiquement plausible. Notre squelette mène au développement de nouvelles stratégies d'échantillonnage de chemins, guidés par des caractéristiques topologiques et géométriques. Nous adressons également ce problème à l'aide d'un second outil d'analyse de formes: la fonction d'ouverture du vide de la scène, décrivant l'épaisseur locale du vide en chacun de ses points. Nos contributions offrent une amélioration des méthodes existantes and indiquent clairement que l'analyse de formes offre de nombreuses opportunités pour le développement de nouvelles techniques de rendu 3D / Nowadays, computer generated images can be found everywhere, through a wide range of applications such as video games, cinema, architecture, publicity, artistic design, virtual reality, scientific visualization, lighting engineering, etc. Consequently, the need for visual realism and fast rendering is increasingly growing. Realistic rendering involves the estimation of global illumination through light transport simulation, a time consuming process for which the convergence rate generally decreases as the complexity of the input virtual 3D scene increases. In particular, occlusions and strong indirect illumination are global features of the scene that are difficult to handle efficiently with existing techniques. This thesis addresses this problem through the application of discrete shape analysis to rendering. Our main tool is a curvilinear skeleton of the empty space of the scene, a sparse graph containing important geometric and topological information about the structure of the scene. By taking advantage of this skeleton, we propose new methods to improve both real-time and off-line rendering methods. Concerning real-time rendering, we exploit geometric information carried by the skeleton for the approximation of shadows casted by a large set of virtual point lights representing the indirect illumination of the 3D scene. Regarding off-line rendering, our works focus on algorithms based on path sampling, that constitute the main paradigm of state-of-the-art methods addressing physically based rendering. Our skeleton leads to new efficient path sampling strategies guided by topological and geometric features. Addressing the same problem, we also propose a sampling strategy based on a second tool from discrete shape analysis: the opening function of the empty space of the scene, describing the local thickness of that space at each point. Our contributions demonstrate improvements over existing approaches and clearly indicate that discrete shape analysis offers many opportunities for the development of new rendering techniques