This thesis explores efficient techniques for high quality real-time rendering of large architectural environments using affordable graphics hardware, as applied to illumination, including window reflections, shadows, and "bump mapping". For each of these fields, the thesis investigates existing methods and intends to provide adequate solutions. The focus lies on the use of new features found in current graphics hardware, making use of new OpenGL extensions and functionality found in Shader Model 3.0 vertex and pixel shaders and the OpenGL 2.0 core. The thesis strives to achieve maximum image quality, while maintaining acceptable performance at an affordable cost. The thesis shows the feasibility of using deferred shading on current hardware and applies high dynamic range rendering with the intent to increase realism. Furthermore, the thesis explains how to use environment mapping to simulate true planar reflections as well as incorporates relevant image post-processing effects. Finally, a shadow mapping solution is provided for the future integration of dynamic geometry.

In computer graphics, lighting is an important area. To simulate shadows from area light sources, indirect lighting and shadows from indirect light, a class of algorithms commonly known as global illumination algorithms can be used. Ambient occlusion is an approximation to global illumination that can emulate shadows from area light sources and shadows from indirect light, giving very soft shadows. For real-time applications, ambient occlusion can be precomputed and stored in maps or per vertex. However, that can only be done with good results if the geometry is static. Therefore, a number of methods that can handle more or less dynamic scenes have been introduced in the recent years. In this thesis, a collection of ambient occlusion methods for dynamic objects and procedural environments will be described. The main contribution is the introduction of a novel method that handles ambient occlusion for procedural environments. Another contribution is a description of an implementation of Screen Space Ambient Occlusion (SSAO). SSAO is an algorithm that calculates approximate ambient occlusion in real-time by using the depths of surrounding pixels. It handles completely dynamic scenes with good performance. The method for procedural environments handles the scenario where a number of building blocks are procedurally assembled at run-time. The idea is to precompute an ambient occlusion map for each building block where the self-occlusion is stored. In addition, an ambient occlusion grid is precomputed for each block to accommodate the inter-block occlusion. At run-time, after the building blocks have been assembled, the ambient occlusion from the grids is blended with the ambient occlusion from the maps to generate new maps, valid for the procedural environment. Following that, the environment can be rendered with high quality ambient occlusion at almost no cost, in the same fashion as for a static environment where the ambient occlusion maps can be completely precomputed.

This thesis explores the balance between visual quality and the performance of a 3D object for computer games. Additionally, it aims to help new 3D artists to create assets that are both visually adequate and optimized for real-time rendering. It further investigates the differences in the judgement of the visual quality of thosethat know computer graphics, and thosenot familiar with it. Many explanations of 3D art optimization are often highly technical and challenging for graphic artists to grasp. Additionally, they regularly neglect the effects of optimization to the visual quality of the assets. By testing several 3D assets to measure their render time while using a survey to gather their visual assessments, it was discovered that 3D game art is very contextual. No definite or straightforward way was identified to find the balance between art quality and performance universally. Neither when it comes to performance nor visuals. However, some interesting findings regarding the judgment of visual quality were observed and presented. / Den här uppsatsen utforskar balansen mellan visuell kvalitéoch prestanda i 3D modeller för spel. Vidare eftersträvar den att utgöra ett stöd för nya 3D-modelleingskonstnärer för att skapa modeller som är både visuellt adekvata och optimerade för att renderas i realtid. Dessutom undersöks skillnaden mellan omdömet av den visuella kvalitén mellan de som är bekanta med 3D datorgrafik och de som inte är det. Många förklaringar gällande optimering av 3D grafik är högst tekniska och utgör en utmaning för grafiker att förståsig på och försummar dessutom ofta effekten av hur optimering påverkar resultatet rent visuallet. Genom att testa ett flertal 3D modeller, mäta tiden det tar för dem att renderas, samt omdömen gällande visuella intryck, drogs slutsatsen att bedömning av 3D modellering för spel är väldigt kontextuell. Inget definitivt och enkelt sätt att hitta balansen mellan visuella kvalitén upptäcktes. Varken gällande prestanda eller visuell kvalité. Däremot gjordes några intressanta upptäckter angående bedömningen av den visuella kvalitén som observerades och presenterades.

Computing complex lighting simulations such as global illumination is a computationally intensive task. Various real time solutions exist to approximate aspects of global illumination such as shadows, however, few of these methods offer single pass rendering solutions for soft shadows (self and other) and inter-reflections. In contrast, Precomputed Radiance Transfer (PRT) is a real-time computer graphics technique which pre-calculates an object's response to potential incident light. At run time, the actual incident light can be used to quickly illuminate the surface, rendering effects such as soft self-shadows and inter-reflections. In this thesis, we show that by calculating PRT lighting coefficients densely over a surface as texture data, additional surface detail can be encoded by integrating other computer graphics techniques, such as normal mapping. By calculating transfer coefficients densely over the surface of a mesh as texture data, greater fidelity can be achieved in lighting coarse meshes than simple interpolation can achieve. Furthermore, the lighting on low polygon objects can be enhanced by drawing surface normal and occlusion data from highly tessellated, detailed meshes. By applying such data to a decimated, simplified mesh, a more detailed and visually pleasing reconstruction can be displayed for a lower cost. In addition, this thesis introduces Hierarchical PRT, which extends some surface effects, such as soft shadows, between objects. Previous approaches to PRT used a more complex neighborhood transfer scheme in order to extend these lighting effects. Hierarchical PRT attempts to capture scene information in a tree data structure which represents coarse lighting relationships between objects. Potential occlusions can be found at run time by utilizing the same spherical harmonic representation used to represent surface lighting to instead store light "filters" between scene tree nodes. Such "filters" can be combined over a set of nodes in the scene to obtain the net shadowing of an object with good performance. We present both visually pleasing results on simplified meshes using normal mapping and textured PRT and initial results using Hierarchical PRT that captures low frequency lighting information for a small number of dynamic objects which shadow static scene objects with good results.

In the computer graphics production environment, artists often must tweak specific lighting and material parameters to match a mind's eye vision of the appearance of a 3D scene. However, the interaction between a material and a lighting environment is often too complex to cognitively predict without visualization. Therefore, artists operate in a design cycle, where they tweak the parameters, wait for a visualization, and repeat, seeking to obtain a desired look. We propose the use of appearance-driven material design. Here, artists directly design the appearance of reflected light for a specific view, surface point, and time. In this thesis, we discuss several methods for appearance-driven design with homogeneous materials, spatially-varying materials, and appearance-matching materials, where each uses a unique modeling and optimization paradigm. Moreover, we present a novel treatment of the illumination integral using sampling theory that can utilize the computational power of the graphics processing unit (GPU) to provide real-time visualization of the appearance of various materials illuminated by complex environment lighting. As a system, the modeling, optimization and rendering steps all operate on arbitrary geometry and in detailed lighting environments, while still providing instant feedback to the designer. Thus, our approach allows materials to play an active role in the process of set design and story-telling, a capability that was, until now, difficult to achieve due to the unavailability of interactive tools appropriate for artists.

No description available.

La synthèse d'images, qui consiste à développer des algorithmes pour générer des images à l'aide d'un ordinateur, est devenue incontournable dans de nombreuses disciplines. Les méthodes d'affichage interactives permettent à l'utilisateur d'explorer des environnements virtuels en réalisant l'affichage des images à une cadence suffisamment élevée pour donner une impression de continuité et d'immersion. Malgré les progrès réalisés par le matériel, de nouveaux besoins supplantent toujours les capacités de traitement, et des techniques d'accélération sont nécessaires pour parvenir à maintenir une cadence d'affichage suffisante. Ce travail s'inscrit précisemment dans ce cadre. Il est consacré à la problématique de l'élimination efficace des objets masqués, en vue d'accélérer l'affichage de scènes complexes. Nous nous sommes plus particulièrement intéressé aux méthodes de précalcul, qui effectuent les calculs coûteux de visibilité durant une phase de prétraitement et les réutilisent lors de la phase de navigation interactive. Les méthodes permettant un précalcul complet et exact sont encore hors de portée à l'heure actuelle, c'est pourquoi des techniques approchées leur sont préférée en pratique. Nous proposons trois méthodes de ce type. La première, présentée dans le chapitre 4, est un algorithme permettant de déterminer de manière exacte si deux polygones convexes sont mutuellement visibles, lorsque des écrans sont placés entre eux. Nos contributions principales ont été de simplifier cette requête, tant du point de vue théorique que du point de vue de l'implémentation, ainsi que d'accélérer son temps moyen d'exécution à l'aide d'un ensemble de techniques d'optimisation. Il en résulte un algorithme considérablement plus simple à mettre en oeuvre que les algorithmes exacts existant dans la littérature. Nous montrons qu'il est également beaucoup plus efficace que ces derniers en termes de temps de calcul. La seconde méthode, présentée dans le chapitre 5, est une approche originale pour encoder l'information de visibilité, qui consiste à stocker l'ombre que générerait chaque objet de la scène s'il était remplacé par une source lumineuse. Nous présentons une analyse des avantages et des inconvénients de cette nouvelle représentation. Finalement, nous proposons dans le chapitre 6 une méthode de calcul de visibilité adaptée aux scènes d'intérieur. Dans ce type d'environnements, les graphes cellules-portails sont très répandus pour l'élimination des objets masqués, en raison de leur faible coût mémoire et de leur grande efficacité. Nous reformulons le problème de la génération de ces graphes en termes de segmentation d'images, et adaptons un algorithme classique, appelé «watershed», pour les obtenir de manière automatique. Nous montrons que la décomposition calculée de la sorte est proche de la décomposition classique, et qu'elle peut être utilisée pour l'élimination des objets masqués.

Cette thèse traite de la modélisation, l'illumination et le rendu temps-réel de milieux participants à l'aide du GPU. Dans une première partie, nous commençons par développer une méthode de rendu de nappes de brouillard hétérogènes pour des scènes en extérieur. Le brouillard est modélisé horizontalement dans une base 2D de fonctions de Haar ou de fonctions B-Spline linéaires ou quadratiques, dont les coefficients peuvent être chargés depuis une textit{fogmap}, soit une carte de densité en niveaux de gris. Afin de donner au brouillard son épaisseur verticale, celui-ci est doté d'un coefficient d'atténuation en fonction de l'altitude, utilisé pour paramétrer la rapidité avec laquelle la densité diminue avec la distance au milieu selon l'axe Y. Afin de préparer le rendu temps-réel, nous appliquons une transformée en ondelettes sur la carte de densité du brouillard, afin d'en extraire une approximation grossière (base de fonctions B-Spline) et une série de couches de détails (bases d'ondelettes B-Spline), classés par fréquence.%Les détails sont ainsi classés selon leur fréquence et, additionnées, permettent de retrouver la carte de densité d'origine. Chacune de ces bases de fonctions 2D s'apparente à une grille de coefficients. Lors du rendu sur GPU, chacune de ces grilles est traversée pas à pas, case par case, depuis l'observateur jusqu'à la plus proche surface solide. Grâce à notre séparation des différentes fréquences de détails lors des pré-calculs, nous pouvons optimiser le rendu en ne visualisant que les détails les plus contributifs visuellement en avortant notre parcours de grille à une distance variable selon la fréquence. Nous présentons ensuite d'autres travaux concernant ce même type de brouillard : l'utilisation de la transformée en ondelettes pour représenter sa densité via une grille non-uniforme, la génération automatique de cartes de densité et son animation à base de fractales, et enfin un début d'illumination temps-réel du brouillard en simple diffusion. Dans une seconde partie, nous nous intéressons à la modélisation, l'illumination en simple diffusion et au rendu temps-réel de fumée (sans simulation physique) sur GPU. Notre méthode s'inspire des Light Propagation Volumes (volume de propagation de lumière), une technique à l'origine uniquement destinée à la propagation de la lumière indirecte de manière complètement diffuse, après un premier rebond sur la géométrie. Nous l'adaptons pour l'éclairage direct, et l'illumination des surfaces et milieux participants en simple diffusion. Le milieu est fourni sous forme d'un ensemble de bases radiales (blobs), puis est transformé en un ensemble de voxels, ainsi que les surfaces solides, de manière à disposer d'une représentation commune. Par analogie aux LPV, nous introduisons un Occlusion Propagation Volume, dont nous nous servons, pour calculer l'intégrale de la densité optique entre chaque source et chaque autre cellule contenant soit un voxel du milieu, soit un voxel issu d'une surface. Cette étape est intégrée à la boucle de rendu, ce qui permet d'animer le milieu participant ainsi que les sources de lumière sans contrainte particulière. Nous simulons tous types d'ombres : dues au milieu ou aux surfaces, projetées sur le milieu ou les surfaces / This thesis deals with modeling, illuminating and rendering participating media in real-time using graphics hardware. In a first part, we begin by developing a method to render heterogeneous layers of fog for outdoor scenes. The medium is modeled horizontally using a 2D Haar or linear/quadratic B-Spline function basis, whose coefficients can be loaded from a fogmap, i.e. a grayscale density image. In order to give to the fog its vertical thickness, it is provided with a coefficient parameterizing the extinction of the density when the altitude to the fog increases. To prepare the rendering step, we apply a wavelet transform on the fog's density map, and extract a coarse approximation and a series of layers of details (B-Spline wavelet bases).These details are ordered according to their frequency and, when summed back together, can reconstitute the original density map. Each of these 2D function basis can be viewed as a grid of coefficients. At the rendering step on the GPU, each of these grids is traversed step by step, cell by cell, since the viewer's position to the nearest solid surface. Thanks to our separation of the different frequencies of details at the precomputations step, we can optimize the rendering by only visualizing details that contribute most to the final image and abort our grid traversal at a distance depending on the grid's frequency. We then present other works dealing with the same type of fog: the use of the wavelet transform to represent the fog's density in a non-uniform grid, the automatic generation of density maps and their animation based on Julia fractals, and finally a beginning of single-scattering illumination of the fog, where we are able to simulate shadows by the medium and the geometry. In a second time, we deal with modeling, illuminating and rendering full 3D single-scattering sampled media such as smoke (without physical simulation) on the GPU. Our method is inspired by light propagation volumes, a technique whose only purpose was, at the beginning, to propagate fully diffuse indirect lighting. We adapt it to direct lighting, and the illumination of both surfaces and participating media. The medium is provided under the form of a set of radial bases (blobs), and is then transformed into a set of voxels, together with solid surfaces, so that both entities can be manipulated more easily under a common form. By analogy to the LPV, we introduce an occlusion propagation volume, which we use to compute the integral of the optical density, between each source and each other cell containing a voxel either generated from the medium, or from a surface. This step is integrated into the rendering process, which allows to animate participating media and light sources without any further constraint

[pt] Este trabalho apresenta uma nova proposta para a implementação de um sistema de partículas em GPU. A simulação é feita inteiramente no processador gráfico, o que elimina a transferência de dados entre a CPU e a GPU. O sistema proposto é capaz de simular partículas de diferentes diâmetros em ambientes confinados, incluindo tratamento de colisão entre partículas, restrições e colisão de partículas com o ambiente. A detecção de colisão entre as partículas é feita com base numa estrutura de subdivisão do espaço em uma grade regular de células. Em GPUs atuais, o sistema é capaz de simular um milhão de partículas a taxas iterativas. Também é proposto um método flexível para modelar os obstáculos que compõe o ambiente, permitindo a criação de diferentes cenas sem necessidade de re-codificação de shaders. O sistema é composto por diferentes shaders, responsáveis por cada etapa da simulação. Um programa de fragmentos é responsável por fazer a atualização da posição das partículas. Em seguida, um programa de vértices faz a montagem da estrutura de subdivisão espacial. As etapas seguintes (detecção e tratamento de colisão e de restrições) são efetuadas apenas por programas de fragmentos usando a técnica de relaxação. / [en] This work presents a new proposal for the implementation of a GPU-based particle system. The simulation runs entirely on the graphic processor, thus eliminating data transfer between the CPU and the GPU. The proposed system is able to simulate particles with different diameters in confined environments, including support for inter-particle collisions, constraints, and particle-obstacle collisions. Inter-particle collision detection is accomplished by subdividing the space into a regular grid of cells. On modern graphics cards, the system is able to simulate up to one million particles at interactive rate. It is also proposed a flexible approach for modeling the obstacles that define the environment, allowing the creation of different scenes without relying on shader re-coding. The system is divided in different shaders responsible for each stage of the simulation. One fragment program is responsible to advance the particles in time. After that a vertex program builds the space subdivision structure. The following stages (collision detection and response, and constraint solving) are performed only by fragment programs using the relaxation method.

La synthèse de textures est une technique qui génère une texture automatiquement grâce à un algorithme. Cette technique permet de réduire le temps de création des textures et le coût mémoire étant donné que seuls les algorithmes et leurs paramètres ont besoin d'être stockés. Cependant, des difficultés sont souvent rencontrées lors de l'utilisation des textures synthétisées. D'abord, les paramètres de ces textures sont difficiles à manipuler. Ensuite, l'algorithme de synthèse génère souvent les textures sous forme de tableaux de pixels nécessitant beaucoup de mémoire. Pour aborder ces difficultés, nous proposons les approches suivantes : pour améliorer la visualisation de l'espace des textures synthétisées, nous proposons de construire un résumé de cet espace: une seule image statique qui résume, dans un espace limité de pixels, les apparences produites par un synthétiseur donné. De plus, pour améliorer la sélection de paramètres, nous augmentons les curseurs qui contrôlent les paramètres avec des bandes visuelles révélant les changements qui se produisent quand l'utilisateur manipule les curseurs. Pour permettre à l'utilisateur d'interagir de manière interactive avec les résumés visuels, nous nous reposons sur un algorithme de synthèse par patch permettant de générer les textures de façon rapide grâce à une implémentation parallèle sur le processeur graphique. Au lieu de générer le résultat de ce synthétiseur sous forme d'un tableau de pixels, nous représentons le résultat dans une structure compacte et nous utilisons une méthode rapide permettant de lire des pixels directement à partir de cette structure / Texture synthesis is a technique that algorithmically generates textures at rendering time. The automatic synthesis reduces authoring time and memory requirements since only the algorithm and its parameters need to be stored or transferred. However, two difficulties often arise when using texture synthesis: First, the visualization and parameters selection of synthesized textures are difficult. Second, most synthesizers generate textures in a bitmap format leading to high memory usage. To address these difficulties we propose the following approaches: First, to improve the visualization of synthesized textures we propose the idea of a procedural texture preview: A single static image summarizing in a limited pixel space the appearances produced by a given synthesizer. The main challenge is to ensure that most appearances are visible, are allotted a similar pixel area, and are ordered in a smooth manner throughout the preview. Furthermore, to improve parameters selection we augment sliders controlling parameters with visual previews revealing the changes that will be introduced upon manipulation. Second, to allow user interactions with these visual previews we rely on a fast patch-based synthesizer. This synthesizer achieves a high degree of parallelism and is implemented entirely on the GPU. Finally, rather than generating the output of the synthesizer as a bitmap texture we encode the result in a compact representation and allow to decoding texels from this representation during rendering