Cette thèse combine le calcul haute performance à la réalité virtuelle pour permettre la conception de méthodes de couplage de composants parallèles à l'intérieur d'applications distribuées et interactives.<br /> Un nouveau modèle de couplage est présenté, conçu selon des critères de modularité, simplicité, efficacité et extensibilité. La construction des applications repose sur une séparation entre la programmation de modules parallèles réutilisables et la définition de l'application sous forme de graphe de flux de données contenant des mécanismes de filtrage et de synchronisations, permettant d'exprimer des schémas de communication collective et des politiques de couplage avancées.<br /> Ce travail sur le couplage interactif est complété par une extension haut niveau concernant le rendu distribué. En exploitant une description modulaire de la scène 3D en primitives indépendantes basées sur l'utilisation de shaders, des réseaux de filtrage permettent de combiner plusieurs flux pour acheminer efficacement les informations aux machines de rendu. Ce système est très extensible et permet la création de nouvelles applications exploitant la puissance des cartes graphiques pour décharger certains calculs des processeurs et réduire les transferts réseau.<br /> De nombreuses applications nouvelles sont ainsi développées, combinant des algorithmes de vision parallélisés immergeant l'utilisateur dans l'environnement virtuel, et des interactions avec des objets contrôlés par des simulations physiques distribuées (poterie, collisions, fluides).

Développer un système de rendu distant pour terminaux légers et mobiles traitant d'objets multimédias et de leur sémantique consiste à (1) offrir une véritable expérience multimédia collaborative au niveau du terminal, (2) assurer la compatibilité avec les contraintes liées au réseau (bande passante, erreurs et latence variables en temps) et au terminal (ressources de calcul et de mémoire réduites) et (3) s'affranchir des types de terminaux et des spécificités des communautés.Cette thèse traite de ces enjeux et se positionne en rupture avec l'état de l'art en développant une architecture support fondée sur la gestion sémantique du contenu multimédia. Le principe consiste à convertir en temps réel le contenu graphique généré par l'application en un graphe de scène multimédia et à le gérer en fonction de la sémantique de ses composantes.L'optimisation de la bande passante est assurée par la compression adaptative du graphe de scène et par la compression sans perte des messages de collaboration. Les deux méthodes développées sont caractérisées respectivement par la création d'un unique graphe de scène intrinsèquement adaptable au réseau/terminal et par la mise à jour dynamique du dictionnaire de codage en fonction des messages générés par les utilisateurs. Elles sont brevetées.Les fonctionnalités collaboratives interviennent directement au niveau du contenu grâce à l'enrichissement du graphe de scène par un nouveau type de nœud, dont la normalisation ISO est en cours.Le démonstrateur logiciel sous-jacent, dénommé MASC (Multimedia Adaptive Semantic Collaboration), permet de comparer objectivement cette nouvelle architecture aux solutions actuellement déployées par des acteurs majeurs du domaine (VNC RBF ou Microsoft RDP). Deux types d'application ont été considérés : l'édition du texte et la navigation sur Internet. Les évaluations quantitatives montrent: (1) un impact limité des artéfacts visuels de conversion (PSNR compris entre 30 et 42 dB et SSIM supérieur à 0,9999), (2) consommation de la bande passante downlink (resp. uplink) réduite d'un facteur de 2 à 60 (resp. de 3 à 10), (3) latence dans la transmission des événements générés par l'utilisateur réduite d'un facteur de 4 à 6, (4) consommation des ressources de calcul côté client réduite d'un facteur 1,5 par rapport à VNC RFB.

Reproduire efficacement l'apparence réaliste des matériaux est un problème crucial pour la synthèse d'images réalistes dans les productions cinématographiques et les jeux vidéo. Outre le transport global de la lumière, le réalisme d'une image de synthèse passe avant tout par une modélisation correcte du transport local, c'est-à-dire les interactions entre lumière et matière. La modélisation de ces interactions donne lieu à une grande variété de modèles de réflectance. Nous proposons une classification de ces modèles en s'appuyant sur l'échelle des détails géométriques abstraits. À partir de cette classification, nous étudions des modèles de réflectance particuliers : * un modèle de transmission pour les surfaces transparentes et rugueuses, tels que le verre dépoli. Son efficacité permet une utilisation au sein applications temps-réel * une analyse et une modélisation du transport de la lumière dans les matériaux composés d'agrégats de particules * une base alternative aux harmoniques sphériques pour représenter et illuminer efficacement les matériaux mesurés ayant une réflectance à basses fréquences. Ces modèles permettent une abstraction efficace des interactions locales tout en conservant la reproduction de leurs effets réalistes.

Dans cette thèse, nous présentons une nouvelle approche efficace pour le rendu de scènes vastes et d'objets détaillés en temps réel. Notre approche est basée sur une nouvelle représentation pré-filtrée et volumique de la géométrie et un lancer de cone basé-voxel qui permet un rendu précis et haute performance avec une haute qualité de filtrage de géométries très détaillées. Afin de faire de cette représentation voxel une primitive de rendu standard pour le temps-réel, nous proposons une nouvelle approche basée sur les GPUs conçus entièrement pour passer à l'échelle et supporter ainsi le rendu des volumes de données très volumineux. Notre système permet d'atteindre des performances de rendu en temps réel pour plusieurs milliards de voxels. Notre structure de données exploite le fait que dans les scènes CG, les détails sont souvent concentrées sur l'interface entre l'espace libre et des grappes de densité et montre que les modèles volumétriques pourrait devenir une alternative intéressante en tant que rendu primitif pour les applications temps réel. Dans cet esprit, nous permettons à un compromis entre qualité et performances et exploitons la cohérence temporelle. Notre solution est basée sur une représentation hiérarchiques des données adaptées en fonction de la vue actuelle et les informations d'occlusion, couplé à un algorithme de rendu par lancer de rayons efficace. Nous introduisons un mécanisme de cache pour le GPU offrant une pagination très efficace de données dans la mémoire vidéo et mis en œuvre comme un processus data-parallel très efficace. Ce cache est couplé avec un pipeline de production de données capable de charger dynamiquement des données à partir de la mémoire centrale, ou de produire des voxels directement sur le GPU. Un élément clé de notre méthode est de guider la production des données et la mise en cache en mémoire vidéo directement à partir de demandes de données et d'informations d'utilisation émises directement lors du rendu. Nous démontrons notre approche avec plusieurs applications. Nous montrons aussi comment notre modèle géométrique pré-filtré et notre lancer de cones approximé peuvent être utilisés pour calculer très efficacement divers effets de flou ainsi d'éclairage indirect en temps réel.

Les techniques de rendu en Synthèse d'Images produisent des images d'une scène virtuelle en prenant comme point de départ la définition de cette scène : les objets qui la composent, leur position, leurs matériaux, mais aussi la position de l'observateur. Parmi les techniques de rendu, on distingue les techniques de rendu Photo-Réalistes, qui cherchent à produire une image aussi proche que possible de la réalité, en simulant les échanges lumineux à l'intérieur de la scène. On obtient ainsi une image de la scène avec les effets d'éclairage, à la fois directs et indirects, les reflets, les ombres... La recherche dans le domaine de la simulation de l'éclairage a énormément progressé au cours des dernières années, de telle sorte que la production d'images photoréalistes est désormais un objectif accessible pour le grand public. Plusieurs applications industrielles tirent parti de cette génération d'images photoréalistes : visite virtuelle de bâtiments, jeux vidéo, prototypage virtuel, effets spéciaux, design architectural... Ces applications industrielles ont un effet d'entraînement sur la recherche : les utilisateurs (et les industriels) sont demandeurs d'effets toujours plus réalistes, et les chercheurs sont mis à contribution. Le décalage entre la date de publication d'un nouvel algorithme et son emploi dans un produit industriel s'est considérablement réduit, passant de plus de 10 ans dans les années 1990 à quelques années seulement en 2006. Non seulement ce dynamisme augmente les possibilités d'application industrielle pour nos recherches, mais encore il ouvre de nouvelles directions de recherche, pour combler les besoins accrus en interactivité et en réalisme des utilisateurs. Dans ce mémoire, nous allons nous intéresser à ces problèmes de simulation photo-réaliste de l'éclairage. En particulier, nousallons présenter : la simulation de l'éclairage par des méthodes d'éléments finis multi-échelles (radiosité par ondelettes), la détermination des caractéristiques de la fonction d'éclairage (dérivées, fréquence), et la simulation en temps-réel ou interactif de plusieurs effets lumineux (ombres, reflets spéculaires, éclairage indirect). Ces trois domaines recouvrent l'ensemble de nos travaux pendant cette période.

Placé à la frontière entre l'informatique graphique et la physique, le rendu d'image physiquement réaliste est un domaine qui tente de créer des images en simulant le comportement optique des matériaux. Les applications sont multiples : restauration virtuelle d'oeuvre du patrimoine, simulation d'effets optiques, rendu industriel pour la conception, voire même, conception assistée par ordinateur de la couleur. Cette thèse présente les travaux réalisés au cours du projet Virtuelium, un logiciel de rendu d'image physiquement réaliste dont la quatrième version a été développée dans le cadre de cette thèse. Elle en présente les principes et méthodologies utilisés pour les mesures et la validation des résultats. Nous présentons aussi plusieurs travaux réalisés durant cette thèse avec cet outil : de la restauration virtuelle à la bio-photonique sans oublier un aperçu de rendu de "matériaux à effet", pour des applications industrielles (peintures, encres, cosmétiques, etc.). / Laying between computer graphics and physics, the rendering of physically based images is a domain that attempt to create images by simulating the optical behaviour of materials interacting with light (either natural or not). There are several applications : virtual restoration of cultural heritage artefacts, simulation of optical effects, industrial rendering for design and even computer-aided design of colour. This thesis presents the works realised within Virtuelium project framework, a physically based rendering software. The fourth version was developed during this thesis. Here will be presented the principles and methodologies involved for the measurements and the validation of the obtained results. We present also several works that have been done during that thesis using Virtuelium: from virtual restoration to bio-photonics, including an overview of iridescent pigments rendered for an industrial purpose.

Le rendu, à la fois réaliste et efficace des scènes complexes, est un défi majeur de l'image de synthèse.Dans le domaine du rendu photo-réaliste, l'image est calculée en simulant les interactions physiques entre la lumière et le contenu de la scène.Mais, aujourd'hui, les studios de production ne créent plus, pour leurs films, de simples scènes, mais des mondes entiers, à la fois gigantesques et détaillés.La complexité a crue de manière exponentielle, entraînant un problème de scalabilité.La masse de données et la complexité des interactions sont telles que le calcul de l'image est devenu déraisonnablement coûteux, et ce, même sur des serveurs de calcul très puissants.Dans le domaine du rendu temps-réel, l'objectif de photo-réalisme est moins poussé.Le problème posé par la complexité est alors celui de la quantité de détails sous-pixel qui sont source d'artefacts visuels comme l'aliasing, le popping, et l'incohérence de l'apparence avec les changements de distance.Les détails sous-pixel ont une influence sur l'apparence au niveau du pixel et ne peuvent donc être simplement omis. De fait, réaliser un rendu multi-échelles en traitant séparément les détails vus de loin comme des matériaux est une solution naturelle à ce problème. Cependant, les modèles multi-échelles existants, souvent empiriques ou analysés avec force approximations, sont peu précis ou, du moins, n'ont pas été conçus pour représenter des situations complexes et échouent à préserver l'apparence des objets et donc à garantir la qualité photo-réaliste de l'image, ce qui les rend inutilisables avec les exigences de qualité en production. Nous soutenons la thèse qu'il est possible, en passant par une modélisation rigoureuse du problème de l'apparence au niveau des pixels, de mettre au point des algorithmes de rendu multi-échelles efficaces qui calculent des images de qualité. Nous explorons cette idée dans le cas des surfaces détaillées pour lesquelles nous utilisons et revisitons la théorie des micro-facettes comme fond théorique.La première partie de ce mémoire est dédiée à la mise au point du modèle physique à micro-facettes qui décrit les interactions entre la lumière et une surface multi-échelles. Nous commençons par revisiter les fondements de la théorie des micro-facettes. En partant de la conservation de l'aire projetée visible des micro-facettes, nous redérivons et unifions les principaux modèles existants. Ensuite, nous étendons la théorie pour la rendre compatible avec un paradigme de rendu multi-échelles. La compréhension acquise sur le modèle nous permet aussi de dériver de nouveaux résultats. En particulier, nous montrons comment certaines propriétés d'invariance permettent de dériver simplement des résultats pour des micro-surfaces anisotropes. Enfin, nous proposons une métrique de validation pour les modèles à micro-facettes, que nous utilisons pour valider les résultats existants ainsi que les nouveaux que nous proposons.Dans la seconde partie, nous montrons comment utiliser ces résultats théoriques pour mettre au point des applications de rendu de surfaces multi-échelles.En pratique, il faut choisir une représentation pour les surfaces multi-échelles et leurs matériaux, et calculer leurs interactions avec l'éclairage.Nous utilisons une représentation mémoire simple et légère pour les surfaces et montrons comment la rendre compatible avec l'animation des modèles, afin de ne pas avoir à la recalculer pour chaque image d'une séquence animée. Lorsque les attributs géométriques et optiques du matériau sont corrélés, ils doivent être représentés et évalués d'une manière qui dépend de leur visibilité, à la fois pour la caméra et pour la lumière. Nous montrons que ce problème peut toujours s'exprimer comme un problème de color mapping dont nous dérivons la solution ainsi qu'une manière efficace de la calculer. Enfin, nous décrivons des algorithmes d'intégration numérique de l'éclairage incident dédiés au rendu temps-réel et offline. / Efficient rendering of realistic and complex scenes is a major challenge for image synthesis.In the field of photorealistic rendering, the image is computed by simulating the physical interactions between the light and the content of the scene.Nowadays, production studios don't create simple scenes for their movies, but gigantic and extremely detailed worlds.This exponential rise of complexity is responsible for scalability problems.The amount of data and the complexity of the interactions are such that computing the image has become unreasonably costly, and this even on the most powerful computers.In the field of real-time rendering, the objective of photorealism is less pushed on, but the problem posed by the complexity resides in the amount of subpixel details.They are the source of artefacts like aliasing, popping and inconsistent changes of appearances.Subpixel details influence appearance at the level of the pixel and cannot just be removed.Indeed, the transition from pixel to subpixel during a zoom requires recovering the emerging visual effects with high accuracy.Hence, using a multi-scale strategy, in which subpixel details are represented like surface material, is a natural solution to this scalability problem.However, existing multi-scale models are mostly empirical and approximate.They are not designed to handle complex scenes and fail at recovering the correct appearance; they don't satisfy the requirements for photorealistic quality demanded in production.We claim that it is possible to design efficient and high-quality multi-scale rendering algorithms.This can be done by modeling rigorously the problem of filtering the appearance at the level of the pixels.We explore this idea in the case of detailed surfaces, for which we use and revisit the theoretical background provided by microfacet theory.In the first part of this manuscript, we design the physical microfacet-based model, which describes the interactions between light and a multi-scale surface.We start by revisiting the foundations of microfacet theory.Starting from the conservation of the visible projected area, we derive and unify existing results.Then, we extend the theory and make it compatible with multi-scale rendering paradigms.The understanding acquired from the model also allows us to derive new results.For instance, we show how invariance properties can be used to derive results in the case of anisotropic microsurfaces, for which anisotropy is due to stretched micro-geometry, the typical case which occurs with animated surfaces.We also propose a metric that we use to validate microfacet-based models.In the second part, we show how to use these theoretical results to design multi-scale rendering applications for detailed surfaces.In practice, one needs to choose a representation for multi-scale surfaces and their materials, and compute how they interact with the incident light.We use a lightweight memory representation and show how to make it compatible with the animation of the models, so that there is no need to initialize it again for each image of an animated sequence.When the geometrical and optical attributes of the material are correlated, they have to be represented and evaluated in a way that depends on their visibility for the camera and the light source directions.We show that this problem can always be expressed as a color mapping problem. We derive its solution and an efficient way to evaluate it.Finally, we describe numerical integration schemes for the incident light dedicated to real-time and offline rendering.In particular, we propose a new importance sampling technique for microfacet-based materials that can be used in a typical Monte Carlo renderer.

La simulation d'éclairage est un processus qui s'avère plus complexe (temps de calcul, coût mémoire, mise en œuvre complexe) aussi bien pour les matériaux brillants que pour les matériaux lambertiens ou spéculaires. Afin d'éviter le calcul coûteux de certains termes de l'équation de luminance (convolution entre la fonction de réflexion des matériaux et la distribution de luminance de l'environnement), nous proposons une nouvelle structure de données appelée Source Surfacique Équivalente (SSE). L'utilisation de cette structure de données nécessite le pré-calcul puis la modélisation du comportement des matériaux soumis à divers types de sources lumineuses (positions, étendues). L'exploitation d'algorithmes génétiques nous permet de déterminer les paramètres des modèles de BRDF, en introduisant une première source d'approximation. L'approche de simulation d'éclairage utilisée est basée sur un cache de luminance. Ce dernier consiste à stocker l'éclairement incident sous forme de SSE en des points appelés enregistrements. Durant la simulation d'éclairage, l'environnement lumineux doit également être assimilé à un ensemble de sources surfaciques équivalentes (en chaque enregistrement) qu'il convient de définir de manière dynamique. Cette phase constitue une deuxième source d'erreur. Toutefois, l'incertitude globale ne se réduit pas au cumul des approximations réalisées à chaque étape. Les comparatives réalisées prouvent, au contraire, que l'approche des Sources Surfaciques Équivalentes est particulièrement intéressante pour des matériaux rugueux ou pour les matériaux très brillants placés dans des environnements relativement uniformes. L'utilisation de SSE a permis de réduire considérablement à la fois le coût mémoire et le temps de calcul. Une fois que les SSE sont calculés en chaque enregistrement et pour un certain nombre de points de vue, nous proposons une nouvelle méthode de visualisation interactive exploitant les performances des GPU (carte graphique) et s'avérant plus rapide que les méthodes existantes. Enfin nous traiterons le cas où les grandeurs photométriques sont spectrales, ce qui est très important lorsqu'il s'agit de réaliser des simulations d'éclairage précises. Nous montrerons comment adapter les zones d'influence des enregistrements en fonction des gradients de luminance et de la géométrie autour des enregistrements. / Radiance caching methods have proven efficient for global illumination. Their goal is to compute precisely illumination values (incident radiance or irradiance) at a reasonable number of points lying on the scene surfaces. These points, called records, are stored in a cache used for estimating illumination of other points in the scene. Unfortunately, with records lying on glossy surfaces, the irradiance value alone is not sufficient to evaluate the reflected radiance; each record should also store the incident radiance for all incident directions. Memory storage can be reduced with projection techniques using spherical harmonics or other basis functions. These techniques provide good results with low shininess BRDFs. However, they get impractical for shininess of even moderate value since the number of projection coefficients increase drastically. In this paper, we propose a new radiance caching method, that handles highly glossy surfaces, while requiring a low memory storage. Each cache record stores a coarse representation of the incident illumination thanks to a new data structure called Equivalent Area light Sources (EAS), capable of handling fuzzy mirror surfaces. In addition, our method proposes a new simplification of the interpolation process since it avoids the need for expressing and evaluating complex gradients. Moreover, we propose a new GPU based visualisation method which exploits these EAS data structure. Thus, interactive rendering is done faster than existing methods. Finally, physical ligting simulations need to manipulate spectral physical quantities. We demonstrate in our work how these quantities can be handle with our technic by adapting the record influence zone depending on the radiance gradients and the geometry around the records.

Les ombres sont un élément fondamental pour garantir le réalisme des images de synthèses. Elles donnent des informations nécessaires pour discerner correctement le positionnement relatif des objets. Le calcul d'ombre dures exactes en temps-réel reste toutefois un problème difficile en Informatique Graphique. Les Shadow Maps sont privilégiées pour leurs excellentes performances, mais elles ne peuvent garantir un résultat exact par pixel. Les volumes d'ombre sont plus lents que les Shadow Maps mais produisent des ombres exactes en toute circonstances. Bien qu'ils aient récemment atteint un haut niveau de performances, ils restent sensibles à la complexité géométrique et sont limités à des scènes de taille modeste. Dans cette thèse, nous proposons un nouvel algorithme de rendu d'ombres dures en temps réel basé sur les volumes d'ombre qui reste rapide sur des scènes de très grande tailles. De plus, nous introduisons une nouvelle stratégie de partitionnement jusque-là inexplorée en Informatique Graphique : les arbres métriques. / Shadows are a fundamental visual effect for computer generated images. They provide essential spatial hints allowing us to correctly perceive objects positions in the scene. Despite its importance, computing pixel accurate shadows in real-time is a challenging problem in Computer Graphics. Shadow Maps are still the favored solution due to their high efficiency, but they can't always provide pixel accurate results. Shadow Volumes are slower than Shadow Maps but always garantee pixel accurate shadows. While recent works significantly improved their performance, they remain sensitive to scalability, which limits their application scope. In this thesis, we propose a new algorithm based on Shadow Volumes that remains fast even on very large scenes. Furthermore, we introduce a new partitioning strategy that is yet unexplored in Computer Graphics : the metric tree.

La géométrie numérique en temps réel est un domaîne de recherches émergent en informatique graphique.Pour pouvoir générer des images photo-réalistes de haute définition,beaucoup d'applications requièrent des méthodes souvent prohibitives financièrementet relativement lentes.Parmi ces applications, on peut citer la pré-visualisation d'architectures, la réalisation de films d'animation,la création de publicités ou d'effets spéciaux pour les films dits réalistes.Dans ces cas, il est souvent nécessaire d'utiliser conjointement beaucoup d'ordinateurs possédanteux-mêmes plusieurs unités graphiques (Graphics Processing Units - GPUs).Cependant, certaines applications dites temps-réel ne peuvent s'accomoder de telles techniques, car elles requièrentde pouvoir générer plus de 30 images par seconde pour offrir un confort d'utilisationet une intéraction avec des mondes virtuels 3D riches et réalistes.L'idée principale de cette thèse est d'utiliser la synthèse de géométrie,la géométrie numérique et l'analyse géométrique pourrépondre à des problèmes classiques en informatique graphique,telle que la génération de surfaces de subdivision, l'illumination globaleou encore l'anti-aliasing dans des contextes d'intéraction temps-réel.Nous présentons de nouveaux algorithmes adaptés aux architectures matérielles courantes pour atteindre ce but. / Eal-time geometry synthesis is an emerging topic in computer graphics.Today's interactive 3D applications have to face a variety of challengesto fulfill the consumer's request for more realism and high quality images.Often, visual effects and quality known from offline-rendered feature films or special effects in movie productions are the ultimate goal but hard to achieve in real time.This thesis offers real-time solutions by exploiting the Graphics Processing Unit (GPU)and efficient geometry processing.In particular, a variety of topics related to classical fields in computer graphics such assubdivision surfaces, global illumination and anti-aliasing are discussedand new approaches and techniques are presented.