La synthèse d'images dites photoréalistes nécessite d'évaluer numériquement la manière dont la lumière et la matière interagissent physiquement, ce qui, malgré la puissance de calcul impressionnante dont nous bénéficions aujourd'hui et qui ne cesse d'augmenter, est encore bien loin de devenir une tâche triviale pour nos ordinateurs. Ceci est dû en majeure partie à la manière dont nous représentons les objets: afin de reproduire les interactions subtiles qui mènent à la perception du détail, il est nécessaire de modéliser des quantités phénoménales de géométries. Au moment du rendu, cette complexité conduit inexorablement à de lourdes requêtes d'entrées-sorties, qui, couplées à des évaluations d'opérateurs de filtrage complexes, rendent les temps de calcul nécessaires à produire des images sans défaut totalement déraisonnables. Afin de pallier ces limitations sous les contraintes actuelles, il est nécessaire de dériver une représentation multiéchelle de la matière. Dans cette thèse, nous construisons une telle représentation pour la matière dont l'interface correspond à une surface perturbée, une configuration qui se construit généralement via des cartes d'élévations en infographie. Nous dérivons notre représentation dans le contexte de la théorie des microfacettes (conçue à l'origine pour modéliser la réflectance de surfaces rugueuses), que nous présentons d'abord, puis augmentons en deux temps. Dans un premier temps, nous rendons la théorie applicable à travers plusieurs échelles d'observation en la généralisant aux statistiques de microfacettes décentrées. Dans l'autre, nous dérivons une procédure d'inversion capable de reconstruire les statistiques de microfacettes à partir de réponses de réflexion d'un matériau arbitraire dans les configurations de rétroréflexion. Nous montrons comment cette théorie augmentée peut être exploitée afin de dériver un opérateur général et efficace de rééchantillonnage approximatif de cartes d'élévations qui (a) préserve l'anisotropie du transport de la lumière pour n'importe quelle résolution, (b) peut être appliqué en amont du rendu et stocké dans des MIP maps afin de diminuer drastiquement le nombre de requêtes d'entrées-sorties, et (c) simplifie de manière considérable les opérations de filtrage par pixel, le tout conduisant à des temps de rendu plus courts. Afin de valider et démontrer l'efficacité de notre opérateur, nous synthétisons des images photoréalistes anticrenelées et les comparons à des images de référence. De plus, nous fournissons une implantation C++ complète tout au long de la dissertation afin de faciliter la reproduction des résultats obtenus. Nous concluons avec une discussion portant sur les limitations de notre approche, ainsi que sur les verrous restant à lever afin de dériver une représentation multiéchelle de la matière encore plus générale / Photorealistic rendering involves the numeric resolution of physically accurate light/matter interactions which, despite the tremendous and continuously increasing computational power that we now have at our disposal, is nowhere from becoming a quick and simple task for our computers. This is mainly due to the way that we represent objects: in order to reproduce the subtle interactions that create detail, tremendous amounts of geometry need to be queried. Hence, at render time, this complexity leads to heavy input/output operations which, combined with numerically complex filtering operators, require unreasonable amounts of computation times to guarantee artifact-free images. In order to alleviate such issues with today's constraints, a multiscale representation for matter must be derived. In this thesis, we derive such a representation for matter whose interface can be modelled as a displaced surface, a configuration that is typically simulated with displacement texture mapping in computer graphics. Our representation is derived within the realm of microfacet theory (a framework originally designed to model reflection of rough surfaces), which we review and augment in two respects. First, we render the theory applicable across multiple scales by extending it to support noncentral microfacet statistics. Second, we derive an inversion procedure that retrieves microfacet statistics from backscattering reflection evaluations. We show how this augmented framework may be applied to derive a general and efficient (although approximate) down-sampling operator for displacement texture maps that (a) preserves the anisotropy exhibited by light transport for any resolution, (b) can be applied prior to rendering and stored into MIP texture maps to drastically reduce the number of input/output operations, and (c) considerably simplifies per-pixel filtering operations, resulting overall in shorter rendering times. In order to validate and demonstrate the effectiveness of our operator, we render antialiased photorealistic images against ground truth. In addition, we provide C++ implementations all along the dissertation to facilitate the reproduction of the presented results. We conclude with a discussion on limitations of our approach, and avenues for a more general multiscale representation for matter

La synthèse d'images dites photoréalistes nécessite d'évaluer numériquement la manière dont la lumière et la matière interagissent physiquement, ce qui, malgré la puissance de calcul impressionnante dont nous bénéficions aujourd'hui et qui ne cesse d'augmenter, est encore bien loin de devenir une tâche triviale pour nos ordinateurs. Ceci est dû en majeure partie à la manière dont nous représentons les objets: afin de reproduire les interactions subtiles qui mènent à la perception du détail, il est nécessaire de modéliser des quantités phénoménales de géométries. Au moment du rendu, cette complexité conduit inexorablement à de lourdes requêtes d'entrées-sorties, qui, couplées à des évaluations d'opérateurs de filtrage complexes, rendent les temps de calcul nécessaires à produire des images sans défaut totalement déraisonnables. Afin de pallier ces limitations sous les contraintes actuelles, il est nécessaire de dériver une représentation multiéchelle de la matière. Dans cette thèse, nous construisons une telle représentation pour la matière dont l'interface correspond à une surface perturbée, une configuration qui se construit généralement via des cartes d'élévations en infographie. Nous dérivons notre représentation dans le contexte de la théorie des microfacettes (conçue à l'origine pour modéliser la réflectance de surfaces rugueuses), que nous présentons d'abord, puis augmentons en deux temps. Dans un premier temps, nous rendons la théorie applicable à travers plusieurs échelles d'observation en la généralisant aux statistiques de microfacettes décentrées. Dans l'autre, nous dérivons une procédure d'inversion capable de reconstruire les statistiques de microfacettes à partir de réponses de réflexion d'un matériau arbitraire dans les configurations de rétroréflexion. Nous montrons comment cette théorie augmentée peut être exploitée afin de dériver un opérateur général et efficace de rééchantillonnage approximatif de cartes d'élévations qui (a) préserve l'anisotropie du transport de la lumière pour n'importe quelle résolution, (b) peut être appliqué en amont du rendu et stocké dans des MIP maps afin de diminuer drastiquement le nombre de requêtes d'entrées-sorties, et (c) simplifie de manière considérable les opérations de filtrage par pixel, le tout conduisant à des temps de rendu plus courts. Afin de valider et démontrer l'efficacité de notre opérateur, nous synthétisons des images photoréalistes anticrenelées et les comparons à des images de référence. De plus, nous fournissons une implantation C++ complète tout au long de la dissertation afin de faciliter la reproduction des résultats obtenus. Nous concluons avec une discussion portant sur les limitations de notre approche, ainsi que sur les verrous restant à lever afin de dériver une représentation multiéchelle de la matière encore plus générale. / Photorealistic rendering involves the numeric resolution of physically accurate light/matter interactions which, despite the tremendous and continuously increasing computational power that we now have at our disposal, is nowhere from becoming a quick and simple task for our computers. This is mainly due to the way that we represent objects: in order to reproduce the subtle interactions that create detail, tremendous amounts of geometry need to be queried. Hence, at render time, this complexity leads to heavy input/output operations which, combined with numerically complex filtering operators, require unreasonable amounts of computation times to guarantee artifact-free images. In order to alleviate such issues with today's constraints, a multiscale representation for matter must be derived. In this thesis, we derive such a representation for matter whose interface can be modelled as a displaced surface, a configuration that is typically simulated with displacement texture mapping in computer graphics. Our representation is derived within the realm of microfacet theory (a framework originally designed to model reflection of rough surfaces), which we review and augment in two respects. First, we render the theory applicable across multiple scales by extending it to support noncentral microfacet statistics. Second, we derive an inversion procedure that retrieves microfacet statistics from backscattering reflection evaluations. We show how this augmented framework may be applied to derive a general and efficient (although approximate) down-sampling operator for displacement texture maps that (a) preserves the anisotropy exhibited by light transport for any resolution, (b) can be applied prior to rendering and stored into MIP texture maps to drastically reduce the number of input/output operations, and (c) considerably simplifies per-pixel filtering operations, resulting overall in shorter rendering times. In order to validate and demonstrate the effectiveness of our operator, we render antialiased photorealistic images against ground truth. In addition, we provide C++ implementations all along the dissertation to facilitate the reproduction of the presented results. We conclude with a discussion on limitations of our approach, and avenues for a more general multiscale representation for matter.

Cotutelle avec l'Université de Poitiers, France / Lors du processus de création d’une image de synthèse photoréaliste, l’objectif principal recherché est de reproduire le transport de la lumière dans un environnement virtuel, en prenant en compte aussi précisément que possible les caractéristiques des objets de la scène 3D. Dans la perception de notre environnement, les détails très fins ont une grande importance sur l’apparence des objets, tels que des rayures sur un morceau de métal, des particules dans du vernis, ou encore les fibres d'un tissu. Il est primordial de pouvoir les reproduire à tout niveau d'échelle. Créer ces détails grâce à des informations géométriques, par exemple un maillage, mène à une trop forte complexité en termes de construction, de stockage, de manipulation et de temps de rendu. Il est donc nécessaire d’utiliser des modèles mathématiques qui permettent d’approcher au mieux les comportements lumineux induits par ces détails. Le travail de cette thèse s'inscrit dans cette problématique de gestion des détails fins par la théorie des microfacettes. En particulier, nous nous sommes intéressés à la notion de masquage-ombrage permettant de calculer la proportion de surface qui est à la fois visible de l’observateur et éclairée. Pour cela, nous étudions le modèle théorique proposé par Smith et par Ashikhmin et al. dans lequel la représentation mathématique est basée sur des contraintes liées à la position des facettes, leur orientation, leur aire et les corrélations entre ces caractéristiques. Nous avons éprouvé le modèle sur plus de 400 maillages 3D reconstruits à partir de surfaces réelles qui ne respectent pas nécessairement les contraintes imposées du modèle. Quelques maillages sont également générés à partir de distributions des orientations de microfacettes de Beckmann et GGX largement utilisées dans les moteurs de simulation académiques et industriels. Pour chacun des maillages, une fonction de masquage de référence est mesurée grâce à un algorithme de tracer de rayons. Nous pouvons ainsi comparer le masquage réel d'une microsurface prenant en compte la donnée dans son entièreté, à son masquage théorique calculé seulement par la distribution de ses micronormales. Cette étude met en évidence un lien entre l'erreur du masquage théorique et certaines caractéristiques de la microsurface, telles que sa rugosité, son anisotropie, ou le non respect des contraintes du modèle. Nous proposons une méthode pour développer un modèle prédictif de l'erreur calculable à partir de ces caractéristiques et sans avoir recours au lourd processus de tracer de rayons. L’analyse montre également le lien entre l'erreur au niveau du terme de masquage et sa répercussion dans le rendu final d'une image de synthèse. La possibilité de prédire l'erreur grâce à un processus rapide permet d'estimer la complexité de l'usage d'une microgéométrie dans un rendu photoréaliste. Nous complétons nos travaux en proposant un facteur correctif au masquage théorique pour les surfaces isotropes, là encore calculable directement à partir des caractéristiques du maillage. Nous montrons le gain de précision que cette correction apporte, tant au niveau du masquage lui-même qu'au niveau des rendus d'images de synthèse. La thèse est conclue avec une discussion présentant les limites actuelles de notre étude et ses perspectives futures. / During the creation process of a photorealistic image, the main goal is to reproduce light transport in a virtual environment by considering as accurately as possible the characteristics of the surfaces from the 3D scene. In the real world, very fine details may have a tremendous impact on the visual aspect. For instance, scratches over metal, particles within varnish, or fibers of a fabric, will visually alter surface appearance. It is therefore crucial to be able to simulate such effects at every level of detail. However, creating such microgeometry for a given 3D mesh is a complex task that results in very high memory requirements and computation time. Mathematical models must be used to approximate as precisely as possible light effects produced by these details. This thesis considers fine details from the microfacet theory, and in particular, the masking-shadowing factor that corresponds to the proportion of microsurfaces that are both visible and illuminated. We study the commonly used theoretical model of Smith and Ashikhmin et al. where the mathematical representation is derived from constraints about microfacets positions, orientations, areas, and correlations between those characteristics. The proposed model has been confronted to more than 400 3D meshes, built from real-world measured surfaces that do not necessarily fulfill the theory constraints. Some of them have also been generated from the widely used Beckmann and GGX distributions. For each mesh, the ground-truth masking effect is measured using ray tracing, and compared with the theoretical masking computed only from the distribution of micronormals. Our study highlights a connection between the theoretical masking's error and some microsurface's characteristics, such as roughness, anisotropy, or non-compliance with required constraints. We provide a method for deriving a predictive model for this error. The mesh characteristics are sufficient to compute this model without requiring heavy ray tracing computation. Our analysis shows how the masking error impacts the rendering process. We also derive a model capable of predicting rendering errors from surface characteristics. With the opportunity to predict the error with a fast computation from a 3D mesh, one can estimate the complexity to use a given microgeometry for a photorealistic rendering. Our study concludes with the formulation of a correction function added to the theoretical masking term for isotropic surfaces. This correction is computed directly from the 3D mesh characteristics without any ray tracing involved. We show gains in the accuracy of the model when corrected with our formula, both for the masking effect itself and its impact on the exactness of the renderings. This thesis is concluded with a discussion about the current limitations of our study and some future perspectives.