Explorer et comprendre des données volumétriques ou surfaciques est un des nombreux enjeux du domaine de l'informatique graphique. L'apparence de telles données peut être modélisée et visualisée en utilisant la théorie du transport lumineux. Afin de rendre une telle visualisation compréhensible, le recours à des matériaux transparents est très répandu. Si des solutions existent pour simuler correctement la propagation de la lumière et ainsi afficher des objets semi-transparents, offrir une visualisation compréhensible reste un sujet de recherche ouvert. Le but de cette thèse est double. Tout d'abord, une analyse approfondie du modèle optique pour le transport de la lumière et ses implications sur la génération d'images par ordinateur doit être effectuée. Ensuite, cette connaissance pourra être utilisée pour proposer des solutions efficaces et fiables pour visualiser des milieux transparents et semi-transparents. Dans ce manuscrit, premièrement, nous présentons le modèle optique communément utilisé pour modéliser le transport de la lumière dans des milieux participatifs, sa simplification si l'on réduit la situation à des surfaces et la manière dont ces modèles sont utilisés en informatique graphique pour générer des images. Deuxièmement, nous présentons une solution pour améliorer la représentation des formes dans le cas particulier des surfaces. La technique proposée utilise le transport lumineux comme base pour modifier le processus d'éclairage et modifier l'apparence et l'opacité des matériaux. Troisièmement, nous nous concentrons sur la problématique de l’utilisation de données volumétriques au lieu du cas simplifié des surfaces. Dans ce cas, le fait de ne modifier que les propriétés du matériau a un impact limité. Nous étudions donc comment le transport lumineux peut être utilisé pour fournir des informations utiles à la compréhension de milieux participatifs. Enfin, nous présentons notre modèle de transport lumineux pour les milieux participatifs, qui vise à explorer une région d'intérêt d’un volume. / Exploring and understanding volumetric or surface data is one of the challenges of Computer Graphics. The appearance of these data can be modeled and visualized using light transport theory. For the sake of understanding such a data visualization, transparent materials are widely used. If solutions exist to correctly simulate the light propagation and display semi-transparent objects, offering a understandable visualization remains an open research topic. The goal of this thesis is twofold. First, an in-depth analysis of the optical model for light transport and its implication on computer generated images is performed. Second, this knowledge can be used to tackle the problematic of providing efficient and reliable solution to visualize transparent and semi-transparent media. In this manuscript, we first introduce the general optical model for light transport in participating media, its simplification to surfaces, and how it is used in computer graphics to generate images. Second, we present a solution to improve shape depiction in the special case of surfaces. The proposed technique uses light transport as a basis to change the lighting process and modify the materials appearance and opacity. Third, we focus on the problematic of using full volumetric data instead of the simplified case of surfaces. In this case, changing only the material properties has a limited impact, thus we study how light transport can be used to provide useful information for participating media. Last, we present our light transport model for participating media that aims at exploring part of interest of a volume.

L'émergence des périphériques de capture numériques ont permis le dé- veloppement de l'acquisition 3D pour numériser les propriétés d'un objet réel : sa forme et son apparence. Ce processus fournit une représentation dense et précise d'objets réels et permet de s'abstraire d'un processus de simulation physique coûteux pour modéliser un objet. Ainsi, les problématiques ont évolué et portent non plus uniquement sur la modélisation des caractéristiques d'un objet réel mais sur les traitements de données issues de l'acquisition pour intégrer une copie de la réalité dans un processus de synthèse d'images. Dans ces travaux de thèse, nous proposons de nouvelles représentations pour des fonctions d'apparence issues de l'acquisition dont le but est de dénir un ensemble de modèles multi-échelles, de faible complexité en taille, capable d'être visualisé en temps réel sur le matériel graphique actuel.

Le travail présenté dans ce mémoire a pour cadre le dispositif de réalité mixte ray-on, conçu par la société on-situ. Ce dispositif, dédié à la mise en valeur du patrimoine architectural et en particulier d'édifices historiques, est installé sur le lieu de l'édifice et propose à l'utilisateur une vision uchronique de celui-ci. Le parti pris étant celui du photo-réalisme, deux pistes ont été suivies : l'amélioration du mélange réel virtuel par la reproduction de l'éclairage réel sur les objets virtuels, et la mise en place d'une méthode de segmentation d'image résiliente aux changements lumineux.Pour la reproduction de l'éclairage, une méthode de rendu basé-image est utilisée et associée à une capture haute dynamique de l'environnement lumineux. Une attention particulière est portée pour que ces deux phases soient justes photométriquement et colorimétriquement. Pour évaluer la qualité de la chaîne de reproduction de l'éclairage, une scène test constituée d'une mire de couleur calibrée est mise en place, et capturée sous de multiples éclairages par un couple de caméra, l'une capturant une image de la mire, l'autre une image de l'environnement lumineux. L'image réelle est alors comparée au rendu virtuel de la même scène, éclairée par cette seconde image.La segmentation résiliente aux changements lumineux a été développée à partir d'une classe d'algorithmes de segmentation globale de l'image, considérant celle-ci comme un graphe où trouver la coupe minimale séparant l'arrière plan et l'avant plan. L'intervention manuelle nécessaire à ces algorithmes a été remplacée par une pré-segmentation de moindre qualité à partir d'une carte de profondeur, cette pré-segmentation étant alors utilisée comme une graîne pour la segmentation finale. / The work described in this report has as a target the mixed reality device ray-on, developed by the on-situ company. This device, dedicated to cultural heritage and specifically architectural heritage, is meant to be installed on-site and shows the user an uchronic view of its surroundings. As the chosen stance is to display photo-realistic images, two trails were followed: the improvement of the real-virtual merging by reproducing accurately the real lighting on the virtual objects, and the development of a real-time segmentation method which is resilient to lighting changes.Regarding lighting reproduction, an image-based rendering method is used in addition to a high dynamic range capture of the lighting environment. The emphasis is put on the photometric and colorimetric correctness of these two steps. To measure the quality of the lighting reproduction chain, a test scene is set up with a calibrated color checker, captured by a camera while another camera is grabbing the lighting environment. The image of the real scene is then compared to the simulation of the same scene, enlightened by the light probe.Segmentation resilient to lighting changes is developed from a set of global image segmentation methods, which consider an image as a graph where a cut of minimal energy has to be found between the foreground and the background. These methods being semi-automatic, the manual part is replaced by a low resolution pre-segmentation based on the depthmap of the scene which is used as a seed for the final segmentation.

Le rendu photo-réaliste traditionnel exige un effort manuel et des calculs intensifs pour créer des scènes et rendre des images réalistes. C'est principalement pour cette raison que la création de contenus pour l’imagerie numérique de haute qualité a été limitée aux experts et le rendu hautement réaliste nécessite encore des temps de calcul significatifs. Le rendu basé image (IBR) est une alternative qui a le potentiel de rendre les applications de création et de rendu de contenus de haute qualité accessibles aux utilisateurs occasionnels, puisqu'ils peuvent générer des images photo-réalistes de haute qualité sans subir les limitations mentionnées ci-dessus. Nous avons identifié trois limitations importantes des méthodes actuelles de rendu basé image : premièrement, chaque algorithme possède des forces et faiblesses différentes, en fonction de la qualité de la reconstruction 3D et du contenu de la scène, et un seul algorithme ne permet souvent pas d’obtenir la meilleure qualité de rendu partout dans l’image. Deuxièmement, ces algorithmes présentent de forts artefacts lors du rendu d’objets manquants ou partiellement reconstruits. Troisièmement, la plupart des méthodes souffrent encore d'artefacts visuels significatifs dans les régions de l’image où la reconstruction est de faible qualité. Dans l'ensemble, cette thèse propose plusieurs améliorations significatives du rendu basé image aussi bien en termes de vitesse de rendu que de qualité d’image. Ces nouvelles solutions sont basées sur le rendu sélectif, la substitution de modèle basé sur l'apprentissage, et la prédiction et la correction des erreurs de profondeur. / Traditional photo-realistic rendering requires intensive manual and computational effort to create scenes and render realistic images. Thus, creation of content for high quality digital imagery has been limited to experts and highly realistic rendering still requires significant computational time. Image-Based Rendering (IBR) is an alternative which has the potential of making high-quality content creation and rendering applications accessible to casual users, since they can generate high quality photo-realistic imagery without the limitations mentioned above. We identified three important shortcomings of current IBR methods: First, each algorithm has different strengths and weaknesses, depending on 3D reconstruction quality and scene content and often no single algorithm offers the best image quality everywhere in the image. Second, such algorithms present strong artifacts when rendering partially reconstructed objects or missing objects. Third, most methods still result in significant visual artifacts in image regions where reconstruction is poor. Overall, this thesis addresses significant shortcomings of IBR for both speed and image quality, offering novel and effective solutions based on selective rendering, learning-based model substitution and depth error prediction and correction.

La représentation des phénomènes météorologiques est un enjeu essentiel en Informatique Graphique dans l’optique d’obtenir des scènes extérieures visuellement réalistes. Depuis quelques années, les chercheurs se sont penchés sur la simulation de la pluie en synthèse d’images. Ce mémoire a pour but de présenter deux méthodes de rendu : une première méthode pour le rendu de la pluie, et une seconde pour le rendu des égouttements provenant des arbres. Notre modèle de rendu de pluie est une méthode multi-échelle permettant de tenir compte des propriétés locales et globales de ce phénomène. Nous avons réussi à mettre en corrélation la densité des gouttes proches de l’observateur (échelle mésoscopique) avec l’atténuation de la visibilité (échelle macroscopique), en fonction d’un seul paramètre global cohérent : l’intensité des précipitations. Cette méthode a fait l’objet d’une publication [56] dans la revue Computers & Graphics en 2015. D’autre part, nous basons notre méthode pour le rendu des égouttements sur une approche phénoménologique. Une telle approche s’avère plus adaptée pour gérer les grands espaces, et présente l’avantage d’être indépendante de la complexité de la scène. L’approche choisie s’appuie sur des expérimentations et des mesures hydrologiques effectuées par des chercheurs spécialisés dans l’hydrologie des forêts. Nous proposons ainsi un modèle d’égouttement cohérent, tenant compte des propriétés intrinsèques à chaque type d’arbres. Cette méthode a fait elle aussi l’objet d’une présentation à la conférence Eurographics Symposium on Rendering (EGSR) ainsi qu’une publication [57] au journal Computer Graphics Forum (CGF) en 2016. / This dissertation aims to present a coherent multiscale model for real-time rain rendering which takes into account local and global properties of rainy scenes. Our goal is to simulate visible rain streaks close to the camera as well as the progressive loss of visibility induced by atmospheric phenomena. Our model proposes to correlate the attenuation of visibility, which is due in part to the extinction phenomenon, and the distribution of raindrops in terms of rainfall intensity and camera's parameters. Furthermore, this method proposes an original rain streaks generation based on spectral analysis and sparse convolution theory. This allows an accurate control of rainfall intensity and streaks appearance, improving the global realism of rainy scenes. We also aim at rendering interactive visual effects inherent to complex interactions between trees and rain in real-time in order to increase the realism of natural rainy scenes. Such a complex phenomenon involves a great number of physical processes influenced by various interlinked factors and its rendering represents a thorough challenge in Computer Graphics. We approach this problem by introducing an original method to render drops dripping from leaves after interception of raindrops by foliage. Our method introduces a new hydrological model representing interactions between rain and foliage through a phenomenological approach. Our model reduces the complexity of the phenomenon by representing multiple dripping drops with a new fully functional form evaluated per-pixel on-the-fly and providing improved control over density and physical properties. Furthermore, an efficient real-time rendering scheme, taking full advantage of latest GPU hardware capabilities, allows the rendering of a large number of dripping drops even for complex scenes.

Les technologies récentes d'acquisition de données en trois dimensions fournissent un grand nombre de points non-structurés en trois dimension. Il est important de reconstruire une surface continue à partir de ces points non-structurés et de la visualiser. Dans ce document, nous présentons de nouvelles méthodes pour reconstruire des surfaces implicites à partir de grands ensembles de points non-structurés. Ces méthodes mettent en oeuvre des surfaces variationnelles reconstruites localement à partir de fonctions de base radiales, surfaces qui sont combinées entre elles par un mécanisme de partition de l'unité. Afin d'obtenir une visualisation interactive des surfaces générées, nous présentons également des techniques de rendu qui utilisent non seulement la surface implicite reconstruite, mais également l'ensemble de points initial. Une première technique de rendu à base de points s'adapte automatiquement en fonction de la position de l'observateur et de la taille de la fenêtre de visualisation, grâce à une structure hiérarchique à multirésolution, et une deuxième technique de rendu à base de points utilise la géométrie différentielle locale dans chaque point. Enfin, un grand nombre d'applications effectives ou d'applications potentielles des techniques précédentes sont présentées, telles que la construction interactive de textures solides à partir de points non-structurés, la reconstruction altimétrique de terrain en fonction des lignes de niveaux, ou encore la réparation de photographies abîmées.

La simulation d'éclairage peut être utilisée pour l'étude et l'analyse du confort visuel ou de la performance de dispositifs d'éclairage. Pour répondre à de tels objectifs, les méthodes utilisées doivent résoudre de manière précise et réaliste la problématique de l'illumination globale. De plus, les logiciels de simulation d'éclairage doivent souvent manipuler des scènes géométriquement complexes mais aussi exploiter les propriétés photométriques réalistes des sources artificielles étendues, des sources naturelles et des matériaux. L'objectif du travail de thèse est d'étendre les possibilités de ces outils à la prise en compte d'environnements enfumés dans lesquels la densité et la répartition des fumées évoluent avec le temps, tout en considérant le déplacement d'un observateur virtuel dans la scène. De telles possibilités ouvriraient le champ des possibilités de la simulation d'éclairage à des cas d'étude de la vision dans les fumées pour la sécurité incendie par exemple. Suite à une analyse globale du problème (interaction lumière/matériaux, lumière/fumée, évolution de la fumée dans le temps), le travail de recherche est décomposé en trois parties. Nous présentons dans un premier temps une nouvelle méthode de résolution de l'illumination globale pour les objets surfaciques basée sur la méthode de cache d'éclairement avec des enregistrements dont les zones d'influence s'adaptent à la géométrie et aux variations d'éclairage. Nous appelons ces enregistrements des \textit{enregistrements adaptatifs} Cette technique permet de contrôler plus finement la densité du cache. Par la suite, les travaux s'intéressent en détail à la problématique des milieux participatifs statiques et de leur interaction avec la lumière. Une méthode de résolution, s'appuyant sur les travaux de la première partie, est alors proposée. Les enregistrements adaptatifs sont créés dans l'espace en fonction des caractéristiques de la fumée (coefficients de diffusion et d'absorption) et de son influence sur l'éclairage global. Enfin, l'aspect dynamique est étudié et une extension temporelle de la méthode de simulation d'éclairage en présence de milieux participatifs est alors proposée. Nous introduisons le concept d'enregistrements adaptatifs spatio-temporels (pour les surfaces et les volumes) pour interpoler les variations d'éclairement à la fois dans l'espace et dans le temps.

Nous présentons une refondation théorique de la réalité virtuelle. Celle-ci est marquée par la conviction profonde de définir la réalité virtuelle comme une expérience médiatisée capable de susciter un sentiment de présence. Ce dernier est défini comme le sentiment authentique d'exister dans un monde autre que le monde physique où le corps se trouve. Nous proposons un éclairage nouveau et global sur le sentiment de présence. Cet éclairage consiste en une approche unifiée de la présence prenant en compte des considérations technologiques, psychologiques et écologiques. Nous avons élaboré un modèle qui identifie les processus menant au sentiment de présence. Selon notre modèle, deux phases inconscientes de jugement conditionnent l'émergence de la présence. Le premier jugement concerne la crédibilité de l'environnement, celle-ci dépend de la satisfaction des attentes intellectuelles et perceptives de l'utilisateur. Le deuxième jugement vise la crédibilité de l'expérience. Nous considérons que ce jugement est positif si un maximum des affordances perçues dans l'environnement est assumé, c'est-à-dire réalisable par l'intermédiaire des schémas d'interaction proposés à l'utilisateur. Nous avons mené une phase d'expérimentations pour valider la pertinence et la cohérence de notre modèle. Notre modèle a de multiples implications. Nous considérons par exemple qu'il peut constituer une grille d'analyse intéressante pour les jeux vidéo. De plus, il incite les concepteurs d'applications en réalité virtuelle à penser en terme d'affordances. Ce dernier point implique donc de faire entrer l'utilisateur très tôt dans la boucle de conception de l'application. Notre vision globale de la réalité virtuelle et de la présence a été mise en pratique notamment lors de la conception de dispositifs de réalité virtuelle transportables et à bas coûts. Sur la base de ce cadre théorique nous présentons un framework de conception d'applications en réalité virtuelle. Puisque l'objectif est la crédibilité et non le réalisme, nous nous intéressons à la réalité perçue de l'environnement et non pas à sa réalité physique. C'est pourquoi, le point de départ de notre framework consiste en un socle de connaissances sur la cognition humaine. Cette base de connaissances sert de vivier d'idées pour les quatre piliers sur lesquels peut s'appuyer le concepteur d'applications en réalité virtuelle. Ces piliers sont l'immersion, l'interaction, les émotions et un quatrième regroupant la boucle sensori-motrice et la multimodalité. Concernant le pilier immersion nous proposons un nouvel algorithme pour le calcul de la réverbération sonore dans un environnement complexe et dynamique. Notre méthode repose sur l'algorithme existant du lancer de frustum mais propose deux optimisations. La première exploite le socle de connaissances sur la cognition humaine pour déterminer une sphère d'acuité sonore. Celle-ci nous sert de cadre pour lancer les frusta depuis l'auditeur et non depuis les sources sonores. Cette deuxième optimisation réduit le nombre de calculs

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.