Nous introduisons un algorithme de décomposition intrinsèque multi-vue qui permet de ré-éclairer une scène extérieure en utilisant quelques images en entrée. Plusieurs applications comme l’architecture, jeux et films exigent de manipuler un modèle 3D d’une scène. Cependant, la modification de telles scènes est limitée par les conditions d’éclairage de capture. Notre méthode estime les images intrinsèques prises dans des conditions d’éclairage identiques avec des ombres. Nous utilisons conjointement une reconstruction 3D automatique et la direction du soleil pour obtenir la décomposition de chaque image en calques de réflectance et d’éclairage malgré l’inexactitude des données du modèle 3D. Notre approche est basée sur deux idées principales. Tout d’abord, nous raffinons l’estimation des paramètres de notre modèle de formation d’image en combinant la simulation d’éclairage 3D avec des méthodes d’optimisation basée image. Deuxièmement, nous utilisons ce modèle pour exprimer la réflectance en fonction de valeur de visibilité discrète pour l’ombre et la lumière, ce qui nous permet d’introduire un classificateur d’ombre robuste pour des paires de points dans une scène. Nos calques intrinsèques sont de qualité suffisante pour manipuler les images d’entrée. Nous déplaçons les ombres portées en créant une géométrie qui préserve les silhouettes d’ombre. Notre méthode est compatible avec les approches de rendu basé image et réduit les coûts de création de contenu 3D. Enfin, nous présentons une étude sur les limites du modèle de réflectance diffus et la difficulté d’appliquer les approches existantes dans le cadre de reconstruction 3D multi vue où les données sont imprécises. / We present a multi-view intrinsic decomposition algorithm that allows relighting of an outdoor scene using just a few photographs as input. Several applications such as architecture, games and movies require a 3D model of a scene. However, editing such scenes is limited by the lighting condition at the time of capture. Our method computes intrinsic images photos taken under the same lighting condition with existing cast shadows by the sun. We use an automatic 3D reconstruction from these photos and the sun direction as input and decompose each image into reflectance and shading layers, despite the inaccuracies and missing data of the 3D model. Our approach is based on two key ideas. First, we progressively improve the accuracy of the parameters of our image formation model by performing iterative estimation and combining 3D lighting simulation with 2D image optimization methods. Second we use the image formation model to express reflectance as a function of discrete visibility values for shadow and light, which allows us to introduce a robust shadow classifier for pairs of points in a scene. Our multi-view intrinsic decomposition is of sufficient quality for relighting of the input images. We create shadow-caster geometry which preserves shadow silhouettes and using the intrinsic layers, we can perform multi-view relighting with moving cast shadows. Our method allows image-based rendering with changing illumination conditions and reduces the cost of creating 3D content for applications. Finally, we present an initial study on the limitation of diffuse reflectance models for these computations.

Le sujet de cette thèse porte sur la création des données utilisées en informatique graphique pour synthétiser des images. On ne demande pas à l'utilisateur de modéliser l'objet souhaité mais plutôt d'en fournir une ou plusieurs photographies. Ces images sont automatiquement analysées pour en extraire l'information recherchée. On attend de cette approche des données plus fidèles à l'original et un temps de création plus court pour l'utilisateur.<br /><br />Nos travaux sont centrés sur trois cas d'études qui mènent à des applications utiles. Tout d'abord, nous reconstruisons la surface d'un objet matte à partir d'une séquence d'images dont le point de vue se déplace. Nous capturons ensuite l'apparence d'un visage à partir d'une seule image et montrons comment les données récupérées sont utilisées pour synthétiser ce visage sous un nouvel éclairage. Nous terminons avec la capture de la géométrie d'une chevelure à partir de plusieurs images prises avec une caméra fixe et une lumière qui se déplace.<br /><br />Nous introduisons plusieurs contributions théoriques et techniques qui améliorent aussi bien la précision que la robustesse de la capture. Des résultats illustrent ces améliorations.

La réalité augmentée assistée par ordinateur est un domaine émergeant qui progresse rapidement. Son principe est de mélanger le monde réel et le monde virtuel. Dans cette thèse, nous nous intéressons plus particulièrement au ré-éclairage, c'est-à-dire à la modification virtuelle des propriétés l'éclairage, et à la remodélisation des scènes réelles d'intérieur, de façon interactive et en conservant les effets réalistes de l'éclairage mixte (réel et virtuel). Nous avons développé deux méthodes qui réalisent ces objectifs. Les deux méthodes utilisent des données d'entrée non exhaustives pour retrouver les propriétés radiométriques des scènes réelles. Dans notre première approche, la scène réelle est représentée par un modèle géométrique simple et texturé. En nous basant sur les équations de la radiosité, nous modifions les textures afin d'enlever les effets de l'éclairage réel (ombres, etc.). Lors de manipulations interactives qui atteignent un taux de rafraîchissement de 3 images par secondes, les effets d'éclairage sont simulés par des algorithmes incrémentaux, et affichés en utilisant le matériel graphique. Nous avons ensuite développé une deuxième méthode de ré-éclairage pour laquelle la scène réelle est connue depuis plusieurs photographies prises sous des éclairages différents mais contrôlés. Une réflectance diffuse est estimée pour chaque pixel de l'image d'origine. L'éclairage est ensuite simulé en combinant une méthode de lancer de rayon pour l'éclairage direct, et une méthode de radiosité hiérarchique optimisée pour l'éclairage indirect. Cette méthode permet en plus du ré-éclairage, la remodélisation interactive. Enfin, nous proposons une méthode de calibration photométrique pour du matériel photographique non professionnel, et nous présentons des algorithmes permettant une amélioration de la qualité de l'estimation de la réflectance pour chacune des méthodes.