Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Nous présentons une approche de rendu à base d'images (IBR) qui permet, à partir de photos, de naviguer librement et générer des points de vue quelconques dans des scènes urbaines. Les approches précédentes dépendent des modèles 3D et donnent lieu à des rendus de qualité réduite avec beaucoup d'artefacts. Dans cette thèse, nous proposons une approximation basée sur l'image pour compenser le manque de précision de la géométrie 3D. Nous utilisons un warp d'image guidé par des cartes de profondeur quasi-denses qui donnent lieu à beaucoup moins d'artefacts. En se basant sur cette approche, nous avons développé une méthode entièrement automatique permettant de traiter les scènes complexes. Nous sur-segmentons les images d'entrées en superpixels qui limitent les occlusions sur les bords des objets. Nous introduisons la synthèse de profondeur pour créer une approximation de cette profondeur mal reconstruite dans certaines régions et calculons les warps sur les superpixels pour synthétiser le résultat final. Nous comparons nos résultats à de nombreuses approches récentes. Nous avons analysé les artefacts de l'IBR d'un point de vue perceptif en comparant les artefacts générés par le mélange de plusieurs images avec ceux des transitions temporelles brusques et avons élaboré une méthodologie pour la sélection d'un compromis idéal entre les deux. Nous avons également analysé les distorsions perspectives et avons développé un modèle quantitatif qui permet de prédire les distorsions en fonction des paramètres de capture et de visualisation. Comme application, nous avons mis en œuvre un système de réalité virtuelle qui utilise l'IBR à la place de l'infographie traditionnelle.

Cette thèse se place dans le cadre de la synthèse d'images en temps réel. Le problème auquel elle s'attaque est celui du rendu efficace du détail visuel, principal élément du réalisme d'une image. Pour faire face à la complexité du détail visuel, il est nécessaire de disposer de représentations adaptées à la fois aux objets que l'on cherche à rendre ainsi qu'aux capacités des processeurs graphiques actuels. Le premier axe de recherche porte sur l'utilisation du relief pour représenter et rendre efficacement du détail géométrique. La représentation compacte et structurée du relief par une carte hauteur permet la conception d'algorithmes de rendu exacts et efficaces. Nous en proposons deux~: le premier permet de rendre des reliefs dynamiques, alors que le second s'adresse aux reliefs statiques en exploitant la possibilité d'effectuer un pré-traitement sur la carte de hauteur. Nous développons aussi une réflexion sur l'utilisation du relief pour la représentation de surfaces quelconques, et présentons une application au rendu réaliste et en temps réel de volumes d'eau. Le deuxième axe de recherche se concentre sur les représentations non surfaciques, nécessaires lorsque les représentations géométriques sont inadaptées voire inexistantes. C'est le cas notamment des objets lointains ou des objets à géométrie dense, comme par exemple le feuillage d'un arbre. Le problème ici est d'être capable de représenter l'apparence d'un objet, sans recourir à un modèle géométrique. Nous proposons une méthode permettant, à partir de la seule donnée du light-field d'un objet, de déterminer les paramètres optimaux d'une représentation adaptée pour le rendu.

Nous présentons une approche de rendu à base d'images (IBR) qui permet, à partir de photos, de naviguer librement et générer des points de vue quelconques dans des scènes urbaines. Les approches précédentes dépendent des modèles 3D et donnent lieu à des rendus de qualité réduite avec beaucoup d'artefacts. Dans cette thèse, nous proposons une approximation basée sur l'image pour compenser le manque de précision de la géométrie 3D. Nous utilisons un warp d'image guidé par des cartes de profondeur quasi-denses qui donnent lieu à beaucoup moins d'artefacts. En se basant sur cette approche, nous avons développé une méthode entièrement automatique permettant de traiter les scènes complexes. Nous sur-segmentons les images d’entrées en superpixels qui limitent les occlusions sur les bords des objets. Nous introduisons la synthèse de profondeur pour créer une approximation de cette profondeur mal reconstruite dans certaines régions et calculons les warps sur les superpixels pour synthétiser le résultat final. Nous comparons nos résultats à de nombreuses approches récentes. Nous avons analysé les artefacts de l'IBR d'un point de vue perceptif en comparant les artefacts générés par le mélange de plusieurs images avec ceux des transitions temporelles brusques et avons élaboré une méthodologie pour la sélection d'un compromis idéal entre les deux. Nous avons également analysé les distorsions perspectives et avons développé un modèle quantitatif qui permet de prédire les distorsions en fonction des paramètres de capture et de visualisation. Comme application, nous avons mis en œuvre un système de réalité virtuelle qui utilise l'IBR à la place de l'infographie traditionnelle. / We present image-based rendering (IBR) approaches that allow free viewpoint walkthroughs of urban scenes using just a few photographs as input. Previous approaches depend upon 3D models which give artifacts as the quality of 3D model degrades. In this thesis, we propose image-based approximations to compensate for the lack of accurate 3D geometry. In the first project, we use discontinuous shape-preserving image warp guided by quasi-dense depth maps which gives far fewer rendering artifacts than previous approaches. We build upon this approach in the second project by developing a completely automated solution that is capable of handling more complex scenes. We oversegment input images into superpixels that capture all occlusion boundaries. We introduce depth synthesis to create approximate depth in very poorly reconstructed regions and compute shape-preserving warps on superpixels to synthesize the final result. We also compare our results to many recent approaches. We analyze IBR artifacts from a perceptual point of view. In the first study, we compare artifacts caused by blending multiple images with abrupt temporal transitions and develop guidelines for selecting the ideal tradeoff. We use vision science in another study to investigate perspective distortions and develop a quantitative model that predicts distortions as a function of capture and viewing parameters. We use guidelines from these experiments to motivate the design of our own IBR systems. We demonstrate the very first virtual reality system that uses IBR instead of traditional computer graphics. This drastically reduces the cost of modeling 3D scenes while producing highly realistic walkthroughs.

De nos jours, les images de synthèse occupent une place de plus en plus importante dans des domaines aussi variés que l'ingénierie ou le divertissement. Le matériel informatique a énormément évolué ces dernières années afin de pouvoir suivre cette tendance. Cependant, le matériel ne peut satisfaire seul aux exigences, en terme de qualité et d'interactivité, que requièrent les nouvelles applications. D'où l'intérêt d'algorithmes permettant d'optimiser le temps d'exécution et l'occupation mémoire de telles applications, et notamment celles qui nécessitent une interactivité avec l'utilisateur. Le placage de déplacement tridimensionnel par pixel est une nouvelle technique qui permet d'enrichir visuellement les scènes 3D, en simulant les mesostructures (microreliefs) présentes sur de nombreux types de surface. Cette amélioration s'effectue sans modification de la définition géométrique des objets 3D, et s'appuie uniquement sur le placage de textures dédiées à cet effet. Cette technique contribue ainsi à éviter la saturation du pipeline graphique que peut provoquer le traitement d'un très grand nombre de primitives graphiques. Dans le même esprit, la technique de modélisation et rendu à base d'images, qui est une extension du placage de déplacement 3D par pixel, permet de créer et d'afficher des objets 3D dans leur intégralité, sans passer par le traditionnel maillage polygonal. Au cours de ce travail, nous nous sommes intéressés à l'une des meilleures techniques pour le placage de déplacement 3D par pixel. Il s'agit de la technique de traçage de cônes, dont nous avons pu faire passer les algorithmes de prétraitement des textures d'une complexité quadratique à une complexité linéaire. Nous avons également proposé un nouvel algorithme permettant la prise en charge des textures rectangulaires, car elles étaient très mal gérées par les méthodes existantes. Nous avons aussi développé une nouvelle approche qui rend possible la synchronisation temps réel entre la modification de l'échelle du microrelief et son ombrage. Cette thèse introduit notamment le placage d'extrusion et de révolution. Il s'agit d'une nouvelle technique de modélisation et rendu à base d'images. L'approche que nous avons adoptée permet de créer des géométries sans maillage, par extrusion ou par révolution d'une forme de base, stockée sous forme d'une image 2D binaire. Ce type de géométrie est très utilisé en modélisation 3D, et particulièrement dans la création d'environnements architecturaux. La technique proposée est très performante, que ce soit en terme d'interactivité, ou en terme de qualité visuelle.

Nous présentons une approche de rendu à base d'images qui permet, à partir de photos, de naviguer librement et générer des points de vue quelconques dans des scènes urbaines. Les approches précédentes se basent sur un modèle géométrique complet et précis de la scène. La qualité des résultats produits par ces méthodes se dégrade lorsque la géométrie est approximative. Dans cette thèse, nous proposons une approximation basée sur l'image pour compenser le manque de précision de la géométrie. Dans une première approche, nous utilisons une déformation discontinue des photos guidée par des cartes de profondeur quasi-denses, ce qui produit de meilleurs résultats que le plaquage de texture utilisé par les méthodes précédentes, en particulier lorsque la géométrie est imprécise. Cette approche nécessite quelques indications utilisateur pour identifier les bordures d'occlusion dans les photos. Nous proposons ensuite une méthode entièrement automatique basée sur la même idée de déformation d'image. Cette méthode permet de traiter des scènes plus complexes avec un plus grand nombre de photos. Nous évitons l'intervention utilisateur en sur-segmentant les images d'entrées pour former des superpixels. Nous déformons chaque superpixel indépendamment en utilisant l'information de profondeur clairsemée. Nous proposons également un algorithme de synthèse de profondeur approximative pour traiter les zones de l'image où la géométrie n'est pas disponible. Nous comparons nos résultats à de nombreuses approches récentes et montrons que notre méthode permet une navigation virtuelle libre. Nous avons aussi étudié les défauts du rendu à base d'images d'un point de vue perceptif. Dans une première études controlées, nous avons évalué la perception des distorsions de perspective produites lorsqu'une seule image est projetée sur une géométrie planaire. Les données obtenues lors de cette étude nous ont permis de développer un modèle quantitatif permettant de prédire les distorsions perçues en fonction des paramètres de capture et de visualisation. Dans une autre étude nous comparons les défauts visuels produits par des transitions d'images douces ou abruptes. Nous avons déduit de cette étude des conseils pour choisir le meilleur compromis entre les deux types de transition. Ces deux études ont motivé des choix de conception de nos algorithmes de rendu à base d'images. Enfin, nous démontrons l'utilisation de notre approche pour la thérapie cognitive, ce qui représente la première application de réalité virtuelle à base d'images. Notre méthode permet de réduire considérablement le coût de modélisation 3D d'une scène de réalité virtuelle tout en produisant des visites virtuelles très réalistes.