No description available.

No description available.

No description available.

The recent advance in generative modeling in particular the unsupervised learning of data distribution is attributed to the invention of models with new learning algorithms. Among the methods proposed, generative adversarial networks (GANs) have shown to be the most efficient approaches to estimate data distributions. The core idea of GANs is an adversarial training of two deep neural networks, called generator and discriminator, to learn an implicit approximation of the true data distribution. The distribution is approximated through the weights of the generator network, and interaction with the distribution is through the process of sampling. GANs have found to be useful in applications such as image-to-image translation, in-painting, and text-to-image synthesis. In this thesis, we propose to capitalize on the power of GANs for different remote sensing problems. The first problem is a new research track to the remote sensing community that aims to generate remote sensing images from text descriptions. More specifically, we focus on exploiting ancient text descriptions of geographical areas, inherited from previous civilizations, and convert them the equivalent remote sensing images. The proposed method is composed of a text encoder and an image synthesis module. The text encoder is tasked with converting a text description into a vector. To this end, we explore two encoding schemes: a multilabel encoder and a doc2vec encoder. The multilabel encoder takes into account the presence or absence of objects in the encoding process whereas the doc2vec method encodes additional information available in the text. The encoded vectors are then used as conditional information to a GAN network and guide the synthesis process. We collected satellite images and ancient text descriptions for training in order to evaluate the efficacy of the proposed method. The qualitative and quantitative results obtained suggest that the doc2vec encoder-based model yields better images in terms of the semantic agreement with the input description. In addition, we present open research areas that we believe are important to further advance this new research area. The second problem we want to address is the issue of semi-supervised domain adaptation. The goal of domain adaptation is to learn a generic classifier for multiple related problems, thereby reducing the cost of labeling. To that end, we propose two methods. The first method uses GANs in the context of image-to-image translation to adapt source domain images into target domain images and train a classifier using the adapted images. We evaluated the proposed method on two remote sensing datasets. Though we have not explored this avenue extensively due to computational challenges, the results obtained show that the proposed method is promising and worth exploring in the future. The second domain adaptation strategy borrows the adversarial property of GANs to learn a new representation space where the domain discrepancy is negligible, and the new features are discriminative enough. The method is composed of a feature extractor, class predictor, and domain classifier blocks. Contrary to the traditional methods that perform representation and classifier learning in separate stages, this method combines both into a single-stage thereby learning a new representation of the input data that is domain invariant and discriminative. After training, the classifier is used to predict both source and target domain labels. We apply this method for large-scale land cover classification and cross-sensor hyperspectral classification problems. Experimental results obtained show that the proposed method provides a performance gain of up to 40%, and thus indicates the efficacy of the method.

La synthèse d'images, qui consiste à développer des algorithmes pour générer des images à l'aide d'un ordinateur, est devenue incontournable dans de nombreuses disciplines. Les méthodes d'affichage interactives permettent à l'utilisateur d'explorer des environnements virtuels en réalisant l'affichage des images à une cadence suffisamment élevée pour donner une impression de continuité et d'immersion. Malgré les progrès réalisés par le matériel, de nouveaux besoins supplantent toujours les capacités de traitement, et des techniques d'accélération sont nécessaires pour parvenir à maintenir une cadence d'affichage suffisante. Ce travail s'inscrit précisemment dans ce cadre. Il est consacré à la problématique de l'élimination efficace des objets masqués, en vue d'accélérer l'affichage de scènes complexes. Nous nous sommes plus particulièrement intéressé aux méthodes de précalcul, qui effectuent les calculs coûteux de visibilité durant une phase de prétraitement et les réutilisent lors de la phase de navigation interactive. Les méthodes permettant un précalcul complet et exact sont encore hors de portée à l'heure actuelle, c'est pourquoi des techniques approchées leur sont préférée en pratique. Nous proposons trois méthodes de ce type. La première, présentée dans le chapitre 4, est un algorithme permettant de déterminer de manière exacte si deux polygones convexes sont mutuellement visibles, lorsque des écrans sont placés entre eux. Nos contributions principales ont été de simplifier cette requête, tant du point de vue théorique que du point de vue de l'implémentation, ainsi que d'accélérer son temps moyen d'exécution à l'aide d'un ensemble de techniques d'optimisation. Il en résulte un algorithme considérablement plus simple à mettre en oeuvre que les algorithmes exacts existant dans la littérature. Nous montrons qu'il est également beaucoup plus efficace que ces derniers en termes de temps de calcul. La seconde méthode, présentée dans le chapitre 5, est une approche originale pour encoder l'information de visibilité, qui consiste à stocker l'ombre que générerait chaque objet de la scène s'il était remplacé par une source lumineuse. Nous présentons une analyse des avantages et des inconvénients de cette nouvelle représentation. Finalement, nous proposons dans le chapitre 6 une méthode de calcul de visibilité adaptée aux scènes d'intérieur. Dans ce type d'environnements, les graphes cellules-portails sont très répandus pour l'élimination des objets masqués, en raison de leur faible coût mémoire et de leur grande efficacité. Nous reformulons le problème de la génération de ces graphes en termes de segmentation d'images, et adaptons un algorithme classique, appelé «watershed», pour les obtenir de manière automatique. Nous montrons que la décomposition calculée de la sorte est proche de la décomposition classique, et qu'elle peut être utilisée pour l'élimination des objets masqués.

Title: Interactive Preview Renderer for Complex Camera Models Author: Bohumír Zámečník Department: Department of Software and Computer Science Education Supervisor: Dr. Alexander Wilkie Supervisor's e-mail address: alexander@wilkie.at Abstract: An interactive renderer was implemented that allows users to preview the effects of imaging with lenses, such as depth of field, bokeh (defocus highlights) and tilt-shift lens configurations. It is based on a state-of-the-art method which com- bines the power of GPU rasterization and ray tracing. Many models and interactive visualizations were created. A non-interactive simulation of a complex geometrical lens model has been made which is able to produce optical aberrations. Also a prototype implementation of recent fast spreading filters is available. A thorough summary of the principles of optical image formation, lens models and depth of field rendering methods used in computer graphics is given along with a comparison of the approaches and new insights. New possibilities of representing the behavior of complex lenses are suggested, which could be employed to accelerate the rendering. Keywords: image synthesis, camera models, depth of field, GPU, image-based ray tracing

Dans l'ouvrage [DBB06], Dutré et al. énumèrent dix problèmes d'Illumination Globale non résolus. Parmi ceux-ci, huit sont liés à la mesure et à l'intégration de données réelles dans les simulations. Cette thèse, en quatre parties et trois annexes, s'intéresse à cette problématique. Tout d'abord, les simulations de la propagation de la lumière dans les domaines du rendu physiquement réaliste, de l'éclairage, de la télédétection, de la conception de systèmes optiques... sont envisagées comme résolutions numériques d'un problème d'optique, fédérées par la notion de « photosimulation ». Dans le cadre de l'équation de rendu, les modèles réalistes de sources et le principe de la mesure goniophotométrique en champ lointain sont alors rappelés. La représentation des interactions lumière-matière est ensuite introduite par une exploration de l'apparence macroscopique, qui amène au rappel de la Fonction de Distribution de la Réflectance Bidirectionnelle et Spectrale (SBRDF), de ses principales propriétés et modèles. Le problème de la mesure pratique de la SBRDF d'une surface dans le visible est ensuite exploré. Id est, une taxonomie des méthodes de la littérature est établie ; qui allègue en faveur du développement de nouvelles approches. Un dispositif innovant, multispectral imageant, est alors présenté. Il se fonde sur la capture de la projection de la SBRDF sur un écran lambertien 3/4-sphérique, par une caméra multispectrale grand angle, assemblage d'un objectif fisheye, d'un filtre dynamique LCTF et d'une caméra CCD 12 bits. L'extraction des images capturées de l'information de la SBRDF repose sur un modéle radiométrique, qui explicite la transformation de la lumière en niveaux des pixels, dans le formalisme physique. Ce modèle soulève des problèmes de reconstruction multispectrale et d'interréflexions, pour lesquels de nouveaux algorithmes de résolution sont implantés. Les mesures de SBRDF produites semblent très prometteuses. Dans la troisième partie, le problème de la reconstruction d'une fonction directionnelle, identifié comme fondamental en photosimulation, est traité dans le cadre de la reconstruction de SBRDF discrètes. Pour cela, les propriétés mathématiques souhaitables des fonctions reconstruites sont envisagées. Puis, à l'aune de ce corpus, les approches de la littérature sont discutées ; justifiant la recherche d'algorithmes plus performants. Une nouvelle méthode est alors proposée, fondée sur une double triangulation sphérique des échantillons, et une généralisation à la surface d'un triangle sphérique de l'interpolant spline cubique de Hermite. La fonction reconstruite est interpolante, dérivable, quasi-déterministe, ne présente pas l'artéfact bidirectionnel, intègre la métrique sphérique non euclidienne, et prend en compte le difficile problème du masquage. Qualitativement comme quantitativement, les résultats obtenus semblent plaider en faveur du surcroît de complexité théorique qu'induit cette approche. Dans la dernière partie, cet algorithme de reconstruction est appliqué au problème de la « photométrie en champ proche », ou, la caractérisation d'une source réelle par un solide photométrique étendu. La supériorité théorique du modèle étendu est d'abord démontrée. Puis, un état de l'art de la photométrie en champ proche est réalisé ; justifiant la mise en œuvre d'une nouvelle approche. Un nouveau dispositif est alors présenté. Il repose sur le déplacement d'un vidéoluminancemètre, couplage original d'une caméra CCD 12 bits avec un luxmètre, le long d'une trajectoire hémisphérique relative à la source. Les procédures de calibrage de l'instrument – géométrique, radiométrique, et photométrique – sont explicitées. Les sources de lumière caractérisées par cette approche ont été jugées suffisamment probantes pour être intégrées aux photosimulations spectrales du CSTB / Pas de résumé en anglais

L'étude de l'apparence de surfaces par analyse photométrique est un domaine de recherche actif, avec de nombreuses applications par exemple pour étudier de la qualité de surfaces, la rugosité des objets, leur apparence, etc. Le sujet de cette thèse concerne plus particulièrement l'étude de surfaces opaques, par l'acquisition de la géométrie et de la réflectance. Cela nous a conduit à une analyse des modèles mathématique de réflectance, permettant de représenter les matériaux. Afin d'offrir une description physiquement plausible des matériaux opaques, notre première contribution principale concerne la mise en oeuvre d'un modèle à base de microfacettes Lambertiennes interfacées. Il généralise différents modèles de la littérature incluant des surfaces planes diffuses ou spéculaires et rugueuses diffuses ou spéculaires grâce à trois paramètres physiques : couleur, rugosité et indice de réfraction. Il permet de prendre en compte la transmission des flux lumineux pénétrant sous la surface ainsi que les réflexions multiples entre microfacettes et de restituer les effets de rétrodiffusion lumineuse et d’anisotropie. Notre seconde contribution principale concerne la réalisation d'un système complet d'acquisition de la géométrie et de la réflectance d'objets à partir d'images HDR. Notre méthodologie correspond à une chaîne de reconstruction complète et automatique, uniquement à partir d'images, permettant d'obtenir un niveau de précision intéressant et un faible coût de mise en place et de temps de traitement comparé aux méthodes existantes. Notre méthode permet d'extraire des échantillons de réflectance suffisamment nombreux pour identifier les paramètres de modèles de réflectance avec les données acquises. / The study of surface appearance by photometric analysis is an active area of research, with various applications concerning the analysis of surface roughness or appearance ... The subject of this PhD dissertation relates to the study of opaque surfaces, through the acquisition of their geometry. Our study leads us to an analysis of mathematical reflectance models, for representing materials appearance. To provide a physically plausible description of opaque surfaces, the first major contribution concerns the implementation of a model based on Lambertian interfaced microfacets. This model generalizes several approaches often referenced in the literature, and includes flat diffuse or specular surfaces as well as diffuse or specular microfacets with three physically-based parameters: color, roughness and refractive index. It makes it possible to take into account the transmission of the light flux entering below the surface as well as multiple reflections between microfacets, while handling backscattering and anisotropy. The second main contribution of this work concerns the impolementation of a complete acquisition system for estimating geometry and reflectance from HDR images. Our methodology is based on a complete and automatic reconstruction framework, achieving a higher level of precision, a lower cost of implementation and a shorter processing time compared to photometry-based existing methods.

Le rendu de Monte-Carlo par lancer de rayons est connu depuis longtemps pour être une classe d’algorithmes de choix lorsqu’il s’agit de générer des images de synthèse photo-réalistes. Toutefois, sa nature fondamentalement aléatoire induit un bruit caractéristique dans les images produites. Dans cette thèse, nous mettons en œuvre des algorithmes fondés sur les échantillons de Monte-Carlo et l’inférence bayésienne pour factoriser le calcul du rendu, par le partage d’information entre pixels voisins ou la mise en cache de données précédemment calculées. Dans le cadre du rendu à temps long, en nous fondant sur une technique récente de débruitage en traitement d’images, appelée Non-local Bayes, nous avons développé un algorithme de débruitage collaboratif par patchs, baptisé Bayesian Collaborative Denoising. Celui-ci est conçu pour être adapté aux spécificités du bruit des rendus de Monte-Carlo et aux données supplémentaires qu’on peut obtenir par des statistiques sur les échantillons. Dans un deuxième temps, pour factoriser les calculs de rendus de Monte-Carlo en temps interactif dans un contexte de scène dynamique, nous proposons un algorithme de rendu complet fondé sur le path tracing, appelé Dynamic Bayesian Caching. Une partition des pixels permet un regroupement intelligent des échantillons. Ils sont alors en nombre suffisant pour pouvoir calculer des statistiques sur eux. Ces statistiques sont comparées avec celles stockées en cache pour déterminer si elles doivent remplacer ou enrichir les données existantes. Finalement un débruitage bayésien, inspiré des travaux de la première partie, est appliqué pour améliorer la qualité de l’image. / Monte Carlo ray tracing is known to be a particularly well-suited class of algorithms for photorealistic rendering. However, its fundamentally random nature breeds noise in the generated images. In this thesis, we develop new algorithms based on Monte Carlo samples and Bayesian inference in order to factorize rendering computations, by sharing information across pixels or by caching previous results. In the context of offline rendering, we build upon a recent denoising technique from the image processing community, called Non-local Bayes, to develop a new patch-based collaborative denoising algorithm, named Bayesian Collaborative Denoising. It is designed to be adapted to the specificities of Monte Carlo noise, and uses the additionnal input data that we can get by gathering per-pixel sample statistics. In a second step, to factorize computations of interactive Monte Carlo rendering, we propose a new algorithm based on path tracing, called Dynamic Bayesian Caching. A clustering of pixels enables a smart grouping of many samples. Hence we can compute meaningful statistics on them. These statistics are compared with the ones that are stored in a cache to decide whether the former should replace or be merged with the latter. Finally, a Bayesian denoising, inspired from the works of the first part, is applied to enhance image quality.

No description available.