S'inscrivant dans le champ de recherche émergeant sur les ambiances lumineuses, cette recherche s'intéresse au potentiel de l'image numérique pour l'exploration et l'analyse de la lumière dans le paysage urbain nocturne. À partir de relevés effectués dans les villes de Québec et de Montréal, comme autant d'images qui se succèdent à l'échelle du piéton, le projet propose d 'évaluer l'image numérique 2D comme outil permettant des analyses et explorations quantitatives et qualitatives des espaces urbains éclairés. La méthodologie employée s'appuie sur la recherche développée par Demers [1997]. Le potentiel créatif du médium pour la conception lumière est également abordé. Parallèlement, la recherche propose de développer une démarche spécifique au contexte de la lumière urbaine nocturne afin de cerner différents aspects qui composent les ambiances lumineuses nocturnes, tels que les effets de la lumière sur les formes urbaines (espaces ou objets architectures). Les outils de relevés employés présentent l'avantage d'être accessibles autant pour le chercheur que pour le concepteur lumière. Ils ont fait l'objet d'explorations afin de déterminer leurs limites dans des conditions d'éclairage nocturne. Il s'agit de la photographie à l'aide d'une caméra réflexe 35 mm et de la vidéo. Des outils de mesures de la lumière tel qu'un photomètre ainsi que des posemètres manuels complètent les besoins de la recherche. Les images numérisées sont traitées à l'aide du logiciel Adobe Photoshop. / Québec Université Laval, Bibliothèque 2019

Le contrôle de l'erreur est une nécessité dans un grand nombre d'applications de la simulation de l'éclairage. Il offre la possibilité d'assurer un degré de précision particulier dans la solution calculée, et permet également un compromis entre le temps de calcul et la qualité du résultat. Lors du calcul de l'éclairage par les méthodes hiérarchiques de radiosité, l'évaluation des relations de visibilité représente la majeure partie de l'effort de calcul, et constitue donc la cible désignée de diverses approximations, qui influent ensuite sur la qualité du résultat. Dans ce travail nous étudions tout d'abord l'impact des approximations de la visibilité lors du calcul des facteurs de forme sur la précision d'une simulation de l'éclairage. Associée à un algorithme de contrôle de l'erreur pour le calcul de chaque facteur de forme, cette approche permet de contrôler la précision de la simulation. Nous proposons ensuite un tel algorithme, basé sur le pré-calcul et le stockage d'informations multi-échelles de visibilité. Suivant les applications, la notion de qualité n'est cependant pas la même : alors qu'une borne mathématique sur l'erreur d'approximation d'une solution convient aux applications à caractère quantitatif, la simulation de l'éclairage en synthèse d'images nécessite une mesure de l'erreur adaptée au mode de perception humain. Une telle mesure doit notamment attacher une importance particulière aux artefacts visuels qui conditionnent la qualité des images produites. Dans ce cadre, nous proposons des algorithmes de synthèse des ombres, et décrivons une méthode basée sur l'opération de convolution entre des images d'une source et d'un obstacle, permettant le contrôle de l'erreur dans les ombres produites. Finalement, nous présentons un algorithme hiérarchique de simulation de l'éclairage contrôlant, par des méthodes spécifiques, la précision de l'équilibre global de l'énergie lumineuse et la qualité des détails d'ombre très fins.

Ce mémoire d'habilitation à diriger des recherches résume les différents travaux menés entre 2000 et 2013 au sein du laboratoire SIC, à l'Université de Poitiers. Le coeur de ces activités est la caractérisation, le calcul, la représentation et l'utilisation de la visibilité entre des ensembles convexes de points de l'espace géométrique en dimension $n\ge2$. Nous avons notamment utilisé l'algèbre de Grassmann pour construire un espace de droites, dans lequel le problème de la visibilité peut être discuté. Nous avons proposé deux méthodes de calculs, l'un explicite et complet, et l'autre reposant sur une évaluation paresseuse. Différentes applications en synthèse d'images reposent sur ces travaux. D'autres travaux autour de la visibilité, en synthèse d'images mais aussi dans le domaine de la propagation des ondes, sont présentés dans ce mémoire. L'ensemble a été réalisé à travers l'encadrement de 5 doctorants.

La réalisation de nouveaux instruments de télédétection à très haute résolution spatiale offre la possibilité d'étudier plus précisément les villes. Pour ces études, la connaissance de l'atmosphère et plus particulièrement des aérosols peut s'avérer essentielle. Le but de cette thèse est donc de développer une méthode de caractérisation des aérosols adaptée aux images de télédétection des milieux urbains à l'échelle métrique dans les domaines visible et proche-infrarouge. Dans un premier temps, les propriétés optiques de ces particules ont été étudiées en utilisant les données fournies par 68 stations urbaines du réseau AERONET. Ensuite, afin de pouvoir évaluer l'impact des aérosols présents dans les villes sur le signal, un code de transfert radiatif 3D a été réalisé : AMARTIS v2. L'utilisation de cet outil pour une scène urbaine typique a permis de quantifier l'impact des particules sur le signal, à l'ombre et au soleil, en fonction de leurs propriétés optiques. Enfin, une méthode de télédétection des aérosols a été définie, basée sur l'observation de transitions ombre/soleil. Afin de mettre en oeuvre cette méthode, un code d'inversion a été développé : OSIS. Une étude de sensibilité d'OSIS a alors été menée à partir d'images synthétiques générées avec AMARTIS v2 et une utilisation expérimentale a été effectuée sur des acquisitions PELICAN obtenues lors de la campagne aéroportée MUSARDE sur la ville de Toulouse. Ces études ont notamment permis de quantifier la précision intrinsèque d'OSIS, comparable aux précisions obtenues avec les produits satellitaires pour l'inversion des épaisseurs optiques, et de montrer que cette procédure est applicable à tout instrument à très haute résolution spatiale, multispectral ou hyperspectral, aéroporté ou satellitaire.

Vidéos et images des résultats disponible à : http://www.iro.umontreal.ca/labs/infographie/theses/fatnasss/ / La synthèse d'une flamme animée dans un environnement 3D virtuel, reste à ce jour une tâche ardue, exigeant de judicieusement balancer réalisme et coût de calcul. Dans ce mémoire, nous présentons un ensemble de techniques pour sa simulation en temps réel tout en modélisant une interaction à des forces externes. Nous désirons minimiser son coût de calcul tout en préservant une apparence convaincante dans l'optique d'une intégration au sein de systèmes existants, n'affectant pas indûment leurs performances. Un champ de vélocité est extrait d'une simulation de ressorts et mis à profit dans le déplacement de chaînes de particules modélisant la forme de la flamme par l'entremise de la paramétrisation d'une surface NURBS. Considérant l'importance qu'ils ont sur notre perception de la combustion, nous prenons également soin de reproduire l'illumination, les ombres, et l'effet d'éblouissement qu'elle engendre. / The synthesis of an open flame in a virtual 3D environment, remains to this day an arduous task, requiring a wise balance between realism and processing cost. In this M. Sc. thesis, we present a set of techniques for its simulation in real time while also modeling the interaction with external forces. Our goal is to minimize the cost while preserving a convincing appearance, thus facilitating integration of the techniques into existing systems without unduly affecting their performance. A velocity field is extracted from a spring-mass simulation which contributes to moving chains of particules that are used in modeling the flame shape through the configuration of a NURBS surface. In light of the importance they have on our perception of combustion, we also take care to duplicate the lighting, shadows and bloom the flame gives rise to.

Ces dernières années, la biométrie a fait l’objet d’une grande attention en raison du besoin sans cesse croissant d’authentification d’identité, notamment pour sécuriser de plus en plus d’applications enlignes. Parmi divers traits biométriques, le visage offre des avantages compétitifs sur les autres, e.g., les empreintes digitales ou l’iris, car il est naturel, non-intrusif et facilement acceptable par les humains. Aujourd’hui, les techniques conventionnelles de reconnaissance faciale ont atteint une performance quasi-parfaite dans un environnement fortement contraint où la pose, l’éclairage, l’expression faciale et d’autres sources de variation sont sévèrement contrôlées. Cependant, ces approches sont souvent confinées aux domaines d’application limités parce que les environnements d’imagerie non-idéaux sont très fréquents dans les cas pratiques. Pour relever ces défis d’une manière adaptative, cette thèse porte sur le problème de reconnaissance faciale non contrôlée, dans lequel les images faciales présentent plus de variabilités sur les éclairages. Par ailleurs, une autre question essentielle vise à profiter des informations limitées de 3D pour collaborer avec les techniques basées sur 2D dans un système de reconnaissance faciale hétérogène. Pour traiter les diverses conditions d’éclairage, nous construisons explicitement un modèle de réflectance en caractérisant l’interaction entre la surface de la peau, les sources d’éclairage et le capteur de la caméra pour élaborer une explication de la couleur du visage. A partir de ce modèle basé sur la physique, une représentation robuste aux variations d’éclairage, à savoir Chromaticity Invariant Image (CII), est proposée pour la reconstruction des images faciales couleurs réalistes et sans ombre. De plus, ce processus de la suppression de l’ombre en niveaux de couleur peut être combiné avec les techniques existantes sur la normalisation d’éclairage en niveaux de gris pour améliorer davantage la performance de reconnaissance faciale. Les résultats expérimentaux sur les bases de données de test standard, CMU-PIE et FRGC Ver2.0, démontrent la capacité de généralisation et la robustesse de notre approche contre les variations d’éclairage. En outre, nous étudions l’usage efficace et créatif des données 3D pour la reconnaissance faciale hétérogène. Dans un tel scénario asymétrique, un enrôlement combiné est réalisé en 2D et 3D alors que les images de requête pour la reconnaissance sont toujours les images faciales en 2D. A cette fin, deux Réseaux de Neurones Convolutifs (Convolutional Neural Networks, CNN) sont construits. Le premier CNN est formé pour extraire les descripteurs discriminants d’images 2D/3D pour un appariement hétérogène. Le deuxième CNN combine une structure codeur-décodeur, à savoir U-Net, et Conditional Generative Adversarial Network (CGAN), pour reconstruire l’image faciale en profondeur à partir de son homologue dans l’espace 2D. Plus particulièrement, les images reconstruites en profondeur peuvent être également transmise au premier CNN pour la reconnaissance faciale en 3D, apportant un schéma de fusion qui est bénéfique pour la performance en reconnaissance. Notre approche a été évaluée sur la base de données 2D/3D de FRGC. Les expérimentations ont démontré que notre approche permet d’obtenir des résultats comparables à ceux de l’état de l’art et qu’une amélioration significative a pu être obtenue à l’aide du schéma de fusion. / In recent years, biometrics have received substantial attention due to the evergrowing need for automatic individual authentication. Among various physiological biometric traits, face offers unmatched advantages over the others, such as fingerprints and iris, because it is natural, non-intrusive and easily understandable by humans. Nowadays conventional face recognition techniques have attained quasi-perfect performance in a highly constrained environment wherein poses, illuminations, expressions and other sources of variations are strictly controlled. However these approaches are always confined to restricted application fields because non-ideal imaging environments are frequently encountered in practical cases. To adaptively address these challenges, this dissertation focuses on this unconstrained face recognition problem, where face images exhibit more variability in illumination. Moreover, another major question is how to leverage limited 3D shape information to jointly work with 2D based techniques in a heterogeneous face recognition system. To deal with the problem of varying illuminations, we explicitly build the underlying reflectance model which characterizes interactions between skin surface, lighting source and camera sensor, and elaborate the formation of face color. With this physics-based image formation model involved, an illumination-robust representation, namely Chromaticity Invariant Image (CII), is proposed which can subsequently help reconstruct shadow-free and photo-realistic color face images. Due to the fact that this shadow removal process is achieved in color space, this approach could thus be combined with existing gray-scale level lighting normalization techniques to further improve face recognition performance. The experimental results on two benchmark databases, CMU-PIE and FRGC Ver2.0, demonstrate the generalization ability and robustness of our approach to lighting variations. We further explore the effective and creative use of 3D data in heterogeneous face recognition. In such a scenario, 3D face is merely available in the gallery set and not in the probe set, which one would encounter in real-world applications. Two Convolutional Neural Networks (CNN) are constructed for this purpose. The first CNN is trained to extract discriminative features of 2D/3D face images for direct heterogeneous comparison, while the second CNN combines an encoder-decoder structure, namely U-Net, and Conditional Generative Adversarial Network (CGAN) to reconstruct depth face image from its counterpart in 2D. Specifically, the recovered depth face images can be fed to the first CNN as well for 3D face recognition, leading to a fusion scheme which achieves gains in recognition performance. We have evaluated our approach extensively on the challenging FRGC 2D/3D benchmark database. The proposed method compares favorably to the state-of-the-art and show significant improvement with the fusion scheme.

La synthèse d'une flamme animée dans un environnement 3D virtuel, reste à ce jour une tâche ardue, exigeant de judicieusement balancer réalisme et coût de calcul. Dans ce mémoire, nous présentons un ensemble de techniques pour sa simulation en temps réel tout en modélisant une interaction à des forces externes. Nous désirons minimiser son coût de calcul tout en préservant une apparence convaincante dans l'optique d'une intégration au sein de systèmes existants, n'affectant pas indûment leurs performances. Un champ de vélocité est extrait d'une simulation de ressorts et mis à profit dans le déplacement de chaînes de particules modélisant la forme de la flamme par l'entremise de la paramétrisation d'une surface NURBS. Considérant l'importance qu'ils ont sur notre perception de la combustion, nous prenons également soin de reproduire l'illumination, les ombres, et l'effet d'éblouissement qu'elle engendre. / The synthesis of an open flame in a virtual 3D environment, remains to this day an arduous task, requiring a wise balance between realism and processing cost. In this M. Sc. thesis, we present a set of techniques for its simulation in real time while also modeling the interaction with external forces. Our goal is to minimize the cost while preserving a convincing appearance, thus facilitating integration of the techniques into existing systems without unduly affecting their performance. A velocity field is extracted from a spring-mass simulation which contributes to moving chains of particules that are used in modeling the flame shape through the configuration of a NURBS surface. In light of the importance they have on our perception of combustion, we also take care to duplicate the lighting, shadows and bloom the flame gives rise to. / Vidéos et images des résultats disponible à : http://www.iro.umontreal.ca/labs/infographie/theses/fatnasss/

La reconstruction de surfaces tridimensionnelles à partir de plusieurs caméras calibrées peut s'entrevoir sous plusieurs aspects, en particulier, sous des aspects géométriques ou photométriques. Les images contiennent un grand nombre d'informations dont la correspondance, l'ombrage et les contours. En reconstruction 3D multi-vues, toutes ces informations n'ont cependant été que très partiellement fusionnées. Pourtant en exploitant simultanément le maximum d'information disponible, nous devrions intuitivement obtenir de meilleurs résultats et des algorithmes plus robustes. Par ailleurs, nous avons aussi régulièrement des connaissances a priori sur la scène ; connaissances qu'il est possible d'exploiter, par exemple en les insérant sous la forme de contraintes. Arriver à trouver un cadre rigoureux permettant de mêler et exploiter naturellement et simultanément toutes ces informations pour les problèmes de reconstruction 3D multi-vues serait donc particulièrement pertinent. Pour avancer dans cet objectif, il est nécessaire de se replonger et de travailler la modélisation. Dans ce manuscrit, je présente les travaux que j'ai menés dans ce domaine autour de toutes ces questions. Ce manuscrit est aussi l'occasion pour moi de présenter les objectifs et activités de l'équipe de recherche STEEP que je anime et coordonne depuis sa création en 2010.

Le roman indien et pakistanais de langue anglaise est habité par le trauma de la Partition à travers des tropes de l’esthétique moderniste comme la fragmentation et l’ellipse. Il est aussi structuré par des métaphores de mutilation, de déracinement, d’exil, ainsi que par la figure symbolique du réfugié. Non exploré jusqu’ici, le trope visuel et poétique des ombres inscrit en creux dans la fiction la violence inexprimable de la Partition. Signes prémonitoires de la rupture cataclysmique de 1947, dans le roman Twilight in Delhi (1940), les ombres dramatisent les conséquences dévastatrices de la modernité coloniale sur la haute culture musulmane de l’Inde. Dans quatre romans publiés après la fracture du sous-continent – Sunlight on a Broken Column (1961), Clear Light of Day (1980), The Shadow Lines (1988), Burnt Shadows (2009) –, les ombres sont les traces-mémoires indélébiles, poreuses, et instables qui imprègnent la cartographie régionale et les psychés individuelles. Associée aux tropes ambivalents du fantôme et du miroir, l’ombre subvertit l’historiographie officielle en ouvrant un espace mémoriel dans lequel les souvenirs d’individus et de familles subalternes, transmis sur plusieurs générations, lient la Partition à d’autres traumas internationaux à travers des nœuds de mémoire multidirectionnelle. Par sa dimension visuelle, l’ombre produit une mémoire corporelle qui implique le lecteur dans une sémiotique empathique et réflexive du regard. / Partition inhabits the Indian and the Pakistani novel in English through modernist tropes such as ellipsis and fragmentation, metaphors of mutilation, dislocation and exile, and the symbolic figure of the refugee. The unspeakable violence of this trauma is also embedded within the narrative through the visual and poetic trope of the shadows, which has not been examined yet. In the novel Twilight in Delhi (1940), the shadows are premonitions of the cataclysm of 1947 as they stage the devastating impacts of colonial modernity on the high Muslim culture of India. In four novels published after the division of the subcontinent – Sunlight on a Broken Column (1961), Clear Light of Day (1980), The Shadow Lines (1988), Burnt Shadows (2009) –, the shadows are indelible, porous and unstable memory-traces that permeate the regional cartography and individual psyches. Together with the dual motives of the ghost and the mirror, these shadows subvert the official historiography and open up a discursive space in which the memories of subaltern individuals and families, transmitted over several generations, connect Partition to other international traumas via knots of multidirectional memory. Through their visual dimension, the shadows shape a body memory which involves the reader in an empathic and reflexive semiotics of the gaze.

L'objectif principale de la Réalité Mixte (RM) est de donner aux utilisateurs l'illusion que les objets virtuels et réels coexistent indistinctement dans le même espace. Une illusion efficace nécessite un recalage précis entre les deux mondes. Ce recalage doit être cohérent du point de vue géométrique et photométrique. Dans cette thèse, nous proposons de nouvelles méthodes de recalage photométrique pour estimer l'illumination et la réflectance de scènes réelles. Plus précisément, nous proposons des approches en nous attaquant à trois grands défis : (1) utilisation d'une seule caméra RGB-D. (2) estimation des propriétés de réflectance diffuse et spéculaire. (3) estimation de la position 3D et de la couleur de sources lumineuses dynamiques multiples. Dans notre première contribution, nous considérons des scènes réelles d’intérieurs où la géométrie et l'éclairage sont statiques. En observant la scène à partir d’une caméra mobile, des réflexions spéculaires peuvent être détectées tout au long de la séquence d'images RGB-D. Ces indices visuels sont très instructifs sur l'éclairage et la réflectance des surfaces des scènes. Par conséquent, nous les modélisons pour estimer à la fois les propriétés de réflectance diffuse et spéculaire ainsi que la position 3D de sources lumineuses multiples. Notre algorithme permet d'obtenir des résultats de RM convaincants tels que des ombres virtuelles réalistes ainsi qu'une suppression correcte de la spécularité réelle. Les ombres sont omniprésentes et représentent l’occultation de la lumière par la géométrie existante. Elles représentent donc des indices intéressants pour reconstituer les propriétés photométriques de la scène. La présence de texture dans ce contexte est un scénario critique. En effet, la séparation de la texture et des effets d'éclairage est souvent gérée par des approches qui nécessitent l’intervention de l'utilisateur ou qui ne répondent pas aux exigences du temps de traitement de la réalité mixte. Nous abordons ces limitations et proposons une méthode d'estimation de la position et de l'intensité des sources lumineuses. L'approche proposée gère les lumières dynamiques et fonctionne en temps quasi-réel. L'existence d'une source lumineuse est plus probable si elle est soutenue par plus d'un indice visuel. Nous abordons donc le problème de l'estimation des propriétés d’éclairage et de réflectance en analysant conjointement les réflexions spéculaires et les ombres projetées. L'approche proposée tire parti de l'information apportée par les deux indices pour traiter une grande variété de scènes. Notre approche est capable de traiter n'importe quelle surface texturée et tient compte à la fois des sources lumineuses statiques et dynamiques. Son efficacité est démontrée par une gamme d'applications, incluant la réalité mixte et la re-texturation. La détection des ombres projetées et des réflexions spéculaires étant au cœur de cette thèse, nous proposons finalement une méthode d'apprentissage approfondi pour détecter conjointement les deux indices visuels dans des scènes réelles d’intérieurs. / The overarching goal of Mixed Reality (MR) is to provide the users with the illusion that virtual and real objects coexist indistinguishably in the same space. An effective illusion requires an accurate registration between both worlds. This registration must be geometrically and photometrically coherent. In this thesis, we propose novel photometric registration methods to estimate the illumination and reflectance of real scenes. Specifically, we propose new approaches which address three main challenges: (1) use of a single RGB-D camera. (2) estimation of both diffuse and specular reflectance properties. (3) estimation of the 3D position and color of multiple dynamic light sources. Within our first contribution, we consider indoor real scenes where both geometry and illumination are static. As the sensor browses the scene, specular reflections can be observed throughout a sequence of RGB-D images. These visual cues are very informative about the illumination and reflectance of scene surfaces. Hence, we model these cues to recover both diffuse and specular reflectance properties as well as the 3D position of multiple light sources. Our algorithm allows convincing MR results such as realistic virtual shadows and correct real specularity removal. Shadows are omnipresent and result from the occlusion of light by existing geometry. They therefore represent interesting cues to reconstruct the photometric properties of the scene. Presence of texture in this context is a critical scenario. In fact, separating texture from illumination effects is often handled via approaches which require user interaction or do not satisfy mixed reality processing time requirements. We address these limitations and propose a method which estimates the 3D position and intensity of light sources. The proposed approach handles dynamic light sources and runs at an interactive frame rate. The existence of a light source is more likely if it is supported by more than one cue. We therefore address the problem of estimating illumination and reflectance properties by jointly analysing specular reflections and cast shadows. The proposed approach takes advantage of information brought by both cues to handle a large variety of scenes. Our approach is capable of handling any textured surface and considers both static and dynamic light sources. Its effectiveness is demonstrated through a range of applications including real-time mixed reality and retexturing. Since the detection of cast shadows and specular reflections are at the heart of this thesis, we further propose a deep-learning framework to jointly detect both cues in indoor real scenes.