La mission Gaia de l'Agence Spatiale Européenne (ESA) a pour objectif de cartographier notre galaxie avec une précision astrométrique jamais atteinte auparavant. Il est donc particulièrement important que les données qui seront publiées soient rigoureusement validées afin d'assurer une qualité optimum au Catalogue. Ces validations sont faites par l'une des équipes de l'unité de coordination CU9 du Consortium Gaia DPAC (Data Processing and Analys Consortium) chargé par l'ESA de la production du Catalogue Gaia. Dans le cadre de cette thèse, nous avons mis en place toute l’infrastructure nécessaire à la validation du catalogue Gaia par comparaison avec des catalogues externes. Celle-ci gère toutes les interactions avec l'environnement global des validations et avec la base de données Gaia. Ensuite nous avons développé un ensemble de tests statistiques pour valider les données du premier catalogue Gaia (DR1). Ces tests concernent notamment l’homogénéité des données sur le ciel, la qualité des positions et de la photométrie de l'ensemble des étoiles de DR1 (plus d'un milliard d'étoiles, $V<20$) ainsi que celle des parallaxes et mouvements propres des étoiles de textit{Tycho-Gaia} Astrometric Solution (TGAS), environ deux millions d'étoiles communes aux catalogues Gaia et Tycho-2 ($V<12$). Ces tests statistiques sur la DR1 sont opérationnels et ont déjà été appliqués très récemment sur des données préliminaires. Cela a déjà permis d'améliorer ces données (donc la qualité du catalogue), et d'en caractériser les propriétés statistiques. Cette caractérisation est essentielle à une exploitation scientifique correcte des données. Le premier catalogue Gaia sera publié à la fin de l’été 2016. Parmi les objets observés par Gaia, il y a une population d'étoiles particulièrement intéressantes, les étoiles du Red Clump (RC), très utilisées comme étalons de distance. Nous avons développé et testé deux méthodes pour modéliser les relations couleur-couleur (CC) et température effective - couleur dans toutes les bandes photométriques, de l'ultraviolet au proche-infrarouge. Elles permettront de caractériser le RC dans la bande G de Gaia dès la publication du catalogue: 1. en utilisant des modèles théoriques, et 2. empiriquement, en se basant sur une méthode Monte Carlo Markov Chain (MCMC). Pour cela nous avons très rigoureusement sélectionné des échantillons d'étoiles avec une bonne qualité photométrique, une bonne métallicité, déterminée par spectroscopie, une température effective homogène et une faible extinction interstellaire. À partir de ces calibrations CC et température-couleur, nous avons ensuite développé une méthode par Maximum de Vraisemblance qui permet de déterminer les magnitudes absolues, les températures et les extinctions des étoiles du RC. Les couleurs et extinctions ainsi obtenues ont été testées sur des étoiles avec des températures effectives mesurées spectroscopiquement et une extinction déterminée par la mesure des Bandes Diffuses Interstellaires (DIB). Ces propriétés intrinsèques des étoiles du RC vont permettre de caractériser le Red Clump Gaia et de calibrer, dans la bande Gaia, la magnitude absolue de cet étalon de distance, premier échelon essentiel de la détermination des distances dans l'Univers. / The Gaia mission of the European Space Agency (ESA) aims to map our galaxy with an unprecedented astrometric precision. It is therefore very important that the data that will be published be rigorously validated to ensure an optimal quality in the Catalogue. These validations are done by one of the teams of the coordination unit CU9 of the Gaia DPAC Consortium (Data Processing and Analysis Consortium) commissioned by ESA of the Gaia catalogue production. As part of this thesis, we implemented all the necessary infrastructure to validate the Gaia catalogue by comparison with external catalogues. This last manages all the interactions with the global environment of validations and with the Gaia database. Then we developed a set of statistical tests to validate the data from the first Gaia catalogue (DR1). These tests relate in particular to the homogeneity of data on the sky, the quality of the positions and of photometry of all the stars of DR1 (more than a billion stars, $V <20$) as well as that of the parallaxes and proper motions for textit{Tycho-Gaia} Astrometric Solution (TGAS) stars, around two million stars in common in Gaia and Tycho-2 catalogues ($V <12$).These DR1 statistical tests are operational and were already applied very recently on preliminary data. This has improved the data (thus the quality of the catalog) as well as allowed to characterize the statistical properties. This characterisation is essential for a correct scientific exploitation of the data. The first Gaia catalogue will be released in late summer 2016.Among the objects that Gaia observes, there is a population of stars particularly interesting, the Red Clump (RC) stars, widely used for distance indicators. We developed and tested two methods to model the colour-colour (CC) and effective temperature - colour relations in all photometric bands, from the ultraviolet to the near infrared. They will allow us to characterize the RC in the Gaia G band upon publication of the catalogue: 1. using theoretical models, and 2. empirically, based on a Monte Carlo Markov Chain (MCMC) method. For this we have very carefully selected samples of stars with a good photometric quality, good metallicity determined by spectroscopy, an homogeneous effective temperature and a low interstellar extinction.From these CC and temperature-colour calibrations, we then developed a Maximum Likelihood method that allows to derive absolute magnitudes, temperatures and extinctions of the RC stars. Estimates of colours and extinctions are tested on stars with spectroscopically measured effective temperatures and an extinction determined by the measurement of Diffuse Interstellar Bands (DIB). These intrinsic properties of RC stars will allow to characterize the Gaia RC and calibrate, within the Gaia G band, the absolute magnitude of this standard candle, first essential step of determining distances in the Univers.

Les supernovae de Type Ia sont devenues un outil essentiel dans la cosmologie observationnelle moderne. En étudiant la relation distance-redshift d'un grand nombre de supernovae, la nature de l'énergie noire peut être contrainte. Les distances au SNe de Type Ia sont néanmoins affectées par l'effet de lentilles gravitationnelles qui pourrait induire des effets systématiques dans les mesures de cosmologie. La plupart des supernovae sont faiblement demagnifiées et une petite fraction sont magnifiées de manière importante du fait de la distribution de masse dans la ligne de visée. Ceci induit naturellement une dispersion supplementaire dans les magnitudes observées. Il existe 2 façons d'estimer l'amplification des SNe Ia. Une première méthode consiste à comparer la luminosité de la supernova, qui est mesuré avec une précision typique de 15% , à la moyenne des luminosités de SNe au même redshift. Une autre estimation peut être obtenue en prédisant l'amplification induit par la densité de matière en avant-plan modelée en se basant sur les mesures de la luminosité des galaxies avec un à priori initial sur la relation de masse-luminosité des galaxies. La corrélation entre ces 2 estimateurs permet d'accorder la relation de masse-luminosité utilisée initialement pour obtenir une mesure indépendante fondée sur la luminosité des SNe Ia. Bien évidemment, cette mesure nécessite dans un premier temps la détection de cette corrélation et cette thèse a été dédiée à la mesure de la corrélation dans l'échantillon de SNLS 3 ans. Les supernovae de Type Ia sont devenues un outil essentiel dans la cosmologie observationnelle moderne. En étudiant la relation distance-redshift d'un grand nombre de supernovae, la nature de l'énergie noire peut être contrainte. Les distances au SNe de Type Ia sont néanmoins affectées par l'effet de lentilles gravitationnelles qui pourrait induire des effets systématiques dans les mesures de cosmologie. La plupart des supernovae sont faiblement demagnifiées et une petite fraction sont magnifiées de manière importante du fait de la distribution de masse dans la ligne de visée. Ceci induit naturellement une dispersion supplementaire dans les magnitudes observées. Il existe 2 façons d'estimer l'amplification des SNe Ia. Une première méthode consiste à comparer la luminosité de la supernova, qui est mesuré avec une précision typique de 15% , à la moyenne des luminosités de SNe au même redshift. Une autre estimation peut être obtenue en prédisant l'amplification induit par la densité de matière en avant-plan modelée en se basant sur les mesures de la luminosité des galaxies avec un à priori initial sur la relation de masse-luminosité des galaxies. La corrélation entre ces 2 estimateurs permet d'accorder la relation de masse-luminosité utilisée initialement pour obtenir une mesure indépendante fondée sur la luminosité des SNe Ia. Bien évidemment, cette mesure nécessite dans un premier temps la détection de cette corrélation et cette thèse a été dédiée à la mesure de la corrélation dans l'échantillon de SNLS 3 ans.

Comprendre, analyser et modéliser l'environment 3D à partir d'images provenant de caméras et d'appareils photos est l'un des défis majeurs actuel de recherche en vision par ordinateur. Cette thèse s'interesse à plusieurs aspects géométriques et photometriques liés à la reconstruction de surface à partir de plusieurs caméras calibrées. La reconstruction 3D est vue comme un problème de rendu inverse, et vise à minimiser une fonctionnelle d'énergie afin d'optimiser un maillage triangulaire représentant la surface à reconstruire. L'énergie est définie via un modèle génératif faisant naturellement apparaître des attributs tels que la visibilité ou la photométrie. Ainsi, l'approche présentée peut indifférement s'adapter à divers cas d'application tels que la stéréovision multi-vues, la stéréo photométrique multi-vues ou encore le "shape from shading" multi-vues. Plusieurs approches sont proposées afin de résoudre les problèmes de correspondances de l'apparence pour des scènes non Lambertiennes, dont l'apparence varie en fonction du point de vue. La segmentation, la stéréo photométrique ou encore la réciprocité d'Helmholtz sont des éléments étudiés afin de contraindre la reconstruction. L'exploitation de ces contraintes dans le cadre de reconstruction multi-vues permet de reconstruire des modèles complets 3D avec une meilleure qualité.

Cette thèse traite du problème de segmentation sémantique d'une séquence d'images calibrées acquises dans un environnement urbain. Ce problème consiste, plus précisément, à partitionner chaque image en régions représentant les objets de la scène (façades, routes, etc.). Ainsi, à chaque région est associée une étiquette sémantique. Dans notre approche, l'étiquetage s'opère via des primitives visuelles de niveau intermédiaire appelés super-pixels, lesquels regroupent des pixels similaires au sens de différents critères proposés dans la littérature, qu'ils soient photométriques (s'appuyant sur les couleurs) ou géométriques (limitant la taille des super-pixels formés). Contrairement à l'état de l'art, où les travaux récents traitant le même problème s'appuient en entrée sur une sur-segmentation initiale sans la remettre en cause, notre idée est de proposer, dans un contexte multi-vues, une nouvelle approche de constructeur de superpixels s'appuyant sur une analyse tridimensionnelle de la scène et, en particulier, de ses structures planes. Pour construire de «meilleurs» superpixels, une mesure de planéité locale, qui quantifie à quel point la zone traitée de l'image correspond à une surface plane de la scène, est introduite. Cette mesure est évaluée à partir d'une rectification homographique entre deux images proches, induites par un plan candidat au support des points 3D associés à la zone traitée. Nous analysons l'apport de la mesure UQI (Universal Quality Image) et montrons qu'elle se compare favorablement aux autres métriques qui ont le potentiel de détecter des structures planes. On introduit ensuite un nouvel algorithme de construction de super-pixels, fondé sur l'algorithme SLIC (Simple Linear Iterative Clustering) dont le principe est de regrouper les plus proches voisins au sens d'une distance fusionnant similarités en couleur et en distance, et qui intègre cette mesure de planéité. Ainsi la sur-segmentation obtenue, couplée à la cohérence interimages provenant de la validation de la contrainte de planéité locale de la scène, permet d'attribuer une étiquette à chaque entité et d'obtenir ainsi une segmentation sémantique qui partitionne l'image en objets plans. / This thesis deals with the semantic segmentation problem of a calibrated sequence of images acquired in an urban environment. The problem is, specifically, to partition each image into regions representing the objects in the scene such as facades, roads, etc. Thus, each region is associated with a semantic tag. In our approach, the labelling is done through mid-level visual features called super-pixels, which are groups of similar pixels within the meaning of some criteria proposed in research such as photometric criteria (based on colour) or geometrical criteria thus limiting the size of super-pixel formed. Unlike the state of the art, where recent work addressing the same problem are based on an initial over-segmentation input without calling it into question, our idea is to offer, in a multi-view environment, another super-pixel constructor approach based on a three-dimensional scene analysis and, in particular, an analysis of its planar structures. In order to construct "better" super-pixels, a local flatness measure is introduced which quantifies at which point the zone of the image in question corresponds to a planar surface of the scene. This measure is assessed from the homographic correction between two close images, induced by a candidate plan as support to the 3D points associated with the area concerned. We analyze the contribution of the UQI measure (Universal Image Quality) and demonstrate that it compares favorably with other metrics which have the potential to detect planar structures. Subsequently we introduce a new superpixel construction algorithm based on the SLIC (Simple Linear Iterative Clustering) algorithm whose principle is to group the nearest neighbors in terms of a distance merging similarities in colour and distance, and which includes this local planarity measure. Hence the over-segmentation obtained, coupled with the inter-image coherence as a result of the validation of the local flatness constraint related to the scene, allows assigning a label to each entity and obtaining in this way a semantic segmentation which divides the image into planar objects.

Cette thèse traite de l’utilisation de la couleur en vision par ordinateur. Deux problèmes sont étudiés : - l’estimation d’illuminants, - la mise en correspondance de descripteurs locaux pour la comparaison d’images couleur. Les surfaces achromatiques renvoient un spectre lumineux ayant la même distribution fréquentielle que le spectre de l’illuminant. Les détecter permet donc de recouvrer l'illuminant. En supposant que l’ensemble des couleurs que peut prendre un illuminant est limité (équation de Planck), il est possible de sélectionner les pixels appartenant à une surface potentiellement grise. Une méthode de vote est alors appliquée, permettant de sélectionner un ou plusieurs illuminants. L’algorithme final possède de nombreux avantages : il est efficace, intuitif, ne nécessite pas de phase d’apprentissage et requiert peu de paramètres, qui s’avèrent stables. De plus, la méthode de vote permet de s’adapter aux cas où plusieurs sources lumineuses éclairent la scène photographiée. Les descripteurs locaux sont des outils puissants pour comparer les images. Cependant, le rôle de la couleur dans l’étape d’appariement a fait l’objet de peu d’études. Le problème principal que nous considérons ici est celui de l’apport de la couleur pour l’appariement de descripteurs locaux. Un usage local de la couleur permet-il de désambiguïser les situations où la luminance seule est insuffisante ? Et si oui, dans quelles proportions ? Nous proposons quatre descripteurs permettant de décrire de manière détaillée le contexte local de points clés dans l’optique de les apparier. Les expériences proposées montrent clairement l’apport de la couleur pour la mise en correspondance locale. / This thesis addresses the use of color in image processing and computer vision. Two problems are studied: - illuminant estimation, - local descriptors matching for color images comparison. Achromatic surfaces are defined as surfaces reflecting a spectrum with the same frequency dsitribution than the illuminant. Consequently, revovering these surfaces allows to estimate the illuminant. Assuming that the range of colors taken by an illuminant is limited (Planck equation), it is possible to select the pixels belonging to a potentially gray surface. A voting procedure is then applied to select one or more illuminants. The proposed algorithm has many advantages: it is effective, intuitive, does not rely on a learning phase and requires only few parameters. In addition, the voting procedure can be adapted to handle cases where multiple light sources of different colors illuminate the scene. Local descriptors are powerful tools to compare images. However, few studies concern the influence of color in the matching step. The main problem that we consider here is the contribution of the color matching of local descriptors. Does the local use of color allow to disambiguate situations where the luminance alone is insufficient ? And if so, how much? We propose four descriptors to precisely describe the local context of key points in the matching step. The main idea developed here is that accurate information can only be obtained by describing both the color distributions and transitions between colors. The many experiences presented clearly show the positive contribution of color to the reliability of the local matching.

Ce mémoire présente une analyse comparative des paramètres atmosphériques obtenus à l’aide des techniques photométrique et spectroscopique. Pour y parvenir, les données photométriques et spectroscopiques de 1375 naines blanches de type DA tirées du Sloan Digital Sky Survey (SDSS) ainsi que les données spectroscopiques du Villanova White Dwarf Catalog ont été utilisées. Il a d’abord fallu s’assurer que les données photométriques et spectroscopiques étaient bien calibrées. L’analyse photométrique a démontré que la photométrie ugriz ne semblait pas avoir de problème de calibration autre que le décalage des points zéro, qui est compensé en appliquant les corrections photométriques appropriées. De plus, le fait que le filtre u laisse passer le flux à certaines longueurs d’onde dans le rouge ne semble pas affecter la détermination des paramètres atmosphériques. L’analyse spectroscopique a ensuite confirmé que l’application de fonctions de correction permettant de tenir compte des effets hydrodynamiques 3D est la solution au problème de log g élevés. La comparaison des informations tirées des données spectroscopiques des deux différentes sources suggère que la calibration des spectres du SDSS n’est toujours pas au point. Les paramètres atmosphériques déterminés à l’aide des deux techniques ont ensuite été comparés et les températures photométriques sont systématiquement plus faibles que celles obtenues à partir des données spectroscopiques. Cet effet systématique pourrait être causé par les profils de raies utilisés dans les modèles d’atmosphère. Une méthode permettant d’obtenir une estimation de la gravité de surface d’une naine blanche à partir de sa photométrie a aussi été développée. / We present a comparative analysis of atmospheric parameters obtained with the so-called photometric and spectroscopic techniques. Photometric and spectroscopic data for 1375 DA white dwarfs from the Sloan Digital Sky survey (SDSS) are used, as well as spectroscopic data from the Villanova White Dwarf Catalog. We first test the calibration of the ugriz photometric system by using model atmosphere fits to observed data. Our photometric analysis indicates that the ugriz photometry appears well calibrated when the SDSS standard photometric corrections are applied. We also show that the reported red leak of the u filter does not affect the results of the photometric analysis. The spectroscopic analysis of the same data set reveals that the so-called high log g problem can be solved by applying published correction functions that take into account 3D hydrodynamical effects. However, a comparison between the SDSS and the White Dwarf Catalog spectroscopic data also suggests that the SDSS spectra still suffer from a small calibration problem. We then compare the atmospheric parameters obtained from both fitting techniques and show that the photometric temperatures are systematically lower than those obtained from spectroscopic data. This systematic offset may be linked to the hydrogen line profiles used in the model atmospheres. We finally explore the results of a technique aimed at measuring surface gravities using photometric data only.

Comprendre, analyser et modéliser l'environment 3D à partir d'images provenant de caméras et d'appareils photos est l'un des défis majeurs actuel de recherche en vision par ordinateur. Cette thèse s'interesse à plusieurs aspects géométriques et photometriques liés à la reconstruction de surface à partir de plusieurs caméras calibrées. La reconstruction 3D est vue comme un problème de rendu inverse, et vise à minimiser une fonctionnelle d'énergie afin d'optimiser un maillage triangulaire représentant la surface à reconstruire. L'énergie est définie via un modèle génératif faisant naturellement apparaître des attributs tels que la visibilité ou la photométrie. Ainsi, l'approche présentée peut indifférement s'adapter à divers cas d'application tels que la stéréovision multi-vues, la stéréo photométrique multi-vues ou encore le "shape from shading" multi-vues. Plusieurs approches sont proposées afin de résoudre les problèmes de correspondances de l'apparence pour des scènes non Lambertiennes, dont l'apparence varie en fonction du point de vue. La segmentation, la stéréo photométrique ou encore la réciprocité d'Helmholtz sont des éléments étudiés afin de contraindre la reconstruction. L'exploitation de ces contraintes dans le cadre de reconstruction multi-vues permet de reconstruire des modèles complets 3D avec une meilleure qualité.

La reconstruction de surfaces tridimensionnelles à partir de plusieurs caméras calibrées peut s'entrevoir sous plusieurs aspects, en particulier, sous des aspects géométriques ou photométriques. Les images contiennent un grand nombre d'informations dont la correspondance, l'ombrage et les contours. En reconstruction 3D multi-vues, toutes ces informations n'ont cependant été que très partiellement fusionnées. Pourtant en exploitant simultanément le maximum d'information disponible, nous devrions intuitivement obtenir de meilleurs résultats et des algorithmes plus robustes. Par ailleurs, nous avons aussi régulièrement des connaissances a priori sur la scène ; connaissances qu'il est possible d'exploiter, par exemple en les insérant sous la forme de contraintes. Arriver à trouver un cadre rigoureux permettant de mêler et exploiter naturellement et simultanément toutes ces informations pour les problèmes de reconstruction 3D multi-vues serait donc particulièrement pertinent. Pour avancer dans cet objectif, il est nécessaire de se replonger et de travailler la modélisation. Dans ce manuscrit, je présente les travaux que j'ai menés dans ce domaine autour de toutes ces questions. Ce manuscrit est aussi l'occasion pour moi de présenter les objectifs et activités de l'équipe de recherche STEEP que je anime et coordonne depuis sa création en 2010.

L'étalonnage photométrique des imageurs grand champ est à ce jour la principale limitation pour plusieurs mesures de cosmologie, parmi lesquelles celle des paramètres cosmologiques à l'aide des supernovae de type Ia. Afin d'obtenir l'exactitude de l'ordre de 0.1% nécessaire pour les relevés futurs, les collaborations actives dans ce domaine explorent la possibilité de nouvelles techniques de calibration à l'aide d'instruments dédié comme alternative à celle traditionnelle à l'aide d'étoiles standard spectrophotométriques. Le groupe du LPNHE a conçu SNDice, un système d'illumination innovant et très stable qui a été installé dans la dôme du télescope Canada-France-Hawaii pour calibrer l'imageur MegaCam et en suivre les performances. Le but est de démontrer la faisabilité d'une calibration instrumentale absolue exacte à 0.1% ou mieux. Dans la première partie de la thèse, un bref aperçu du modèle standard de la cosmologie et des principales sondes étudiées pour en contraindre les paramètres est suivi par la description de MegaCam et SNDice. La seconde partie s'attache à présenter la construction d'un modèle optique de MegaCam et d'une modélisation géométrique permettant de connaître les attitudes de MegaCam et SNDice dans le dôme. Ces deux modèles ont été implémentés dans un logiciel traceur de rayons, créé à l'aide des librairies ROOT, de façon à simuler l'éclairement du plan focal. Cette simulation permet de distinguer l'illumination directe des contributions dues aux réflexions issues des surfaces du correcteur grand champ. Enfin, est présentée l'application de ces outils pour la première analyse des poses de calibration SNDice: la détermination de la bande passante rM de MegaCam.

Cette thèse développe de nouvelles approches pour l'effacement et la révélation de la présence humaine en utilisant des techniques de réalité augmentée. Elle se concentre sur les systèmes projecteur-caméra (ProCams) et leur application dans les «projections intelligentes», où le contenu virtuel projeté est adapté en fonction de l'environnement. Nous nous appuyons sur les travaux antérieurs sur la compensation photométrique pour projeter sur une surface colorée fixe qui permet au spectateur d'observer la même image telle qu'elle apparaîtrait sur une surface blanche. Malgré les différentes méthodes de compensation des couleurs qui ont été proposées au cours de décennie, la compensation appliquée à monde réel avec des couleurs saturées et vives est encore une question ouverte. L'objectif principal de ce travail est la compensation photométrique sur un objet 3D en mouvement en utilisant un ProCam, ce qui est un scénario considérablement plus difficile. Une nouvelle méthode pour la compensation de couleur à l'aide d'une image d'entrée unique est proposée. Elle consiste à estimer la réflectance spectrale de la surface afin de compenser celle-ci en supposant que les réponses du projecteur sont connues ou mesurées précédemment. Cette méthode a été entièrement développée sur GPU pour permettre une compensation en temps réel. Les méthodes antérieures sur la compensation couleur sont discutées et comparées afin d'évaluer la performance de notre technique. L'étalonnage photométrique et géométrique précis d'un ProCam est essentiel pour une compensation précise. Une nouvelle technique de calibration géométrique entre un capteur de profondeur et un ProCam est présentée dans le but de réaliser la projection sur un objet en mouvement. Une calibration photométrique est décrite pour la transformation des valeurs RGB de la caméra et du projecteur (dépendantes du périphérique) vers l'espace couleur CIE XYZ 1931 (indépendantes du périphérique). Le potentiel artistique des techniques de réalité augmentée proposées est en outre exploré à travers l'installation interactive artistique “Gardien du Temple”. La révélation et l'effacement ont toujours été un terrain d'expérimentation commun aux artistes et aux scientifiques. Cette installation audiovisuelle utilise la réalité augmentée pour effacer la présence d'un poème écrit sur un tapis invitant le spectateur à le révéler. Dans de telles applications, la précision et la robustesse des méthodes utilisées sont cruciales. Cette installation artistique a donc permis de tester et d'évaluer les travaux de cette thèse dans un contexte collaboratif et exigeant. / This thesis develops new approaches for human presence concealment and revelation using augmented reality techniques. It focuses on projector-camera systems (ProCams) and their application in “smart projections”, where the projected virtual content is adapted according to the environment. One previously-studied problem is the photometric compensation for projecting on a colored fixed surface that allows the viewer to observe the same image as it would appear on a white surface. Despite the various methods for color compensation that have been proposed the last decade, compensation on a real-world surface with saturated colors and sharp color boundaries is still an open issue. The main objective of this work is the color compensation on a moving 3D object using a ProCam, which is a dramatically more challenging scenario. A novel method for color compensation using a single input frame is proposed. It consists in estimating the spectral reflectance of the surface in order to compensate for it under the assumption that the projector responses are known or previously measured. This method was fully developed on GPU to enable real-time compensation. Previous methods on color compensation are discussed and compared in order to evaluate the performance of our technique. The accurate photometric and geometric calibration of a ProCam is essential for precise compensation. A new geometric calibration technique between a depth sensor and a ProCam is presented in order to make the projection on a moving object feasible. A photometric calibration is described for the transformation of the device-dependent camera and projector values to the device-independent CIE XYZ 1931 color space. The artistic potential of the proposed augmented reality techniques is further explored through the interactive art installation “Gardien du Temple”. Revelation and concealment has always been a common experimentation ground for both artists and scientists. This audio visual installation uses augmented reality to hide the presence of a written poem on a carpet inviting the spectator to reveal it. In such applications, the accuracy and robust performance of the methods employed is crucial and, thus, it offered a challenging ground for testing and evaluation.