Les travaux effectués au cours de cette thèse concernent le développement d’un instrument à faible coût et porté sur la personne permettant le suivi quantitatif des paramètres physiologiques de la peau in vivo et de manière non invasive. L’instrument est fondé sur la technique de Spectroscopie de Réflectance Diffuse résolue spatialement (srDRS). Cette technique fournit une quantification absolue des propriétés optiques endogènes d’absorption et de diffusion du tissu sondé et possède un potentiel pour la caractérisation de ces propriétés en couches de la peau.Afin de maximiser ce potentiel, notre approche repose sur l’utilisation d’un capteur matriciel placé en contact avec le tissu et permettant l’imagerie de réflectance diffuse à haute résolution spatiale. Les travaux présentés ici comprennent la spécification et la validation d’une architecture innovante permettant la mise en œuvre de l’approche proposée, l’implémentation d’un système porté sur la personne et bas coût basé sur cette architecture et l’évaluation des performances de ce système au travers d’expérimentations à la fois sur fantômes de peau et in vivo. Les résultats obtenus valident le potentiel de l’instrument développé pour le suivi quantitatif et non-invasif des propriétés de la peau. L’approche proposée est prometteuse pour l’analyse de milieux en couches tels que la peau et ouvre la voie au développement d’une nouvelle génération d’instruments portés sur la personne et bas coûts pour le suivi en continu des propriétés optiques des tissus. / This work presents the development of a low-cost, wearable instrument for quantitative monitoring of skin physiological parameters toward non-invasive diagnostics in vivo. The instrument is based on the spatially resolved Diffuse Reflectance Spectroscopy (srDRS) technique, which provides absolute quantification of absorption and scattering endogenous properties of the probed tissue volume with a potential to discriminate between properties of individual skin layers. In the developed instrument, this potential is maximized by the use of a multi-pixel image sensor to perform contact, high resolution imaging of the diffuse reflectance. This study comprises the specification and validation of a novel srDRS system architecture based on the proposed approach, the implementation of this architecture into a low-cost, wearable device and the evaluation of the device performance both on tissue-simulating phantoms and in vivo. Results validate the potential of the instrument for the non-invasive, quantitative monitoring of tissue properties. The described approach is promising for addressing the analysis of layered tissue suchas skin and paves the way for the development of low-cost, wearable devices for continuous, passive monitoring of tissue optical properties.

Le rééclairage d'objets réels à partir d'images est un problème difficile à traiter car il implique l'estimation d'un nombre important de paramètres. Néanmoins le rééclairage de tels objets est indispensable pour une intégration de manière réaliste dans un environnement comportant des conditions d'illumination différentes de celles présentes lors de l'acquisition. Le travail proposé dans ce mémoire décrit une méthodologie de reconstruction automatique de toute la chaîne d'analyse : il couvre tous les aspects allant de la reconstruction géométrique à l'estimation de la réflectance de la surface en passant par la détection de sources lumineuses. Les seules données nécessaires à l'application de cette méthode sont de multiples points de vue de l'objet acquis sous des conditions d'illumination fixes et les paramètres de la caméra. Aucun objet additionnel n'est présent sur les images et la surface de l'objet basé-image peut être diffuse, spéculaire et/ou texturée. Nous avons mis en place un système d'acquisition robuste constitué d'un appareil photographique grand marché et d'un plateau tournant. Notre modèle géométrique reconstruit permet de passer d'un modèle discret à un modèle triangulé sans perte d'information topologique (propriétés de fermeture et nombre de composantes connexes conservés). De multiples sources ponctuelles et directionnelles sont détectées et la réflectance des objets est estimée sur chaque maille par un modèle de BRDF paramétrique. Nous utilisons les données reconstruites pour visualiser les objets avec de nouvelles conditions d'illumination. La version actuelle permet de générer de nouvelles images en quelques secondes avec une méthode de lancer de rayons.

Les nouvelles réglementations concernant les usages de produits phytosanitaires et la prise en compte de l'environnement (pollution, biodiversité) en agriculture ont conduit à la mise au point de méthodes d'identification de plantes (culture et adventices) par une gestion spécifique des adventices par imagerie. Afin de disposer d'un outil performant permettant l'évaluation de ces méthodes d'identification reposant sur une analyse spatiale de la scène photographiée, un modèle de simulation de scènes agronomiques a été mis au point. Prenant en considération certaines caractéristiques agronomiques d'une parcelle cultivée, ce modèle permet de simuler une vérité terrain dont les paramètres - la spatialisation de la culture, le taux d'infestation, la distribution des adventices - sont contrôlés. La scène agronomique ainsi créée subit ensuite une transformation projective afin de simuler la prise de photographie et, ainsi, de prendre en compte tous les paramètres nécessaire à la création d'une image. Ce modèle a ensuite été validé à l'aide de comparaison statistique avec des données réelles. De nouveaux algorithmes spatiaux basés sur la Transformée de Hough et utilisant l'alignement en rang de la culture ont également été développés. Trois méthodes basées sur une analyse en composante connexe, une estimation de contours et une méthode probabiliste ont été mises en œuvre et exhaustivement évaluées à l'aide du modèle développé. Les résultats obtenus sont de très bonne qualité avec une classification correcte de la culture et des adventices supérieure à 90% et pouvant atteindre 98% dans certains cas. Enfin, pour ce modèle, une approche spectrale a également été explorée afin de dépasser les limitations imposées par les méthodes spatiales. Une extension 3D a été apportée à ce modèle afin de permettre la simulation de la réflectance bidirectionnelle (BRDF) des plantes et du sol à l'aide des modèles PROSPECT et SOILSPECT. La transformation d'une information spectrale en une information couleur RGB, la prise en compte de filtres optiques ou la création de données multispectrales sont également discutées.

En télédétection optique, les modèles de transfert radiatif (T-R) ont pour but de simuler la mesure radiométrique des capteurs spatiaux qui observent le système "Terre - Atmosphère". La modélisation des mesures de couverts végétaux est en général limitée au niveau de la représentation du paysage et du T-R associé. Cette thèse a permis de transformer le modèle 3-D de T-R DART (brevet : PCT/FR 02/01181) en un modèle multispectral simulant les images de télédétection optique (thermique inclus) de tout paysage urbain et naturel, avec relief et atmosphère, pour tout capteur spatial/aéroporté. Ce nouveau modèle a été validé par comparaison avec d'autres modèles (expérience RAMI-3, Centre Commun de Recherche, Italie) et avec des mesures in situ et aéroportées (République Tchèque). In fine, une méthode d'inversion a été développée. Elle a permis d'utiliser DART pour évaluer l'impact de la modélisation sur l'extraction du LAI d'une forêt de conifères avec des images hyperspectrales THR.

La couleur est un critère important dans de nombreux secteurs d'activité pour identifier, comparer ou encore contrôler la qualité de produits. Cette tâche est souvent assumée par un opérateur humain qui effectue un contrôle visuel. Malheureusement la subjectivité de celui-ci rend ces contrôles peu fiables ou répétables. Pour contourner ces limitations, l'utilisation d'une caméra RGB permet d'acquérir et d'extraire des propriétés photométriques. Cette solution est facile à mettre en place et offre une rapidité de contrôle. Cependant, elle est sensible au phénomène de métamérisme. La mesure de réflectance spectrale est alors la solution la plus appropriée pour s'assurer de la conformité colorimétrique entre des échantillons et une référence. Ainsi dans l'imprimerie, des spectrophotomètres sont utilisés pour mesurer des patchs uniformes imprimés sur une bande latérale. Pour contrôler l'ensemble d'une surface imprimée, des caméras multi-spectrales sont utilisées pour estimer la réflectance de chaque pixel. Cependant, elles sont couteuses comparées aux caméras conventionnelles. Dans ces travaux de recherche, nous étudions l'utilisation d'une caméra RGB pour l'estimation de la réflectance dans le cadre de l'imprimerie. Nous proposons une description spectrale complète de la chaîne de reproduction pour réduire le nombre de mesures dans les phases d'apprentissage et pour compenser les limitations de l'acquisition. Notre première contribution concerne la prise en compte des limitations colorimétriques lors de la caractérisation spectrale d'une caméra. La deuxième contribution est l'exploitation du modèle spectrale de l'imprimante dans les méthodes d'estimation de réflectance. / Color is a major criterion for many sectors to identify, to compare or simply to control the quality of products. This task is generally assumed by a human operator who performs a visual inspection. Unfortunately, this method is unreliable and not repeatable due to the subjectivity of the operator. To avoid these limitations, a RGB camera can be used to capture and extract the photometric properties. This method is simple to deploy and permits a high speed control. However, it's very sensitive to the metamerism effects. Therefore, the reflectance measurement is the more reliable solution to ensure the conformity between samples and a reference. Thus in printing industry, spectrophotometers are used to measure uniform color patches printed on a lateral band. For a control of the entire printed surface, multispectral cameras are used to estimate the reflectance of each pixel. However, they are very expensive compared to conventional cameras. In this thesis, we study the use of an RGB camera for the spectral reflectance estimation in the context of printing. We propose a complete spectral description of the reproduction chain to reduce the number of measurements in the training stages and to compensate for the acquisition limitations. Our first main contribution concerns the consideration of the colorimetric limitations in the spectral characterization of a camera. The second main contribution is the exploitation of the spectral printer model in the reflectance estimation methods.

Mon travail de thèse s’est développé, pour le cas particulier des observations satellitales à partir de l’orbite géostationnaire. Le but général a été de caractériser la variabilité diurne des propriétés optiques inhérentes (i.e. les coefficients d‘atténuation et de rétrodiffusion particulaire, cp et bbp) et apparentes (i.e. la réflectance, R) des eaux océaniques (« forme » du cycle diurne, amplitude, variations saisonnières, causes). Ces propriétés optiques déterminent le signal qu’un instrument embarqué à bord d’un satellite peut observer. Cette étude est une étape préliminaire permettant de comprendre la physique du problème, avant de pouvoir évaluer la possibilité de quantifier cette variabilité diurne à partir des observations satellitaires. La variabilité diurne de cp et bbp est donc étudiée en fonction des saisons définies selon les conditions physico-trophiques: le mélange, le bloom, son déclin, et l’oligotrophie. cp et bbp sont caractérisés par un cycle diurne, augmentation le jour et diminution la nuit, confirmant les tendances générales connues. Ce phénomène se produit durant toutes les saisons avec une variabilité intra-saisonnière qui différencie les cycles de cp et bbp: cp montre une amplitude plus large durant le bloom, contrairement à bbp les minima de cp et bbp sont synchronisés tandis que les maxima de bbp sont atteints 3 à 6 h avant ceux de cp, sauf pendant le bloom. L’augmentation journalière de bbp se reflète dans les changements de R. Toutefois, les résultats ont montré que l’inversion ne permet pas de reproduire l’augmentation journalière de bbp de façon satisfaisante. Les techniques d’inversion existantes ne sont pas adaptées pour une utilisation à haute fréquence. / My thesis is developed for the particular case of satellites observations from geostationary orbit. The overall aim was to characterize the diel variability of water inherent (i.e. the particulate beam attenuation and backscattering coefficients, cp and bbp) and apparent (i.e. reflectance, R) optical properties (“shape”of diel cycle, amplitude, seasonal variations, origins). These properties determine the signal which is observed from sensor aboard satellite. This study is a preliminary step in understanding the physical problem, before assessing the possibility of quantifying the diel variability from satellite observations. Diel variability of cp and bbp is studied by season, as defined by physical and trophic conditions: mixing, bloom proliferation, its decline, and oligotrophy. Both cp and bbp are characterized by a diel cycle of daytime increase and nighttime decrease, confirming known general trends. This occurs across all seasons, but intra-seasonal variability differed between cp and bbp cycles: unlike bbp, cp show larger amplitude of diurnal variation during the bloom cp and bbp minima are synchronized while bbp minima are attained 3-6 h before those of cp, except during the bloom. Daily changes of R are consistent with the variations of bbp. Nevertheless, it is still difficult to reproduce the diurnal increase of bbp by inversion of R. The differences observed between in situ and modeled values of bbp suggest that the performance of inversion is degraded when it is used at high frequency.

Alors que le rendu réaliste gagne de l’ampleur dans l’industrie, les techniques à la fois photoréalistes et basées sur la physique, complexes en terme de temps de calcul, requièrent souvent une étape de précalcul hors-ligne. Les applications en temps réel, comme les jeux vidéo et la réalité virtuelle, se basent sur des techniques d’approximation et de précalcul pour atteindre des résultats réalistes. L’objectif de ce mémoire est l’investigation de différentes paramétrisations animées pour concevoir une technique d’approximation de rendu réaliste en temps réel. Notre investigation se concentre sur le rendu d’effets visuels appliqués à des personnages animés par modèle d’armature squelettique. Des paramétrisations combinant des données de mouvement et d’apparence nous permettent l’extraction de paramètres pour le processus en temps réel. Établir une dépendance linéaire entre le mouvement et l’apparence est ainsi au coeur de notre méthode. Nous nous concentrons sur l’occultation ambiante, où la simulation de l’occultation est causée par des objets à proximité bloquant la lumière environnante, jugée uniforme. L’occultation ambiante est une technique indépendante du point de vue, et elle est désormais essentielle pour le réalisme en temps réel. Nous examinons plusieurs paramétrisations qui traitent l’espace du maillage en fonction de l’information d’animation par squelette et/ou du maillage géométrique. Nous sommes capables d’approximer la réalité pour l’occultation ambiante avec une faible erreur. Notre technique pourrait également être étendue à d’autres effets visuels tels le rendu de la peau humaine (diffusion sous-surface), les changements de couleur dépendant du point de vue, les déformations musculaires, la fourrure ou encore les vêtements. / While realistic rendering gains more popularity in industry, photorealistic and physically- based techniques often necessitate offline processing due to their computational complexity. Real-time applications, such as video games and virtual reality, rely mostly on approximation and precomputation techniques to achieve realistic results. The objective of this thesis is to investigate different animated parameterizations in order to devise a technique that can approximate realistic rendering results in real time. Our investigation focuses on rendering visual effects applied to skinned skeletonbased characters. Combined parameterizations of motion and appearance data are used to extract parameters that can be used in a real-time approximation. Trying to establish a linear dependency between motion and appearance is the basis of our method. We focus on ambient occlusion, a simulation of shadowing caused by objects that block ambient light. Ambient occlusion is a view-independent technique important for realism. We consider different parameterization techniques that treat the mesh space depending on skeletal animation information and/or mesh geometry. We are able to approximate ground-truth ambient occlusion with low error. Our technique can also be extended to different visual effects, such as rendering human skin (subsurface scattering), changes in color due to the view orientation, deformation of muscles, fur, or clothes

L'objectif de cette thèse concerne l'association de deux techniques de mesure dans le cadre de la caractérisation in vivo de la peau. La première, nommée Spectroscopie de Réflectance Diffuse (DRS), permet la caractérisation des paramètres optiques de la peau analysée et quantifie les phénomènes d'absorption et de diffusion de la lumière. La deuxième est la microspectroscopie Raman. Elle fournit une identification chimique des composés analysés sans marquage. L'objet de cette thèse est d'évaluer l'effet de l'interaction lumière-matière sur les capacités de localisation et de quantification de la microspectroscopie Raman, lesquelles sont dégradées dans un milieu diffusant tel que la peau. Une approche in vivo bimodale (DRS et Raman) est proposée pour la caractérisation biochimique quantitative des tissus cutanés avec l'idée d'établir un protocole de correction des spectres Raman acquis, en exploitant les propriétés optiques fournies par la DRS. Elle est décomposée en trois axes de travail complémentaires : le développement d'une instrumentation DRS permettant la mesure des spectres de réflectance diffuse et le calcul des propriétés optiques dans la zone sondée par la spectroscopie Raman ; le développement de fantômes optiques permettant une compréhension expérimentale des phénomènes d'absorption, de diffusion élastique et de diffusion Raman; le développement d'un protocole de correction des spectres Raman à partir des propriétés optiques obtenues par DRS. / This thesis relates to the combination of two in vivo skin characterization techniques. On the one hand, Diffuse Reflectance Spectroscopy (DRS) enables skin optical properties characterization by quantifying light absorption and light elastic scattering. On the other hand, Raman microspectroscopy provides information on molecular compositions of tissues with no need of labeling. Localization and quantification functions of Raman microspectroscopy are both distorted in scattering media such as skin. Therefore, the aim of this thesis was to assess the effect of light-matter interactions on these functions. A bimodal method is proposed to achieve quantitative biochemical characterization of cutaneous tissues in vivo. The main idea is to develop a procedure of Raman spectra correction based on the quantified optical properties provided by DRS. This work was divided in three complementary approaches: the development of a system enabling diffuse reflectance and optical properties measurements in the same zone as Raman microspectroscopy; the fabrication of optical phantoms improving our knowledge on absorption, elastic scattering and Raman scattering phenomena; and the development of a Raman spectra correction model as function of the skin optical properties given by DRS measurements.

L'objectif principale de la Réalité Mixte (RM) est de donner aux utilisateurs l'illusion que les objets virtuels et réels coexistent indistinctement dans le même espace. Une illusion efficace nécessite un recalage précis entre les deux mondes. Ce recalage doit être cohérent du point de vue géométrique et photométrique. Dans cette thèse, nous proposons de nouvelles méthodes de recalage photométrique pour estimer l'illumination et la réflectance de scènes réelles. Plus précisément, nous proposons des approches en nous attaquant à trois grands défis : (1) utilisation d'une seule caméra RGB-D. (2) estimation des propriétés de réflectance diffuse et spéculaire. (3) estimation de la position 3D et de la couleur de sources lumineuses dynamiques multiples. Dans notre première contribution, nous considérons des scènes réelles d’intérieurs où la géométrie et l'éclairage sont statiques. En observant la scène à partir d’une caméra mobile, des réflexions spéculaires peuvent être détectées tout au long de la séquence d'images RGB-D. Ces indices visuels sont très instructifs sur l'éclairage et la réflectance des surfaces des scènes. Par conséquent, nous les modélisons pour estimer à la fois les propriétés de réflectance diffuse et spéculaire ainsi que la position 3D de sources lumineuses multiples. Notre algorithme permet d'obtenir des résultats de RM convaincants tels que des ombres virtuelles réalistes ainsi qu'une suppression correcte de la spécularité réelle. Les ombres sont omniprésentes et représentent l’occultation de la lumière par la géométrie existante. Elles représentent donc des indices intéressants pour reconstituer les propriétés photométriques de la scène. La présence de texture dans ce contexte est un scénario critique. En effet, la séparation de la texture et des effets d'éclairage est souvent gérée par des approches qui nécessitent l’intervention de l'utilisateur ou qui ne répondent pas aux exigences du temps de traitement de la réalité mixte. Nous abordons ces limitations et proposons une méthode d'estimation de la position et de l'intensité des sources lumineuses. L'approche proposée gère les lumières dynamiques et fonctionne en temps quasi-réel. L'existence d'une source lumineuse est plus probable si elle est soutenue par plus d'un indice visuel. Nous abordons donc le problème de l'estimation des propriétés d’éclairage et de réflectance en analysant conjointement les réflexions spéculaires et les ombres projetées. L'approche proposée tire parti de l'information apportée par les deux indices pour traiter une grande variété de scènes. Notre approche est capable de traiter n'importe quelle surface texturée et tient compte à la fois des sources lumineuses statiques et dynamiques. Son efficacité est démontrée par une gamme d'applications, incluant la réalité mixte et la re-texturation. La détection des ombres projetées et des réflexions spéculaires étant au cœur de cette thèse, nous proposons finalement une méthode d'apprentissage approfondi pour détecter conjointement les deux indices visuels dans des scènes réelles d’intérieurs. / The overarching goal of Mixed Reality (MR) is to provide the users with the illusion that virtual and real objects coexist indistinguishably in the same space. An effective illusion requires an accurate registration between both worlds. This registration must be geometrically and photometrically coherent. In this thesis, we propose novel photometric registration methods to estimate the illumination and reflectance of real scenes. Specifically, we propose new approaches which address three main challenges: (1) use of a single RGB-D camera. (2) estimation of both diffuse and specular reflectance properties. (3) estimation of the 3D position and color of multiple dynamic light sources. Within our first contribution, we consider indoor real scenes where both geometry and illumination are static. As the sensor browses the scene, specular reflections can be observed throughout a sequence of RGB-D images. These visual cues are very informative about the illumination and reflectance of scene surfaces. Hence, we model these cues to recover both diffuse and specular reflectance properties as well as the 3D position of multiple light sources. Our algorithm allows convincing MR results such as realistic virtual shadows and correct real specularity removal. Shadows are omnipresent and result from the occlusion of light by existing geometry. They therefore represent interesting cues to reconstruct the photometric properties of the scene. Presence of texture in this context is a critical scenario. In fact, separating texture from illumination effects is often handled via approaches which require user interaction or do not satisfy mixed reality processing time requirements. We address these limitations and propose a method which estimates the 3D position and intensity of light sources. The proposed approach handles dynamic light sources and runs at an interactive frame rate. The existence of a light source is more likely if it is supported by more than one cue. We therefore address the problem of estimating illumination and reflectance properties by jointly analysing specular reflections and cast shadows. The proposed approach takes advantage of information brought by both cues to handle a large variety of scenes. Our approach is capable of handling any textured surface and considers both static and dynamic light sources. Its effectiveness is demonstrated through a range of applications including real-time mixed reality and retexturing. Since the detection of cast shadows and specular reflections are at the heart of this thesis, we further propose a deep-learning framework to jointly detect both cues in indoor real scenes.

Les roches mafiques à ultramafiques permettent de tracer les processus de formation et d'évolution des surfaces planétaires. Pour caractériser ces surfaces, la spectroscopie de réflectance visible-proche infrarouge est une technique adaptée de part sa sensibilité aux absorptions du fer présent dans les minéraux. L'objectif de cette thèse est de déterminer la composition modale des roches, ainsi que la composition chimique des minéraux constitutifs.<br />Nous avons développé une procédure basée sur la mise en oeuvre du Modèle Gaussien Modifié (MGM) qui permet de modéliser les spectres pour des assemblages minéralogiques complexes (olivine - orthopyroxène - clinopyroxène). Après validation de cette approche sur des données simples (poudres), la méthode a été appliquée à des roches naturelles complexes (météorites martiennes et roches d'Oman). Fort de l'expertise acquise dans cette étape intermédiaire, des cartographies minéralogiques ont alors pu être réalisées à partir de données spatiales et aéroportées, respectivement pour le volcan Syrtis Major sur Mars et le massif ophiolitique de Sumail (Oman). Nous avons ainsi montré que les laves de l'édifice volcanique présentent un enrichissement en olivine (Fo50-80) et que les pyroxènes, suivant les conditions de mise en place, peuvent avoir des compositions allant des augites aux enstatites. Pour l'ophiolite d'Oman, nous avons mis en évidence et cartographié pour la première fois des variations spatiales organisées de composition modale au sein même de l'unité harzburgitique. Nous avons également caractérisé des variations de composition dans les clinopyroxènes de la zone crustale ayant des implications pétrogénétiques.<br />Ces apports sont essentiels dans la caractérisation et la compréhension des processus pétrologiques inhérents à la formation des surfaces planétaires et devraient stimuler l'utilisation de l'imagerie spectroscopique à des fins géologiques.