Dans cette thèse, nous étudions un phénomène optique souvent ignoré en vision par ordinateur : les inter-réflexions. Les inter-réflexions, qui peuvent être trouvées dans l’état de l’art sous le nom « illumination mutuelle », se produisent quand une surface concave est illuminée. Dans ce cas, un rayon lumineux venant de la source de lumière vers un point de la surface, va réfléchir vers d’autres points de la même surface plusieurs fois avant d’arriver à nos yeux, ou aux capteurs de l’appareil photo. Donc, un rayon inter-réfléchi entre les différents points de la surface concave, d’où le nom « inter-réflexions». Les inter-réflexions conduisent aux variations de couleurs, ou gradients de couleurs, sur la totalité de la surface concave. Ces variations sont plus au moins prononcées selon plusieurs facteurs comme la réflectance de la surface et sa géométrie. Dans ce manuscrit, nous allons montrer que ces variations de couleurs contiennent en elles des informations importantes qui méritent d’être utilisées en vision par ordinateur. Ces mêmes variations jouent un rôle important dans la perception ce qui permet à l’être humain une meilleure constance de couleur, comme montré par nos résultats empiriques. Dans l’objectif d’utiliser efficacement les inter-réflexions pour quelques applications en vision par ordinateur, nous introduisons dans ce manuscrit un modèle spectral d’inter-réflexions prenant en compte une infinité de rebonds. Ce modèle construit sur des bases radiométriques nous permet de définir la relation entre les valeurs RGB brut correspondant à la surface concave dans l’image d’un côté, et la réflectance spectrale et la géométrie de cette même surface, la distribution de puissance spectrale de l’éclairage (SPD), et les courbes des réponses spectrales de l’appareil photo de l’autre côté. Grâce à ce modèle, nous sommes capables d’étudier plusieurs applications d’inter-réflexions en estimation spectrale. Nous montrons que l’estimation de la réflectance spectrale à partir d’une seule image RGB, une tâche qui est quasi-impossible sans apprentissage même sous un éclairage connu, est devenue possible grâce aux inter-réflexions. Nos résultats ontdémontré que l’estimation de la réflectance spectrale d’une surface concave donne une précision similaire, et même parfois meilleure, en comparaison avec les approches de l’état de l’art qui ont besoin de trois images de la même surface prises sous trois différents éclairages. De plus, les inter-réflexions nous ont aidés à proposer une application plus concrète de l’estimation de la réflectance spectrale dans laquelle il est possible d’utiliser un spectre d’un éclairage standard sans nécessiter un pré-calibrage pour les paramètres de l’acquisition. Par la suite, nous démontrons que les inter-réflexions sont aussi utiles dans des applications qui utilisent des mires de couleurs, comme par exemple la caractérisation de l’appareil photo. La nature de l’inter-réflexion sur une surface d’une seule couleur conduit aux couleurs spéciales qui sont les résultats des multiplications de la réflectance spectrale avec elle-même de multiples fois. Utiliser ces couleurs avec notre modèle d’inter-réflexion aide à introduire de la non-linéarité sur les mires de couleurs et donc à obtenir une meilleure caractérisation spectrale. Par conséquent, utiliser des mires de couleurs 3D est plus bénéfique qu’ajouter des nouvelles couleurs aux mires 2D. Finalement, nous entraînons un réseau neuronal convolutif sur des images simulés d’inter-réflexions dans le but d’estimer à la fois la réflectance spectrale de la surface et la SPD de l’éclairage d’une seule image RGB. Nos résultats expérimentaux démontrent que notre approche est capable d’estimer les deux spectres avec une très bonne précision en comparaison avec les autres approches. De plus, cette approche fonctionne très bien sur les images réelles grâce aux niveaux de bruits ajoutés dans le processus d’apprentissage. / In this thesis, we study an optical phenomenon often ignored in computer vision, the interreflection phenomenon. Interreflections, which can also be found in the literature under the name mutual illumination happen whenever a concave surface is illuminated. As the name tells, a light ray coming from the light source and hitting a surface point will reflect toward some other point, then another, and so on, before reaching the camera sensor or the eye. Hence, a ray does inter-reflect between the different points of a concave surface. Interreflections lead to color variations, or color gradients, all over the concave surface. These variations are more or less pronounced depending on many factors including, but not limited to, the surface reflectance and its geometry. We will show in this manuscript that these color variations hold some important information which is worth to be used in computer vision. They also play an important role in perception leading to a better color constancy in human vision as demonstrated in our experiments. In order to be able to efficiently use interreflections in some computer vision applications, a spectral infinite-bounce model of interreflections is introduced in the manuscript. This radiometric model allows us to define the relation between the raw RGB values correspondingto the concave surface in the image on one side, and the spectral reflectance and the geometry of this surface, the spectral power distribution of the light and the spectral responses of the camera sensors on the other side. Thanks to this model, we were able to study some applications of interreflections in spectral estimation. We show that a task, such as spectral reflectance estimation form a single RGB image, which is almost impossible without learning even under known illuminant and spectral responses of the camera, is made possible thanks to interreflections. Our results show that, spectral reflectance estimation of a folded surface gives a similar accuracy and sometimes a better one when compared to the state of the art approaches that need three different images of the flat surface taken under three different illuminants. Moreover, interreflections help in proposing a more concrete application of spectral reflectance estimation where a standard light SPD can be used and no pre-calibration for the acquisition settings is needed. Later, we show that interreflections are useful in some applications which need color charts such as camera characterization. The nature of interreflections leads to special colors resulted from raising the spectral reflectance to multiple powers. Using these colors along with the interreflection model helps in introducing some non linearly-related information and thus in obtaining a better spectral characterization. Hence, using 3D color charts is more beneficial than adding new colors to 2D color charts. Finally, we train a convolutional neural network on simulated images of interreflections in order to get an estimation of both the spectral reflectance and the SPD of light from a single RGB image. The experimental results show that our approach is able to get both spectra with a very good accuracy compared to other approaches. In addition, this approach performs very well on real images thanks to the added noises in the training process.
| Identifer | oai:union.ndltd.org:theses.fr/2018LYSES035 |
| Date | 04 October 2018 |
| Creators | Deeb, Rada |
| Contributors | Lyon, Trémeau, Alain |
| Source Sets | Dépôt national des thèses électroniques françaises |
| Language | English |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation, Text |
Page generated in 0.0029 seconds