京都大学 / 新制・課程博士 / 博士(情報学) / 甲第25421号 / 情博第859号 / 新制||情||144(附属図書館) / 京都大学大学院情報学研究科知能情報学専攻 / (主査)教授 西野 恒, 教授 西田 眞也, 教授 河原 達也 / 学位規則第4条第1項該当 / Doctor of Informatics / Kyoto University / DFAM

La thèse est dédiée au problème de la stéréophotométrie non-Lambertienne sans connaissance a priori sur les conditions d’illumination et son application aux images de boîte de Pétri. Pour obtenir une bonne reconstruction de surfaces non-Lambertiennes, il est proposé de traiter une séquence d’entrée en deux étapes: premièrement il faut supprimer les effets spéculaires et obtenir ainsi des images de surface ’pseudo-Lambertienne’. Ensuite dans une deuxième étape à partir de ces images une reconstruction stéréophotométrique Lambertienne sans aucune information préalable sur les directions d’illumination est effectuée. Dans ce travail nous proposons deux méthodes originales respectivement pour la suppression de spécularités et la reconstruction de surface sans information a priori. Les méthodes proposées sont appliquées pour la caractérisation des colonies microbiennes.La spécularités est un effet optique lié à la nature physique complexe des objets. Il est utile pour la perception humaine des objets 3D mais il gêne le processus de traitement automatique d’images. Pour pouvoir appliquer le modèle Lambertien à la stéréophotométrie, les spécularités doivent être supprimées des images d’entrée. Nous proposons donc une méthode originale pour la correction des zones spéculaires adaptée pour une reconstruction ultérieure. L’algorithme proposé est capable de détecter les spécularités comme des valeurs anormalement élevées d’intensité dans une image de la séquence d’entrée, et de les corriger en utilisant les informations des autres images de la séquence et une fonction de correction continue. Cette méthode permet de faire la suppression des spécularités en préservant toutes les autres particularités de distribution de lumière qui sont importantes pour la reconstruction de surface.Après nous proposons une technique de reconstruction stéréophotométrique de surface Lambertienne sans connaissance a priori sur l’illumination. Le modèle mis en œuvre consiste en quatre composantes, deux composantes (albédo et normales) permettent de d´écrire des propriétés de surface et deux autres (intensités des sources de lumière et leurs directions) décrivent illumination. L’algorithme proposé de reconstruction utilise le principe de l’optimisation alternée. Chaque composante du modèle est trouvée itérativement en fixant toutes les variables sauf une et en appliquant des contraintes de structures, valeurs et qualité pour la fonction d’optimisation. Un schéma original de résolution permet de séparer les différents types d’information inclus dans les images d’entrée. Grâce à cette factorisation de matrices, la reconstruction de surface est faite sans connaissance préalable sur les directions de lumière et les propriétés de l’objet reconstruit. L’applicabilité de l’algorithme est prouvée pour des donnés artificielles et des images de bases publiques pour lesquelles la vérité terrain sur les surfaces des objets est disponible.La dernière partie de la thèse est dédiée à l’application de la chaine complète proposée pour le traitement d’images de boîte de Pétri. Ces images sont obtenues en utilisant les sources de lumières complexes qui sont supposées être inconnues pour le processus de reconstruction. L’évaluation de surfaces de colonies microbiennes s’est révélée être une étape importante pour l'analyse visuelle et automatique des colonies. La chaine proposée est efficace pour ce type de données et permet de compléter les informations d'images par de la surface 3D. / The PhD thesis work is dedicated to the problem of uncalibrated non-Lambertian photometric stereo surface reconstruction. The proposed approach consists in two phases: first we correct images of the input sequence from specularities in order to obtain images of pseudo-Lambertian surfaces, and then realize Lambertian photometric stereo reconstruction. In this work we proposed two original methods, respectively, for specularity correction and surface reconstruction with no prior information neither on light sources nor on surface properties. We apply the novel processing to Petri dish images for microbial colonies surface reconstruction.Specularity is an optical effect of a complex physical nature. This effect is useful for human 3D objects perception but it affects automated image processing. In order to be able to apply the Lambertian photometric stereo model, specularities should be removed from the input images. We propose an original method for specular zones correction adapted to estimation of pseudo-Lambertian surface images and further reconstruction. This algorithm is able to detect specularities as abnormally elevated pixel intensity values in an image of the input sequence and to correct the found zones using information from all other images of the sequence and a specific continuous correcting function. This method allows removing specularities while still preserving all other particularities of shading important for the further surface reconstruction.We then propose an original stereo photometric method for Lambertian surface reconstruction with no prior on illuminations. The implemented photometric stereo model consists of four components, two of them (albedo and normals) describe surface properties and the others (light sources intensities and directions) describe illumination. The proposed algorithm of the photometric stereo reconstruction uses the alternating optimization principle. Each model component is found iteratively fixing all variables but one and applying value and quality constraints for the optimization function. The original scheme of resolution allows separating of different information types included in input images. Thanks to such matrix factorization, the surface reconstruction is made with no prior information on lighting directions and the reconstructed objects properties. The applicability of the algorithm is proved using artificially created and open data-sets for which the ground truth information is available.The last part of the thesis is dedicated to the application of the proposed uncalibrated non- Lambertian photometric stereo approach to the Petri dish images. Images are obtained using illuminating sources which are supposed to be unknown for the reconstruction process. Moreover, the reconstructed microbial colonies are very diverse, generally have small size, can be Lambertian or not, and their surface properties are not defined in advance. The results of reconstruction for such complex real-world data add value and importance to the developed approach.

De plus en plus d'importance est accordée à la création d'objets 3D en raison des récents essors technologiques. Il est donc crucial de fournir des outils appropriés et accessibles aux utilisateurs de tous les horizons. Malheureusement, les outils traditionnellement utilisés en création 3D sont conçus pour des professionnels, exigent des formations complexes et de longue durée, et ne sont pas adaptés à ceux inexperimentés qui forment la vaste majorité des utilisateurs potentiels. Nous proposons un outil de création simplifié qui utilise des méthodes inspirées d'esquisses. Dans un premier temps, le maillage désiré est créé à partir d'un contour tracé. L'intérieur est gonflé suivant la méthode de Dvoroznak et al. Dans un deuxième temps, la hauteur des sommets du maillage est manipulée en modifiant les courbes formées par l'ombrage. Cet ombrage provient d'un modèle de réflexion Lambertien pour une lumière directionnelle donnée. Notre méthode consiste à utiliser les courbes formées par la méthode des charactéristiques associée au problème de figure dérivée de l'ombre (Shape-From-Shading). Avec les courbes, nous identifions les régions affectées par la modification de l'ombrage. L'une de ces régions sera utilisée pour interpoler l'ombrage d'après la nouvelle isophote. À partir de ce nouvel ombrage, les courbes de la méthode des characteristiques seront utilisées afin de trouver le nouveau déplacement en s'assurant d'altérer uniquement la région affectée par le changement dans l'ombrage. Les maillages créés peuvent ensuite être combinés suivant la méthode proposée par Dvoroznak et al. afin de former un maillage unique et complexe. Notre outil se veut plus intuitif que les outils traditionnels de création. Nos résultats en illustrent le potentiel. / Due to recent technological advances, the creation of 3D objects is becoming more important. It is critical to offer appropriate and accessible tools to users from diverse backgrounds. Unfortunately, the tools traditionally used in 3D creation are designed for professionals, require complex and time-consuming training, and are unsuitable for inexperienced users who form the vast majority of potential users. We propose a simplified creation tool that uses sketch-based methods. First, the desired mesh is created from a traced outline. The interior is inflated following the method of Dvoroznak et al. Second, the height (displacement) of the mesh is achieved by altering the strips created by shading. Shading is the result of a Lambertian reflection model for a given directional light. Our method consists of using the strips from the method of characteristics applied to solve Shape-From-Shading. Using the strips, we identify the regions affected by the change in shading. One of these regions will be used to interpolate the shading according to the new isophote. From this new shading, the characteristic strips will be used to find the new height, ensuring that only the region affected by the change in shading is altered. The meshes created can then be combined, inspired by the method proposed by Dvoroznak et al. to form a single, complex mesh. Our tool is designed to be more intuitive than the ones provided by professional 3D software. Our results illustrate its potential.

Le problème du « Shape From Shading » est aujourd'hui considéré comme un problème mal posé et difficile à résoudre. Afin de bien comprendre les difficultés de ce problème et d'apporter des solutions fiables et pertinentes, nous proposons une approche rigoureuse basée sur la notion de solution de viscosité.<br />Après avoir considéré et exploité au maximum les équations (aux dérivées partielles) obtenues à partir de la modélisation classique du problème du « Shape From Shading », nous proposons et étudions de nouvelles équations provenant de modélisations plus réalistes que celles qui avaient été traitées classiquement dans la littérature. Cette démarche nous permet alors de démontrer qu'avec de telles nouvelles modélisations, le problème du « Shape From Shading » est généralement un problème complètement bien posé. En d'autres termes, nous prouvons que la version classique du problème du « Shape from Shading » est devenu mal posée à cause d'une trop grande simplification de la modélisation.<br />Dans ce travail, nous proposons aussi une extension de la notion de solutions de viscosité singulières développée récemment par Camilli et Siconolfi. Cette extension nous permet de proposer une nouvelle caractérisation des solutions de viscosité discontinues. Ce nouveau cadre théorique nous permet aussi d'unifier les différents résultats théoriques proposés dans le domaine du « Shape From Shading ».