Collection understanding shifts the traditional focus of retrieval in large collections from locating specific artifacts to gaining a comprehensive view of the collection. Visualization tools are critical to the process of efficient collection understanding. By presenting simple visual interfaces and intuitive methods of interacting with a collection, users come to understand the essence of the collection by focusing on the artifacts. This thesis discusses a practical approach for enhancing collection understanding in image collections.

Collection understanding shifts the traditional focus of retrieval in large collections from locating specific artifacts to gaining a comprehensive view of the collection. Visualization tools are critical to the process of efficient collection understanding. By presenting simple visual interfaces and intuitive methods of interacting with a collection, users come to understand the essence of the collection by focusing on the artifacts. This thesis discusses a practical approach for enhancing collection understanding in image collections.

L'utilisation de collections d'images pour les applications de vision par ordinateur devient de plus en plus commune des nos jours. L'objectif principal de cette thèse est d'exploiter et d'extraire des informations importantes d'images de scènes d'extérieur a partir de ce type de collections : l'illumination présente au moment de la prise, les propriétés de reflectance des matériaux composant les objets dans la scène et les propriétés radiométriques des appareils photo utilisés. Pour atteindre notre objectif, cette thèse est composée de deux parties principales. Dans un premier temps nous allons réaliser une analyse de différentes représentations du ciel et une comparaison des images basée sur l'apparence de celui-ci. Une grande partie de l'information visuelle perçue dans les images d'extérieures est due a l'illumination en provenance du ciel. Ce facteur est représenté par les rayons du soleil réfléchis et réfractés dans l'atmosphère en créant une illumination globale de l'environnement. En même temps cet environnement détermine la façon de percevoir les objets du monde réel. Etant donné l'importance du ciel comme source d'illumination, nous formulons un processus générique en trois temps, segmentation, modélisation et comparaison des pixels du ciel, pour trouver des images similaires en se basant sur leurs apparences. Différentes méthodes sont adoptées dans les phases de modélisation et de comparaison. La performance des algorithmes est validée en trouvant des images similaires dans de grandes collections de photos. La deuxième partie de cette thèse consiste a exploiter l'information géométrique additionnelle pour en déduire les caractéristiques photométriques de la scène. A partir d'une structure 3D récupérée en utilisant des méthodes disponibles, nous analysons le processus de formation de l'image a partir de modèles simples, puis nous estimons les paramètres qui les régissent. Les collections de photos sont généralement capturées par différents appareils photos, d'où l'importance d'insister sur leur calibrage radiométrique. Notre formulation estime cet étalonnage pour tous les appareils photos en même temps, en utilisant une connaissance a priori sur l'espace des fonctions de réponse des caméras possibles. Nous proposons ensuite, un cadre d'estimation conjoint pour calculer une représentation de l'illumination globale dans chaque image, l'albedo de la surface qui compose la structure 3D et le calibrage radiométrique pour tous les appareils photos. / The main objective of this thesis is to exploit the photometric information avail- able in large photo collections of outdoor scenes to infer characteristics of the illumination, the objects and the cameras. To achieve this goal two problems are addressed. In a preliminary work, we explore opti- mal representations for the sky and compare images based on its appearance. Much of the information perceived in outdoor scenes is due to the illumination coming from the sky. The solar beams are reflected and refracted in the atmosphere, creating a global illumination ambiance. In turn, this environment determines the way that we perceive objects in the real world. Given the importance of the sky as an illumination source, we formulate a generic 3–step process in order to compare images based on its appearance. These three stages are: segmentation, modeling and comparing of the sky pixels. Different approaches are adopted for the modeling and comparing phases. Performance of the algorithms is validated by finding similar images in large photo collections. A second part of the thesis aims to exploit additional geometric information in order to deduce the photometric characteristics of the scene. From a 3D structure recovered using available multi–view stereo methods, we trace back the image formation process and estimate the models for the components involved on it. Since photo collections are usually acquired with different cameras, our formulation emphasizes the estimation of the radiometric calibration for all the cameras at the same time, using a strong prior on the possible space of camera response functions. Then, in a joint estimation framework, we also propose a robust computation of the global illumination for each image, the surface albedo for the 3D structure and the radiometric calibration for all the cameras.

Les travaux de recherche présentés et discutés dans cette thèse s’intéressent aux grandes collections d’images numériques. Plus particulièrement, nous cherchons à donner à un utilisateur la possibilité d’explorer ces collections d’images, soit dans le but d’en extraire de l’information et de la connaissance, soit de permettre une certaine sérendipité dans l’exploration. Ainsi, cette problématique est abordée du point de vue de l’analyse et l’exploration interactive des données. Nous tirons profit du paradigme de navigation par similarité et visons à respecter simultanément les trois contraintes suivantes : (i) traiter de grandes collections d’images, (ii) traiter des collections dont le nombre d’images ne cesse de croître au cours du temps et (iii) donner des moyens d’explorer interactivement des collections d’images. Pour ce faire, nous proposons d’effectuer une étude conjointe de l’indexation et de la visualisation de grandes collections d’images qui s’agrandissent au cours du temps. / The research work that is presented and discussed in this thesis focuses on large and evergrowing image collections. More specifically, we aim at providing one the possibility to explore such image collections, either to extract some kind of information and knowledge, or to wander in the collections. This thesis addresses this issue from the perspective of Interactive Data Exploration and Analytics. We take advantage of the similarity-based image collection browsing paradigm and aim at meeting simultaneously the three following constraints: (i) handling large image collections, up to millions of images, (ii) handling dynamic image collections, to deal with ever-growing image collections, and (iii) providing interactive means to explore image collections. To do so, we jointly study the indexing and the interactive visualisation of large and ever-growing image collections.