L'annotation automatique d'images est un domaine du traitement d'images permettant d'associer automatiquement des mots-clés ou du texte à des images à partir de leur contenu afin de pouvoir ensuite rechercher des images par requête textuelle. L'annotation automatique d'images cherche à combler les lacunes des deux autres approches actuelles permettant la recherche d'images à partir de requête textuelle. La première consiste à annoter manuellement les images, ce qui n'est plus envisageable avec le nombre croissant d'images numériques, d'autant que différentes personnes annotent les images différemment. La seconde approche, adoptée par les moteurs de recherche d'images sur le web, est d'utiliser les mots de la page web contenant l'image comme annotation de cette image, avec l'inconvénient de ne pas prendre du tout en compte le contenu de l'image. Quelques systèmes d'annotation automatique d'images commencent à émerger, avec certaines limites : le nombre d'objets reconnus reste de l'ordre de 10 à 100, alors que les humains sont capables de reconnaître de l'ordre de 10000 objets ; les mots-clés générés comme annotation pour une image sont parfois en contradiction entre eux, par exemple "éléphant" et "ours polaire" peuvent être détectés dans une même image ; la base de données pour l'apprentissage des objets est construite manuellement. Les travaux effectués au cours de cette thèse visent à proposer des solutions à ces problèmes, d'une part en introduisant de la connaissance dans l'annotation automatique d'images, d'autre part en proposant un système complètement automatique, où notamment la base d'images pour l'apprentissage est construite automatiquement à partir des images du Web. Cette thèse est constituée de trois parties : La première partie concerne la catégorisation d'une image en fonction de son type (photo, carte, peinture, clipart) puis pour les photographies, on s'intéresse à savoir quel est le contexte de la scène photographiée : est-ce une photographie d'intérieur ou d'extérieur, une photographie prise de nuit ou de jour, une photographie de nature ou de ville ? Y a-t-il des visages dans la photo ? Y a-t-il du ciel, de l'herbe, de l'eau, de la neige, une route,

Cette thèse propose une nouvelle méthodologie pour la construction et l’utilisation de modèles à base de connaissances pour l'annotation automatique d'images. Plus précisément, nous proposons dans un premier lieu des approches pour la construction automatique de modèles de connaissances explicites et structurés, à savoir des hiérarchies sémantiques et des ontologies multimédia adaptées pour l'annotation d'images. Ainsi, nous proposons une approche pour la construction automatique de hiérarchies sémantiques. Notre approche est basée sur une nouvelle mesure « sémantico-visuelle » entre concepts et un ensemble de règles qui permettent de relier les concepts les plus apparentés jusqu'à l'aboutissement à la hiérarchie finale. Ensuite, nous proposons de construire des modèles de connaissances plus riches en terme de sémantique et qui modélisent donc d'autres types de relations entre les concepts de l’image. Par conséquent, nous proposons une nouvelle approche pour la construction automatique d'une ontologie multimédia qui modélise non seulement les relations de subsomption, mais aussi les relations spatiales et contextuelles entre les concepts de l'image. L'ontologie proposée est adaptée pour raisonner sur la cohérence de l’annotation d'images. Afin d'évaluer l'efficacité des modèles de connaissances construits, nous proposons de les utiliser par la suite dans un cadre d'annotation d'images. Nous proposons donc une approche, basée sur la structure des hiérarchies sémantiques, pour la classification hiérarchique d'images. Puis, nous proposons une approche générique, combinant des techniques d'apprentissage automatique et le raisonnement ontologique flou, afin de produire des annotations d’images sémantiquement pertinentes. Des évaluations empiriques de nos approches ont montré une amélioration significative de la précision des annotations d'images. / This dissertation proposes a new methodology for building and using structured knowledge models for automatic image annotation. Specifically, our first proposals deal with the automatic building of explicit and structured knowledge models, such as semantic hierarchies and multimedia ontologies, dedicated to image annotation. Thereby, we propose a new approach for building semantic hierarchies faithful to image semantics. Our approach is based on a new image-semantic similarity measure between concepts and on a set of rules that allow connecting the concepts with higher relatedness till the building of the final hierarchy. Afterwards, we propose to go further in the modeling of image semantics through the building of explicit knowledge models that incorporate richer semantic relationships between image concepts. Therefore, we propose a new approach for automatically building multimedia ontologies consisting of subsumption relationships between concepts, and also other semantic relationships such as contextual and spatial relations. Fuzzy description logics are used as a formalism to represent our ontology and to deal with the uncertainty and the imprecision of concept relationships. In order to assess the effectiveness of the built structured knowledge models, we propose subsequently to use them in a framework for image annotation. We propose therefore an approach, based on the structure of semantic hierarchies, to effectively perform hierarchical image classification. Furthermore, we propose a generic approach for image annotation combining machine learning techniques, such as hierarchical image classification, and fuzzy ontological-reasoning in order to achieve a semantically relevant image annotation. Empirical evaluations of our approaches have shown significant improvement in the image annotation accuracy.

La technologie Web 2.0 a donné lieu à un large éventail de plates-formes de partage de photos. Il est désormais possible d’annoter des images de manière collaborative, au moyen de mots-clés; ce qui permet une gestion et une recherche efficace de ces images. Toutefois, l’annotation manuelle est laborieuse et chronophage. Au cours des dernières années, le nombre grandissant de photos annotées accessibles sur le Web a permis d'expérimenter de nouvelles méthodes d'annotation automatique d'images. L'idée est d’identifier, dans le cas d’une photo non annotée, un ensemble d'images visuellement similaires et, a fortiori, leurs mots-clés, fournis par la communauté. Il existe actuellement un nombre considérable de photos associées à des informations de localisation, c'est-à-dire géo-localisées. Nous exploiterons, dans le cadre de cette thèse, ces informations et proposerons une nouvelle approche pour l'annotation automatique d'images géo-localisées. Notre objectif est de répondre aux principales limites des approches de l'état de l'art, particulièrement concernant la qualité des annotations produites ainsi que la rapidité du processus d'annotation. Tout d'abord, nous présenterons une méthode de collecte de données annotées à partir du Web, en se basant sur la localisation des photos et les liens sociaux entre leurs auteurs. Par la suite, nous proposerons une nouvelle approche afin de résoudre l’ambiguïté propre aux tags d’utilisateurs, le tout afin d’assurer la qualité des annotations. L'approche démontre l'efficacité de l'algorithme de recherche de caractéristiques discriminantes, dit de Laplace, dans le but d’améliorer la représentation de l'annotation. En outre, une nouvelle mesure de distance entre mots-clés sera présentée, qui étend la divergence de Jensen-Shannon en tenant compte des fluctuations statistiques. Dans le but d'identifier efficacement les images visuellement proches, la thèse étend sur deux point l'algorithme d'état de l'art en comparaison d'images, appelé SURF (Speeded-Up Robust Features). Premièrement, nous présenterons une solution pour filtrer les points-clés SURF les plus significatifs, au moyen de techniques de classification, ce qui accélère l'exécution de l'algorithme. Deuxièmement, la précision du SURF sera améliorée, grâce à une comparaison itérative des images. Nous proposerons une un modèle statistique pour classer les annotations récupérées selon leur pertinence du point de vue de l'image-cible. Ce modèle combine différents critères, il est centré sur la règle de Bayes. Enfin, l'efficacité de l'approche d'annotation ainsi que celle des contributions individuelles sera démontrée expérimentalement. / In the Web 2.0 era, platforms for sharing and collaboratively annotating images with keywords, called tags, became very popular. Tags are a powerful means for organizing and retrieving photos. However, manual tagging is time consuming. Recently, the sheer amount of user-tagged photos available on the Web encouraged researchers to explore new techniques for automatic image annotation. The idea is to annotate an unlabeled image by propagating the labels of community photos that are visually similar to it. Most recently, an ever increasing amount of community photos is also associated with location information, i.e., geotagged. In this thesis, we aim at exploiting the location context and propose an approach for automatically annotating geotagged photos. Our objective is to address the main limitations of state-of-the-art approaches in terms of the quality of the produced tags and the speed of the complete annotation process. To achieve these goals, we, first, deal with the problem of collecting images with the associated metadata from online repositories. Accordingly, we introduce a strategy for data crawling that takes advantage of location information and the social relationships among the contributors of the photos. To improve the quality of the collected user-tags, we present a method for resolving their ambiguity based on tag relatedness information. In this respect, we propose an approach for representing tags as probability distributions based on the algorithm of Laplacian Score feature selection. Furthermore, we propose a new metric for calculating the distance between tag probability distributions by extending Jensen-Shannon Divergence to account for statistical fluctuations. To efficiently identify the visual neighbors, the thesis introduces two extensions to the state-of-the-art image matching algorithm, known as Speeded Up Robust Features (SURF). To speed up the matching, we present a solution for reducing the number of compared SURF descriptors based on classification techniques, while the accuracy of SURF is improved through an efficient method for iterative image matching. Furthermore, we propose a statistical model for ranking the mined annotations according to their relevance to the target image. This is achieved by combining multi-modal information in a statistical framework based on Bayes' Rule. Finally, the effectiveness of each of mentioned contributions as well as the complete automatic annotation process are evaluated experimentally.

Dans le domaine de l’architecture et de la conservation du patrimoine historique, les technologies de l’information et de la communication permettent l’acquisition de grandes quantités de données introduisant des supports d’analyses pour différentes finalités et à différents niveaux de détails (photographies, nuages de points, imagerie scientifique, …). L’organisation et la structuration de ces ressources est aujourd’hui un problème majeur pour la description, l’analyse et la compréhension d’objets patrimoniaux. Cependant les solutions existantes d’annotations sémantiques d’images ou de modèle 3D se révèlent insuffisantes notamment sur l’aspect de mise en relation des différents supports d’analyse.Cette thèse propose une approche permettant de conduire des annotations sur les différents supports bidimensionnels tout en permettant la propagation de ces annotations entre les différentes représentations (2D ou 3D) de l’objet. L’objectif est d’identifier des solutions pour corréler (d’un point de vue spatial, temporel et sémantique) des jeux d’annotations au sein d’un jeu d’images. Ainsi le système repose sur le principe de spatialisation des données permettant d’établir une relation entre les représentations 3D, intégrant toute la complexité géométrique de l’objet et par conséquent permettant l’extraction d’informations métriques, et les représentations 2D de l’objet. L’approche cherche donc à la mise en place d’une continuité informationnelle depuis l’acquisition d’images jusqu’à la construction de représentations 3D sémantiquement enrichies en intégrant des aspects multi-supports et multi-temporels. Ce travail a abouti à la définition et le développement d’un ensemble de modules informatiques pouvant être utilisés par des spécialistes de la conservation d’un patrimoine architectural comme par le grand public. / In the field of architecture and historic preservation , the information and communication technologies enable the acquisition of large amounts of data introducing analysis media for different purposes and at different levels of details ( photographs, point cloud, scientific imaging, ...). The organization and the structure of these resources is now a major problem for the description, the analysis and the understanding of cultural heritage objects. However the existing solutions in semantic annotations on images or on 3D model are insufficient, especially in the linking of different analysis media.This thesis proposes an approach for conducting annotations on different two-dimensional media while allowing the propagation of these annotations between different representations (2D or 3D) of the object. The objective is to identify solutions to correlate (from a spatial, temporal and semantic point of view) sets of annotations within sets of images. Thus, the system is based on the principle of data spatialization for establishing a relationship between the 3D representations, incorporating all the geometric complexity of the object and therefore to the metric information extraction, and 2D representations of object. The approach seeks to the establishment of an information continuity from the image acquisition to the construction of 3D representations semantically enhanced by incorporating multi-media and multi-temporal aspects. This work resulted in the definition and the development of a set of software modules that can be used by specialists of conservation of architectural heritage as by the general public.

Bien que s'inscrivant dans un cadre global de recherche d'information (RI) classique, l'indexation d'image ne tire que peu parti des nombreux travaux existants en RI textuelle et en traitement automatique des langues (TAL). Nous identifions deux niveaux auxquels de tels travaux peuvent s'intégrer aux systèmes d'indexation d'images. Le premier niveau est celui de la description du contenu visuel des images. Pour y intégrer des techniques de TAL, nous adoptons la description des images par mots visuels proposée par Sivic et Zisserman. Cette représentation soulève deux problématiques similaires aux problématiques classiques de la RI textuelle~: le choix des termes d'indexation les plus pertinents pour décrire les documents et la prise en compte des relations entre ces termes. Pour répondre à la première de ces problématiques nous proposons une étude des stop-lists et des pondérations dans le cadre de l'indexation d'images. Cette étude montre que, contrairement au cas des textes, il n'existe pas de pondération optimale pour tous types de requêtes, et que la pondération doit être choisie en fonction de la requête. Pour la seconde, nous utilisons des modèles de langues, outil classique du TAL que nous adaptons au cas des images, pour dépasser l'hypothèse d'indépendance des termes dans un cadre de classification d'images. Nos expérimentations montrent que prendre en compte des relations géométriques entre mots visuels permet d'améliorer les performances des systèmes. Le second niveau étudié est l'indexation sémantique des images : il est possible d'utiliser des méthodes de TAL sur des textes accompagnant les images pour obtenir des descriptions textuelles de celles-ci. Dans un premier temps, nous montrons que les descripteurs classiques d'images ne permettent pas d'obtenir des systèmes d'annotation d'images efficaces. Puis nous proposons une méthode d'annotation qui contourne cet écueil en se basant sur des descripteurs textuels et visuels de haut-niveau~: nous extrayons des textes des entités nommées, que nous mettons en relation avec des concepts visuels détectés dans les images afin d'annoter celles-ci. Nous validons notre approche sur un corpus réel et de grande taille composé d'articles de presse.