Pour exploiter efficacement une masse toujours croissante de documents électroniques, une branche de l'Intelligence Artificielle s'est focalisée sur la création et l'utilisation de systèmes à base de connaissance. Ces approches ont prouvé leur efficacité, notamment en recherche d'information. Cependant elles imposent une indexation sémantique des ressources exploitées, i.e. que soit associé à chaque ressource un ensemble de termes qui caractérise son contenu. Pour s'affranchir de toute ambiguïté liée au langage naturel, ces termes peuvent être remplacés par des concepts issus d'une ontologie de domaine, on parle alors d'indexation conceptuelle.Le plus souvent cette indexation est réalisée en procédant à l'extraction des concepts du contenu même des documents. On note, dans ce cas, une forte dépendance des techniques associées à ce traitement au type de document et à l'utilisation d'algorithmes dédiés. Pourtant une des forces des approches conceptuelles réside dans leur généricité. En effet, par l'exploitation d'indexation sémantique, ces approches permettent de traiter de la même manière un ensemble d'images, de gènes, de textes ou de personnes, pour peu que ceux-ci aient été correctement indexés. Cette thèse explore ce paradigme de généricité en proposant des systèmes génériques et en les comparant aux approches existantes qui font référence. L'idée est de se reposer sur les annotations sémantiques et d'utiliser des mesures de similarité sémantique afin de créer des approches performantes. De telles approches génériques peuvent par la suite être enrichies par des modules plus spécifiques afin d'améliorer le résultat final. Deux axes de recherche sont suivis dans cette thèse. Le premier et le plus riche est celui de l'indexation sémantique. L'approche proposée exploite la définition et l'utilisation de documents proches en contenu pour annoter un document cible. Grâce à l'utilisation de similarités sémantiques entre les annotations des documents proches et à l'utilisation d'une heuristique, notre approche, USI (User-oriented Semantic Indexer), permet d'annoter des documents plus rapidement que les méthodes existantes en fournissant une qualité comparable. Ce processus a ensuite été étendu à une autre tâche, la classification. Le tri est une opération indispensable à laquelle l'Homme s'est attaché depuis l'Antiquité, qui est aujourd'hui de plus en plus automatisée. Nous proposons une approche de classification hiérarchique qui se base sur les annotations sémantiques des documents à classifier. Là encore, la méthode est indépendante des types de documents puisque l'approche repose uniquement sur leur annotations. Un autre avantage de cette approche est le fait que lorsque des documents sont rassemblés, le groupe qu'il forme est automatiquement annoté (suivant notre algorithme d'indexation). Par conséquent, le résultat fourni est une hiérarchie de classes contenant des documents, chaque classe étant annotée. Cela évite l'annotation manuelle fastidieuse des classes par l'exploration des documents qu'elle contient comme c'est souvent le cas.L'ensemble de nos travaux a montré que l'utilisation des ontologies permettait d'abstraire plusieurs processus et ainsi de réaliser des approches génériques. Cette généricité n'empêche en aucun cas d'être couplée à des approches plus spécifiques, mais constitue en soi une simplicité de mise en place dès lors que l'on dispose de documents annotés sémantiquement. / In order to improve the exploitation of even growing number of electronic documents, Artificial Intelligence has dedicated a lot of effort to the creation and use of systems grounded on knowledge bases. In particular in the information retrieval field, such semantic approaches have proved their efficiency.Therefore, indexing documents is a necessary task. It consists of associating them with sets of terms that describe their content. These terms can be keywords but also concepts from an ontology, in which case the annotation is said to be semantic and benefit from the inherent properties of ontologies which are the absence of ambiguities.Most approaches designed to annotate documents have to parse them and extract concepts from this parsing. This underlines the dependance of such approaches to the type of documents, since parsing requires dedicated algorithms.On the other hand, approaches that solely rely on semantic annotations can ignore the document type, enabling the creation of generic processes. This thesis capitalizes on genericity to build novel systems and compare them to state-of-the-art approaches. To this end, we rely on semantic annotations coupled with semantic similarity measures. Of course, such generic approaches can then be enriched with type-specific ones, which would further increase the quality of the results.First of all, this work explores the relevance of this paradigm for indexing documents. The idea is to rely on already annotated close documents to annotate a target document. We define a heuristic algorithm for this purpose that uses the semantic annotations of these close documents and semantic similarities to provide a generic indexing method. This results in USI (User-oriented Semantic Indexer) that we show to perform as well as best current systems while being faster.Second of all, this idea is extended to another task, clustering. Clustering is a very common and ancient process that is very useful for finding documents or understanding a set of documents. We propose a hierarchical clustering algorithm that reuses the same components of classical methods to provide a novel one applicable to any kind of documents. Another benefit of this approach is that when documents are grouped together, the group can be annotated by using our indexing algorithm. Therefore, the result is not only a hierarchy of clusters containing documents as clusters are actually described by concepts as well. This helps a lot to better understand the results of the clustering.This thesis shows that apart from enhancing classical approaches, building conceptual approaches allows us to abstract them and provide a generic framework. Yet, while bringing easy-to-set-up methods – as long as documents are semantically annotated –, genericity does not prevent us from mixing these methods with type-specific ones, in other words creating hybrid methods.

A l'ère d'Internet, la classification informatisée des images est d'une importance cruciale pour l’utilisation efficace de l'énorme quantité de données visuelles qui sont disponibles. Mais comment les ordinateurs peuvent-ils comprendre la signification d'une image? La Recherche d’Information Multimédia (RIM) est un domaine de recherche qui vise à construire des systèmes capables de reconnaître automatiquement le contenu d’une image. D'abord, des caractéristiques de bas niveau sont extraites et regroupées en signatures visuelles compactes. Ensuite, des techniques d'apprentissage automatique construisent des modèles qui font la distinction entre les différentes catégories d'images à partir de ces signatures. Ces modèles sont finalement utilisés pour reconnaître les propriétés d'une nouvelle image. Malgré les progrès dans le domaine, ces systèmes ont des performances en général limitées. Dans cette thèse, nous concevons un ensemble de contributions originales pour chaque étape de la chaîne RIM, en explorant des techniques provenant d'une variété de domaines qui ne sont pas traditionnellement liés avec le MMIR. Par exemple, nous empruntons la notion de saillance et l'utilisons pour construire des caractéristiques de bas niveau. Nous employons la théorie des Copulae étudiée en statistique économique, pour l'agrégation des caractéristiques. Nous réutilisons la notion de pertinence graduée, populaire dans le classement des pages Web, pour la récupération visuelle. Le manuscrit détaille nos solutions novatrices et montre leur efficacité pour la catégorisation d'image et de vidéo, et l’évaluation de l'esthétique. / In the internet era, computerized classification and discovery of image properties (objects, scene, emotions generated, aesthetic traits) is of crucial importance for the automatic retrieval of the huge amount of visual data surrounding us. But how can computers see the meaning of an image? Multimedia Information Retrieval (MMIR) is a research field that helps building intelligent systems that automatically recognize the image content and its characteristics. In general, this is achieved by following a chain process: first, low-level features are extracted and pooled into compact image signatures. Then, machine learning techniques are used to build models able to distinguish between different image categories based on such signatures. Such model will be finally used to recognize the properties of a new image. Despite the advances in the field, human vision systems still substantially outperform their computer-based counterparts. In this thesis we therefore design a set of novel contributions for each step of the MMIR chain, aiming at improving the global recognition performances. In our work, we explore techniques from a variety of fields that are not traditionally related with Multimedia Retrieval, and embed them into effective MMIR frameworks. For example, we borrow the concept of image saliency from visual perception, and use it to build low-level features. We employ the Copula theory of economic statistics for feature aggregation. We re-use the notion of graded relevance, popular in web page ranking, for visual retrieval frameworks. We explain in detail our novel solutions and prove their effectiveness for image categorization, video retrieval and aesthetics assessment.

Dans cet étude, nous nous concentrons sur l'analyse et l'indexation automatique des séquences vidéo. Cela permet une récupération et un accès efficace aux données. Les vidéos étant généralement stockées et transmises sous forme encodées, notre approche se base sur l'analyse dans le domaine compressé. Ce domaine présente un compromis raisonnable entre cout de calcul et qualité des résultats. Les informations les plus pertinentes encodées dans le flux H.264 sont les vecteurs de mouvement (VM). Ces vecteurs sont associés aux macroblocs dans les images prédites (de type B et P). Nous présentons diverses techniques non-supervisés pour déterminer le mouvement de la caméra, détecter et suivre les objets en mouvement dans les vidéos. Ces analyses sont basées sur les champs de VM. Nous démontrons le potentiel de l'analyse dans le domaine compressé avec plusieurs exemples d'applications, notamment la surveillance de trafic routier et la détection de copies. / The amount of generated audiovisual content continues to increase. In this work, we concentrate on the challenge of automatic video analysis and indexing, which builds the basis for efficient information access and retrieval. Taking advantage of the fact that video in most cases is stored and transmitted in encoded form, we pursue the approach of compressed domain processing, which represents a reasonable trade-off between computational complexity and quality of analysis results. The most valuable information encoded in H.264 streams is the motion vectors (MVs) that are associated with macroblocks in temporally predicted frames of type B and P. We present a number of completely unsupervised techniques to determine the camera motion and to detect and track moving objects from the extracted MV fields. We furthermore present the potential of compressed domain processing through several example applications, including traffic surveillance and video copy detection.

Actuellement, la quantité de musique disponible, notamment via Internet, va tous les jours croissant. Les collections sont trop gigantesques pour qu'il soit possible d'y naviguer ou d'y rechercher un extrait sans l'aide d'outils informatiques. Notre travail se place dans le cadre général de l'indexation automatique de la musique. Afin de situer le contexte de travail, nous proposons tout d'abord une brève revue des travaux réalisés actuellement pour la description automatique de la musique à des fins d'indexation : reconnaissance d'instruments, détermination de la tonalité, du tempo, classification en genre et en émotion, identification du chanteur, transcriptions de la mélodie, de la partition, de la suite d'accords et des paroles. Pour chacun de ces sujets, nous nous attachons à définir le problème, les termes techniques propres au domaine, et nous nous attardons plus particulièrement sur les problèmes les plus saillants. Dans une seconde partie, nous décrivons le premier outil que nous avons développé : une distinction automatique entre les sons monophoniques et les sons polyphoniques. Nous avons proposé deux nouveaux paramètres, basés sur l'analyse d'un indice de confiance. La modélisation de la répartition bivariée de ces paramètre est réalisée par des distributions de Weibull bivariées. Le problème de l'estimation des paramètres de cette distribution nous a conduit à proposer une méthode originale d'estimation dérivée de l'analyse des moments de la loi. Une série d'expériences nous permet de comparer notre système à des approches classiques, et de valider toutes les étapes de notre méthode. Dans la troisième partie, nous proposons une méthode de détection du chant, accompagné ou non. Cette méthode se base sur la détection du vibrato, un paramètre défini à partir de l'analyse de la fréquence fondamentale, et défini a priori pour les sons monophoniques. A l'aide de deux segmentations, nous étendons ce concept aux sons polyphoniques, en introduisant un nouveau paramètre : le vibrato étendu. Les performances de cette méthode sont comparables à celles de l'état de l'art. La prise en compte du pré-traitement monophonique / polyphonique nous a amenés à adapter notre méthode de détection du chant à chacun de ces contextes. Les résultats s'en trouvent améliorés. Après une réflexion sur l'utilisation de la musique pour la description, l'annotation et l'indexation automatique des documents audiovisuels, nous nous posons la question de l'apport de chacun des outils décrits dans cette thèse au problème de l'indexation de la musique, et de l'indexation des documents audiovisuels par la musique et offrons quelques perspectives.

Les techniques actuelles d'indexation sur le Web ne sont pas satisfaisantes pour les ressources pédagogiques. En effet, l'indexation automatique, e.g. Google, peut difficilement dépasser le niveau syntaxique des contenus tandis que l'indexation par des documentalistes est coûteuse en main d'oeuvre. Or de récentes approches telles que les techniques du Web Sémantique ou la tendance du Web Participatif (Web 2.0) offrent des solutions prometteuses. Une première partie de nos travaux porte ainsi sur l'étude du Web Sémantique appliqué aux ressources pédagogiques. Nous y explorons les possibilités de raisonnements automatisés appliqués à des ontologies pédagogiques. Une seconde partie porte sur l'étude des fonctionnalités des sites participatifs, facilitant l'ajout de contenus et de métadonnées par les visiteurs. Nous proposons alors un modèle de site participatif adapté aux communautés d'enseignants. Néanmoins, Web Sémantique et Web Participatif sont souvent opposés. Aux ontologies formelles généralement réalisées par quelques experts s'opposent les tags hétérogènes ajoutés par de nombreux utilisateurs aux profils variés. Dans une troisième partie, nous proposons donc un modèle fusionnant Sémantique et Participatif. Ce modèle vise à développer des applications de partage de ressources, principalement pour des communautés de pratique. Il se fonde sur une Indexation Progressive et Multi-points de vue (modèle IPM) consistant à : - permettre aux utilisateurs de structurer progressivement les métadonnées, pour finalement favoriser des raisonnements sémantiques par les machines ; - permettre aux utilisateurs de collaborer progressivement, pour finalement favoriser une vision partagée du domaine par les humains. Ce modèle est implémenté dans un outil de partage de signets, nommé SemanticScuttle, proposant des fonctionnalités originales comme des tags structurés par des relations d'inclusion et de synonymie, ou des espaces wiki pour décrire des tags. L'outil a été développé et expérimenté avec des documentalistes en sociologie sur plusieurs mois. Diffusé, l'outil est employé par des utilisateurs dans plusieurs pays. Finalement, nos travaux nous permettent de formuler des hypothèses sur un modèle socio-technique soutenant le partage entre enseignants. Ils sont aussi une contribution à des modèles intégrant différentes formes d'indexation : automatique et par des humains, faisant intervenir des experts et les utilisateurs, fondée sur des modèles structurés (e.g. ontologies) et sur des métadonnées flexibles (e.g. tags).

Notre contribution s'inscrit dans le traitement automatique des images numériques couleur, dont l'objectif est de parvenir à interpréter le contenu d'une image analysée. La chaîne de traitements d'une image couleur se décompose en plusieurs étapes successives qui partent de l'analyse de la couleur de chaque pixel pour obtenir une interprétation du contenu de l'image. Dans ce mémoire, nous nous arrêtons à cette étape d'analyse qui précède l'étape d'interprétation sémantique du contenu de l'image grâce à la manipulation d'informations symboliques.<br /><br />Une fois l'image couleur acquise par la caméra, se pose la question du choix de l'espace de représentation de la couleur qui est le mieux adapté aux traitements à effectuer sur l'image. Dans la première partie, nous décrivons la détermination d'espaces couleur hybrides adaptés à des problèmes spécifiques de segmentation. L'approche proposée analyse les distributions des points-couleur dans différents espaces de représentation de la couleur afin de constituer un espace hybride adapté aux classes de pixels à distinguer. Cette démarche est fondée sur l'analyse exclusive des propriétés colorimétriques des pixels pour la construction des classes de pixels.<br /><br />Il n'existe pas toujours une correspondance bijective entre chaque nuage de points-couleur représentant les pixels dans un espace couleur et chaque région de l'image. Par conséquent, l'analyse exclusive des propriétés colorimétriques des pixels ne permet pas toujours de reconstruire les classes de pixels qui correspondent aux régions. Lors de la deuxième partie, nous détaillons une méthode de segmentation par classification de pixels qui tente de répondre à ce problème en analysant au même titre les propriétés colorimétriques des pixels et leur répartition spatiale dans l'image.<br /><br />Une fois que les régions sont reconstruites, elles peuvent être analysées afin notamment de reconnaître les objets qu'elles représentent. La troisième partie est dédiée à la reconnaissance d'objets éclairés avec différents illuminants. Nous y présentons un modèle original qui décrit les variations des couleurs des pixels provoquées par des changements d'illuminant. Ce modèle est utilisé afin de définir la fonction qui pour chaque comparaison entre l'image requête et une image candidate, transforme le couple constitué par les histogrammes couleur en un couple d'histogrammes couleur spécifiques. Ces histogrammes spécifiques sont calculés de telle sorte que leur intersection indique si les deux objets contenus dans les deux images sont semblables ou non, et ce quelque soient les sources d'éclairage utilisées lors des acquisitions des images

Afin de faciliter la mise en place de systèmes pouvant gérer de grandes quantités d'information et de s'adresser à un maximum d'utilisateurs, le fonctionnement du noyau des Systèmes de Recherche d'Information (SRI) est généralement indépendant du contexte. La Recherche d'Information contextuelle vise à replacer l'utilisateur au coeur des SRI en rendant explicites certains éléments du contexte qui peuvent influencer sur les performances des systèmes. Dans ce cadre, nous proposons un modèle à base de deux ontologies dont l'objectif est de représenter deux aspects primordiaux du contexte d'une recherche : le thème du besoin et la tâche de recherche choisie par l'utilisateur. Des ontologies légères de domaine sont utilisées pour représenter la connaissance associée à ces deux aspects du contexte. L'originalité de notre modèle repose sur le fait que les deux aspects distincts mais complémentaires du contexte sont liés par l'utilisation d'éléments communs aux deux ontologies. L'intégration du modèle dans le SRI intervient dans deux phases du processus de recherche. Par la proposition d'un mécanisme d'indexation sémantique utilisant l'ensemble de la connaissance représentée dans les deux ontologies, il est intégré à la phase de représentation des documents. De plus, le modèle est intégré à la phase d'accès aux documents via la navigation dans les ontologies. Cette navigation repose sur deux niveaux d'accès à l'information. Le niveau concept donne à l'utilisateur une vue globale sur la collection de documents et sur la connaissance associée, alors que le niveau instance donne un accès aux informations spécifiques contenues dans les documents. L'utilisation d'ontologies en RI pose une autre problématique qui est la réutilisation de la connaissance déjà modélisée. En effet, de nombreuses ressources terminologiques (comme les thésaurus) ou conceptuelles (ontologies) existent dans différents domaines. Nous avons étudié la réutilisabilité de telles ressources selon deux perspectives : le choix d'une ontologie légère en fonction de son adéquation au corpus à indexer et l'élaboration d'une ontologie légère à partir d'un thésaurus normalisé et d'un corpus de référence. Une originalité de nos travaux concernant l'évaluation de l'adéquation réside dans la prise en compte de l'ensemble des relations définies dans les ontologies et non pas seulement des relations taxonomiques. Concernant l'élaboration d'une ontologie légère à partir d'un thésaurus, une de nos contributions est de proposer un mécanisme semi-automatique pour capturer la connaissance représentée dans le thésaurus et la mettre à jour à partir de documents de référence. Dans le cadre d'un projet en coopération avec des astronomes (Masses de Données en Astronomie), nous avons pu évaluer un certain nombre des techniques que nous proposons. Un prototype illustre également l'apport de nos contributions.

Les travaux de cette thèse concernent la comparaison des documents vidéo. Dans le domaine en pleine expansion de la vidéo numérique, les documents disponibles sont maintenant présents en quantité importante même dans les foyers. Opération de base de tout type d'analyse de contenus, en complément de la classification, de l'extraction et de la structuration, la comparaison dans le domaine de l'audiovisuel est d'une utilité qui n'est pas à démontrer.<br />Des approches classiques de comparaison se basent essentiellement sur l'ensemble des caractéristiques<br />bas niveaux des documents à comparer, en les considérant comme des vecteurs multidimensionnels. D'autres approches se basent sur la similarité des images composant la vidéo sans tenir compte de la composition temporelle du document ni de la bande<br />son. Le défaut que l'on peut reprocher à ces méthodes est qu'elles restreignent la comparaison à un simple opérateur binaire robuste au bruit. De tels opérateurs sont généralement utilisés afin d'identifier les différents exemplaires d'un même document. L'originalité de notre démarche réside dans le fait que nous introduisons la notion de la similarité de style<br />en s'inspirant des critères humains dans la comparaison des documents vidéo. Ces critères<br />sont plus souples, et n'imposent pas une similarité stricte de toutes les caractéristiques étudiées<br />à la fois.<br />En nous inspirant de la programmation dynamique et de la comparaison des séries chronologiques, nous définissons un algorithme d'extraction des similarités entre les séries de valeurs produites par l'analyse de caractéristiques audiovisuelles de bas-niveau. Ensuite, un second traitement générique approxime le résultat de l'algorithme de la longueur de la Plus<br />Longue Sous-Séquence Commune (PLSC) plus rapidement que ce dernier. Nous proposons une représentation des données issues de ces traitements sous la forme d'un schéma matriciel propre à la comparaison visuelle et immédiate de deux contenus. Cette matrice peut être également utilisée pour définir une mesure de similarité générique, applicable à des documents de même genre ou de genres hétérogènes.<br />Plusieurs applications ont été mises en place pour démontrer le comportement de la méthode de comparaison et de la mesure de similarité, ainsi que leur pertinence. Les expérimentations concernent essentiellement : - l'identification d'une structure organisationnelle en collection / sous-collection d'une base de documents, - la mise en évidence d'éléments<br />stylistiques dans un film de cinéma, - la mise en évidence de la grille de programmes d'un<br />flux de télévision.

La Recherche d'Information a pour objectif de permettre aux utilisateurs d'accéder rapidement et efficacement au contenu d'une collection de document.<br />Dans le domaine de la santé, le nombre de ressources électroniques disponibles augmente de manière exponentielle, et la nécessité de disposer de solutions<br />automatiques se fait sentir à plusieurs étapes de la chaîne d'information. Les documents, en particulier les textes, doivent être sélectionnés selon des critères de qualité pour être inclus dans des catalogues; ils doivent également être décrits à l'aide de mots clés et catégorisés en spécialités médicales afin de faciliter les recherches effectuées dans les catalogues. Ces taches<br />constituent un défi pour le Traitement Automatique de la Langue Naturelle car elles impliquent une "compréhension" du contenu des documents par un système automatique. Ce travail de thèse engage une réflexion sur la répartition des tâches documentaires entre l'homme et la machine dans le cadre particulier du Catalogue et Index des Sites Médicaux Francophones (CISMeF). A ce titre, il aborde l'automatisation des tâches documentaires dans le catalogue de santé en ligne CISMeF. Cette thèse apporte une contribution au développement de ressources linguistiques en français pour le domaine de la santé, et présente des systèmes de veille documentaire et de description automatiques de ressources de santé. Sur ce dernier point, l'accent a été mis sur l'indexation à l'aide de paires de descripteurs issues du thésaurus MeSH.

Ce travail porte sur l'indexation automatique de photographies personnelles par des concepts visuels de haut niveau d'abstraction. Nous argumentons en faveur d'une approche basée sur l'apprentissage non supervisé, en mettant en avant les limites de l'apprentissage supervisé. Nous proposons un paradigme d'apprentissage non supervisé basé sur deux types de régularités, correspondant respectivement aux notions de structure et de similarité. Ces régularités sont apprises à partir d'un flux d'informations visuelles et constituent les nœuds d'un réseau grandissant. Les données d'apprentissage sont recodées en termes des connaissances déjà acquises. Des expérimentations sur des données réelles et synthétisées montrent que notre approche permet de créer une représentation des données pertinente, engendrant une indexation de meilleure qualité. Ces expérimentations très prometteuses permettent d'esquisser des perspectives ambitieuses.