L'exploitation des documents multimédias pose des problèmes de représentation des informations textuelles et visuelles contenues dans ces documents. Notre but est de proposer un modèle permettant de représenter chacune de ces informations et de les combiner en vue de deux tâches : la catégorisation et la recherche d'information. Ce modèle représente les documents sous forme de sacs de mots nécessitant la création de vocabulaires spécifiques. Le vocabulaire textuel, généralement de très grande taille, est constitué des mots apparaissant dans les documents. Le vocabulaire visuel est quant à lui construit en extrayant des caractéristiques de bas niveau des images. Nous étudions les différentes étapes de sa création et la pondération tfidf des mots visuels dans les images, inspirée des approches classiquement utilisées pour les mots textuels. Dans le contexte de la catégorisation de documents textuels, nous introduisons un critère qui sélectionne les mots les plus discriminants pour les catégories afin de réduire la taille du vocabulaire sans dégrader les résultats du classement. Nous présentons aussi dans le cadre multilabel, une méthode permettant de sélectionner les différentes catégories à associer à un document. En recherche d’information, nous proposons une approche analytique par apprentissage pour combiner linéairement les résultats issus des informations textuelles et visuelles, permettant d'améliorer significativement la recherche. Notre modèle est validé pour ces différentes tâches en participant à des compétitions internationales telles que XML Mining et ImageCLEF et sur des collections de taille conséquente / Exploiting multimedia documents leads to representation problems of the textual and visual information within documents. Our goal is to propose a model to represent these both information and to combine them for two tasks: categorization and information retrieval. This model represents documents as bags of words, which requires to define adapted vocabularies. The textual vocabulary, usually very large, corresponds to the words of documents while the visual one is created by extracting low-level features from images. We study the different steps of its creation and the tf.idf weighting of visual words in images usually used for textual words. In the context of the text categorization, we introduce a criterion to select the most discriminative words for categories in order to reduce the vocabulary size without degrading the results of classification. We also present in the multilabel context, a method that lets us to select the number of categories which must be associated with a document. In multimedia information retrieval, we propose an analytical approach based on machine learning techniques to linearly combine the results from textual and visual information which significantly improves research results. Our model has shown its efficiency on different collections of important size and was evaluated in several international competitions such as XML Mining and ImageCLEF

Cette thèse en informatique s'intéresse à la structuration et à l'exploration de collections journalistiques. Elle fait appel à plusieurs domaines de recherche : sciences sociales, à travers l'étude de la production journalistique ; ergonomie ; traitement des langues et la recherche d'information ; multimédia et notamment la recherche d'information multimédia. Une branche de la recherche d'information multimédia, appelée hyperliage, constitue la base sur laquelle cette thèse est construite. L'hyperliage consiste à construire automatiquement des liens entre documents multimédias. Nous étendons ce concept en l'appliquant à l'entièreté d'une collection afin d'obtenir un hypergraphe, et nous intéressons notamment à ses caractéristiques topologiques et à leurs conséquences sur l'explorabilité de la structure construite. Nous proposons dans cette thèse des améliorations de l'état de l'art selon trois axes principaux : une structuration de collections d'actualités à l'aide de graphes mutli-sources et multimodaux fondée sur la création de liens inter-documents, son association à une diversité importante des liens permettant de représenter la grande variété des intérêts que peuvent avoir différents utilisateurs, et enfin l'ajout d'un typage des liens créés permettant d'expliciter la relation existant entre deux documents. Ces différents apports sont renforcés par des études utilisateurs démontrant leurs intérêts respectifs. / This thesis studies the structuring and exploration of news collections. While its main focus is on natural language processing and multimedia retrieval, it also deals with social studies through the study of the production of news and ergonomy through the conduct of user tests. The task of hyperlinking, which was recently put forward by the multimedia retrieval community, is at the center of this thesis. Hyperlinking consists in automatically finding relevant links between multimedia segments. We apply this concept to whole news collections, resulting in the creation of a hypergraph, and study the topological properties and their influence on the explorability of the resulting structure. In this thesis, we provide improvements beyond the state of the art along three main {axes:} a structuring of news collections by means of mutli-sources and multimodal graphs based on the creation of inter-document links, its association with a large diversity of links allowing to represent the variety of interests that different users may have, and a typing of the created links in order to make the nature of the relation between two documents explicit. Extensive user studies confirm the interest of the methods developped in this thesis.

Les avancées technologiques dans le domaine du multimédia, associées à la généralisation de leur utilisation dans de nombreuses applications (archivages télévisuelles, vidéosurveillances, etc..), ont rendu possible le stockage des grandes collections de documents vidéo dans des systèmes informatiques. Pour permettre une exploitation efficace de ces collections, il est nécessaire de mettre en place des outils facilitant l'accès à leurs documents et la manipulation de ceux-ci. Une indexation par mots-clés (issus de la transcription de la parole et ou de sous-titre dans le document vidéo) est parfois possible. Cependant, l'utilisation de concepts peut améliorer les résultats de processus d'indexation et de recherche d'information parce qu'elle enlève les ambiguïtés entre les sens des mots-clés dus à la synonymie et l'homonymie. La précision de la description sera encore meilleure si, en plus des concepts non ambigus, des relations entre ces concepts sont indexées.<br />Les documents vidéo ont un caractère multimédia qui fait que la recherche par le contenu dans ceux-ci présente un certain nombre de spécificités. Par exemple, un concept donné (personne, objet...) peut être interprété de différentes manières : il peut être vu, il peut être entendu ou il peut être mentionné. Des combinaisons de ces cas peuvent également se produire. Naturellement, ces distinctions sont importantes pour l'utilisateur. Des requêtes impliquant le concept C comme par exemple : « rechercher les segments vidéos montrant une image de C » ou comme : « rechercher les segments vidéos dans lesquels on parle de C » sont susceptibles de produire des réponses tout à fait différentes. Dans le premier cas, on rechercherait C dans le contenu visuel tandis que dans le second, on rechercherait dans le contenu audio un segment dans la transcription duquel C est mentionné. <br />Cette étude s'inscrit dans un contexte de modélisation, indexation et recherche d'information multimédia. Au niveau théorique, notre contribution consiste à la proposition d'un modèle pour la représentation du contenu sémantique des documents vidéo. Ce modèle permet la prise en compte synthétique et intégrée des éléments d'informations issus de chacune des modalités (image, texte, son). L'instanciation de ce modèle est réalisée à l'aide du formalisme des graphes conceptuels. Le choix de ce formalisme est justifié par son expressivité et son adéquation au contexte d'indexation et de recherche d'information par le contenu.<br />Notre contribution au niveau expérimental consiste à l'implémentation (en partie) du prototype CLOVIS . Nous avons intégré le modèle proposé dans d'un système d'indexation et de recherche vidéo par le contenu pour évaluer ses apports en termes d'efficacité et de précision. <br />Mots-clés : Recherche d'information multimédia, indexation conceptuel, document vidéo, graphe conceptuel, ontologie.

L'exploitation des documents multimédias pose des problèmes de représentation des informations textuelles et visuelles contenues dans ces documents. Notre but est de proposer un modèle permettant de représenter chacune de ces informations et de les combiner en vue de deux tâches : la catégorisation et la recherche d'information. Ce modèle représente les documents sous forme de sacs de mots nécessitant la création de vocabulaires spécifiques. Le vocabulaire textuel, généralement de très grande taille, est constitué des mots apparaissant dans les documents. Le vocabulaire visuel est quant à lui construit en extrayant des caractéristiques de bas niveau des images. Nous étudions les différentes étapes de sa création et la pondération tfidf des mots visuels dans les images, inspirée des approches classiquement utilisées pour les mots textuels. Dans le contexte de la catégorisation de documents textuels, nous introduisons un critère qui sélectionne les mots les plus discriminants pour les catégories afin de réduire la taille du vocabulaire sans dégrader les résultats du classement. Nous présentons aussi dans le cadre multilabel, une méthode permettant de sélectionner les différentes catégories à associer à un document. En recherche d'information, nous proposons une approche analytique par apprentissage pour combiner linéairement les résultats issus des informations textuelles et visuelles, permettant d'améliorer significativement la recherche. Notre modèle est validé pour ces différentes tâches en participant à des compétitions internationales telles que XML Mining et ImageCLEF et sur des collections de taille conséquente

Au cours de la dernière décennie, nous avons assisté à une croissance exponentielle de documents numériques et de ressources multimédias, y compris une présence massive de ressources vidéo. Les vidéos sont devenu de plus en plus populaire grâce au contenue riche à l'audio riche qu'elles véhiculent (contenu audiovisuelle et textuelle). Les dernières avancées technologiques ont rendu disponibles aux utilisateurs cette grande quantité de ressources multimédias et cela dans une variété de domaines, y compris les domaines académiques et scientifiques. Toutefois, sans techniques adéquates se basant sur le contenu des multimédia, cette masse de donnée précieuse est difficilement accessible et demeure en vigueur inutilisable. Cette thèse explore les approches sémantiques pour la gestion ainsi que la navigation et la visualisation des ressources multimédias générées par les conférences scientifiques. Un écart, que l'on appelle sémantique, existe entre la représentation des connaissances explicites requis par les utilisateurs qui cherchent des ressources multimédias et la connaissance implicite véhiculée le long du cycle de vie d'une conférence. Le but de ce travail est de fournir aux utilisateurs une plateforme qui améliore la recherche de l'information multimédia des conférences en diminuant cette distance sémantique. L'objectif de cette thèse est de fournir une nouvelle approche pour le contenu multimédia basé sur la recherche d'information dans le domaine des conférences scientifiques.