L'exploitation des documents multimédias pose des problèmes de représentation des informations textuelles et visuelles contenues dans ces documents. Notre but est de proposer un modèle permettant de représenter chacune de ces informations et de les combiner en vue de deux tâches : la catégorisation et la recherche d'information. Ce modèle représente les documents sous forme de sacs de mots nécessitant la création de vocabulaires spécifiques. Le vocabulaire textuel, généralement de très grande taille, est constitué des mots apparaissant dans les documents. Le vocabulaire visuel est quant à lui construit en extrayant des caractéristiques de bas niveau des images. Nous étudions les différentes étapes de sa création et la pondération tfidf des mots visuels dans les images, inspirée des approches classiquement utilisées pour les mots textuels. Dans le contexte de la catégorisation de documents textuels, nous introduisons un critère qui sélectionne les mots les plus discriminants pour les catégories afin de réduire la taille du vocabulaire sans dégrader les résultats du classement. Nous présentons aussi dans le cadre multilabel, une méthode permettant de sélectionner les différentes catégories à associer à un document. En recherche d’information, nous proposons une approche analytique par apprentissage pour combiner linéairement les résultats issus des informations textuelles et visuelles, permettant d'améliorer significativement la recherche. Notre modèle est validé pour ces différentes tâches en participant à des compétitions internationales telles que XML Mining et ImageCLEF et sur des collections de taille conséquente / Exploiting multimedia documents leads to representation problems of the textual and visual information within documents. Our goal is to propose a model to represent these both information and to combine them for two tasks: categorization and information retrieval. This model represents documents as bags of words, which requires to define adapted vocabularies. The textual vocabulary, usually very large, corresponds to the words of documents while the visual one is created by extracting low-level features from images. We study the different steps of its creation and the tf.idf weighting of visual words in images usually used for textual words. In the context of the text categorization, we introduce a criterion to select the most discriminative words for categories in order to reduce the vocabulary size without degrading the results of classification. We also present in the multilabel context, a method that lets us to select the number of categories which must be associated with a document. In multimedia information retrieval, we propose an analytical approach based on machine learning techniques to linearly combine the results from textual and visual information which significantly improves research results. Our model has shown its efficiency on different collections of important size and was evaluated in several international competitions such as XML Mining and ImageCLEF

Il est aujourd’hui reconnu que la réussite des étudiants à l’université repose sur leurs capacités à autoréguler leur apprentissage, c’est-à-dire à 1) fixer des objectifs adaptés à la tâche, 2) déployer des stratégies d’apprentissage efficaces et 3) vérifier régulièrement si ces objectifs ont été atteints. Or, lorsqu’ils apprennent des documents complexes, ceux-ci ont tendance à traiter passivement l’information et à surestimer la qualité de leur apprentissage. Cette thèse vise à déterminer si le fait d’insérer des tests d’entraînement au sein d’un document multimédia amène les étudiants à traiter plus activement les informations. Pour ce faire, nous avons réalisé quatre expériences au cours desquelles des étudiants recevaient ou non des tests d’entraînement pendant qu’ils apprenaient un cours de neurosciences. Afin d’évaluer les effets des tests sur l’activité cognitive et métacognitive des participants, nous avons combiné un questionnaire d’estimation de l’apprentissage à un protocole de verbalisation. Nos résultats montrent que les participants qui bénéficient de tests estiment plus précisément la qualité de leur apprentissage et obtiennent de meilleures performances que les participants non testés. Par ailleurs, ces meilleures performances s’expliquent par un déploiement de stratégies d’apprentissage plus adaptées à l’exigence de la tâche. Enfin, ces effets bénéfiques disparaissent lorsque l’exigence des tests d’entraînement diffère de celles de l’évaluation finale. L’ensemble de nos résultats permet de mieux comprendre les mécanismes sous-tendant l’effet des tests sur l’apprentissage ainsi que d’identifier les conditions qui favorisent leur efficacité. / It is generally accepted that students need to effectively self-regulate their learning to succeed in university, that is to 1) establish appropriate goals, 2) use effective learning strategies and 3) frequently monitor if their goals have been met. Unfortunately, when students learn complex document, they tend to process the information in a passive way and be overconfident regarding the quality of their learning. The purpose of this thesis is to study if inserting regular practice tests in a multimedia document can promote a more active learning. To pursue this thesis’ aim, four experiments were conducted whereby students were exposed to a neuroscience course and were provided with or not, different types of practice tests. We used a judgment of learning questionnaire and a think aloud protocol to assess the impact of practices tests on cognitive and metacognitive processes. Results showed that, compared with control groups, participants in the practice testing groups were significantly less overconfident in their ability to recall recently learned information and performed better on a post-test questionnaire. Furthermore, enhanced learning performance was explained by the use of more efficient learning strategies. However, when test requirement mismatched those of the final test, practice tests brought none of these beneficial effects and was therefore unhelpful for students learning. Overall, the studies’ results gave us a better insight into the psychological mechanism underlying the testing effect on learning and identify the conditions that favor it.

L'exploitation des documents multimédias pose des problèmes de représentation des informations textuelles et visuelles contenues dans ces documents. Notre but est de proposer un modèle permettant de représenter chacune de ces informations et de les combiner en vue de deux tâches : la catégorisation et la recherche d'information. Ce modèle représente les documents sous forme de sacs de mots nécessitant la création de vocabulaires spécifiques. Le vocabulaire textuel, généralement de très grande taille, est constitué des mots apparaissant dans les documents. Le vocabulaire visuel est quant à lui construit en extrayant des caractéristiques de bas niveau des images. Nous étudions les différentes étapes de sa création et la pondération tfidf des mots visuels dans les images, inspirée des approches classiquement utilisées pour les mots textuels. Dans le contexte de la catégorisation de documents textuels, nous introduisons un critère qui sélectionne les mots les plus discriminants pour les catégories afin de réduire la taille du vocabulaire sans dégrader les résultats du classement. Nous présentons aussi dans le cadre multilabel, une méthode permettant de sélectionner les différentes catégories à associer à un document. En recherche d'information, nous proposons une approche analytique par apprentissage pour combiner linéairement les résultats issus des informations textuelles et visuelles, permettant d'améliorer significativement la recherche. Notre modèle est validé pour ces différentes tâches en participant à des compétitions internationales telles que XML Mining et ImageCLEF et sur des collections de taille conséquente