Les travaux de cette thèse ont pour cadre l'édition de documents électroniques multimédia en considérant en tout premier lieu leur dimension temporelle (enchaînement des objets dans le temps). L'objectif concerne à la fois l'intégration de cette nouvelle dimension dans la structure globale d'un document (logique, spatiale et hypertexte) et l'intégration d'objets de base qui ont eux-mêmes une dimension temporelle (vidéo, audio, interactions de l'utilisateur ..). Les documents visés sont donc multimédia, temporisés et interactifs. Notre étude a porté tout d'abord sur la définition d'un langage temporel multimédia. Celui-ci permet de spécifier, de façon déclarative, le scénario temporel d'un document en s'appuyant sur des résultats obtenus dans le domaine de la satisfaction de contraintes temporelles et de la planification. Nous avons ensuite conçu des mécanismes d'analyse qui permettent la vérification de la cohérence d'une spécification tout en prenant en compte trois aspects essentiels aux systèmes multimédia : l'incrémentalité, l'efficacité, et la gestion de l'indéterminisme. Nous proposons des mécanismes de synthèse qui permettent alors le calcul d'une solution qui sera exploitée par le système de présentation. Celui-ci permet, à partir d'un automate d'états finis extrait du graphe temporel de contraintes, d'exécuter la présentation multimédia et de contrôler dynamiquement son déroulement. Enfin, nous présentons l'ensemble des résultats à travers leur application concrète au sein d'un outil d'édition et de présentation appelé Madeus.

Ce mémoire décrit les activités de recherche que j'ai menées depuis ma thèse et plus particulièrement celles que j'effectue dans le projet Opéra (outils pour les documents électroniques : recherche et applications) de l'INRIA sur les documents structurés multimédia. Ce document tente d'inscrire les différents travaux réalisés dans un cadre plus large qui comprend d'une part la modélisation des documents et d'autre part les applications de traitement de documents. Les principales contributions sont les suivantes : - Représentation abstraite des types de documents de façon à permettre de transformer les structures de documents. - Représentation de la structure logique et de la structure spatiale, ou comment intégrer des structures spatiales et logiques de façon à formater les documents structurés selon des modèles de pages complexes. - Représentation de l'information temporelle des documents multimédia qui s'intègre aux représentations logiques et spatiales et qui soit adaptée à la construction d'environnements d'édition.

Les récentes avancées techniques dans les domaines du logiciel, du matériel et des réseaux ont permis l'apparition du multimédia dans des environnements informatiques classiques. Il devient aujourd'hui envisageable d'utiliser le World Wide Web comme support de diffusion de contenu multimédia. Des extensions temporelles au langage HTML sont proposées sous la forme de quelques nouveaux tags permettant la description du comportement temporel et spatial, afin de pouvoir spécifier des présentations multimédia pour le WWW incluant plusieurs objets média. Une architecture de synchronisation a été conçue et mise en oeuvre en Java, celle-ci permettant de jouer des présentations complexes définies à l'aide de ces extensions dans un navigateur WWW. Les extensions à HTML sont analysées et transformées en code HTML classique et Java, produisant ainsi un document qu'il est possible de lire dans un navigateur standard. Enfin, le cas des sources de contenu sur réseau délivrant des flots contrôlés par l'architecture de synchronisation a été considéré à partir de l'analyse de la problématique du transport des données multimédia temporelles dans un environnement best effort distribué comme l'Internet. À terme l'objectif est de fournir une qualité de présentation optimale en traitant les problèmes au niveau le plus adapté dans la chaîne serveur-transport-client.

Le multimédia est un domaine existant depuis longtemps mais dont l'importance est accrue grâce à la convergence d'industries comme le cinéma, les télécommunications ou bien les jeux vidéos. Le contenu multimédia repose sur des contenus monomédias et définit des aspects divers dont les principaux sont leur composition spatiale et temporelle. Dans ce cadre, nous proposons le langage TAO (Temporal Algebraic Operators) qui permet de définir des présentations multimédias. TAO est un langage orienté objet où les objets référencent les données monomédias. Des opérateurs temporels indiquent la composition de ces objets, selon une sémantique définie à partir de la notion d'intervalle. Le modèle temporel du langage est basé sur les points temporels de ces intervalles et les relations causales pour exprimer leurs liens. La sémantique des programmes TAO est donnée par un processus de normalisation et certaines de leurs propriétés sont analysées, comme l'égalité ou l'arrêt. Nous présentons ainsi une machine d'exécution des programmes TAO que nous avons implémenté en Java en réutilisant un prototype préexistant. Elle est basée sur un jeu d'instructions séquentielles et de sauts. Les programmes TAO sont compilés en contextes d'instructions qui sont gérés par les différents composants de la machine d'exécution.

Cette thèse relate une recherche-action en didactique de l'anglais de spécialité en lien avec les environnements d'apprentissage multimédias. Le versant “recherche” fait appel aux disciplines connexes de la philosophie de l'éducation, de la psychologie de l'apprentissage, de la linguistique appliquée et des sciences cognitives pour forger des outils théoriques. Nous revisitons les modèles ternaires de la situation pédagogique, d'abord pour y redéfinir la place du processus d'enseignement puis pour y introduire les instruments d'enseignement, ce qui nous amène à proposer un modèle nouveau, le carré pédagogique. Les concepts de médiatisation et de médiation sont redéfinis à la lumière de la théorie des situations d'activités instrumentées de Rabardel. Les conceptions et approches de la didactique des langues étrangères de la seconde moitié du XXe siècle sont examinées du point de vue de la situation pédagogique et de la place qu'elles font aux instruments didactiques. Le versant “action” de la recherche conduit au développement d'un didacticiel multimédia dont on fait l'hypothèse qu'il amènera une amélioration de la motivation et des stratégies d'apprentissage de la population cible. On formule une deuxième hypothèse selon laquelle la valeur de la médiation exercée par l'instrument multimédia est fonction de l'action de médiatisation exercée par l'enseignant. Le dispositif a fait l'objet d'une expérimentation in situ pendant six ans, période au cours de laquelle des données ont été recueillies a) par enquêtes et questionnaires, b) par enregistrement informatique de la trace du parcours des utilisateurs et c) par enregistrement audio d'interactions verbales. Les données des types a) et b) ont été analysées par l'analyse factorielle de correspondances et celles de type c) par les méthodes de l'analyse du discours.

L'évolution des techniques d'adaptation et des contenus multimédias adaptables a montré la nécessité de définir des techniques et des pratiques concernant la sécurité des échanges sur les réseaux. Dans la mesure où l'adaptation des documents multimédia nécessite d'autoriser la modification de ces documents entre le serveur et le client, il est important d'étudier les conditions nécessaires pour assurer ces modifications de façon sécurisée. Nous avons donc, dans ce cadre, à présenter un système de communication multimédia qui préserve l'authenticité et l'intégrité des contenus originaux de bout en bout tout en permettant l'adaptation de ces contenus par des intermédiaires. C'est l'objectif général de cette thèse. Dans ce mémoire, nous présentons SEMAFOR, une plate-forme de communication multimédia offrant aux utilisateurs la possibilité d'adapter leur contenus (selon les besoins) par des n\oe uds intermédiaires. La particularité de cette plate-forme est sa capacité de sécuriser le contenu émis de bout-en-bout, cette sécurisation repose sur deux mécanismes proposés et décrits dans cette thèse : AMCA pour l'authentification des contenu et XSST pour le chiffrement et rechiffrement intermédiaire. Les tests et les mesures de performances présentés à la fin de ce mémoire démontrent la validité des propositions décrites dans cette thèse et valident la pertinence des résultats obtenus.

Les techniques habituelles d'indexation de vidéos passent généralement par une phase d'apprentissage qui nécessite préalablement la constitution d'une base d'apprentissage. Même si la taille de cette base est souvent réduite, la phase d'annotation réalisée par un expert de l'application est souvent longue et fastidieuse. Dans le cadre de cette thèse, nous avons développé un dispositif qui permet de pré-sélectionner un ensemble de prototypes susceptibles de contenir le concept qui doit apparaître dans la base d'apprentissage. Cette base réduite de prototypes sera ensuite annotée par l'expert. Nous nous sommes intéressés à des concepts temporels, ce qui nous a amené à étudier particulièrement des caractéristiques liées au mouvement, comme les points d'intérêt spatio-temporels (STIP Spatial Temporal Interest Points). D'autres caractéristiques ont aussi été utilisées concernant la couleur et la présence de formes particulières. Ces caractéristiques sont ensuite exploitées pour structurer la base de vidéos en briques spatio-temporelles homogènes. Cette structuration correspond à une sorte de segmentation de la base en fonction de chacune des caractéristiques. La liaison entre le concept à définir et les briques extraites de la base est en lien avec le fossé sémantique bien connu dans la problématique d'indexation automatique. La création de ce lien nécessite l'utilisation de la connaissance de l'expert de l'application sur le concept. Nous avons développé un système dans lequel cette connaissance est extraite par un système de questions/réponses. Les couples de questions/réponses permettent de sélectionner des briques répondant à la contrainte, de définir des relations entre certaines briques, et en- fin de naviguer dans l'arborescence des questions. Des tests ont été réalisés sur des bases de vidéos de provenances diverses telles que des vidéos provenant d'émissions de télévision, de films d'animation, ou encore des vidéos de laboratoire disponibles sur le net, ou réalisées par nos soins. Ces tests montrent les performances satisfaisantes mais aussi les limites de l'approche et ouvrent des perspectives intéressantes, particulièrement sur les aspects collaboratifs et les aspects adaptatifs qui permettraient de capitaliser les connaissances des experts applicatifs et rendraient le système plus efficient.

La structuration automatique de flux de télévision est un nouveau sujet de recherche, dont l'apparition est liée à l'augmentation de volume des archives de vidéos numériques de télévision. Cette thèse propose une chaîne complète de structuration, qui permet de segmenter et d'étiqueter automatiquement un flux télévisé. Les travaux présentés se divisent en quatre parties : la définition d'outils, la segmentation, l'étiquetage, et la mise à jour. Un flux de télévision est intrinsèquement répétitif. L'une des idées directrices de la thèse est de considérer les répétitions comme une aide essentielle pour la structuration, en particulier pour réaliser la distinction entre les programmes et les inter-programmes. Une méthode rapide de détection des répétitions dans des flux vidéos est proposée, permettant de gérer d'importants volumes vidéos, à partir d'une base de vidéos de référence, étiquetée manuellement. Grâce à un outil, ainsi qu'à la détection des séparations entre publicités, une segmentation en programmes/inter-programmes est réalisée. Les segments sont alors étiquetés à partir du guide des programmes, en réalisant un alignement global par dynamic time warping. Enfin, une étape de mise à jour permet de réduire la dépendance à une base de Référence manuelle, ainsi que de réduire la baisse de qualité des résultats de structuration au cours du temps.

La sensibilité au contexte est une propriété qui identifie les systèmes dont le comportement repose sur l'exploitation d'un ensemble d'informations, appelé contexte d'utilisation. Malgré leur hétérogénéité, l'évolution rapide et soutenue des dispositifs mobiles (DM) vers des terminaux multifonctionnels, multi-capteurs et connectables sur le Web, a transformé ces DM en des environnements d'accueil idéaux pour l'exécution d'applications sensibles au contexte. Les DM deviennent également, par leur popularité, les principaux outils de création de documents multimédias personnels (DMP). Dans ce nouveau cadre d'usage, l'information qualifiée de contexte joue un rôle déterminant. En effet, le contexte capté lors de la création d'un DMP peut offrir des informations, appelées métadonnées, suffisamment riches pour le décrire, et, par la suite, l'identifier. Ce travail de thèse se situe ainsi à l'intersection de deux thématiques de recherche : l'Informatique Sensible au Contexte et la Gestion de Documents Multimédias. La prise en compte du contexte de création dans la gestion de DMP est une thématique nouvelle pour laquelle l'adoption d'un modèle sémantique de représentation pour les informations contextuelles, et l'élaboration de mécanismes d'acquisition et d'exploitation de ces informations, sont encore des problèmes non résolus. Nous proposons une architecture sensible au contexte, appelée CoMMediA (Context-aware Mobile Multimedia Architecture), pour la gestion de DMP, inspirée des architectures d'adaptation de Systèmes d'Information (SI) mobiles. Notre contribution s'articule autour : i) d'un modèle sémantique de représentation des métadonnées (ContextMultimedia), décrit en OWL et reposant sur une nouvelle notion de contexte, ii) d'un intergiciel adaptatif de capture du contexte de création de DMP (appelé DevAC), qui prend en compte l'hétérogénéité et les limitations intrinsèques des DM lors du déploiement d'applications mobiles, et iii) d'une plate-forme d'enrichissement de métadonnées contextuelles (ContextAnnotator). Notre objectif est de promouvoir la découverte automatique de métadonnées et d'illustrer également l'exploitation de la richesse sémantique des métadonnées pour l'organisation, l'annotation, le partage et la recherche de DMP. De plus, DevAC et nos applications mobiles de gestion de DMP s'appuient sur une infrastructure à composants, et sur une description sémantique des services offerts par une application. Le but ultime est d'aider le concepteur à développer et à déployer des applications multimédias et sensibles au contexte qui puissent s'adapter aux modèles des dispositifs mobiles des utilisateurs, sans qu'il soit besoin de réécrire le code d'une même application.

En donnant accès à la théorie de la géométrie projective sous l'angle des médias interactifs, le projet Perspective théâtrale sur la géométrie projective permet une expérience unique d'apprentissage et de communication en ligne. De la formulation des objectifs à la maquette, il a fallu s'approprier les contenus, les catégoriser, les diviser, les relier, les structurer. Ce mémoire fait état de la démarche de structuration des ressources médiatisées d'un cours de géométrie projective et d'une pièce de théâtre sur la vie du mathématicien créateur de cette théorie, puis de la diffusion de ces contenus sur la Toile, par baladodiffusion ou en mode présentiel, en ayant recours au Web collaboratif et sémantique. Ces nouveaux contextes d'échange permettent de passer outre les contraintes de distance, de temps et de disponibilités des personnes intéressées, tout en transmettant des informations à jour sur un sujet et en faisant participer activement les utilisateurs à façonner et partager leur expérience d'apprentissage. L'information sémantique attachée à chacune des unités médiatiques permet une appropriation des contenus sous de multiples facettes: linéairement, constructivement, artistiquement. Une ontologie ajoute une enveloppe conjonctive aux contenus, donnant une structure de navigation cohérente. Cette ontologie permet à la fois de gérer les différentes ressources multimédias du projet, de construire le portail les diffusant et d'offrir aux usagers des interfaces interactives pour les manipuler. Des créateurs aux usagers, tous manipulent et profitent de la structure de l'ontologie et des ressources qui la composent. Brain Cuts, un éditeur de courts métrages, est un exemple d'outil permettant aux usagers d'agréger eux-mêmes les ressources multimédias du cours. Les nouveaux outils qu'apporte l'avènement du Web sémantique aideront peut-être à construire un écosystème de connaissances (Knowledge Ecosystem) sur la Toile. Ce projet sert de plateforme expérimentale à ces nouveaux moyens interactifs en éducation. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Médias interactifs, Toile, Web, Web sémantique, Ontologie, Téléapprentissage, Théâtre, Mathématiques, Géométrie projective, Gestion des connaissances.