La question de la communication par icônes prend d'autant plus d'importance que la circulation accrue des personnes et des biens oblige aujourd'hui à des formes de communication indépendantes des langues. Cette thèse s'est fixé pour tâche de comprendre et de décrire le signe iconique dans sa spécificité, afin de pouvoir proposer une grille d'analyse commune à celui-ci et à la langue, extensible aux genres multimodaux. Dans un premier temps, les débats portant sur la nature de l'iconicité sont discutés. L'iconicité est plus qu'une simple ressemblance entre un signe et son objet : c'est un mode d'institution de code visuel qui met en oeuvre des conventions culturelles de représentation et de transcription. Le signe iconique est par la suite soumis à l'érosion diachronique. Une grille d'analyse des différents systèmes sémiotiques est ensuite proposée ; elle distingue les notions de figure comme segment minimal d'un texte, et de caractère comme élément interne, ce qui permet de clarifier la transposition de la notion de double articulation aux sémiotiques non-linguistiques. Les systèmes de signes iconiques ont ainsi, chacun dans son genre particulier, un « système sémiologique » de figures minimales et de règles d'assemblage. Une vision de la lecture de l'image comme processus interprétatif et contextuel est exposée : les formes de la Gestalttheorie y sont identifiées aux lieux d'émergence du sens. Des études de cas de genres multimodaux (dessin et texte) montrent en outre comment les différentes modalités se partagent le contenu sémantique. La partie applicative de la thèse comporte une présentation descriptive de trois langages de pictogrammes d'une importance particulière ; et une implantation informatique d'un logiciel de communication par icônes pour handicapés du langage. Ce logiciel procède à une analyse sémantique de séquences d'icônes agrammaticales, et génère ensuite la meilleure interprétation calculée, sous la forme d'un message en français.

Le recueil de données diverses issues de l'imagerie, de compétences expertes ou de signaux physiologiques est devenu courant pour l'étude d'une pathologie donnée. Leur exploitation est effectuée par le clinicien qui les analyse et les agrège en fonction de ses connaissances. La motivation de ce travail est de modéliser ce processus d'agrégation à l'aide de techniques empruntées à la fusion de données, dans le cadre d'études portant sur le cerveau. Le processus de fusion est décomposé en trois phases fondamentales. Nous modélisons tout d'abord les informations dans un cadre théorique commun. Le formalisme retenu est celui de la logique possibiliste, permettant de prendre en compte les ambiguïtés inhérentes aux données médicales. Nous proposons de modéliser d'une part la distribution des tissus cérébraux dans les images IRM, TEM et TEP par un algorithme de classification flou sur des vecteurs forme appropriés et d'autre part des informations issues de connaissances expertes. Nous agrégeons ensuite ces différentes informations par un opérateur de fusion. Celui-ci doit affirmer les redondances, gérer les complémentarités et prendre en compte les conflits soulignant souvent la présence d'une pathologie. Nous proposons alors trois modèles d'agrégation : la fusion d'images IRM, la fusion d'images anatomiques et fonctionnelles, et la fusion d'une image IRM et d'informations symboliques. Nous construisons enfin une information synthétique permettant d'exploiter les résultats de la fusion . Nous définissons pour chaque modèle une image permettant par exemple de proposer un diagnostic, d'établir un pronostic ou d'élaborer une aide thérapeutique. Quatre applications cliniques sont proposées en illustration : la quantification de volumes de tissus cérébraux, l'étude de la démence de type Alzheimer, l'étude de l'épilepsie et la localisation du noyau sous-thalamique pour le traitement de la maladie de Parkinson. Pour chacun de ces cas, outre les développements décrits auparavant, des modèles spécifiques à la pathologie étudiée sont proposés et une validation clinique des résultats est effectuée. Enfin, une application réalisée en collaboration avec la société SEGAMI, concrétisant et valorisant de façon industrielle ce travail, est présentée.

Les problématiques modernes de conservation du patrimoine numérique ont rendu les compagnies professionnelles d'archivage demandeuses de nouveaux outils d'indexation et en particulier de méthodes de structuration automatique. Dans cette thèse, nous nous intéressons à un genre télévisuel à notre connaissance peu analysé : le talk show. Inspirés de travaux issus de la communauté des sciences humaines et plus spécifiquement d'études sémiologiques, nous proposons, tout d'abord, une réflexion sur la structuration d'émissions de talk show. Ensuite, ayant souligné qu'un schéma de structuration ne peut avoir de sens que s'il s'inscrit dans une démarche de résolution de cas d'usage, nous proposons une évaluation de l'organisation ainsi dégagée au moyen d'une expérience utilisateur. Cette dernière met en avant l'importance des locuteurs et l'avantage d'utiliser le tour de parole comme entité atomique en lieu et place du plan (shot), traditionnellement adopté dans les travaux de structuration. Ayant souligné l'importance de la segmentation en locuteurs pour la structuration d'émissions de talk show, nous y consacrons spécifiquement la seconde partie de cette thèse. Nous proposons tout d'abord un état de l'art des techniques utilisées dans ce domaine de recherche et en particulier des méthodes non-supervisées. Ensuite sont présentés les résultats d'un premier travail de détection et regroupement des tours de parole. Puis, un système original exploitant de manière plus efficace l'information visuelle est enfin proposé. La validité de la méthode présentée est testée sur les corpus d'émissions Le Grand Échiquier et On n'a pas tout dit. Au regard des résultats, notre dernier système se démarque avantageusement des travaux de l'état de l'art. Il conforte l'idée que les caractéristiques visuelles peuvent être d'un grand intérêt -- même pour la résolution de tâches supposément exclusivement audio comme la segmentation en locuteurs -- et que l'utilisation de méthodes à noyau dans un contexte multimodal peut s'avérer très performante.

En oncologie du thorax, les modalités d'imagerie de tomodensitométrie (TDM) et d'imagerie d'émission de positons (TEP) sont souvent utilisées conjointement, pour le diagnostic ou pour l'élaboration de plans de traitement. En effet, le développement d'appareils d'acquisition combinant ces deux modalités permet leur utilisation conjointe possible en routine clinique sans une difficulté préalable de recalage. Le premier objectif est de proposer des méthodes de segmentation automatiques de tumeurs ou ganglions à l'aide des deux modalités. La modalité TDM étant anatomiquement plus précise les segmentation sont réalisées dans cette modalité en utilisant l'imagerie TEP comme guide pour la localisation de la tumeur. Les organes à risque, devant être protégés des irradiations, nécessitent aussi d'être contourés. Un autre objectif est de proposer des algorithmes permettant leur segmentation. Ils s'appuient sur une connaissance a priori forte des distributions d'intensités des différents organes dans les images TDM et de connaissances a priori de formes des organes à segmenter. Un dernier objectif est de proposer une méthodologie pour la segmentation de tumeurs dans le cadre du suivi longitudinal des patients dans des images préalablement recalées. L'ensemble des méthodes de segmentation a été testé sur différents jeux de données, et lorsque des segmentations manuelles expertes sont disponibles, des résultats quantitatifs sont présentés, montrant l'intérêt des approches proposées et la précision des résultats obtenus.

Cette étude présente une méthode de structuration d'une vidéo utilisant des indices sonores et visuels. Cette méthode repose sur un modèle statistique de l'entrelacement temporel des plans de la vidéo. Le cadre général de la modélisation est celui des modèles de Markov cachés. Les indices visuels sont utilisés pour caractériser le type des plans. Les indices audio décrivent les événements sonores apparaissant durant un plan. La structure de la vidéo est représentée par un modèle de Markov caché hiérarchique, intégrant les informations a priori sur le contenu de la vidéo, ainsi que sur les règles d'édition. L'approche est validée dans le cadre des vidéos de tennis, ce dernier présentant une structure intrinsèque hiérarchique bien définie. En résultat de l'analyse de l'entrelacement temporel des différents types de plans, des scènes caractéristiques du tennis sont identifiées. De plus, chaque plan de la vidéo est assigné à un niveau de hiérarchie décrit en terme de point, jeu et set. Cette classification et segmentation simultanées de la structure globale de la vidéo peuvent être utilisées pour la création de résumés vidéo ou pour permettre une navigation non linéaire dans le document vidéo.

Cette thèse vise l'amélioration des capacités de communication des systèmes de Dialogue Homme Machine. Les travaux présentés visent à analyser les actions du système et leurs effets dans le dialogue. Cette problématique de conception des actes du système suppose de disposer d'outils conceptuels propices à l'analyse et renvoie à la problématique du fonctionnement cognitif de l'individu humain dans la communication. La partie théorique pose cette problématique appliquée dans un contexte interdisciplinaire (entre linguistique, ingénierie et psychologie). Cette présentation permet d'opposer deux points de vue dans la partie expérimentale : (1) l'approche pragmatique, qui analyse les actes des partenaires, selon un point de vue sociocognitif, et (2) l'approche cognitive, qui analyse les processus de traitement de l'information, centrée sur le niveau individuel. Cinq expériences (protocole du Magicien d'Oz) sont présentées. Dans les deux premières, le système communiquait en mode vocal (énoncés auditifs). Ces deux expériences mettent en évidence l'utilité et les effets des messages d'aide (aides procédurales) et de la syntaxe dans les énoncés auditifs. Dans les trois expériences suivantes, le système communiquait en mode multimodal (énoncés audio-visuels). Une catégorisation des types d'information à présenter a été introduite. Une règle d'attribution des modes de présentation (auditif et/ou visuel) aux différents types d'information (‘écho', ‘réponse', ‘relance') a été proposée pour concevoir des ‘stratégies de présentation' innovantes. Ces trois expériences ont permis de démontrer l'intérêt des principes d'analyse utilisés pour la conception des stratégies de présentation. Elles montrent l'importance de la relation type-mode pour prédire les effets des actes. Les résultats obtenus permettent de valider l'approche pragmatique contre l'approche cognitive. La discussion permet d'aborder les implications de ces résultats, sous l'angle de la conception des énoncés des systèmes de DHM et sous l'angle des conséquences théoriques qui peuvent être tirées de ces résultats

Cette thèse traite de la problématique de l'unification de différents flux d'informations modales qui peuvent provenir des senseurs d'un agent. Cette unification, inspirée des expériences psychologiques comme l'effet ventriloque, s'appuie sur la détection de corrélations, définies comme des motifs spatiaux qui apparaissent régulièrement dans les flux d'entrée. L'apprentissage de l'espace des corrélations du flux d'entrée échantillonne cet espace et généralise les échantillons appris. Cette thèse propose des principes fonctionnels pour le traitement multimodal de l'information qui ont aboutit à l'architecture connexionniste, générique, modulaire et cortico-inspirée SOMMA (Self-Organizing Maps for Multimodal Association). Dans ce modèle, le traitement de chaque modalité s'effectue au sein d'une carte corticale. L'unification multimodale de l'information est obtenue par la mise en relation réciproque de ces cartes. L'échantillonnage et la généralisation des corrélations reposent sur une auto-organisation contrainte des cartes. Ce modèle est caractérisé par un apprentissage progressif de ces propriétés fonctionnelles: les propriétés monomodales amorcent l'émergence des propriétés multimodales et, dans le même temps, l'apprentissage de certaines corrélations par chaque carte est un préalable à l'auto-organisation de ces cartes. Par ailleurs, l'utilisation d'une architecture connexionniste et d'un apprentissage continu et non supervisé fournit au modèle des propriétés de robustesse et d'adaptabilité qui sont généralement absentes des approches informatiques classiques.

Cette thèse s'inscrit dans le domaine de l'intelligence ambiante et de l'interaction homme-machine. Elle a pour thème la génération d'interfaces homme-machine adaptées au contexte d'interaction dans les environnements ambiants. Les travaux de recherche présentés traitent des problèmes rencontrés lors de la conception d'IHM dans l'ambiant et notamment de la réutilisation de techniques d'interaction multimodales et multi-périphériques. Ce travail se divise en trois phases. La première est une étude des problématiques de l'IHM spécifiques à l'Ambiant et des architectures logicielles adaptées à ce cadre théorique. Cette étude permet d'établir les limites des approches actuelles et de proposer, dans la seconde phase, une nouvelle approche pour la conception d'IHM ambiante appelée DAME. Cette approche repose sur l'association automatique de composants logiciels qui construisent dynamiquement une IHM. Nous proposons deux modèles complémentaires qui permettent de décrire les caractéristiques ergonomiques et architecturales des composants. La conception de ces derniers est guidée par une architecture logicielle composée de plusieurs couches qui permet d'identifier les différents niveaux d'abstraction réutilisables d'un langage d'interaction. Un troisième modèle, appelé modèle comportemental, permet de spécifier des recommandations quant à l'instanciation de ces composants. Nous proposons un algorithme permettant de générer des IHM adaptées au contexte et d'évaluer la qualité de celles-ci par rapport aux recommandations du modèle comportemental. Dans la troisième phase, nous avons implémenté une plateforme réalisant la vision soutenue par DAME. Cette implémentation est confrontée aux utilisateurs finaux dans une expérience de validation qualitative. De ces travaux ressortent des résultats encourageants, ouvrant la discussion sur de nouvelles perspectives de recherche dans le cadre de l'IHM en informatique ambiante.

Depuis les travaux fondateurs de R. Bolt « Mets ça là » combinant la voix et le geste, les modalités<br />d'interaction se sont multipliées, diversifiées et améliorées. Les récents paradigmes d'interaction<br />comme les interfaces tangibles incarnées ou la réalité augmentée, couplés aux progrès des systèmes<br />de localisation, à la miniaturisation des dispositifs, à la qualité des réseaux sans fils, à l'amélioration de<br />la reconnaissance de la parole ou de gestes ouvrent un vaste champ de possibilités d'interaction pour<br />les systèmes multimodaux. Dans ce contexte, et bien que de nombreux systèmes multimodaux soient<br />disponibles, leur développement et leur maintien restent encore des tâches difficiles, notamment<br />par manque de réutilisabilité de l'existant. Ce travail de thèse aborde ce problème de conception et<br />de développement pour la multimodalité en entrée (de l'utilisateur vers le système informatique).<br />Nous décrivons un modèle conceptuel de la multimodalité qui organise dans un canevas unificateur<br />les modalités et leurs formes de combinaison. Basé sur ce modèle, nous définissons une approche<br />générique à composants logiciels, notée ICARE, facilitant et accélérant la conception, le développement<br />et le maintien des interfaces multimodales. Nous démontrons l'apport de cette approche par l'outil<br />ICARE qui est une opérationnalisation de notre approche à composants. Un éditeur graphique est fourni,<br />simplifiant la phase d'assemblage des composants et générant automatiquement le code correspondant<br />à l'interaction multimodale. Cinq systèmes multimodaux aux caractéristiques distinctes (systèmes de<br />réalité augmentée, de virtualité augmentée et mobiles) ont été développés avec l'outil ICARE.

Cette recherche s'inscrit dans le champ de la didactique du FLE et de la communication médiée par ordinateur (CMO). L'étude se place dans une perspective interactionniste de l'acquisition d'une langue seconde (L2), selon laquelle l'apprentissage d'une L2 est facilité par les interactions interpersonnelles qui se produisent durant la réalisation d'une tâche. La recherche s'appuie sur le projet d'enseignement-apprentissage du FLE le " Français en 1ère ligne ", qui met en relation des tuteurs en France et des apprenants américains de Berkeley dans un dispositif de visioconférence. L'objectif de l'étude est d'évaluer le potentiel acquisitionnel de ce dispositif, à travers l'analyse des séquences métalinguistiques déclenchées aux cours des interactions. Celles-ci constituent des épisodes où les interlocuteurs traitent les problèmes de code liés à l'intercompréhension et à la production langagière. En nous appuyant sur les principes de l'analyse conversationnelle d'inspiration ethnométhodologique, notre étude est empirique et principalement descriptive. La catégorisation des séquences métalinguistiques, la description du contexte situationnel d'apparition et des configurations interactionnelles, ainsi que l'analyse de la nature discursive des procédés utilisés pour solliciter l'aide du partenaire et réparer interactivement les obstacles linguistiques indiquent que les interactions vidéographiques en ligne sont susceptibles de déclencher des séquences métalinguistiques, similaires à celles produites en face-à-face. L'analyse de la multimodalité du dispositif, et plus précisément la façon dont les interlocuteurs ont recours aux différents modes de communication pour résoudre les problèmes de communication, montre les effets positifs de celle-ci sur l'apprentissage d'une L2. En effet, la multimodalité permet à l'apprenant une meilleure focalisation sur la forme et une prise de conscience plus efficace des écarts entre son interlangue et la langue cible.