Nos recherches s'inscrivent dans le domaine des EIAH et plus particulièrement dans les recherches menées sur la conception d'environnements d'apprentissage des langues étrangères. Nous nous intéressons à la conception et au support d'activités interactives au sein d'un micromonde dédié à l'apprentissage du français langue étrangère. L'idée sur laquelle repose la thèse est que l'apprentissage de la langue peut prendre place dans l'interaction entre un apprenant et un agent conversationnel. L'usage de la langue étrangère est mis en jeu au travers de la simulation d'une tâche applicative à accomplir dans un monde virtuel, réalisation impliquant la communication entre un apprenant et son partenaire virtuel. Nous élaborons des modèles qui décrivent les activités pédagogiques mises en place et le support aux interactions qu'elles génèrent. Ces modèles se décrivent selon trois dimensions qui permettent de caractériser la conception : tâche, interaction et langue. La description de la dimension tâche recouvre la description des tâches pédagogiques proposées aux apprenants, des tâches interactives créées à partir des spécifications des tâches pédagogiques et de la tâche applicative dont la résolution sert de prétexte à l'interaction. La description de la dimension interaction présente les types d'interaction attendus entre l'apprenant et son partenaire au cours des activités pédagogiques et le modèle d'interaction qui articule ces types d'interaction. La présentation de la dimension langue décrit le modèle du lexique, les mécanismes d'analyse des énoncés de l'apprenant et de génération des réactions du partenaire. Ces modèles ont été mis en œuvre lors de l'implémentation d'un prototype. Ce prototype a été expérimenté auprès de débutants en français langue étrangère.

Les systèmes de question- réponse monolingues ou multilingues permettent de chercher dans une grande collection de documents (de type journalistique par exemple), ou sur le Web une réponse précise à une question. Cependant, il n'y a pas d'interaction possible après la réponse : on ne peut pas demander une précision, modifier sa question. Or souvent la réponse ne peut pas être apportée directement (question trop imprécise), ou n'est pas pleinement satisfaisante pour l'utilisateur. Le sujet de la thèse proposée consiste à étendre ces travaux de manière à permettre à un utilisateur d'engager un vrai dialogue, qui ne se réduise pas à une question/une réponse, en se fondant sur le travaux menés dans le cadre du dialogue homme-machine. Le contexte de cette thèse se situe dans le prolongement des travaux menés dans le groupe LIR du LIMSI. En effet, nous travaillons depuis plusieurs années sur les systèmes de Question-Réponse, et nous avons participé à plusieurs campagnes d'évaluation, tant sur le monolingue anglais (campagne TREC-QA : http: / / t rec.nist.gov/), que sur le monolingue français (campagne EqueR-EVALDA : http: / /www.elda.org/article118.html) ou sur le multi-lingue (campagne CLEF-QA : http: / / clef- qa.itc.it /). Ces campagnes présentent l'intérêt de permettre une évaluation de nos travaux par rapport à la communauté nationale et internationale. Elles nous ont également permis d'en mesurer les limites et de définir des champs de recherche très ouverts, que ce soit au niveau de notre groupe ou des perspectives envisagées dans le cadre même de ces campagnes d'évaluation. Par ailleurs, nous avons longtemps travaillé sur les systèmes de dialogue homme-machine, plus ou moins finalisés. Le cadre des systèmes ouverts (sans tâche définie a priori) que constitue la recherche dans des grandes collections de documents ou sur le web nous permet de reprendre et d'étendre ces travaux. Le but de cette thèse est donc d'ouvrir les systèmes de question/ réponse à un dialogue au cours duquel n'importe quel sujet peut être abordé. Le point de départ est une adaptation des travaux menés en dialogue Homme-Machine dans des domaines restreints à un système de Questions-Réponses. Ces recherches ont pour finalité d'apporter des perspectives nouvelles au moteur de recherche d'information classique, à la fois en terme de précision de l'information trouvée, de volume d'information traitées et de gain de temps pour accéder à cette information.

Dans le cadre de la conception et de la réalisation d'un outil informatique pour la création musicale, on s'intéresse au geste instrumental pour contrôler en temps réel des processus de synthèse sonore par simulation de mécanisme instrumentaux et pour étudier sa relation a la composition musicale. Pour décrire et classifier le geste instrumental, assimile a une séquence d'événements gestuels, capte et mémorise sous la forme de signaux échantillonnes, nous posons le probleme de la segmentation. En considérant le jeu instrumental sur clavier nous proposons des éléments de syntaxe gestuelle et en déduisons des critères pour la segmentation automatique. Nous nous intéressons ensuite à la représentation graphique des événements gestuels segmentes et a leur composition et transformation. Nous définissons plusieurs niveaux de représentation et pour chacun d'eux, des procédures de traitement manuels ou pris en charge, tout ou en partie, par des modèles de composition. L'éditeur de geste, intégré dans le système de synthèse sonore cordis-anima, synthétise l'ensemble de ces possibilites

Cette thèse porte sur la modélisation des attentes du locuteur en dialogue humain et en dialogue homme-machine. Les attentes du locuteur sont vues comme les résultats espérés de ses actes, selon l'hypothèse qu'un individu en situation de dialogue finalisé (oral ou non, humain ou homme-machine) aura certaines attentes vis-à-vis de son allocutaire suite à son énoncé. <br />La théorie développée puise ses sources dans la philosophie analytique et sa logique dialogique dérivée des actes de langage, dans l'éthnométhodologie et la théorie des faces, dans les cognisciences et la théorie de la pertinence, et enfin dans la linguistique. Une notation en actes de dialogue a été établie pour représenter les connaissances, les rôles et les actes de langage des interactants. La modélisation considère des règles d'association acte-attentes assorties de probabilités, les stratégies employées et les buts dialogiques.<br />Pour évaluer les règles et les probabilités, deux corpus ont été collectés : l'un en dialogue humain (dans un cadre de traduction de parole), l'autre en dialogue homme-machine (pour développer un assistant d'entreprise virtuel). Pour la collecte du deuxième, une plate-forme à base de magicien d'Oz a été réalisée afin de simuler le système final. Les corpus recueillis ont été transcrits, annotés et analysés en vue de montrer l'intérêt de considérer les attentes plutôt que de faire de la simple prédiction d'acte. <br />Les résultats sont intéressants pour le dialogue humain et pour le dialogue homme-machine : la prise en compte des attentes améliore l'identification des actes de dialogue des interlocuteurs, et le contrôle du dialogue.

Ce travail se place dans le cadre des analyses de discours. Son objectif est de proposer une méthode d'analyse pour reconnaître les actes de dialogue accomplis. Pour cela un corpus d'une quinzaine de dialogues oraux authentiques a été analysé ; ces dialogues mettent en scène deux locuteurs dans une tâche de conception de dessin. Cette étude consiste à déterminer un certain nombre de marques linguistiques et contextuelles rendant compte des actes de dialogue produits par les locuteurs. L'idée sur laquelle repose l'étude de ces marques est qu'un locuteur donne dans son énonciation suffisamment d'" indices " pour être compris, indices qui permettront à l'interlocuteur d'interpréter ce que le locuteur a voulu dire. Trois types d'indices linguistiques ont été retenus : les indices intervenant dans la détermination des actes de dialogue, les indices de connexion dont le rôle est de marquer la structure du discours et les indices de cohésion rendant compte des chaînes thématiques. Ces indices peuvent être des items ou des expressions lexicales, de nature morphologique ou syntaxique. Les informations contextuelles prises en compte dans l'analyse sont la situation d'énonciation, les enchaînements d'énoncés, les rôles occupés par les locuteurs dans leur tâche, auxquelles on ajoute des informations prosodiques et gestuelles. Un prototype a été élaboré ; il identifie à partir des informations linguistiques et contextuelles étudiées, les actes de dialogue correspondant aux énoncés. Ce système dispose d'un modèle des enchaînements d'actes de dialogue les plus fréquents, ainsi que d'un modèle de gestion des rôles occupés par les locuteurs. En effet, selon le rôle occupé, les locuteurs n'effectuent pas les mêmes interactions dans le même contexte. Enfin, on a donné au système un ensemble de connaissances sur les marques linguistiques nécessaires à l'identification des actes effectués. La tâche du système consiste ainsi à reconnaître que "tu peux déplacer le triangle à droite" est bien une requête ou que "je prends ce rond là ?" est bien une question. Le problème revient à déterminer les marques linguistiques et/ou contextuelles pertinentes, qui permettent de reconnaître ce qui est énoncé en terme d'actions de communication.

Le paradigme SIMDIAL propose d'évaluer les Systèmes de Dialogue Homme-Machine (SDHM) en simulant des utilisateurs. Ces utilisateurs simulés rendent possible l'observation des comportements des systèmes évalués en prennent dynamiquement part à des dialogues avec ces derniers. Le simulateur d'utilisateurs interagit avec les SDHM évalués au niveau du langage naturel afin d'être le plus générique possible par rapport à eux. Les critères d'évaluation utilisés dans le paradigme SIMDIAL sont la résolution des tâches par les systèmes évalués ainsi que le nombre de tours de parole pour mener à bien cette résolution. Par ailleurs les comportements des utilisateurs simulés varient en fonction de plusieurs paramètres, comme leur stratégie directive ou non, le nombre d'informations qu'ils fournissent par tour de parole, ou encore des phénomènes perturbateurs tels que les hésitations ou les ambiguïtés. Ces paramètres offrent des capacités de diagnostic des SDHM évalués sur les différents omportements générés. Les résultats obtenus face deux SDHM valident le paradigme SIMDIAL et ont notamment permis d'apprécier des différences d'efficacité entre les différentes stratégies de l'utilisateur simulé pour chacun des systèmes évalués, ainsi que leur résistance aux phénomènes perturbateurs générés par le simulateur.

Nous avons développé un cadre pour contrôler la génération des énoncés en dialogue homme-machine multi-locuteurs.‭ ‬Ce processus se déroule en quatre étapes‭ ‬:‭ (‬i‭) ‬la structure rhétorique du dialogue est calculée,‭ ‬en utilisant une émulation de‭ ‬la SDRT‭ (<< ‬Segmented Discourse Representation Theory‭ >>) ; (‬ii‭) ‬cette structure est utilisée pour calculer les engagements des locuteurs‭ ; ‬ces engagements sont utilisés pour piloter le réglage de la force illocutoire des énoncés‭ ; (‬iii‭) ‬les engagements sont filtrés et placés dans une pile pour chaque locuteur‭ ; ‬ces piles sont utilisées pour effectuer des ellipses sémantiques‭ ; (‬iv‭) ‬la structure rhétorique pilote le choix des connecteurs concessifs‭ (‬mais,‭ ‬quand même,‭ ‬pourtant et bien que‭) ‬entre les énoncés‭ ; ‬pour ce faire,‭ ‬les énoncés sont ordonnés du point de vue argumentatif.

La généralisation de l’usage des systèmes de dialogue homme-machine accroît la nécessité du développement rapide des différents composants de ces systèmes. Les systèmes de dialogue peuvent être conçus pour différents domaines d’application et dans des langues différentes. La nécessité d’une production rapide pour de nouvelles langues reste un problème ouvert et crucial auquel il est nécessaire d’apporter des solutions efficaces.Nos travaux s’intéressent particulièrement au module de compréhension de la parole et proposent des approches pour la portabilité rapide peu coûteuse de ce module.Les méthodes statistiques ont montré de bonnes performances pour concevoir les modules de compréhension de la parole pour l’étiquetage sémantique de tours de dialogue.Cependant ces méthodes nécessitent de larges corpus pour être apprises. La collecte de ces corpus est aussi coûteuse en temps et en expertise humaine.Dans cette thèse, nous proposons plusieurs approches pour porter un système de compréhension d’une langue vers une autre en utilisant les techniques de la traduction automatique. Les premiers travaux consistent à appliquer la traduction automatique à plusieurs niveaux du processus de portabilité du système de compréhension afin de réduire le coût lié à production de nouvelles données d’apprentissage. Les résultats expérimentaux montrent que l’utilisation de la traduction automatique permet d’obtenir des systèmes performant avec un minimum de contribution humaine.Cette thèse traite donc à la fois de la traduction automatique et de la compréhension de la parole. Nous avons effectué une comparaison approfondie entre les méthodes utilisées pour chacune des tâches et nous avons proposé un décodage conjoint basé sur une méthode discriminante qui à la fois traduit une phrase et lui attribue ses étiquettes sémantiques. Ce décodage est obtenu par une approche à base de graphe qui permet de composer un graphe de traduction avec un graphe de compréhension. Cette représentation peut être généralisée pour permettre des transmissions d’informations riches entre les composants du système de dialogue / The generalisation of human-machine dialogue system increases the need for a rapid development of the various components of these systems. Dialogue systems can be designed for different applications and in different languages. The need for a fast production of systems for new languages ​​is still an open and crucial issue which requires effective solutions. Our work is particularly interested in speech understanding module and propose approaches for language portability of this module. The statistical methods showed good performance to design modules for speech understanding. However, these methods require large corpora to be trained. The collection of these corpora is expensive in time and human expertise. In this thesis, we propose several approaches to port an understanding system from one language to another using machine translation techniques. The experimental results show that the use of machine translation allows to produce efficient systems with minimal human effort. This thesis addresses both machine translation and speech understanding domain. We conducted a comparison between the methods used for each task and we have proposed a joint decoding between translation and understanding based on a discriminant method. This decoding is achieved by a graph-based approach which allows to compose a translation graph with an understanding graph. This representation can be generalized to allow a rich transmission of information between the components of the dialogue system

La question de la résolution de la référence est d'une importance majeure lorsque l'on souhaite s'intéresser à la généricité dans les systèmes de dialogue. En effet, s'il est relativement aisé de résoudre une référence à un objet du contexte lorsque ce dernier est limité à quelques types d'objets connus, le problème est beaucoup moins trivial si l'on souhaite pouvoir étendre la gestion des références à des situations moins contraintes, ce qui est le cas pour les agents assistants d'interface, qui peuvent être vus comme des systèmes de dialogue dont l'objectif est de pouvoir s'adapter facilement à plusieurs tâches distinctes. Des ambiguïtés pragmatiques peuvent apparaître, des catégories différentes moins bien « coller » avec des mots indépendants, ou bien des caractères être communs à plusieurs objets, et ne plus être discriminants. Dans les systèmes de dialogue simples, la solution consiste à définir des modules de résolution spécialisés en fonction du domaine et de la tâche de dialogue visée, ce qui brise la généricité du système.<br /><br />Sans aller jusqu'à traiter le problème de la référence dans le cadre général du dialogue non contraint, nous avons cherché à donner un cadre le plus générique possible à la résolution de la référence dans le cas des agents assistants d'interface. En effet, si on l'envisage dans son sens le plus large, la question de la référence ouvre un vaste champ d'étude, et ce dans de nombreuses disciplines comme la psychologie, la linguistique ou la philosophie. En informatique linguistique, même en mettant de côté les aspects anaphoriques, il reste encore un vaste choix de problématiques ouvertes à la réflexion. Les phénomènes tels que la métaphore et ses affiliés comme la métonymie ou la méronymie, la génération d'expressions référentielles ou la résolution de l'ancrage des expressions référentielles dans une représentation formelle (c'est-à-dire la résolution des entités codées informatiquement qui sont désignées dans un énoncé), n'ont jusqu'à présent que des solutions partielles ou ad hoc.<br /><br />Nous avons cherché à donner un cadre systématique au processus d'ancrage référentiel en situation de dialogue, en nous intéressant à l'environnement partagé par l'utilisateur et l'assistant, c'est-à-dire les connaissances et les perceptions que l'utilisateur considère comme accessible à son interlocuteur virtuel. Les travaux que nous avons menés dans cette direction nous ont conduit à adopter certains principes « philosophiques » qui, sans révolutionner radicalement en surface les modèles utilisés pour traiter la langue, influencent profondément les choix que nous pouvons faire dans la conception et la mise en oeuvre du processus d'interprétation. Partant de ces principes, nous avons souhaité établir une architecture d'interprétation à la fois simple et complète, afin d'intégrer les résultats que nous avons obtenu sur la référence avec un modèle d'interprétation global.<br /><br />Pour cela nous avons étudié les théories et approches ayant été proposées autour de cette problématique. Nous avons ainsi constaté les nombreux parallèles entre les systèmes de production de Newell [1972], qui permettent de modéliser une partie des processus cognitifs, et les constructions de Fillmore et Kay [1995], qui permettent de décrire les relations entre formes syntaxiques et représentations sémantiques. Ceci nous a guidé vers la réalisation d'un modèle regroupant leurs caractéristiques principales.<br /><br />Il manquait cependant à ces théories la capacité de traiter des structures ayant des caractéristiques topologiques non triviales, comme les représentations servant à un raisonnement temporel, qui sont pourtant nécessaires dans de nombreux modèles de raisonnement, ainsi que pour la résolution de la référence. Le modèle d'interprétation constructionnelle (MIC) que nous avons conçu pour répondre à ce besoin est un modèle d'interprétation pour le dialogue finalisé, où les différentes entrées du système de dialogue, qu'elles soient textuelles, visuelles ou autre sont traitées de manière homogène au moyen d'une opération unique : les constructions situées, une forme évoluée des constructions issues des travaux de Fillmore.<br /><br />Nous avons introduit la notion de construction située (aussi appelée s-construction) afin de pouvoir prendre en compte le fait que l'information traitée par le système de dialogue, décrite et structurée par des schémas de la sémantique des frames, peut être organisée à un niveau supérieur, y compris dans des structures dotées d'une topologie. La topologie qui organise les informations que contiennent ces structures peut être modélisée par des logiques particulières, qui permettent de décrire un système de contraintes. Par exemple, la logique de Allen [1983] pour la modélisation temporelle des événements peut être utilisée pour structurer les schémas représentant les événements. Les relations ainsi décrites peuvent être utilisées ensuite pour résoudre certaines références temporelles : l'expression « avant cela » désignant le segment temporel précédant l'événement désigné par « cela ». Ainsi, dans les s-constructions, les contraintes sur l'organisation de l'information (i.e. sur les conteneurs) peuvent être décrites tout autant que les contraintes sur le contenu de l'information. Dans notre modèle, l'interface permettant de décrire la logique qui supporte les caractéristiques topologiques d'un certain conteneur est nommée contexte, le modèle logique proprement dit n'est pas décrit dans le modèle, mais laissé à la charge d'un système externe.<br /><br />La mise en oeuvre du modèle d'interprétation constructionnelle, MICO, est inspirée par les travaux de Bryant sur l'implémentation d'une grammaire de construction grâce à une méthode d'analyse par tronçon (chunk parsing) et des travaux de Engel [2002] sur l'analyse linguistique par systèmes de production utilisée dans le projet SmartKom. Pour cette implémentation, nous introduisons la notion d'observateur, qui est l'équivalent opérationnel des S-Constructions. Un observateur est capable de reconnaître certaines formes dans les instances de contextes et peut produire une nouvelle information dans une instance de contexte si cette forme est reconnue.<br /><br />La faisabilité d'une interprétation basée sur ce modèle n'est pas évidente, car la grammaire décrite par les s-constructions est une grammaire contextuelle, et donc indécidable. Afin de rendre l'exécution des observateurs possible, nous adjoignons deux mécanismes pour guider le parcours du graphe d'interprétation. Le premier mécanisme utilise une information de pondération sur la probabilité de déclenchement a priori permettant d'ordonnancer plus efficacement l'exécution des observateurs. Cette pondération peut être soit calculée manuellement, soit déterminée automatiquement grâce à un algorithme d'apprentissage. Le second mécanisme est une généralisation du principe de restriction de sélection, généralisation rendue possible du fait que les informations manipulées dans notre modèle sont structurées. L'idée est d'augmenter la probabilité de déclenchement des observateurs capables de produire l'information attendue par un certain observateur, qui ne dispose que d'une partie de son motif de déclenchement.<br /><br />Le fait que les informations soient structurées topologiquement et dans des contextes distincts permet de spécifier qu'une certaine information est attendue dans une certaine zone (une zone étant l'ensemble des lieux qui respectent certaines contraintes, relativement à un contexte donné), et donc de décider assez rapidement si un observateur particulier a des chances de produire l'information attendue à l'endroit prévu. Ce mécanisme permet aussi de décrire la coercition à la demande, en spécifiant qu'un observateur ne peut être déclenché que si sa production est attendue. Enfin, en couplant ce mécanisme avec une approche de satisfaction partielle de contraintes pour décrire les motifs de déclenchement des observateurs, on assure au système d'interprétation une certaine robustesse.<br /><br />Afin de montrer que le modèle d'interprétation constructionnelle peut être utilisé pour traiter des phénomènes complexes, nous avons conçu un modèle de résolution extensionnelle de la référence capable de traiter des prédicats vagues, et qui utilise un version continue des domaines de référence [Corblin, 1987 ; Reboul, 1997 ; Salmon-Alt, 2001]. Dans ce cadre, nous soulevons plusieurs questions sur la pertinence de l'utilisation d'une représentation propositionnelle des entités pour l'analyse linguistique. Nous montrons que la prise en compte du contexte dans l'analyse des expressions référentielles induit l'existence de plusieurs interprétations possibles pour un même prédicat référentiel appliqué à un même type d'objet. Nous proposons qu'une représentation possible d'un des rôles de prédicat puisse être basée sur des fonctions agissant dans des domaines de références. Ayant constaté l'adéquation de ce modèle aux besoins des systèmes d'interprétation des agents conversationnels, nous montrons comment l'adapter au modèle d'interprétation unifié que nous avons conçu. <br /><br />Nous exposons nos travaux en trois parties. Dans la première partie, nous présentons le Modèle d'Interprétation Constructionnelle (MIC), après avoir argumenté en faveur d'une approche unifiée et fondée sur le principe de constructions. Dans la deuxième partie, nous présentons un modèle fonctionnel pour la résolution extensionnelle de la référence dans le cadre d'une interaction avec un support visuel, et nous décrivons la mise en oeuvre de ce modèle en utilisant le MIC. Dans la dernière partie, nous spécifions les caractéristiques du modèle d'interprétation constructionnelle par observateur (MICO), une réalisation possible du MIC structurée autour de la notion d'observateur, et nous présentons aussi le système InterViews [Sansonnet, 2003], qui a été à l'origine de nos travaux.

Notre travail de thèse porte sur la modélisation des intentions de communications des systèmes de dialogue homme-machine en langue naturelle et de manière générale de tout agent logiciel. Il s'agit de proposer un modèle de fonctionnement permettant à la machine d'avoir ses propres intentions de communiquer avec l'utilisateur humain, de telle sorte que la pertinence optimale de ses énonciations soit garantie.<br /><br />Notre modèle s'appuie sur l'idée que le sens échangé entre les interactants d'une conversation n'est pas un sens pré-existant à celle-ci, mais au contraire, un sens négocié et co-construit par les interactants durant la conversation. Cette co-construction s'appuie sur l'hypothèse de l'existence d'un terrain commun, c'est-à-dire d'un ensemble de connaissances, hypothèses et croyances que le locuteur pense être partagées.<br /><br />Notre travail a consisté à définir une mémoire interactionnelle pour la machine permettant le travail de négociation du sens. Cette mémoire contient des éléments de différents états organisés en arborescences. Ces éléments proviennent de l'interprétation des actes illocutoires de l'utilisateur et des résultats des raisonnements faits par les différentes activités du système de dialogue. Nous distinguons l'activité applicative dont le but est de fournir un service quelconque à l'utilisateur, l'activité langagière qui consiste à analyser les énoncés de l'utilisateur et générer les énoncés du système, et enfin l'activité dialogique qui consiste à dialoguer avec l'utilisateur. Les intentions de communications de la machine sont générées par la reconnaissance de configurations remarquables que nous avons définies en étudiant les arborescences qu'il est normalement possible d'obtenir. Ce principe de génération, à l'origine des actes langagiers de la machine, est général et indépendant de l'application. Il s'appuie uniquement sur la forme structurelle des éléments mnésiques (appelé UMM pour Unité Minimale de Mémoire) et sur le statut de ces derniers.