Les systèmes de dialogue homme-machine ont pour objectif de permettre un échange oral efficace et convivial entre un utilisateur humain et un ordinateur. Leurs domaines d'applications sont variés, depuis la gestion d'échanges commerciaux jusqu'au tutorat ou l'aide à la personne. Cependant, les capacités de communication de ces systèmes sont actuellement limités par leur aptitude à comprendre la parole spontanée. Nos travaux s'intéressent au module de compréhension de la parole et présentent une proposition entièrement basée sur des approches stochastiques, permettant l'élaboration d'une hypothèse sémantique complète. Notre démarche s'appuie sur une représentation hiérarchisée du sens d'une phrase à base de frames sémantiques. La première partie du travail a consisté en l'élaboration d'une base de connaissances sémantiques adaptée au domaine du corpus d'expérimentation MEDIA (information touristique et réservation d'hôtel). Nous avons eu recours au formalisme FrameNet pour assurer une généricité maximale à notre représentation sémantique. Le développement d'un système à base de règles et d'inférences logiques nous a ensuite permis d'annoter automatiquement le corpus. La seconde partie concerne l'étude du module de composition sémantique lui-même. En nous appuyant sur une première étape d'interprétation littérale produisant des unités conceptuelles de base (non reliées), nous proposons de générer des fragments sémantiques (sous-arbres) à l'aide de réseaux bayésiens dynamiques. Les fragments sémantiques générés fournissent une représentation sémantique partielle du message de l'utilisateur. Pour parvenir à la représentation sémantique globale complète, nous proposons et évaluons un algorithme de composition d'arbres décliné selon deux variantes. La première est basée sur une heuristique visant à construire un arbre de taille et de poids minimum. La seconde s'appuie sur une méthode de classification à base de séparateurs à vaste marge pour décider des opérations de composition à réaliser. Le module de compréhension construit au cours de ce travail peut être adapté au traitement de tout type de dialogue. Il repose sur une représentation sémantique riche et les modèles utilisés permettent de fournir des listes d'hypothèses sémantiques scorées. Les résultats obtenus sur les données expérimentales confirment la robustesse de l'approche proposée aux données incertaines et son aptitude à produire une représentation sémantique consistante

Le principal objectif de cette thèse vise à estimer de manière automatique la qualité de la traduction de langue parlée (Spoken Language Translation ou SLT), appelée estimation de confiance (Confidence Estimation ou CE). Le système de SLT génère les hypothèses représentées par les séquences de mots pour l'audio qui contient parfois des erreurs. En raison de multiples facteurs, la sortie de SLT, ayant une qualité insatisfaisante, pourrait causer différents problèmes pour les utilisateurs finaux. Par conséquent, il est utile de savoir combien de confiance les tokens corrects pourraient être trouvés au sein de l'hypothèse. L'objectif de l'estimation de confiance consistait à obtenir des scores qui quantifient le niveau de confiance ou à annoter les tokens cibles en appliquant le seuil de décision (par exemple, seuil par défaut = 0,5). Dans le cadre de cette thèse, nous avons proposé un boîte à outils, qui consiste en un framework personnalisable, flexible et en une plate-forme portative, pour l'estimation de confiance au niveau de mots (Word-level Confidence Estimation ou WCE) de SLT.En premier lieu, les erreurs dans le SLT ont tendance à se produire sur les hypothèses de la reconnaissance automatique de la parole (Automatic Speech Recognition ou ASR) et sur celles de la traduction automatique (Machine Translation ou MT), qui sont représentées par des séquences de mots. Ce phénomène est étudié par l'estimation de confiance (CE) au niveau des mots en utilisant les modèles de champs aléatoires conditionnels (Conditional Random Fields ou CRF). Cette tâche, relativement nouvelle, est définie et formalisée comme un problème d'étiquetage séquentiel dans lequel chaque mot, dans l'hypothèse de SLT, est annoté comme bon ou mauvais selon un ensemble des traits importants. Nous proposons plusieurs outils servant d’estimer la confiance des mots (WCE) en fonction de notre évaluation automatique de la qualité de la transcription (ASR), de la qualité de la traduction (MT), ou des deux (combiner ASR et MT). Ce travail de recherche est réalisable parce que nous avons construit un corpus spécifique, qui contient 6.7k des énoncés pour lesquels un quintuplet est normalisé comme suit : (1) sortie d’ASR, (2) transcription en verbatim, (3) traduction textuelle, (4) traduction vocale et (5) post-édition de la traduction. La conclusion de nos multiples expérimentations, utilisant les traits conjoints entre ASR et MT pour WCE, est que les traits de MT demeurent les plus influents, tandis que les traits de ASR peuvent apporter des informations intéressantes complémentaires.En deuxième lieu, nous proposons deux méthodes pour distinguer des erreurs susceptibles d’ASR et de celles de MT, dans lesquelles chaque mot, dans l'hypothèse de SLT, est annoté comme good (bon), asr_error (concernant les erreurs d’ASR) ou mt_error (concernant les erreurs de MT). Nous contribuons donc à l’estimation de confiance au niveau de mots (WCE) pour SLT par trouver la source des erreurs au sein des systèmes de SLT.En troisième lieu, nous proposons une nouvelle métrique, intitulée Word Error Rate with Embeddings (WER-E), qui est exploitée afin de rendre cette tâche possible. Cette approche génère de meilleures hypothèses de SLT lors de l'optimisation de l'hypothèse de N-meilleure hypothèses avec WER-E.En somme, nos stratégies proposées pour l'estimation de la confiance se révèlent un impact positif sur plusieurs applications pour SLT. Les outils robustes d’estimation de la qualité pour SLT peuvent être utilisés dans le but de re-calculer des graphes de la traduction de parole ou dans le but de fournir des retours d’information aux utilisateurs dans la traduction vocale interactive ou des scénarios de parole aux textes assistés par ordinateur.Mots-clés: Estimation de la qualité, Estimation de confiance au niveau de mots (WCE), Traduction de langue parlée (SLT), traits joints, Sélection des traits. / The main aim of this thesis is to investigate the automatic quality assessment of spoken language translation (SLT), called Confidence Estimation (CE) for SLT. Due to several factors, SLT output having unsatisfactory quality might cause various issues for the target users. Therefore, it is useful to know how we are confident in the tokens of the hypothesis. Our first contribution of this thesis is a toolkit LIG-WCE which is a customizable, flexible framework and portable platform for Word-level Confidence Estimation (WCE) of SLT.WCE for SLT is a relatively new task defined and formalized as a sequence labelling problem where each word in the SLT hypothesis is tagged as good or bad accordingto a large feature set. We propose several word confidence estimators (WCE) based on our automatic evaluation of transcription (ASR) quality, translation (MT) quality,or both (combined/joint ASR+MT). This research work is possible because we built a specific corpus, which contains 6.7k utterances for which a quintuplet containing: ASRoutput, verbatim transcript, text translation, speech translation and post-edition of the translation is built. The conclusion of our multiple experiments using joint ASR and MT features for WCE is that MT features remain the most influent while ASR features can bring interesting complementary information.As another contribution, we propose two methods to disentangle ASR errors and MT errors, where each word in the SLT hypothesis is tagged as good, asr_error or mt_error.We thus explore the contributions of WCE for SLT in finding out the source of SLT errors.Furthermore, we propose a simple extension of WER metric in order to penalize differently substitution errors according to their context using word embeddings. For instance, the proposed metric should catch near matches (mainly morphological variants) and penalize less this kind of error which has a more limited impact on translation performance. Our experiments show that the correlation of the new proposed metric with SLT performance is better than the one of WER. Oracle experiments are also conducted and show the ability of our metric to find better hypotheses (to be translated) in the ASR N-best. Finally, a preliminary experiment where ASR tuning is based on our new metric shows encouraging results.To conclude, we have proposed several prominent strategies for CE of SLT that could have a positive impact on several applications for SLT. Robust quality estimators for SLT can be used for re-scoring speech translation graphs or for providing feedback to the user in interactive speech translation or computer-assisted speech-to-text scenarios.Keywords: Quality estimation, Word confidence estimation (WCE), Spoken Language Translation (SLT), Joint Features, Feature Selection.

De nombreuses études longitudinales ont montré un lien causal entre habiletés phonologiques précoces et plus tard le développement de la lecture et de l’écriture chez l’enfant entendant (Bryant, MacLean, Bradley & Crossland, 1990). Pour apporter une contribution aux connaissances concernant ce lien chez les enfants sourds, nous avons réalisé une étude longitudinale qui s’échelonne de la troisième maternelle à la seconde primaire. Les performances d’enfants sourds sévères et profonds prélinguaux exposés (précocement vs tardivement) ou non au Langage Parlé Complété (« LPC », code manuel destiné à lever l’ambiguïté de la lecture labiale seule) sont comparées à celles d’enfants entendants de même âge chronologique. Diverses épreuves phonologiques, de lecture et d’écriture ont été proposées. Les résultats ont montré que les habiletés phonologiques précoces prédisaient le niveau de reconnaissance de mots écrits en première primaire chez les enfants sourds comme chez les enfants entendants. Cependant, un effet plus important de l’apprentissage de la lecture est observé sur le niveau d’habiletés phonologiques, de lecture et d’écriture lors des deux premières primaires chez les enfants sourds. De plus, les performances des enfants sourds exposés précocement au LPC ne diffèrent pas de celles des enfants entendants et sont plus élevées que celles des autres enfants sourds, en particulier en première et seconde primaire. L’exposition précoce au LPC permettrait donc le développement de représentations phonologiques précises et par conséquent l’utilisation d’un décodage phonologique efficace en lecture et en écriture au début de l’apprentissage de la lecture. / Longitudinal studies have shown a causal connection between early phonological skills and later literacy development in hearing children (Bryant, MacLean, Bradley & Crossland, 1990). The aim of our study is to investigate whether early phonological skills predict later literacy performance in deaf children either exposed (early versus late) or not exposed to Cued Speech (“CS”, a manual system delivering phonetically augmented speechreading through the visual modality). Different phonological and literacy tasks were administered from kindergarten to seconde grade. The results show that the early phonological skills in kindergarten predict written word recognition in first grade in the deaf as well as in the hearing groups. However, an effect of learning to read seems to be more important on the level of phonological and literacy skills during the first and seconde grade in deaf children. In addition, the performances of early CS users do not differ from those of hearing children and are higher than those of the other deaf children, especially in first and second grade. Early exposure to Cued Speech may permit the development of accurate phonological representations and, consequently, the use of accurate phonological decoding to recognize written words and to spell at an early stage in learning to read.

Les systèmes de dialogue homme-machine ont pour objectif de permettre un échange oral efficace et convivial entre un utilisateur humain et un ordinateur. Leurs domaines d'applications sont variés, depuis la gestion d'échanges commerciaux jusqu'au tutorat ou l'aide à la personne. Cependant, les capacités de communication de ces systèmes sont actuellement limités par leur aptitude à comprendre la parole spontanée. Nos travaux s'intéressent au module de compréhension de la parole et présentent une proposition entièrement basée sur des approches stochastiques, permettant l'élaboration d'une hypothèse sémantique complète. Notre démarche s'appuie sur une représentation hiérarchisée du sens d'une phrase à base de frames sémantiques. La première partie du travail a consisté en l'élaboration d'une base de connaissances sémantiques adaptée au domaine du corpus d'expérimentation MEDIA (information touristique et réservation d'hôtel). Nous avons eu recours au formalisme FrameNet pour assurer une généricité maximale à notre représentation sémantique. Le développement d'un système à base de règles et d'inférences logiques nous a ensuite permis d'annoter automatiquement le corpus. La seconde partie concerne l'étude du module de composition sémantique lui-même. En nous appuyant sur une première étape d'interprétation littérale produisant des unités conceptuelles de base (non reliées), nous proposons de générer des fragments sémantiques (sous-arbres) à l'aide de réseaux bayésiens dynamiques. Les fragments sémantiques générés fournissent une représentation sémantique partielle du message de l'utilisateur. Pour parvenir à la représentation sémantique globale complète, nous proposons et évaluons un algorithme de composition d'arbres décliné selon deux variantes. La première est basée sur une heuristique visant à construire un arbre de taille et de poids minimum. La seconde s'appuie sur une méthode de classification à base de séparateurs à vaste marge pour décider des opérations de composition à réaliser. Le module de compréhension construit au cours de ce travail peut être adapté au traitement de tout type de dialogue. Il repose sur une représentation sémantique riche et les modèles utilisés permettent de fournir des listes d'hypothèses sémantiques scorées. Les résultats obtenus sur les données expérimentales confirment la robustesse de l'approche proposée aux données incertaines et son aptitude à produire une représentation sémantique consistante / Spoken dialog systems enable users to interact with computer systems via natural dialogs, as they would with human beings. These systems are deployed into a wide range of application fields from commercial services to tutorial or information services. However, the communication skills of such systems are bounded by their spoken language understanding abilities. Our work focus on the spoken language understanding module which links the automatic speech recognition module and the dialog manager. From the user’s utterance analysis, the spoken language understanding module derives a representation of its semantic content upon which the dialog manager can decide the next best action to perform. The system we propose introduces a stochastic approach based on Dynamic Bayesian Networks (DBNs) for spoken language understanding. DBN-based models allow to infer and then to compose semantic frame-based tree structures from speech transcriptions. First, we developed a semantic knowledge source covering the domain of our experimental corpus (MEDIA, a French corpus for tourism information and hotel booking). The semantic frames were designed according to the FrameNet paradigm and a hand-craft rule-based approach was used to derive the seed annotated training data.Then, to derive automatically the frame meaning representations, we propose a system based on a two decoding step process using DBNs : first basic concepts are derived from the user’s utterance transcriptions, then inferences are made on sequential semantic frame structures, considering all the available previous annotation levels. The inference process extracts all possible sub-trees according to lower level information and composes the hypothesized branches into a single utterance-span tree. The composition step investigates two different algorithms : a heuristic minimizing the size and the weight of the tree ; a context-sensitive decision process based on support vector machines for detecting the relations between the hypothesized frames. This work investigates a stochastic process for generating and composing semantic frames using DBNs. The proposed approach offers a convenient way to automatically derive semantic annotations of speech utterances based on a complete frame hierarchical structure. Experimental results, obtained on the MEDIA dialog corpus, show that the system is able to supply the dialog manager with a rich and thorough representation of the user’s request semantics

Depuis l’adoption de la politique de l’adaptation scolaire en 1999, le ministère de l’Éducation, du Loisir et du Sport a mis en place un plan d’action pour permettre l’intégration des élèves handicapés ou en difficulté d’adaptation ou d’apprentissage. L’intégration des élèves handicapés a fait l’objet de plusieurs études ; toutefois, peu d’entre elles se sont intéressées à l’intégration d’élèves présentant une déficience auditive et utilisant le langage parlé complété. Le but de cette étude est de mettre en lumière les perceptions d’élèves présentant une déficience auditive quant à l’utilisation du langage parlé complété en contexte d’intégration scolaire. Les concepts exploités dans ce mémoire sont relatifs à la surdité, aux élèves présentant une déficience auditive, aux modes de communication utilisés auprès de ces élèves, et plus particulièrement le langage parlé complété, de même qu’au contexte d’intégration scolaire québécois. Cette recherche est de type exploratoire et la méthode utilisée est qualitative. Cinq étudiants présentant une déficience auditive et âgés entre 12 et 17 ans ont participé à une entrevue semi-dirigée. Les résultats de ces entretiens montrent que ces élèves ont des perceptions positives et négatives face à l’utilisation du langage parlé complété en contexte d’intégration. Quoique de façon générale cela n’entrave pas leur intégration scolaire, les perceptions négatives se rapportent davantage à l’intégration sociale qu’à l’intégration scolaire. / Since the adoption of the policy on special education in 1999, the Ministère de l’Éducation, du Loisir et du Sport created an action plan to allow the integration of the students with special needs. The integration of pupils with handicaps had been the subject of several studies, however, little of them were interested in integration of hearing impairment students using Cued Speech at school. The objective of this study is to throw a light onto perceptions of pupils presenting hearing impairment regarding the use of Cued Speech in a context of school integration. The concepts exploited in this memory are related to students with hearing impairment, deafness, modes of communication used with these pupils, and more particularly the Cued Speech, just as the context of Québec school integration. This research is of the exploratory kind, and the method used is qualitative. Five students with hearing impairment and between 12 and 17 years old took part in semi-directed interview. The results of these research sessions show that these pupils have positive and negative perceptions vis-a-vis the use of Cued Speech in an integration context. Though, in a general way, it does not seem to hinder their school integration, negative perceptions more refer to social integration than school integration.

Depuis l’adoption de la politique de l’adaptation scolaire en 1999, le ministère de l’Éducation, du Loisir et du Sport a mis en place un plan d’action pour permettre l’intégration des élèves handicapés ou en difficulté d’adaptation ou d’apprentissage. L’intégration des élèves handicapés a fait l’objet de plusieurs études ; toutefois, peu d’entre elles se sont intéressées à l’intégration d’élèves présentant une déficience auditive et utilisant le langage parlé complété. Le but de cette étude est de mettre en lumière les perceptions d’élèves présentant une déficience auditive quant à l’utilisation du langage parlé complété en contexte d’intégration scolaire. Les concepts exploités dans ce mémoire sont relatifs à la surdité, aux élèves présentant une déficience auditive, aux modes de communication utilisés auprès de ces élèves, et plus particulièrement le langage parlé complété, de même qu’au contexte d’intégration scolaire québécois. Cette recherche est de type exploratoire et la méthode utilisée est qualitative. Cinq étudiants présentant une déficience auditive et âgés entre 12 et 17 ans ont participé à une entrevue semi-dirigée. Les résultats de ces entretiens montrent que ces élèves ont des perceptions positives et négatives face à l’utilisation du langage parlé complété en contexte d’intégration. Quoique de façon générale cela n’entrave pas leur intégration scolaire, les perceptions négatives se rapportent davantage à l’intégration sociale qu’à l’intégration scolaire. / Since the adoption of the policy on special education in 1999, the Ministère de l’Éducation, du Loisir et du Sport created an action plan to allow the integration of the students with special needs. The integration of pupils with handicaps had been the subject of several studies, however, little of them were interested in integration of hearing impairment students using Cued Speech at school. The objective of this study is to throw a light onto perceptions of pupils presenting hearing impairment regarding the use of Cued Speech in a context of school integration. The concepts exploited in this memory are related to students with hearing impairment, deafness, modes of communication used with these pupils, and more particularly the Cued Speech, just as the context of Québec school integration. This research is of the exploratory kind, and the method used is qualitative. Five students with hearing impairment and between 12 and 17 years old took part in semi-directed interview. The results of these research sessions show that these pupils have positive and negative perceptions vis-a-vis the use of Cued Speech in an integration context. Though, in a general way, it does not seem to hinder their school integration, negative perceptions more refer to social integration than school integration.

De nombreuses études longitudinales ont montré un lien causal entre habiletés phonologiques précoces et plus tard le développement de la lecture et de l’écriture chez l’enfant entendant (Bryant, MacLean, Bradley & Crossland, 1990). Pour apporter une contribution aux connaissances concernant ce lien chez les enfants sourds, nous avons réalisé une étude longitudinale qui s’échelonne de la troisième maternelle à la seconde primaire. Les performances d’enfants sourds sévères et profonds prélinguaux exposés (précocement vs tardivement) ou non au Langage Parlé Complété (« LPC », code manuel destiné à lever l’ambiguïté de la lecture labiale seule) sont comparées à celles d’enfants entendants de même âge chronologique. Diverses épreuves phonologiques, de lecture et d’écriture ont été proposées. Les résultats ont montré que les habiletés phonologiques précoces prédisaient le niveau de reconnaissance de mots écrits en première primaire chez les enfants sourds comme chez les enfants entendants. Cependant, un effet plus important de l’apprentissage de la lecture est observé sur le niveau d’habiletés phonologiques, de lecture et d’écriture lors des deux premières primaires chez les enfants sourds. De plus, les performances des enfants sourds exposés précocement au LPC ne diffèrent pas de celles des enfants entendants et sont plus élevées que celles des autres enfants sourds, en particulier en première et seconde primaire. L’exposition précoce au LPC permettrait donc le développement de représentations phonologiques précises et par conséquent l’utilisation d’un décodage phonologique efficace en lecture et en écriture au début de l’apprentissage de la lecture. / Longitudinal studies have shown a causal connection between early phonological skills and later literacy development in hearing children (Bryant, MacLean, Bradley & Crossland, 1990). The aim of our study is to investigate whether early phonological skills predict later literacy performance in deaf children either exposed (early versus late) or not exposed to Cued Speech (“CS”, a manual system delivering phonetically augmented speechreading through the visual modality). Different phonological and literacy tasks were administered from kindergarten to seconde grade. The results show that the early phonological skills in kindergarten predict written word recognition in first grade in the deaf as well as in the hearing groups. However, an effect of learning to read seems to be more important on the level of phonological and literacy skills during the first and seconde grade in deaf children. In addition, the performances of early CS users do not differ from those of hearing children and are higher than those of the other deaf children, especially in first and second grade. Early exposure to Cued Speech may permit the development of accurate phonological representations and, consequently, the use of accurate phonological decoding to recognize written words and to spell at an early stage in learning to read. / Doctorat en sciences psychologiques / info:eu-repo/semantics/nonPublished