Pour acquérir leur langue maternelle, les bébés doivent a la fois apprendre la forme des mots (par exemple, le mot “chien” en français, “dog” en anglais) et leur sens (la catégorie des chiens). Ces deux aspects de l’apprentissage de la langue ont été typiquement étudiés indépendamment. Des découvertes récentes en psychologie du développement et en apprentissage automatique suggèrent, néanmoins, que la forme et le sens pourraient très bien interagir, et ce, dès les premières étapes du développement. La thèse explore cette piste à travers une étude interdisciplinaire qui combine des outils utilisés dans la technologie de la reconnaissance et la psychologie expérimentale. Dans un premier temps, j’ai développé un modèle computationnel capable d’apprendre, à partir des données naturelles, la forme à partir d’une représentation sémantique ambiguë, simulant la connaissance approximative du bébé. Dans un deuxième temps, j’ai testé la plausibilité cognitive du mécanisme sur des sujets adultes. / To acquire their native language, babies have to learn both the forms of words (e.g., “dog” in English, “chien” in French) and their meanings (the category of dogs). These two aspects of language learning have typically been studied independently. However, recent findings from developmental psychology and machine learning have pointed out that this assumption is problematic, and have suggested that form and meaning may interact with one another throughout development. This dissertation explores this hypothesis through an interdisciplinary investigation that combines tools from speech recognition and experimental psychology. First, I developed a computational model of joint form and meaning acquisition, capable of learning from a corpus of natural speech. Second, I tested the cognitive plausibility of this model with adult subjects.

.

Bien que nous ne distinguions qu'un nombre fini et restreint de catégories de sons (les phonèmes d'une langue donnée), les sons des messages que nous recevons ne sont jamais identiques. Étant donnée l'ubiquité des processus allophoniques à travers les langues et le fait que chaque langue dispose de son propre inventaire phonémique, quels types d'indices les nourrissons, par exemple anglophones, pourraient-ils exploiter pour découvrir que [sıŋkıŋ] et [θıŋkıŋ] (sinking vs. thinking) ne peuvent pas dénoter la même action ? Le travail présenté dans cette thèse prolonge les travaux initiés par Peperkamp et al. (2006) concernant la définition de mesures de dissimilarité phone à phone indiquant quels phones sont des réalisations d'un même phonème. Nous montrons que résoudre la tâche proposée par Peperkamp et al. n'apporte pas une réponse complète au problème de l'acquisition des phonèmes, principalement parce que des limitations empiriques et formelles résultent de sa formulation phone à phone. Nous proposons une reformulation du problème comme un problème d'apprentissage automatique non-supervisé par partitionnement reposant sur le positionnement multidimensionnel des données. Les résultats de diverses expériences d'apprentissage supervisé et non-supervisé indiquent systématiquement que de bons indicateurs d'allophonie ne sont pas nécessairement de bons indicateurs de phonémicité. Dans l'ensemble, les résultats computationnels présentés dans ce travail suggèrent qu'allophonie et phonémicité ne peuvent être découvertes à partir d'informations acoustique, temporelle, distributionnelle ou lexicale que si, en moyenne, les phonèmes présentent peu de variabilité.

En situation de perception audiovisuelle de la parole, comme lors des conversations face-àface,nous pouvons tirer partie des informations visuelles fournies par les mouvements orofaciauxdu locuteur. Ceci améliore l’intelligibilité du discours. L'objectif de ce travail était dedéterminer si ce « bénéfice audiovisuel » permet de mieux identifier les phonèmes quin’existent pas dans notre langue. Nos résultats révèlent que l’utilisation de l’informationvisuelle permet de surmonter les difficultés posées par la surdité phonologique dont noussommes victimes lors d'une présentation auditive seule (Etude 1). Une étude EEG indique quel’apport des informations visuelles au processus d’identification de phonèmes non natifspourrait être dû à une modulation précoce des traitements effectués par le cortex auditifprimaire (Etude 2). En présentation audiovisuelle les phonèmes non natifs donnent lieu à uneP50, ce qui n’est pas observé pour les phonèmes natifs. Il semblerait également quel'expérience linguistique affecte l'utilisation des informations visuelles puisque des bilinguesprécoces semblent moins aptes à exploiter ces indices pour distinguer des phonèmes qui neleur sont pas familiers (Etude 3). Enfin, l’étude de l’identification de consonnes plosivesnatives avec une tâche de dévoilement progressif nous a permis d’évaluer la contributionconjointe et séparée des informations auditives et visuelles (Etude 4). Nous avons observé quel’apport de la modalité visuelle n’est pas systématique et que la prédictibilité de l’identité duphonème dépend de la saillance visuelle des mouvements articulatoires du locuteur. / During audiovisual speech perception, like in face-to-face conversations, we can takeadvantage of the visual information conveyed by the speaker's oro-facial gestures. Thisenhances the intelligibility of the utterance. The aim of this work was to determine whetherthis “audiovisual benefit” can improve the identification of phonemes that do not exist in ourmother tongue. Our results revealed that the visual information contributes to overcome thephonological deafness phenomenon we experience in an audio only situation (Study 1). AnERP study indicates that this benefit could be due to the modulation of early processing in theprimary auditory cortex (Study 2). The audiovisual presentation of non native phonemesgenerates a P50 that is not observed for native phonemes. The linguistic background affectsthe way we use visual information. Early bilinguals take less advantage of the visual cuesduring the processing of unfamiliar phonemes (Study 3). We examined the identificationprocesses of native plosive consonants with a gating paradigm to evaluate the differentialcontribution of auditory and visual cues across time (Study 4). We observed that theaudiovisual benefit is not systematic. Phoneme predictability depends on the visual saliencyof the articulatory movements of the speaker.

En situation de perception audiovisuelle de la parole, comme lors des conversations face-àface,nous pouvons tirer partie des informations visuelles fournies par les mouvements orofaciauxdu locuteur. Ceci améliore l’intelligibilité du discours. L'objectif de ce travail était dedéterminer si ce « bénéfice audiovisuel » permet de mieux identifier les phonèmes quin’existent pas dans notre langue. Nos résultats révèlent que l’utilisation de l’informationvisuelle permet de surmonter les difficultés posées par la surdité phonologique dont noussommes victimes lors d'une présentation auditive seule (Etude 1). Une étude EEG indique quel’apport des informations visuelles au processus d’identification de phonèmes non natifspourrait être dû à une modulation précoce des traitements effectués par le cortex auditifprimaire (Etude 2). En présentation audiovisuelle les phonèmes non natifs donnent lieu à uneP50, ce qui n’est pas observé pour les phonèmes natifs. Il semblerait également quel'expérience linguistique affecte l'utilisation des informations visuelles puisque des bilinguesprécoces semblent moins aptes à exploiter ces indices pour distinguer des phonèmes qui neleur sont pas familiers (Etude 3). Enfin, l’étude de l’identification de consonnes plosivesnatives avec une tâche de dévoilement progressif nous a permis d’évaluer la contributionconjointe et séparée des informations auditives et visuelles (Etude 4). Nous avons observé quel’apport de la modalité visuelle n’est pas systématique et que la prédictibilité de l’identité duphonème dépend de la saillance visuelle des mouvements articulatoires du locuteur. / During audiovisual speech perception, like in face-to-face conversations, we can takeadvantage of the visual information conveyed by the speaker's oro-facial gestures. Thisenhances the intelligibility of the utterance. The aim of this work was to determine whetherthis “audiovisual benefit” can improve the identification of phonemes that do not exist in ourmother tongue. Our results revealed that the visual information contributes to overcome thephonological deafness phenomenon we experience in an audio only situation (Study 1). AnERP study indicates that this benefit could be due to the modulation of early processing in theprimary auditory cortex (Study 2). The audiovisual presentation of non native phonemesgenerates a P50 that is not observed for native phonemes. The linguistic background affectsthe way we use visual information. Early bilinguals take less advantage of the visual cuesduring the processing of unfamiliar phonemes (Study 3). We examined the identificationprocesses of native plosive consonants with a gating paradigm to evaluate the differentialcontribution of auditory and visual cues across time (Study 4). We observed that theaudiovisual benefit is not systematic. Phoneme predictability depends on the visual saliencyof the articulatory movements of the speaker.

Cette thèse de doctorat aborde les problématiques de l'estimation de confiance pour la traduction automatique, et de la traduction automatique statistique de la parole spontanée à grand vocabulaire. J'y propose une formalisation du problème d'estimation de confiance, et aborde expérimentalement le problème sous le paradigme de la classification et régression multivariée. Je propose une évaluation des performances des différentes méthodes évoquées, présente les résultats obtenus lors d'une campagne d'évaluation internationale et propose une application à la post-édition par des experts de documents traduits automatiquement. J'aborde ensuite le problème de la traduction automatique de la parole. Après avoir passé en revue les spécificités du medium oral et les défis particuliers qu'il soulève, je propose des méthodes originales pour y répondre, utilisant notamment les réseaux de confusion phonétiques, les mesures de confiances et des techniques de segmentation de la parole. Je montre finalement que le prototype propose rivalise avec des systèmes état de l'art à la conception plus classique / In this thesis I shall deal with the issues of confidence estimation for machine translation and statistical machine translation of large vocabulary spontaneous speech translation. I shall first formalize the problem of confidence estimation. I present experiments under the paradigm of multivariate classification and regression. I review the performances yielded by different techniques, present the results obtained during the WMT2012 internation evaluation campaign and give the details of an application to post edition of automatically translated documents. I then deal with the issue of speech translation. After going into the details of what makes it a very specific and particularly challenging problem, I present original methods to partially solve it, by using phonetic confusion networks, confidence estimation techniques and speech segmentation. I show that the prototype I developped yields performances comparable to state-of-the-art of more standard design