Version remaniée de: Habilitationsschrift--Philosophische Fakultät für Sprach- und Literaturwissenschaft II--München--Ludwig-Maximilians-Universität, 1988.

Reproduction de : Thèse de doctorat : Psychologie cognitive : Lyon 2 : 2007. / Titre provenant de l'écran-titre. Bibliogr. Annexes.

Mémoire d'orthophonie : Médecine : Nantes : 2008. / Bibliogr.

Les structures internes de la syllabe et leur combinaison pour former des items lexicaux sont analysées à partir de la constitution d'une base de données informatisée contenant les lexiques de 16 langues découpés en syllabes. L'élaboration de typologies, la recherche de tendances et cooccurrences entre constituants syllabiques et entre syllabes consécutives d'une unité lexicale constituent la majeure partie de cette étude. Les résultats sont analysés à la lumière de travaux antérieurs pouvant fournir une base explicative des tendances, notamment ceux s'inscrivant dans le cadre d'une linguistique orientée substance, et plus particulièrement la théorie « Frame, then Content » (MacNeilage, 1998). Utilisant un paradigme expérimental original, nous montrons qu'il existe un corrélat perceptif de l'effet lexical Labial-Coronal. L'ensemble du travail apporte des éléments incontournables dans une perspective de modélisation de l'émergence des structures syllabiques et de la complexité des lexiques.

Mon thème de recherche est d’étudier l’influence de l’apprentissage de la musique sur le traitement acoustique et phonologique de la syllabe chez des enfants normolecteurs et dyslexiques. Dans ce but, j’ai conduit plusieurs expériences basées sur l’utilisation conjointe des méthodes issues de la psychologie expérimentale (Temps de Réaction, TRs, et pourcentage d’erreurs, %err) et de l’électrophysiologie chez l’homme (Potentiels Evoqués, PEs). En comparant des enfants musiciens et non-musiciens de 9 ans, j’ai d’abord testé les effets de l’expertise musicale sur les traitements attentif (TRs et %err) et pré-attentif (en utilisant la Mismatch Negativity, MMN) de paramètres acoustiques, fréquence et durée des syllabes, et d’un paramètre phonologique, le Voice Onset Time (VOT; Expérience I). Les résultats montrent que l'expertise musicale améliore les traitements pré-attentif et attentif de la durée et du VOT dans les syllabes et le traitement attentif des variations de fréquence. Dans une seconde étude, j’ai utilisé la MMN pour comparer le traitement de ces mêmes paramètres chez des enfants dyslexiques et normolecteurs. Les enfants dyslexiques montrent un déficit du traitement de la durée des syllabes et du VOT comparés aux enfants normolecteurs. Enfin, dans les deux dernières études, j’ai utilisé la méthode longitudinale pour tester l’influence de l’apprentissage de la musique sur le traitement pré-attentif (MMN) de ces mêmes paramètres chez des enfants normolecteurs (Expérience III) et dyslexiques (Expérience IV). Les résultats de l’Expérience III montrent que 12 mois d’apprentissage de la musique améliorent le traitement pré-attentif de la durée et du VOT chez les enfants normolecteurs. En reproduisant les effets trouvés dans l’Expérience I, ces résultats soulignent que l’avantage mis en évidence chez les enfants musiciens ne résulterait pas uniquement de prédispositions génétiques pour la musique mais serait causalement lié à l’apprentissage musical. Enfin, les résultats de l’Expérience IV montrent que 6 mois d’apprentissage de la musique améliorent le traitement pré-attentif du VOT chez les enfants dyslexiques, suggérant que l’apprentissage musical pourrait être utilisé comme une aide à la remédiation de la dyslexie.Pris dans leur ensemble, ces résultats démontrent une relation forte entre traitements acoustique et phonologique. L’apprentissage de la musique, en améliorant la sensibilité des enfants aux paramètres acoustiques dans la musique et dans le langage (processus communs), augmenterait également leur sensibilité aux paramètres phonologiques associés et permettrait ainsi la construction de représentations phonologiques plus robustes (transfert d’apprentissage de la musique vers le langage). / My research is aimed at studying the influence of musical training on the acoustic and phonological processing of syllables in children with dyslexia and in normal-reading children. To this aim, I conducted several experiments by using methods issued from experimental psychology (Reaction Times, RTs, and error rates, %err) and from human electrophysiology (Event-Related brain Potentials, ERPs)By comparing 9-year-old musician and non-musician children, I first tested for the effects of musical expertise on attentive (RTs and %err) and preattentive processing (by using the Mismatch Negativity, MMN) of the acoustical parameters, frequency and duration, of syllables and of a phonological parameter, the Voice Onset Time (VOT; Experiment I). Results showed enhanced preattentive and attentive processing of syllables’ duration and VOT in musicians compared to nonmusician children. Secondly, I compared the processing of these same parameters in dyslexic and normal-reading children (Experiment II) by using the MMN. Results revealed that children with dyslexia showed deficits for the processing of duration and VOT in syllables compared to normal-readers. Finally, in the last two studies, I used the longitudinal method to test for the influence of musical training on the processing of the same acoustic and phonological parameters of syllables, in normal-reading children (Experiment III) and in children with dyslexia (Experiment IV). Results of Experiment III showed that 12 months of musical training enhanced duration and VOT processing in syllables, thereby demonstrating that the effects of musical expertise shown in Experiment I are not likely to only result from specific genetic predispositions for music but are causally linked to musical training. Finally, results of Experiment IV revealed that 6 months of musical training in children with dyslexia enhanced their sensitivity to VOT processing, suggesting that musical training could be an aid for the remediation of dyslexia.These results highlight the relationship between acoustical and phonological processing. Musical training, by refining the acoustical network responsible for the acoustic processing in music and speech sounds (common processing) also enhances sensitivity to phonological associated features and, consequently, the building-up of more robust phonological representations (transfer of training effect from music to language processing).

L’objectif général de cette thèse est d’étudier le rôle de la syllabe dans l’entrée dans l’écrit des élèves de grande section de maternelle par le biais d’une tâche d’écriture inventée. Il s’agit tout d’abord d’examiner les pratiques didactiques des enseignants de grande section à l’aide d’un questionnaire portant les unités de langues les plus employées dans la découverte de la langue (lettre/son, syllabe et mot) et dans les domaines d’activités de la lecture, de l’écriture et de l’oral. Les résultats obtenus montrent que l’unité la plus employée en lecture et en écriture est le mot, alors que l’unité de l’oral est la syllabe. Partant de ce constat, nous avons cherché à connaître l’impact que pourrait avoir un travail oral basé sur la syllabe sur les productions écrites des élèves. L’ensemble des données obtenues est en faveur de l’hypothèse selon laquelle les élèves prennent en compte des éléments de l’oral (lettre, son, syllabe) pour coder des énoncés oraux à l’écrit. De plus, les résultats montrent l’usage de six traitements qui sous-tendent l’entrée dans l’écrit démontrant que ce n’est pas un processus unique et que de nombreux paramètres peuvent conduire l’élève à traiter un énoncé oral de diverses manières. Dans une dernière partie, nous avons mené une étude de didactique expérimentale basée sur la syllabe orale dans le but d’observer les effets d’un entraînement régulier à la syllabe orale sur les productions écrites des élèves. Les résultats ne permettent pas de valider l’hypothèse selon laquelle la syllabe serait l’unité pivot de l’entrée dans l’écrit en grande section de maternelle, mais montrent néanmoins certains effets de l’intervention.L’objectif général de cette thèse est d’étudier le rôle de la syllabe dans l’entrée dans l’écrit des élèves de grande section de maternelle par le biais d’une tâche d’écriture inventée. Il s’agit tout d’abord d’examiner les pratiques didactiques des enseignants de grande section à l’aide d’un questionnaire portant les unités de langues les plus employées dans la découverte de la langue (lettre/son, syllabe et mot) et dans les domaines d’activités de la lecture, de l’écriture et de l’oral. Les résultats obtenus montrent que l’unité la plus employée en lecture et en écriture est le mot, alors que l’unité de l’oral est la syllabe. Partant de ce constat, nous avons cherché à connaître l’impact que pourrait avoir un travail oral basé sur la syllabe sur les productions écrites des élèves. L’ensemble des données obtenues est en faveur de l’hypothèse selon laquelle les élèves prennent en compte des éléments de l’oral (lettre, son, syllabe) pour coder des énoncés oraux à l’écrit. De plus, les résultats montrent l’usage de six traitements qui sous-tendent l’entrée dans l’écrit démontrant que ce n’est pas un processus unique et que de nombreux paramètres peuvent conduire l’élève à traiter un énoncé oral de diverses manières. Dans une dernière partie, nous avons mené une étude de didactique expérimentale basée sur la syllabe orale dans le but d’observer les effets d’un entraînement régulier à la syllabe orale sur les productions écrites des élèves. Les résultats ne permettent pas de valider l’hypothèse selon laquelle la syllabe serait l’unité pivot de l’entrée dans l’écrit en grande section de maternelle, mais montrent néanmoins certains effets de l’intervention. / The aim of this thesis is to study the role of syllable at early learning of writing for kindergarten pupils by the means of an invented spelling task. First of all, in fields of activities such as reading, writing and oral examination, it is a matter of examining the didactic practices of kindergarten teachers thanks to a questionnaire carrying the most employed units used in the discovery of languages (letter/sound, syllable and word). The results show that the most employed unit in reading and writing activities is the word, whereas the unit of the oral examination is the syllable. On the basis of this report, we sought to know the impact of an oral work based on the syllable, upon pupils’ written productions. All obtained data is in favor of the assumption according to which, the pupils take into account elements of the oral examination (letter, sound, and syllable) to code oral statements in their writings. Moreover, results show the use of six treatments, which underlie the early learning of writing, and show that it is not a single process, and that many parameters can lead the pupil to treat an oral statement in various ways. Eventually, we conducted a study of experimental didactic work based on the oral syllable, aiming to observe the effects of a regular training for oral syllable upon the written productions of the pupils. The results do not make it possible to validate the assumption according to which, the syllable would be the pivot unit of the entrance in writing at kindergarten, but nevertheless show certain effects of the intervention.

Cette thèse fait partie du projet RAPSODIE dont l’objectif est de proposer une reconnaissance vocale spécialisée sur les besoins des personnes sourdes et malentendantes. Deux axes sont étudiées : la modélisation lexicale et l’extraction d’informations para-lexicales. Concernant la modélisation lexicale, nous avons étudié les modèles de langage hybrides combinant mots et syllabes, et nous avons proposé une nouvelle approche basée sur une notion de similarité entre mots pour l’ajout de nouveaux mots dans le modèle de langage. Concernant l’extraction d’informations para-lexicales, nous avons étudié l'utilisation des paramètres prosodiques, des paramètres linguistiques ou de leur combinaison pour la détection des questions et des affirmations. Cette détection a comme but de signaler aux personnes sourdes ou malentendantes quand une question leur est adressée / This thesis is part of the RAPSODIE project which aims at proposing a speech recognition device specialized on the needs of deaf and hearing impaired people. Two aspects are studied: optimizing the lexical models and extracting para-lexical information. Regarding the lexical modeling, we studied hybrid language models combining words and syllables, and we proposed a new approach based on a similarity measure between words to add new words in the language model. Regarding the extraction of para-lexical information, we investigated the use of prosodic features, of linguistic features and of their combination for the detection of questions and statements. This detection aims to inform the deaf and hearing impaired people when a question is addressed to them

Si, comme le disait Stetson (1951), la parole est davantage un ensemble de mouvements rendus audibles qu'un ensemble de sons produit par des mouvements, qu'en est-il de la dimension visible de ces mouvements ? L'intelligibilité de la parole est améliorée par l'apport des visèmes, dans un environnement bruyant (Sumby & Pollack, 1954), ce qui nous indique un effet facilitateur sur l'accès au lexique mental. Selon Massaro (1990), l'influence d'une source est maximale si une autre est ambiguë. Pourtant dans l'effet « McGurk » (McGurk & MacDonald, 1976), les deux sources, audible et visible sont équipotentes. Le résultat est bien une perturbation, puisque la « cible » a été mal interprétée. Certains chercheurs ont montré que l'effet McGurk pouvait avoir lieu sur des mots et même sur des phrases. Cela corrobore l'idée que l'intégration de la source visuelle est précoce et prélexicale, mais aussi sujette à l'influence d'effet top-down. Nous avons mené une étude anatomo-fonctionnelle simultanée en IRMf/EEG, en utilisant une tâche de discrimination à choix forcé, portant sur des syllabes CV, selon deux modalités perceptives : audiovisuelle animée et audiovisuelle fixe, afin de pouvoir observer les bases neurophysiologiques de la perception audiovisuelle syllabique. La tâche de discrimination portait sur des paires syllabiques s'opposant sur les trois traits suivants : la labialité vocalique, le lieu d'articulation et le voisement consonantiques.

L'objectif général de cette thèse est d'étudier le rôle de la syllabe dans l'entrée dans l'écrit des élèves de grande section de maternelle par le biais d'une tâche d'écriture inventée. Il s'agit tout d'abord d'examiner les pratiques didactiques des enseignants de grande section à l'aide d'un questionnaire portant les unités de langues les plus employées dans la découverte de la langue (lettre/son, syllabe et mot) et dans les domaines d'activités de la lecture, de l'écriture et de l'oral. Les résultats obtenus montrent que l'unité la plus employée en lecture et en écriture est le mot, alors que l'unité de l'oral est la syllabe. Partant de ce constat, nous avons cherché à connaître l'impact que pourrait avoir un travail oral basé sur la syllabe sur les productions écrites des élèves. L'ensemble des données obtenues est en faveur de l'hypothèse selon laquelle les élèves prennent en compte des éléments de l'oral (lettre, son, syllabe) pour coder des énoncés oraux à l'écrit. De plus, les résultats montrent l'usage de six traitements qui sous-tendent l'entrée dans l'écrit démontrant que ce n'est pas un processus unique et que de nombreux paramètres peuvent conduire l'élève à traiter un énoncé oral de diverses manières. Dans une dernière partie, nous avons mené une étude de didactique expérimentale basée sur la syllabe orale dans le but d'observer les effets d'un entraînement régulier à la syllabe orale sur les productions écrites des élèves. Les résultats ne permettent pas de valider l'hypothèse selon laquelle la syllabe serait l'unité pivot de l'entrée dans l'écrit en grande section de maternelle, mais montrent néanmoins certains effets de l'intervention.L'objectif général de cette thèse est d'étudier le rôle de la syllabe dans l'entrée dans l'écrit des élèves de grande section de maternelle par le biais d'une tâche d'écriture inventée. Il s'agit tout d'abord d'examiner les pratiques didactiques des enseignants de grande section à l'aide d'un questionnaire portant les unités de langues les plus employées dans la découverte de la langue (lettre/son, syllabe et mot) et dans les domaines d'activités de la lecture, de l'écriture et de l'oral. Les résultats obtenus montrent que l'unité la plus employée en lecture et en écriture est le mot, alors que l'unité de l'oral est la syllabe. Partant de ce constat, nous avons cherché à connaître l'impact que pourrait avoir un travail oral basé sur la syllabe sur les productions écrites des élèves. L'ensemble des données obtenues est en faveur de l'hypothèse selon laquelle les élèves prennent en compte des éléments de l'oral (lettre, son, syllabe) pour coder des énoncés oraux à l'écrit. De plus, les résultats montrent l'usage de six traitements qui sous-tendent l'entrée dans l'écrit démontrant que ce n'est pas un processus unique et que de nombreux paramètres peuvent conduire l'élève à traiter un énoncé oral de diverses manières. Dans une dernière partie, nous avons mené une étude de didactique expérimentale basée sur la syllabe orale dans le but d'observer les effets d'un entraînement régulier à la syllabe orale sur les productions écrites des élèves. Les résultats ne permettent pas de valider l'hypothèse selon laquelle la syllabe serait l'unité pivot de l'entrée dans l'écrit en grande section de maternelle, mais montrent néanmoins certains effets de l'intervention.

Cette thèse porte sur le développement d'une chaîne de traitement complète pour réaliser des tâches de reconnaissance d'écriture manuscrite non contrainte. Trois difficultés majeures sont à résoudre: l'étape du prétraitement, l'étape de la modélisation optique et l'étape de la modélisation du langage. Au stade des prétraitements il faut extraire correctement les lignes de texte à partir de l'image du document. Une méthode de segmentation itérative en lignes utilisant des filtres orientables a été développée à cette fin. La difficulté dans l’étape de la modélisation optique vient de la diversité stylistique des scripts d'écriture manuscrite. Les modèles optiques statistiques développés sont des modèles de Markov cachés (HMM-GMM) et les modèles de réseaux de neurones récurrents (BLSTM-CTC). Les réseaux récurrents permettent d’atteindre les performances de l’état de l’art sur les deux bases de référence RIMES (pour le Français) et IAM (pour l’anglais). L'étape de modélisation du langage implique l'intégration d’un lexique et d’un modèle de langage statistique afin de rechercher parmi les hypothèses proposées par le modèle optique, la séquence de mots (phrase) la plus probable du point de vue linguistique. La difficulté à ce stade est liée à l’obtention d’un modèle de couverture lexicale optimale avec un minimum de mots hors vocabulaire (OOV). Pour cela nous introduisons une modélisation en sous-unités lexicales composée soit de syllabes soit de multigrammes. Ces modèles couvrent efficacement une partie importante des mots hors vocabulaire. Les performances du système de reconnaissance avec les unités sous-lexicales dépassent les performances des systèmes de reconnaissance traditionnelles de mots ou de caractères en présence d’un fort taux de mots hors lexique. Elles sont équivalentes aux modèles traditionnels en présence d’un faible taux de mots hors lexique. Grâce à la taille compacte du modèle de langage reposant sur des unités sous-lexicales, un système de reconnaissance multilingue unifié a été réalisé. Le système multilingue unifié améliore les performances de reconnaissance par rapport aux systèmes spécialisés dans chaque langue, notamment lorsque le modèle optique unifié est utilisé. / This thesis is about the design of a complete processing chain dedicated to unconstrained handwriting recognition. Three main difficulties are adressed: pre-processing, optical modeling and language modeling. The pre-processing stage is related to extracting properly the text lines to be recognized from the document image. An iterative text line segmentation method using oriented steerable filters was developed for this purpose. The difficulty in the optical modeling stage lies in style diversity of the handwriting scripts. Statistical optical models are traditionally used to tackle this problem such as Hidden Markov models (HMM-GMM) and more recently recurrent neural networks (BLSTM-CTC). Using BLSTM we achieve state of the art performance on the RIMES (for French) and IAM (for English) datasets. The language modeling stage implies the integration of a lexicon and a statistical language model to the recognition processing chain in order to constrain the recognition hypotheses to the most probable sequence of words (sentence) from the language point of view. The difficulty at this stage is related to the finding the optimal vocabulary with minimum Out-Of-Vocabulary words rate (OOV). Enhanced language modeling approaches has been introduced by using sub-lexical units made of syllables or multigrams. The sub-lexical units cover an important portion of the OOV words. Then the language coverage depends on the domain of the language model training corpus, thus the need to train the language model with in domain data. The recognition system performance with the sub-lexical units outperformes the traditional recognition systems that use words or characters language models, in case of high OOV rates. Otherwise equivalent performances are obtained with a compact sub-lexical language model. Thanks to the compact lexicon size of the sub-lexical units, a unified multilingual recognition system has been designed. The unified system performance have been evaluated on the RIMES and IAM datasets. The unified multilingual system shows enhanced recognition performance over the specialized systems, especially when a unified optical model is used.