Spelling suggestions: "subject:"cues speech"" "subject:"cue speech""
1 |
Paramètres spectraux à LPC Paramètres Mapping : approches multi-linéaires et GMM (appliqué aux voyelles françaises) / Spectral Parameters to Cued Speech Parameters Mapping : Multi-linear and GMM approaches (applied to French vowels)Ming, Zuheng 24 June 2013 (has links)
Le langage parlé complété (LPC) est un système de communication visuel qui utilise des formes de main placés dans différentes positions près du visage, en combinaison avec le discours de la lecture labiale naturel, pour améliorer la perception de la parole à partir de l'entrée visuelle pour les personnes sourdes. Cependant l'un des défis importants est la question de la communication de la parole entre les personnes normo-entendant qui ne pratiquent pas LPC mais produisent discours acoustique et les personnes sourdes qui utilisent la lecture labiale complété par code LPC pour la perception de la parole sans audition résiduelle. Dans notre travail, nous appliquons la méthode de régression linéaire multiple (MLR) et modèle gaussien de mélange (GMM) approche pour mapper des paramètres spectraux acoustiques à la position de la main dans LPC et la forme de la lèvre d’accompagnement. Nous donc contribué à la mise au point d'un système de traduction automatique dans le cadre de la synthèse de la parole visuelle.Cela prouve que l'approche MLR est bonne pour l'estimation des paramètres pour les lèvres à partir des paramètres spectraux car il y a forte corrélation linéaire entre les paramètres des lèvres et des paramètres spectraux. Cependant, la performance de l'approche MLR pour estimer la position de la main est faible car il n'y a pas de relation entre les positions de la main et des paramètres spectraux. En introduisant un espace intermédiaire, il s'avère que la structure de topologie similaire est la clé de la MLR. Afin de libérer de la contrainte linéaire de l'approche MLR, nous appliquons la méthode de cartographie basée sur GMM qui possède à la fois les propriétés de classification et de régression. Les paramètres de GMM sont estimés par les méthodes de formation supervisées, non supervisées et semi- supervisés séparément dans la vue de la théorie de l'apprentissage de la machine. La méthode de formation supervisée montre une grande efficacité et une bonne robustesse. Le Minimum Mean Square Error (MMSE) et Maximum A Posteriori Probabilité (MAP) sont utilisés comme critères de régression séparément dans l'approche de la cartographie basée sur GMM. Cela prouve que l'approche MLR est un cas particulier de l'approche de GMM lorsque le nombre de gaussiennes est égal à un. Ainsi, l'approche de la cartographie sur GMM peut améliorer la performance significative en comparaison avec le MLR en augmentant le nombre de gaussiennes. Enfin, les différentes approches de cartographie utilisées dans ce travail sont comparées dans une transition continue. Il montre que l'approche sur GMM peut effectuer bien grâce à la propriété de classification lorsque les données source et cible n'a pas de " relation" comme dans le cas de l'estimation de la position de la main, et il peut également améliorer les performances par la propriété de régression local lorsque la source et les données cible a forte corrélation comme dans le cas du paramètre de lèvre estimation. En outre, une prédiction directe de la géométrie des lèvres comporte de l'image naturelle de la bouche région d'intérêt (ROI) sur la base de la 2D transformée en cosinus discrète (DCT) combinée à une analyse en composante principale (ACP) est proposé. Les résultats montrent la possibilité d'estimer les caractéristiques géométriques de la lèvre avec une bonne précision en utilisant un ensemble réduit de prédicteurs dérivés des coefficients DCT. / Cued Speech (CS) is a visual communication system that uses hand shapes placed in different positions near the face, in combination with the natural speech lip-reading, to enhance speech perception from visual input for deaf people. However one of the important challenges is the question of speech communication between normal hearing people who do not practice CS but produce acoustic speech and deaf people who use lip-reading complemented by CS code for speech perception with no residual audition. In our work, we apply the multi-linear regression approach (MLR) and Gaussian Mixture Model (GMM)-based mapping approach to map acoustic spectral parameters to the hand position in CS and the accompanying lip shape. We hence contributed to the development of automatic translation system in the framework of visual speech synthesis. It proves that the MLR approach is good for estimating the lip parameters from the spectral parameters since there is strong linear correlation between the lip parameters and spectral parameters. However, the performance of MLR approach for estimating the hand position is poor since there is no relationship between the hand positions and spectral parameters. By introducing an intermediate space, it proves that the similar topology structure is the key of the MLR. In order to release the linear constraint of the MLR approach, we apply the GMM-based mapping approach which has both the classification-partition and regression properties. The parameters of GMM are estimated by the supervised, unsupervised and semi-supervised training methods separately in the view of the machine learning theory. The supervised training method shows high efficiency and good robustness. The Minimum Mean Square Error (MMSE) and Maximum A Posteriori Probability (MAP) are used as regression criteria separately in GMM-based mapping approach. It proves that the MLR approach is a special case of GMM-based mapping approach when the number of the Gaussians equals to one. Thus the GMM-based mapping approach can improve the performance significantly in comparison with the MLR by increasing the number of the Gaussians. Finally, a continuous transition achieved by the linear interpolation in the acoustic space is introduced to compare the different mapping approaches used in this work. It shows that the GMM-based mapping approach can perform well thanks to the classification-partitioning property when the source and target data has “no relationship” such as the case of the hand position estimation; and it can also improve the performance by the local regression property when the source and target data has strong correlation such as the case of the lip parameter estimation. Besides, a direct prediction of lip geometry features from the natural image of mouth region-of-interest (ROI) based on the 2D Discrete Cosine Transform (DCT) combined with a Principal Component Analysis (PCA) is proposed. The results show the possibility to estimate the geometric lip features with good accuracy using a reduced set of predictors derived from the DCT coefficients.
|
2 |
La Langue Française Parlée Complétée: Production et PerceptionAttina, Virginie 25 November 2005 (has links) (PDF)
La LPC ou Cued Speech est un augment manuel qui permet au sourd de désambiguïser l'information phonologique visible sur le visage. L'efficacité de ce système pour l'acquisition de la phonologie de la langue est bien établie. Mais la production du code LPC n'avait jamais été étudiée, et nous l'avons fait par une technique de suivi des mouvements labiaux et manuels de quatre codeuses professionnelles. Notre résultat comportemental majeur est que le geste de la main - contre toute attente - précède le geste des lèvres. Cette anticipation donne un rôle inattendu à la parole visible: celui de venir désambiguïser le geste manuel, conçu au départ pour désambiguïser la parole... Notre hypothèse est que le système de Cornett a été recodé en termes neuralement compatibles pourle contrôle des gestes des voyelles et des consonnes dans la LPC et la parole. Ainsi le contrôle des contavts vocaliques manuels va se trouver en phase avec celui des contacts consonantiques visibles. Ce phasage est assez précis pour que, quelles que soient les variations de la durée de l aproduction de la syllabe CV, l'aboutissement de la détente (stroke) du système main-bras se produise dans la phase de tenue de l'attaque consonantique. L'icorporation de la main et de la face dans un espace de contrôle neural commun peut être ainsi pleinement réalisée dans la LPC.
|
3 |
Langue des signes et malaise du sujet / Sign language and subject's uneaseGoasmat, Grégory 26 June 2017 (has links)
Le champ socio-professionnel circonscrit par la prise en compte éducative et sociale des surdités sévères et profondes congénitales est structuré par un clivage entre les courants gestualistes et oralistes apparu à la fin du XVIIIè siècle. Depuis la fin des années mille neuf-cent soixante-dix, sous les impulsions de la militance pour la « cause sourde » d'une part et des progrès technico-médicaux de l'autre, ce clivage s'est trouvé refondé dans celui distinguant une conception du sujet sourd, héritant du structuralisme en linguistique et en psychanalyse, d'une approche de l'individu déficient auditif marqué du positivisme des modèles biologiques appliqués à l'humain.Si l’indigence de la prise en compte de la complexité de la rationalité humaine par ce second paradigme fait l'objet de critiques tout aussi sévères qu'argumentées de la part du premier, la passion pour la langue des signes qui infiltre celui-ci l'inscrit aussi, par là même, dans la tendance sociale repérable comme celle d'un effacement de la spécificité de l'enfant.Bien au-delà d'ailleurs du contexte du handicap, on peut identifier que la langue des signes produit dans notre contemporanéité des effets de fascination amplement redevables aux échos qu'elle trouve dans la négativité – au sens de Jean Gagnepain – constitutive de la condition de l'Homme.Dans l'investissement de la langue des signes, ordonné par la militance pour la « cause sourde » et l'orientation se présentant comme oeuvrant à un bilinguisme, la question de l'imprégnation de la langue audio-orale communautaire et de son outillage par l’écrit figure enfin un point d’achoppement dont se démarquent les approches oralistes notamment renouvelées par la Langue française Parlée Complétée (LPC). / The socio-professional area is delimited by the social and educative ways of regarding the severe congenital deafnesses. It is structured by the split between the oralism and gestualism branches which appeared at the end of XVIIIth century. Since the end of the seventies, driven by parental and cultural militancies as well as technical and medical progress, this division has been refounded in a new one which sets apart two ways of seeing the deaf person. One derives from structuralism in linguistic and psychoanalyse and the other one from positivism of biological models applied to Human.The paucity of the second paradigm regarding the human rationality complexity is the target of serious as well as documented criticisms by the first one. However, the passion for the sign language which comes in the latter one puts it also, by the fact, in the social trend which erases the child specificity. Besides, far beyond the handicap context, the fascination for the sign language observed in our contemporaneity is fully indebted to echoes found in the human constitutive negativity – in the Jean Gagnepain's meaning.Finally the issues of impregnation by audio-oral community language and of its equipment by writing are sticking points in the sign language approach, ordered by campaigners for the deaf cause and considered as working for bilingualism. Conversely, oralism, especially when renewed by the Cued Speech adapted to French, gets free from these pitfalls.
|
4 |
Communication Behaviors of a Young Child with Auditory Dys-Synchrony: Seeing Cued Dutch and Cued SpanishEarl, Polly Jeannette January 2006 (has links)
No description available.
|
5 |
Développement des habiletés phonologiques précoces et apprentissage de la lecture et de l’écriture chez l’enfant sourd : Apport du Langage Parlé Complété (LPC)/Early phonological skills dévelopment and acquisition of literacy in deaf children : Effect of Cued Speech (CS)Colin, Stéphanie 09 June 2004 (has links)
De nombreuses études longitudinales ont montré un lien causal entre habiletés phonologiques précoces et plus tard le développement de la lecture et de l’écriture chez l’enfant entendant (Bryant, MacLean, Bradley & Crossland, 1990). Pour apporter une contribution aux connaissances concernant ce lien chez les enfants sourds, nous avons réalisé une étude longitudinale qui s’échelonne de la troisième maternelle à la seconde primaire. Les performances d’enfants sourds sévères et profonds prélinguaux exposés (précocement vs tardivement) ou non au Langage Parlé Complété (« LPC », code manuel destiné à lever l’ambiguïté de la lecture labiale seule) sont comparées à celles d’enfants entendants de même âge chronologique. Diverses épreuves phonologiques, de lecture et d’écriture ont été proposées. Les résultats ont montré que les habiletés phonologiques précoces prédisaient le niveau de reconnaissance de mots écrits en première primaire chez les enfants sourds comme chez les enfants entendants. Cependant, un effet plus important de l’apprentissage de la lecture est observé sur le niveau d’habiletés phonologiques, de lecture et d’écriture lors des deux premières primaires chez les enfants sourds. De plus, les performances des enfants sourds exposés précocement au LPC ne diffèrent pas de celles des enfants entendants et sont plus élevées que celles des autres enfants sourds, en particulier en première et seconde primaire. L’exposition précoce au LPC permettrait donc le développement de représentations phonologiques précises et par conséquent l’utilisation d’un décodage phonologique efficace en lecture et en écriture au début de l’apprentissage de la lecture. / Longitudinal studies have shown a causal connection between early phonological skills and later literacy development in hearing children (Bryant, MacLean, Bradley & Crossland, 1990). The aim of our study is to investigate whether early phonological skills predict later literacy performance in deaf children either exposed (early versus late) or not exposed to Cued Speech (“CS”, a manual system delivering phonetically augmented speechreading through the visual modality). Different phonological and literacy tasks were administered from kindergarten to seconde grade. The results show that the early phonological skills in kindergarten predict written word recognition in first grade in the deaf as well as in the hearing groups. However, an effect of learning to read seems to be more important on the level of phonological and literacy skills during the first and seconde grade in deaf children. In addition, the performances of early CS users do not differ from those of hearing children and are higher than those of the other deaf children, especially in first and second grade. Early exposure to Cued Speech may permit the development of accurate phonological representations and, consequently, the use of accurate phonological decoding to recognize written words and to spell at an early stage in learning to read.
|
6 |
Mémoire à court terme/Mémoire de travail chez l’enfant sourd profond muni d’un implant cochléaire : contribution à la compréhension des difficultés cognitives des enfants sourds / Short-term memory/Working memory in deaf children with a cochlear implant : contribution to the understanding of cognitive difficulties of deaf childrenPouyat-Houée, Stéphanie 23 October 2017 (has links)
L’ambition de la thèse est de contribuer à une meilleure compréhension des difficultés cognitives rencontrées par les enfants sourds munis d’un implant cochléaire (IC). Elle présente une recension de travaux et une étude originale concernant la mémoire à court-terme/mémoire de travail.Est évalué l’apport recommandé de la lecture labiale et des clés de la LPC (Langue Parlée Complétée) sur le rappel.Une série d’épreuves originales de rappel immédiat a été conçue sur support informatique. Elle comprend des tâches contrastées du point de vue de la nature de l’information à mémoriser (spatiale vs verbale) et des modalités de présentation de l’information. Les épreuves ont été validées auprès d’une population d’enfants normo-entendants (NE)(âgés de 6 à 8 ans, N=42). Les réponses d’enfants IC(N=14) ont été comparées à celles d’enfants NE, sur la base de la constitution de deux groupes appareillés selon les critères d’âge, de sexe et d’aptitude intellectuelle.Pour les deux groupes, le rappel immédiat est meilleur pour les informations visuo-spatiales. Les informations verbales sont moins bien retenues par les enfants IC. Contrairement aux attentes, l’apport de la LPC, spécifiquement dans la modalité verbale, ne conduit pas à une augmentation des performances des enfants sourds. L’analyse de l’ordre de rappel des items ne fait pas apparaître de difficultés spécifiques. En revanche, la longueur des listes est préjudiciable en verbal. L’analyse des erreurs atteste de leurs difficultés au plan des connaissances langagières. Une analyse fine des performances individuelles montre des profils différenciés attestant de la singularité des modes d’adaptation des enfants sourds IC. / The aim of the thesis is to contribute to a better understanding of cognitive difficulties in deaf children with a cochlear implant (CI). Firstly, this thesis presents a comparative analysis of previous research work. Secondly, it presents an original study addressing short-term memory (STM)/working memory (WM) issues, in which the contribution of cued speech (CS) is assessed on memorization performances. To do so, a novel STM/WM task series was developed and used to investigate whether the use of verbal stimuli versus spatial stimuli differentially affects immediate memory processes and to examine whether the presentation of items in an enriched context has a benefit on the immediate memory capacity. The developed tasks were validated on normal-hearing (NH) children (6- and 8-year-old, N=42) and the capacities of CI deaf children(N=14) were compared to those of their NH peers matched for age, sex and reasoning ability. For both groups, the immediate recall proves to be better for visuo-spatial information. Also, CI deaf children appear as memorizing less verbal information. Surprisingly, CS, appears to be ineffective to improve the CI deaf children performances, especially in the verbal modality case; if the analysis of the order of recall of items does not reveal any specific difficulty, the length of the items lists is harmful in the verbal modality. The analysis of the recall errors confirms difficulties in linguistic knowledge. Individual performances of CI deaf children show diverse patterns.
|
7 |
Perceptions d’élèves québécois présentant une déficience auditive de l’utilisation du langage parlé complété en contexte d’intégration scolaireDupont, Audrey 08 1900 (has links)
Depuis l’adoption de la politique de l’adaptation scolaire en 1999, le ministère de l’Éducation, du Loisir et du Sport a mis en place un plan d’action pour permettre l’intégration des élèves handicapés ou en difficulté d’adaptation ou d’apprentissage. L’intégration des élèves handicapés a fait l’objet de plusieurs études ; toutefois, peu d’entre elles se sont intéressées à l’intégration d’élèves présentant une déficience auditive et utilisant le langage parlé complété. Le but de cette étude est de mettre en lumière les perceptions d’élèves présentant une déficience auditive quant à l’utilisation du langage parlé complété en contexte d’intégration scolaire.
Les concepts exploités dans ce mémoire sont relatifs à la surdité, aux élèves présentant une déficience auditive, aux modes de communication utilisés auprès de ces élèves, et plus particulièrement le langage parlé complété, de même qu’au contexte d’intégration scolaire québécois.
Cette recherche est de type exploratoire et la méthode utilisée est qualitative. Cinq étudiants présentant une déficience auditive et âgés entre 12 et 17 ans ont participé à une entrevue semi-dirigée. Les résultats de ces entretiens montrent que ces élèves ont des perceptions positives et négatives face à l’utilisation du langage parlé complété en contexte d’intégration. Quoique de façon générale cela n’entrave pas leur intégration scolaire, les perceptions négatives se rapportent davantage à l’intégration sociale qu’à l’intégration scolaire. / Since the adoption of the policy on special education in 1999, the Ministère de l’Éducation, du Loisir et du Sport created an action plan to allow the integration of the students with special needs. The integration of pupils with handicaps had been the subject of several studies, however, little of them were interested in integration of hearing impairment students using Cued Speech at school. The objective of this study is to throw a light onto perceptions of pupils presenting hearing impairment regarding the use of Cued Speech in a context of school integration.
The concepts exploited in this memory are related to students with hearing impairment, deafness, modes of communication used with these pupils, and more particularly the Cued Speech, just as the context of Québec school integration.
This research is of the exploratory kind, and the method used is qualitative. Five students with hearing impairment and between 12 and 17 years old took part in semi-directed interview. The results of these research sessions show that these pupils have positive and negative perceptions vis-a-vis the use of Cued Speech in an integration context. Though, in a general way, it does not seem to hinder their school integration, negative perceptions more refer to social integration than school integration.
|
8 |
Perceptions d’élèves québécois présentant une déficience auditive de l’utilisation du langage parlé complété en contexte d’intégration scolaireDupont, Audrey 08 1900 (has links)
Depuis l’adoption de la politique de l’adaptation scolaire en 1999, le ministère de l’Éducation, du Loisir et du Sport a mis en place un plan d’action pour permettre l’intégration des élèves handicapés ou en difficulté d’adaptation ou d’apprentissage. L’intégration des élèves handicapés a fait l’objet de plusieurs études ; toutefois, peu d’entre elles se sont intéressées à l’intégration d’élèves présentant une déficience auditive et utilisant le langage parlé complété. Le but de cette étude est de mettre en lumière les perceptions d’élèves présentant une déficience auditive quant à l’utilisation du langage parlé complété en contexte d’intégration scolaire.
Les concepts exploités dans ce mémoire sont relatifs à la surdité, aux élèves présentant une déficience auditive, aux modes de communication utilisés auprès de ces élèves, et plus particulièrement le langage parlé complété, de même qu’au contexte d’intégration scolaire québécois.
Cette recherche est de type exploratoire et la méthode utilisée est qualitative. Cinq étudiants présentant une déficience auditive et âgés entre 12 et 17 ans ont participé à une entrevue semi-dirigée. Les résultats de ces entretiens montrent que ces élèves ont des perceptions positives et négatives face à l’utilisation du langage parlé complété en contexte d’intégration. Quoique de façon générale cela n’entrave pas leur intégration scolaire, les perceptions négatives se rapportent davantage à l’intégration sociale qu’à l’intégration scolaire. / Since the adoption of the policy on special education in 1999, the Ministère de l’Éducation, du Loisir et du Sport created an action plan to allow the integration of the students with special needs. The integration of pupils with handicaps had been the subject of several studies, however, little of them were interested in integration of hearing impairment students using Cued Speech at school. The objective of this study is to throw a light onto perceptions of pupils presenting hearing impairment regarding the use of Cued Speech in a context of school integration.
The concepts exploited in this memory are related to students with hearing impairment, deafness, modes of communication used with these pupils, and more particularly the Cued Speech, just as the context of Québec school integration.
This research is of the exploratory kind, and the method used is qualitative. Five students with hearing impairment and between 12 and 17 years old took part in semi-directed interview. The results of these research sessions show that these pupils have positive and negative perceptions vis-a-vis the use of Cued Speech in an integration context. Though, in a general way, it does not seem to hinder their school integration, negative perceptions more refer to social integration than school integration.
|
9 |
Modélisation pour la reconnaissance continue de la langue française parlée complétée à l'aide de méthodes avancées d'apprentissage automatique / Modeling for Continuous Cued Speech Recognition in French using Advanced Machine Learning MethodsLiu, Li 11 September 2018 (has links)
Cette thèse de doctorat traite de la reconnaissance automatique du Langage français Parlé Complété (LPC), version française du Cued Speech (CS), à partir de l’image vidéo et sans marquage de l’information préalable à l’enregistrement vidéo. Afin de réaliser cet objectif, nous cherchons à extraire les caractéristiques de haut niveau de trois flux d’information (lèvres, positions de la main et formes), et fusionner ces trois modalités dans une approche optimale pour un système de reconnaissance de LPC robuste. Dans ce travail, nous avons introduit une méthode d’apprentissage profond avec les réseaux neurono convolutifs (CNN)pour extraire les formes de main et de lèvres à partir d’images brutes. Un modèle de mélange de fond adaptatif (ABMM) est proposé pour obtenir la position de la main. De plus, deux nouvelles méthodes nommées Modified Constraint Local Neural Fields (CLNF Modifié) et le model Adaptive Ellipse Model ont été proposées pour extraire les paramètres du contour interne des lèvres (étirement et ouverture aux lèvres). Le premier s’appuie sur une méthode avancée d’apprentissage automatique (CLNF) en vision par ordinateur. Toutes ces méthodes constituent des contributions significatives pour l’extraction de caractéristiques du LPC. En outre, en raison de l’asynchronie des trois flux caractéristiques du LPC, leur fusion est un enjeu important dans cette thèse. Afin de le résoudre, nous avons proposé plusieurs approches, y compris les stratégies de fusion au niveau données et modèle avec une modélisation HMM dépendant du contexte. Pour obtenir le décodage, nous avons proposé trois architectures CNNs-HMMs. Toutes ces architectures sont évaluées sur un corpus de phrases codées en LPC en parole continue sans aucun artifice, et la performance de reconnaissance CS confirme l’efficacité de nos méthodes proposées. Le résultat est comparable à l’état de l’art qui utilisait des bases de données où l’information pertinente était préalablement repérée. En même temps, nous avons réalisé une étude spécifique concernant l’organisation temporelle des mouvements de la main, révélant une avance de la main en relation avec l’emplacement dans la phrase. En résumé, ce travail de doctorat propose les méthodes avancées d’apprentissage automatique issues du domaine de la vision par ordinateur et les méthodologies d’apprentissage en profondeur dans le travail de reconnaissance CS, qui constituent un pas important vers le problème général de conversion automatique de CS en parole audio. / This PhD thesis deals with the automatic continuous Cued Speech (CS) recognition basedon the images of subjects without marking any artificial landmark. In order to realize thisobjective, we extract high level features of three information flows (lips, hand positions andshapes), and find an optimal approach to merging them for a robust CS recognition system.We first introduce a novel and powerful deep learning method based on the ConvolutionalNeural Networks (CNNs) for extracting the hand shape/lips features from raw images. Theadaptive background mixture models (ABMMs) are also applied to obtain the hand positionfeatures for the first time. Meanwhile, based on an advanced machine learning method Modi-fied Constrained Local Neural Fields (CLNF), we propose the Modified CLNF to extract theinner lips parameters (A and B ), as well as another method named adaptive ellipse model. Allthese methods make significant contributions to the feature extraction in CS. Then, due tothe asynchrony problem of three feature flows (i.e., lips, hand shape and hand position) in CS,the fusion of them is a challenging issue. In order to resolve it, we propose several approachesincluding feature-level and model-level fusion strategies combined with the context-dependentHMM. To achieve the CS recognition, we propose three tandem CNNs-HMM architectureswith different fusion types. All these architectures are evaluated on the corpus without anyartifice, and the CS recognition performance confirms the efficiency of our proposed methods.The result is comparable with the state of the art using the corpus with artifices. In parallel,we investigate a specific study about the temporal organization of hand movements in CS,especially about its temporal segmentation, and the evaluations confirm the superior perfor-mance of our methods. In summary, this PhD thesis applies the advanced machine learningmethods to computer vision, and the deep learning methodologies to CS recognition work,which make a significant step to the general automatic conversion problem of CS to sound.The future work will mainly focus on an end-to-end CNN-RNN system which incorporates alanguage model, and an attention mechanism for the multi-modal fusion.
|
10 |
Perception de la langue française parlée complétée: intégration du trio lèvres-main-sonBayard, Clémence 25 October 2014 (has links)
La Langue française Parlée Complétée est un système peu connu du grand public. Adapté du Cued Speech en 1977, il a pour ambition d’aider les sourds francophones à percevoir un message oral en complétant les informations fournies par la lecture labiale à l’aide d’un geste manuel. Si, depuis sa création, la LPC a fait l’objet de nombreuses recherches scientifiques, peu de chercheurs ont, jusqu’à présent, étudié les processus mis en jeu dans la perception de la parole codée. Or, par la présence conjointe d’indices visuels (liés aux lèvres et à la main) et d’indices auditifs (via les prothèses auditives ou l’implant cochléaire), l’étude de la LPC offre un cadre idéal pour les recherches sur l’intégration multimodale dans le traitement de la parole. En effet, on sait aujourd’hui que sourds comme normo-entendants mettent à contribution l’ouïe et la vue pour percevoir la parole, un phénomène appelé intégration audio-visuelle (AV).<p><p>Dans le cadre de cette thèse nous avons cherché à objectiver et caractériser l’intégration labio-manuelle dans la perception de la parole codée. Le poids accordé par le système perceptif aux informations manuelles, d’une part, et aux informations labiales, d’autre part, dépend-il de la qualité de chacune d’entre elles ?Varie-t-il en fonction du statut auditif ?Quand l’information auditive est disponible, comment le traitement de l’information manuelle est-il incorporé au traitement audio-visuel ?Pour tenter de répondre à cette série de questions, cinq paradigmes expérimentaux ont été créés et administrés à des adultes sourds et normo-entendants décodant la LPC. <p><p>Les trois premières études étaient focalisées sur la perception de la parole codée sans informations auditives. Dans l’étude n° 1, le but était d’objectiver l’intégration labio-manuelle ;l’impact de la qualité des informations labiales et du statut auditif sur cette intégration a également été investigué. L’objectif de l’étude n° 2 était d’examiner l’impact conjoint de la qualité des informations manuelles et labiales ;nous avons également comparé des décodeurs normo-entendants à des décodeurs sourds. Enfin, dans l’étude n° 3, nous avons examiné, chez des décodeurs normo-entendants et sourds, l’effet de l’incongruence entre les informations labiales et manuelles sur la perception de mots. <p><p>Les deux dernières études étaient focalisées sur la perception de la parole codée avec du son. L’objectif de l’étude n°4 était de comparer l’impact de la LPC sur l’intégration AV entre les sourds et les normo-entendants. Enfin, dans l’étude n°5, nous avons comparé l’impact de la LPC chez des décodeurs sourds présentant une récupération auditive faible ou forte. <p><p>Nos résultats ont permis de confirmer le véritable ancrage du code LPC sur la parole et de montrer que le poids de chaque information au sein du processus d’intégration est dépendant notamment de la qualité du stimulus manuel, de la qualité du stimulus labial et du niveau de performance auditive.<p> / Doctorat en Sciences Psychologiques et de l'éducation / info:eu-repo/semantics/nonPublished
|
Page generated in 1.4483 seconds