L’ambition de la thèse est de contribuer à une meilleure compréhension des difficultés cognitives rencontrées par les enfants sourds munis d’un implant cochléaire (IC). Elle présente une recension de travaux et une étude originale concernant la mémoire à court-terme/mémoire de travail.Est évalué l’apport recommandé de la lecture labiale et des clés de la LPC (Langue Parlée Complétée) sur le rappel.Une série d’épreuves originales de rappel immédiat a été conçue sur support informatique. Elle comprend des tâches contrastées du point de vue de la nature de l’information à mémoriser (spatiale vs verbale) et des modalités de présentation de l’information. Les épreuves ont été validées auprès d’une population d’enfants normo-entendants (NE)(âgés de 6 à 8 ans, N=42). Les réponses d’enfants IC(N=14) ont été comparées à celles d’enfants NE, sur la base de la constitution de deux groupes appareillés selon les critères d’âge, de sexe et d’aptitude intellectuelle.Pour les deux groupes, le rappel immédiat est meilleur pour les informations visuo-spatiales. Les informations verbales sont moins bien retenues par les enfants IC. Contrairement aux attentes, l’apport de la LPC, spécifiquement dans la modalité verbale, ne conduit pas à une augmentation des performances des enfants sourds. L’analyse de l’ordre de rappel des items ne fait pas apparaître de difficultés spécifiques. En revanche, la longueur des listes est préjudiciable en verbal. L’analyse des erreurs atteste de leurs difficultés au plan des connaissances langagières. Une analyse fine des performances individuelles montre des profils différenciés attestant de la singularité des modes d’adaptation des enfants sourds IC. / The aim of the thesis is to contribute to a better understanding of cognitive difficulties in deaf children with a cochlear implant (CI). Firstly, this thesis presents a comparative analysis of previous research work. Secondly, it presents an original study addressing short-term memory (STM)/working memory (WM) issues, in which the contribution of cued speech (CS) is assessed on memorization performances. To do so, a novel STM/WM task series was developed and used to investigate whether the use of verbal stimuli versus spatial stimuli differentially affects immediate memory processes and to examine whether the presentation of items in an enriched context has a benefit on the immediate memory capacity. The developed tasks were validated on normal-hearing (NH) children (6- and 8-year-old, N=42) and the capacities of CI deaf children(N=14) were compared to those of their NH peers matched for age, sex and reasoning ability. For both groups, the immediate recall proves to be better for visuo-spatial information. Also, CI deaf children appear as memorizing less verbal information. Surprisingly, CS, appears to be ineffective to improve the CI deaf children performances, especially in the verbal modality case; if the analysis of the order of recall of items does not reveal any specific difficulty, the length of the items lists is harmful in the verbal modality. The analysis of the recall errors confirms difficulties in linguistic knowledge. Individual performances of CI deaf children show diverse patterns.

Cette thèse de doctorat traite de la reconnaissance automatique du Langage français Parlé Complété (LPC), version française du Cued Speech (CS), à partir de l’image vidéo et sans marquage de l’information préalable à l’enregistrement vidéo. Afin de réaliser cet objectif, nous cherchons à extraire les caractéristiques de haut niveau de trois flux d’information (lèvres, positions de la main et formes), et fusionner ces trois modalités dans une approche optimale pour un système de reconnaissance de LPC robuste. Dans ce travail, nous avons introduit une méthode d’apprentissage profond avec les réseaux neurono convolutifs (CNN)pour extraire les formes de main et de lèvres à partir d’images brutes. Un modèle de mélange de fond adaptatif (ABMM) est proposé pour obtenir la position de la main. De plus, deux nouvelles méthodes nommées Modified Constraint Local Neural Fields (CLNF Modifié) et le model Adaptive Ellipse Model ont été proposées pour extraire les paramètres du contour interne des lèvres (étirement et ouverture aux lèvres). Le premier s’appuie sur une méthode avancée d’apprentissage automatique (CLNF) en vision par ordinateur. Toutes ces méthodes constituent des contributions significatives pour l’extraction de caractéristiques du LPC. En outre, en raison de l’asynchronie des trois flux caractéristiques du LPC, leur fusion est un enjeu important dans cette thèse. Afin de le résoudre, nous avons proposé plusieurs approches, y compris les stratégies de fusion au niveau données et modèle avec une modélisation HMM dépendant du contexte. Pour obtenir le décodage, nous avons proposé trois architectures CNNs-HMMs. Toutes ces architectures sont évaluées sur un corpus de phrases codées en LPC en parole continue sans aucun artifice, et la performance de reconnaissance CS confirme l’efficacité de nos méthodes proposées. Le résultat est comparable à l’état de l’art qui utilisait des bases de données où l’information pertinente était préalablement repérée. En même temps, nous avons réalisé une étude spécifique concernant l’organisation temporelle des mouvements de la main, révélant une avance de la main en relation avec l’emplacement dans la phrase. En résumé, ce travail de doctorat propose les méthodes avancées d’apprentissage automatique issues du domaine de la vision par ordinateur et les méthodologies d’apprentissage en profondeur dans le travail de reconnaissance CS, qui constituent un pas important vers le problème général de conversion automatique de CS en parole audio. / This PhD thesis deals with the automatic continuous Cued Speech (CS) recognition basedon the images of subjects without marking any artificial landmark. In order to realize thisobjective, we extract high level features of three information flows (lips, hand positions andshapes), and find an optimal approach to merging them for a robust CS recognition system.We first introduce a novel and powerful deep learning method based on the ConvolutionalNeural Networks (CNNs) for extracting the hand shape/lips features from raw images. Theadaptive background mixture models (ABMMs) are also applied to obtain the hand positionfeatures for the first time. Meanwhile, based on an advanced machine learning method Modi-fied Constrained Local Neural Fields (CLNF), we propose the Modified CLNF to extract theinner lips parameters (A and B ), as well as another method named adaptive ellipse model. Allthese methods make significant contributions to the feature extraction in CS. Then, due tothe asynchrony problem of three feature flows (i.e., lips, hand shape and hand position) in CS,the fusion of them is a challenging issue. In order to resolve it, we propose several approachesincluding feature-level and model-level fusion strategies combined with the context-dependentHMM. To achieve the CS recognition, we propose three tandem CNNs-HMM architectureswith different fusion types. All these architectures are evaluated on the corpus without anyartifice, and the CS recognition performance confirms the efficiency of our proposed methods.The result is comparable with the state of the art using the corpus with artifices. In parallel,we investigate a specific study about the temporal organization of hand movements in CS,especially about its temporal segmentation, and the evaluations confirm the superior perfor-mance of our methods. In summary, this PhD thesis applies the advanced machine learningmethods to computer vision, and the deep learning methodologies to CS recognition work,which make a significant step to the general automatic conversion problem of CS to sound.The future work will mainly focus on an end-to-end CNN-RNN system which incorporates alanguage model, and an attention mechanism for the multi-modal fusion.