Pour percevoir la parole, le cerveau humain utilise les informations sensorielles provenant non seulement de la modalité auditive mais également de la modalité visuelle. En effet, de précédentes recherches ont mis en évidence l’importance de la lecture labiale dans la perception de la parole, en montrant sa capacité à améliorer et à modifier celle-ci. C’est ce que l’on appelle l’intégration audio-visuelle de la parole. L’objectif de cette thèse de doctorat était d’étudier la possibilité de faire varier ce processus d’intégration en fonction de différentes variables. Ce travail s’inscrit ainsi au cœur d’un débat régnant depuis plusieurs années, celui opposant l’hypothèse d’une intégration audio-visuelle universelle à l’hypothèse d’une intégration dépendante du contexte. C’est dans ce cadre que nous avons réalisé les cinq études constituant cette thèse, chacune d’elles investiguant l’impact d’une variable bien précise sur l’intégration bimodale :la qualité du signal visuel, l’âge des participants, le fait de porter un implant cochléaire, l’âge au moment de l’implantation cochléaire et le fait d’avoir des troubles spécifiques du langage. <p>Le paradigme expérimental utilisé consistait toujours en une tâche d’identification de syllabes présentées dans trois modalités :auditive seule, visuelle seule et audio-visuelle (congruente et incongruente). Les cinq études avaient également comme point commun la présentation de stimuli visuels dont la qualité était réduite, visant à empêcher une lecture labiale de bonne qualité. Le but de chacune de ces études était non seulement d’examiner si les performances variaient en fonction des variables investiguées mais également de déterminer si les différences provenaient bien du processus d’intégration lui-même et non uniquement de différences au niveau de la perception unimodale. Pour cela, les scores des participants ont été comparés à des scores prédits sur base d’un modèle prenant en compte les variations individuelles des poids auditifs et visuels, le weighted fuzzy-logical model of perception.<p>L’ensemble des résultats, discuté dans la dernière partie de ce travail, fait pencher la balance en faveur de l’hypothèse d’une intégration dépendante du contexte. Nous proposons alors une nouvelle architecture de fusion bimodale, prenant en compte ces dernières données. Enfin, les implications sont aussi d’ordre pratique, suggérant la nécessité d’incorporer des évaluations et rééducations à la fois auditives et visuelles dans le cadre des programmes de revalidation de personnes âgées, dysphasiques ou avec implant cochléaire./During face-to-face conversation, perception of auditory speech is influenced by the visual speech cues contained in lip movements. Indeed, previous research has highlighted the ability of lip-reading to enhance and even modify speech perception. This phenomenon is known as audio-visual integration. The aim of this doctoral thesis is to study the possibility of modifying this audio-visual integration according to several variables. This work lies into the scope of an important debate between invariant versus subject-dependent audio-visual integration in speech processing. Each study of this dissertation investigates the impact of a specific variable on bimodal integration: the quality of the visual input, age of participants, the use of a cochlear implant, age at cochlear implantation and the presence of specific language impairments. <p>The paradigm used always consisted of a syllable identification task, where syllables were presented in three modalities: auditory only, visual only and audio-visual (congruent and incongruent). There was also a condition where the quality of the visual input was reduced, in order to prevent a lip-reading of good quality. The aim of each of the five studies was not only to examine whether performances were modified according to the variable under study but also to ascertain that differences were indeed issued from the integration process itself. Thereby, our results were analyzed in the framework of model predictive of audio-visual speech performance (weighted fuzzy-logical model of perception) in order to disentangle unisensory effects from audio-visual integration effects. <p>Taken together, our data suggest that speech integration is not automatic but rather depends on the context. We propose a new architecture of bimodal fusions, taking these considerations into account. Finally, there are also practical implications suggesting the need to incorporate not only auditory but also visual exercise in the rehabilitation programs of older adults and children with cochlear implants or with specific language impairements. <p> / Doctorat en Sciences Psychologiques et de l'éducation / info:eu-repo/semantics/nonPublished

Doctorat en Sciences Psychologiques et de l'éducation / info:eu-repo/semantics/nonPublished

Les salles de classe sont des milieux bruyants auditivement et visuellement. Au Québec, le bruit auditif dans les écoles s’avère une problématique qui règne depuis des dizaines d’années et qui reste encore d’actualité aujourd’hui. Le bruit environnant peut impacter négativement le bien-être et les apprentissages des élèves et le bien-être des enseignant·es. D’autant plus, souvent, la source principale de bruit dans les écoles provient de la parole, un comportement qui peut être contrôlé. Les élèves et surtout les enseignant·es surchargent leur système vocal pour pouvoir faire passer leur message oral à travers le bruit auditif, augmentant leur niveau d’effort vocal. Dans les salles de classe, les distractions visuelles telles que les affiches murales contribuent à l’encombrement visuel, qui peut être considéré comme du « bruit visuel ». Celui-ci peut également impacter négativement le bien-être des élèves et leurs apprentissages. Considérant la nature multimodale, ou audiovisuelle, de la parole, nous nous questionnions sur l’influence de l’encombrement visuel sur la parole. Ce mémoire de maîtrise, composé de deux études, avait pour but de 1) étudier la perception subjective des élèves québécois de leur salle de classe en relation avec des données acoustiques objectives, et 2) étudier l’effet de l’encombrement visuel sur l’effort vocal en termes de paramètres acoustiques (SPL, f0 et CPP) et de perception auto-rapportée de locutrices. Les deux études se sont basées sur des méthodes mixtes, intégrant des méthodes quantitatives similaires (ex. : collecte de mesures objectives acoustiques, analyses acoustiques) et des méthodes qualitatives similaires (ex. : collecte de données subjectives perceptuelles, analyse inductive de questions ouvertes). Les analyses quantitatives et qualitatives des deux études révèlent que bien que les résultats relatifs aux données objectives (mesures acoustiques) n’étaient pas statistiquement significatifs, les résultats relatifs aux données subjectives (perception) l’étaient. Par exemple, dans la première étude, les niveaux d’appréciation du son des élèves (EAE) n’étaient pas tous corrélés avec les SPLs, et dans la deuxième étude, le niveau d’encombrement visuel n’était pas corrélé aux paramètres acoustiques de SPL, f0 et CPP. Ces résultats mettent en lumière l’importance de considérer et d’inclure des données subjectives et perceptuelles dans les études portant sur les paysages sonores éducatifs et sur l’effort vocal, car ce sont des expériences vécues par des humains. / Classrooms are acoustically and visually noisy environments. In Quebec, auditory noise in schools is a problem that has existed for decades and is still relevant today. Background noise can negatively impact the well-being and learning of students and the well-being of teachers. Moreover, the main source of noise in schools comes from speech, a behavior that can be controlled. Students and especially teachers put pressure on their vocal system to be able to convey their oral message through auditory noise, increasing their level of vocal effort. In classrooms, visual distractions such as wall posters can be considered as visual clutter, or visual noise, an element that can also negatively impact students’ well-being and learning. Considering the multimodal, or audiovisual, nature of speech, we question the influence of visual clutter on speech. This master's thesis, composed of two studies, aimed to 1) study the subjective perception of Quebec students of their classroom in relation to objective acoustic data, and 2) study the effect of visual clutter on vocal effort in terms of acoustic parameters (SPL, f0 and CPP) and self-reported perception of female speakers. Both studies were based on mixed methods, integrating similar quantitative methods (e.g., collection of objective acoustic measurements, acoustic analyses) and similar qualitative methods (e.g., collection of subjective perceptual data, inductive analysis of open-ended questions). Quantitative and qualitative analyses of the two studies reveal that although the results relating to the objective data (acoustic measurements) were not statistically significant, the results relating to the subjective data (perception) were. For example, in the first study, students' Evaluation of the Acoustic Environment (EAE) were not all correlated with measured SPLs, and in the second study, the level of visual clutter was not correlated with acoustic parameters of SPL, f0 and CPP. These findings highlight the importance of considering and including subjective and perceptual data in studies of educational soundscapes and vocal effort, as the human experience is subjective.

My doctoral research addressed two questions regarding the influence of orthographic knowledge on speech processing. First, I attempted to identify the locus of the orthographic effects observed in spoken word recognition tasks in which the orthographic consistency and the congruency between the phonological and orthographic representations of the stimuli were manipulated. Several studies provided converging results suggesting that only phonological representations activated at lexical or postlexical processing levels are affected by orthographic knowledge, while those activated at prelexical levels are not. However, the lexical processing level is not the only factor that determines the occurrence and/or the size of the orthographic effects. Regardless of the processing level tapped by the task, the characteristics of the material and the way in which participants perform the tasks also play an important role. Second, I examined the generality of the orthographic effects both in the suprasegmental domain and in the operation of working memory. Overall, the results showed orthographic effects in both situations./La question de l’influence des connaissances orthographiques sur le traitement de la parole a été abordée sous différents angles à travers les études menées dans le cadre de ma thèse de doctorat. Plus précisément, le locus des effets orthographiques a été examiné dans des tâches de reconnaissance de la parole grâce à une manipulation de la consistance orthographique et de la congruence entre les représentations phonologique et orthographique des stimuli. Les résultats obtenus convergent pour indiquer que seules les représentations phonologiques activées dans les situations qui exigent un traitement lexical et/ou post-lexical sont affectées par les représentations orthographiques. Cependant, l’occurrence et/ou la magnitude des effets orthographiques obtenus semblent dépendre également des caractéristiques du matériel et de la manière dont les participants effectuent la tâche. La question de la généralité des effets orthographiques a aussi été abordée :les effets orthographiques ont été démontrés d’une part dans le domaine suprasegmental (sur le ton lexical) et, d’autre part, dans le fonctionnement de la mémoire de travail. / Doctorat en sciences psychologiques / info:eu-repo/semantics/nonPublished