Speech prosody is an essential aspect of human communication and vital to determine the emotional state of the speaker. Multiple acoustic cues are harnessed to infer emotional meaning from prosody, from which pitch and speech rate have been shown to be extremely important and reliable predictors to make emotion judgments. A comprehensive understanding of the underlying mechanisms involved in decoding pitch and speech rate cues is still underway. To have a complete understanding of the processing of prosodic cues, the current thesis addressed this issue from multiple levels – psychological and neuro-cognitive. The first experiment investigated how listeners combine information from the two critical cues – pitch and speech rate – for emotion recognition. The two cues were systematically manipulated in a factorial manner in pseudo-language-like utterances spoken in different emotional tones. The findings of this experiment demonstrated that pitch and speech rate are important parameters for accurate emotion recognition; however, the relative weight of the two cues is distinct for each emotion. Therefore, listeners harness the two cues differently for each emotion and it varies depending on the acoustic properties of each emotion. The second experiment explored the role of the two hemispheres in the brain in decoding pitch and speech rate to make emotion inferences. To this end, the ability of individuals with lesions to either the right or left hemisphere was compared to age-matched healthy participants in evaluating emotion information from the same two cues. Greater difficulty experienced by the right-hemisphere-damaged patients provides evidence for right hemisphere specialization in extracting acoustic properties for emotion recognition. In a third experiment, tasks from Experiment 2 were presented to healthy adults in an fMRI paradigm to identify the specific neural structures engaged in processing pitch and speech rate cues. The results reinforce that extracting pitch cues to make emotion inferences requires greater contribution from the right superior temporal gyrus/sulcus (STG/STS); however, the data shows processing speech rate cues involves both right and left STG/STS region. In summary, the present thesis provides important information about the complex processing involved at psychological and neurocognitive levels in decoding physical properties of the speech for emotion recognition. / La prosodie est un composant essentiel de la communication humaine qui est crucial pour déterminer l'état émotionnel du locuteur. Une multitude d'indices vocaux est captée pour extraire la signification émotionnelle des éléments prosodiques, dont la hauteur et le débit de la parole se sont révélés être des prédicteurs importants et fiables de l'état émotionnel du locuteur. À ce jour, on n'a pas encore réussi à élucider entièrement les mécanismes sous-jacents qui participent au décodage de la hauteur et du débit de la parole. La présente thèse se penche sur cette question à divers niveaux, soit aux niveaux psychologique et neurocognitif, afin d'élargir la compréhension du traitement des indices vocaux. Elle s'appuie sur trois expériences préalables : la première visant à étudier la façon dont les allocutaires combinent l'information diffusée par deux indices cruciaux, la hauteur et le débit de la parole, pour reconnaître l'émotion du locuteur, la deuxième visant à explorer le rôle des deux hémisphères cérébraux dans le décodage de la hauteur et du débit de la parole afin d'en tirer la signification émotionnelle et la troisième visant à identifier les structures neuronales précises qui participent au traitement de l'information extraite de la hauteur et du débit de la parole. Dans la première expérience, les deux indices ont été soumis à une manipulation factorielle systématique durant l'énonciation d'unités pseudolinguistiques émises selon divers états émotionnels. Les résultats obtenus ont permis de démontrer que la hauteur et le débit de la parole sont d'importants paramètres qui permettent d'interpréter la tonalité émotionnelle du discours avec exactitude. Le poids relatif de ces paramètres varie cependant selon l'émotion. Ainsi, les allocutaires interprètent ceux-ci différemment pour chaque émotion, et cette interprétation varie en fonction des propriétés acoustiques de l'émotion. Dans la seconde expérience, on a comparé la capacité à évaluer le contenu émotionnel de la hauteur et du débit de la parole de personnes présentant des lésions cérébrales situées soit dans l'hémisphère droit, soit dans l'hémisphère gauche du cerveau à celle de sujets sains du même âge. Les personnes ayant des lésions dans l'hémisphère droit du cerveau ont eu plus de difficulté à accomplir cette tâche, ce qui démontre que l'hémisphère droit est responsable de l'extraction des propriétés acoustiques qui permettent de reconnaître le contenu émotionnel du discours. Dans la troisième expérience, on a relié des adultes ne présentant aucune lésion au cerveau à un appareil d'IRM fonctionnelle et on leur a demandé d'accomplir les mêmes tâches que dans la deuxième expérience. Les résultats obtenus ont confirmé que l'extraction de l'information sur la tonalité émotionnelle du discours contenu dans la hauteur de la parole nécessite une plus grande participation du gyrus et du sulcus temporal supérieur droit. Cependant, les résultats montrent également que le traitement de la tonalité émotionnelle du discours contenu dans le débit de la parole fait appel aux gyri et aux sulci temporaux supérieurs droit et gauche. En résumé, le présent rapport de thèse fournit de l'information importante sur les mécanismes psychologiques et neurocognitifs complexes de traitement des propriétés physiques de la parole qui mènent à la reconnaissance de la tonalité émotionnelle du discours.
| Identifer | oai:union.ndltd.org:LACETR/oai:collectionscanada.gc.ca:QMM.96951 |
| Date | January 2011 |
| Creators | Dara, Chinar |
| Contributors | Marc D Pell (Internal/Supervisor) |
| Publisher | McGill University |
| Source Sets | Library and Archives Canada ETDs Repository / Centre d'archives des thèses électroniques de Bibliothèque et Archives Canada |
| Language | English |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation |
| Format | application/pdf |
| Coverage | Doctor of Philosophy (School of Communications Sciences & Disorders) |
| Rights | All items in eScholar ship@McGill are protected by copyright with all rights reserved unless otherwise indicated. |
| Relation | Electronically-submitted theses. |
Page generated in 0.0027 seconds