München, Techn. Universiẗat, Diss., 2003.

Universiẗat, Diss., 2005--Kiel.

Techn. Universiẗat, Diss.--Cottbus, 2007.

Zugl.: Saarbrücken, Univ., Diss., 2006 / Hergestellt on demand

Zugl.: Saarbrücken, Univ., Diss., 2006

Zugl.: Cottbus, Techn. Universiẗat, Diss., 2007.

Zugl.: Bielefeld, Univ., Diss., 2005 / Hergestellt on demand

Gesicht und Stimme einer Person sind stark miteinander assoziiert und werden normalerweise als eine Einheit wahrgenommen. Trotz des natürlichen gemeinsamen Auftretens von Gesichtern und Stimmen, wurden deren Wahrnehmung in den Neurowissenschaften traditionell aus einer unisensorischen Perspektive untersucht. Das heißt, dass sich Forschung zu Gesichtswahrnehmung ausschließlich auf das visuelle System fokusierte, während Forschung zu Stimmwahrnehmung nur das auditorische System untersuchte. In dieser Arbeit schlage ich vor, dass das Gehirn an die multisensorische Beschaffenheit von Gesichtern und Stimmen adaptiert ist, und dass diese Adaption sogar dann sichtbar ist, wenn nur die Stimme einer Person gehört wird, ohne dass das Gesicht zu sehen ist. Im Besonderen, untersucht diese Arbeit wie das Gehirn zuvor gelernte Gesichts-Stimmassoziationen ausnutzt um die auditorische Analyse von Stimmen und Sprache zu optimieren. Diese Dissertation besteht aus drei empirischen Studien, welche raumzeitliche Hirnaktivität mittels funktionaler Magnetresonanztomographie (fMRT) und Magnetoenzephalographie (MEG) liefern. Alle Daten wurden gemessen, während Versuchspersonen auditive Sprachbeispiele von zuvor familiarisierten Sprechern (mit oder ohne Gesicht des Sprechers) hörten. Drei Ergebnisse zeigen, dass zuvor gelernte visuelle Sprecherinformationen zur auditorischen Analyse von Stimmen beitragen: (i) gesichtssensible Areale waren Teil des sensorischen Netzwerks, dass durch Stimmen aktiviert wurde, (ii) die auditorische Verarbeitung von Stimmen war durch die gelernte Gesichtsinformation zeitlich faszilitiert und (iii) multisensorische Interaktionen zwischen gesichtsensiblen und stimm-/sprachsensiblen Arealen waren verstärkt. Die vorliegende Arbeit stellt den traditionellen, unisensorischen Blickwinkel auf die Wahrnehmung von Stimmen und Sprache in Frage und legt nahe, dass die Wahrnehmung von Stimme und Sprache von von einem multisensorischen Verarbeitungsschema profitiert. / Face and voice of a person are strongly associated with each other and usually perceived as a single entity. Despite the natural co-occurrence of faces and voices, brain research has traditionally approached their perception from a unisensory perspective. This means that research into face perception has exclusively focused on the visual system, while research into voice perception has exclusively probed the auditory system. In this thesis, I suggest that the brain has adapted to the multisensory nature of faces and voices and that this adaptation is evident even when one input stream is missing, that is, when input is actually unisensory. Specifically, the current work investigates how the brain exploits previously learned voice-face associations to optimize the auditory processing of voices and vocal speech. Three empirical studies providing spatiotemporal brain data—via functional magnetic resonance imaging (fMRI) and magnetoencephalography (MEG)—constitute this thesis. All data were acquired while participants listened to auditory-only speech samples of previously familiarized speakers (with or without seeing the speakers’ faces). Three key findings demonstrate that previously learned visual speaker information support the auditory analysis of vocal sounds: (i) face-sensitive areas were part of the sensory network activated by voices, (ii) the auditory analysis of voices was temporally facilitated by learned facial associations and (iii) multisensory interactions between face- and voice/speech-sensitive regions were increased. The current work challenges traditional unisensory views on vocal perception and rather suggests that voice and vocal speech perception profit from a multisensory neural processing scheme.

Während wir Konversationen führen, senden wir akustische Signale, die nicht nur den Inhalt des Gesprächs betreffen, sondern auch eine Fülle an Informationen über den Sprecher liefern. Traditionellerweise wurden Sprachverständnis und Sprechererkennung als zwei voneinander unabhängige Prozesse betrachtet. Neuere Untersuchungen zeigen jedoch eine Integration in der Verarbeitung von Sprach- und Sprecher-Information. In dieser Dissertation liefere ich weitere empirische Evidenz dafür, dass Prozesse des Sprachverstehens und der Sprechererkennung auf neuronaler und behavioraler Ebene miteinander interagieren. In Studie 1 präsentiere ich die Ergebnisse eines Experiments, das funktionelle Magnetresonanztomographie (fMRT) nutzte, um die neuronalen Grundlagen des Sprachverstehens unter wechselnden Sprecherbedingungen zu untersuchen. Die Ergebnisse dieser Studie deuten auf einen neuronalen Mechanismus hin, der funktionelle Interaktionen zwischen sprach- und sprecher-sensitiven Arealen der linken und rechten Hirnhälfte nutzt, um das korrekte Verstehen von Sprache im Kontext von Sprecherwechseln zu gewährleisten. Dieser Mechanismus impliziert, dass die Sprachverarbeitung, einschließlich des Erkennens von linguistischer Prosodie, vornehmlich von Arealen der linken Hemisphäre unterstützt wird. In Studie 2 präsentiere ich zwei fMRT-Experimente, die die hemisphärische Lateralisierung der Erkennung von linguistischer Prosodie im Vergleich zur Erkennung der Sprachmitteilung respektive der Sprecheridentität untersuchten. Die Ergebnisse zeigten eine deutliche Beteiligung von Arealen in der linken Hirnhälfte, wenn linguistische Prosodie mit Sprecheridentität verglichen wurde. Studie 3 untersuchte, unter welchen Bedingungen Hörer von vorheriger Bekanntheit mit einem Sprecher profitieren. Die Ergebnisse legen nahe, dass Hörer akustische Sprecher-Information implizit während einer Sprach-Aufgabe lernen und dass sie diese Information nutzen, um ihr Sprachverständnis zu verbessern. / During natural conversation, we send rich acoustic signals that do not only determine the content of conversation but also provide a wealth of information about the person speaking. Traditionally, the question of how we understand speech has been studied separately from the question of how we recognize the person speaking either implicitly or explicitly assuming that speech and speaker recognition are two independent processes. Recent studies, however, suggest integration in the processing of speech and speaker information. In this thesis, I provide further empirical evidence that processes involved in the analysis of speech and speaker information interact on the neural and behavioral level. In Study 1, I present data from an experiment which used functional magnetic resonance imaging (fMRI) to investigate the neural basis for speech recognition under varying speaker conditions. The results of this study suggest a neural mechanism that exploits functional interactions between speech- and speaker-sensitive areas in left and right hemispheres to allow for robust speech recognition in the context of speaker variations. This mechanism assumes that speech recognition, including the recognition of linguistic prosody, predominantly involves areas in the left hemisphere. In Study 2, I present two fMRI experiments that investigated the hemispheric lateralization of linguistic prosody recognition in comparison to the recognition of the speech message and speaker identity, respectively. The results showed a clear left-lateralization when recognition of linguistic prosody was compared to speaker recognition. Study 3 investigated under which conditions listeners benefit from prior exposure to a speaker''s voice in speech recognition. The results suggest that listeners implicitly learn acoustic speaker information during a speech task and use such information to improve comprehension of speech in noise.