Gesicht und Stimme einer Person sind stark miteinander assoziiert und werden normalerweise als eine Einheit wahrgenommen. Trotz des natürlichen gemeinsamen Auftretens von Gesichtern und Stimmen, wurden deren Wahrnehmung in den Neurowissenschaften traditionell aus einer unisensorischen Perspektive untersucht. Das heißt, dass sich Forschung zu Gesichtswahrnehmung ausschließlich auf das visuelle System fokusierte, während Forschung zu Stimmwahrnehmung nur das auditorische System untersuchte. In dieser Arbeit schlage ich vor, dass das Gehirn an die multisensorische Beschaffenheit von Gesichtern und Stimmen adaptiert ist, und dass diese Adaption sogar dann sichtbar ist, wenn nur die Stimme einer Person gehört wird, ohne dass das Gesicht zu sehen ist. Im Besonderen, untersucht diese Arbeit wie das Gehirn zuvor gelernte Gesichts-Stimmassoziationen ausnutzt um die auditorische Analyse von Stimmen und Sprache zu optimieren. Diese Dissertation besteht aus drei empirischen Studien, welche raumzeitliche Hirnaktivität mittels funktionaler Magnetresonanztomographie (fMRT) und Magnetoenzephalographie (MEG) liefern. Alle Daten wurden gemessen, während Versuchspersonen auditive Sprachbeispiele von zuvor familiarisierten Sprechern (mit oder ohne Gesicht des Sprechers) hörten. Drei Ergebnisse zeigen, dass zuvor gelernte visuelle Sprecherinformationen zur auditorischen Analyse von Stimmen beitragen: (i) gesichtssensible Areale waren Teil des sensorischen Netzwerks, dass durch Stimmen aktiviert wurde, (ii) die auditorische Verarbeitung von Stimmen war durch die gelernte Gesichtsinformation zeitlich faszilitiert und (iii) multisensorische Interaktionen zwischen gesichtsensiblen und stimm-/sprachsensiblen Arealen waren verstärkt. Die vorliegende Arbeit stellt den traditionellen, unisensorischen Blickwinkel auf die Wahrnehmung von Stimmen und Sprache in Frage und legt nahe, dass die Wahrnehmung von Stimme und Sprache von von einem multisensorischen Verarbeitungsschema profitiert. / Face and voice of a person are strongly associated with each other and usually perceived as a single entity. Despite the natural co-occurrence of faces and voices, brain research has traditionally approached their perception from a unisensory perspective. This means that research into face perception has exclusively focused on the visual system, while research into voice perception has exclusively probed the auditory system. In this thesis, I suggest that the brain has adapted to the multisensory nature of faces and voices and that this adaptation is evident even when one input stream is missing, that is, when input is actually unisensory. Specifically, the current work investigates how the brain exploits previously learned voice-face associations to optimize the auditory processing of voices and vocal speech. Three empirical studies providing spatiotemporal brain data—via functional magnetic resonance imaging (fMRI) and magnetoencephalography (MEG)—constitute this thesis. All data were acquired while participants listened to auditory-only speech samples of previously familiarized speakers (with or without seeing the speakers’ faces). Three key findings demonstrate that previously learned visual speaker information support the auditory analysis of vocal sounds: (i) face-sensitive areas were part of the sensory network activated by voices, (ii) the auditory analysis of voices was temporally facilitated by learned facial associations and (iii) multisensory interactions between face- and voice/speech-sensitive regions were increased. The current work challenges traditional unisensory views on vocal perception and rather suggests that voice and vocal speech perception profit from a multisensory neural processing scheme.

Verhaltensstudien haben gezeigt, dass dynamische besser als statische Emotionsausdrücke erkannt werden. Im Einklang mit dieser dynamischer Vorteil Hypothese, haben fMRT Studien eine erhöhte und ausgedehnte Aktivierung für dynamische Emotionsausdrücke gezeigt. Die vorliegende Dissertation hatte das Ziel, die kognitiven Mechanismen, die den dynamischen Vorteil bedingen, zu klären, beziehungsweise die Spezifität dessen Wirkung für Gesichtsausdrücke der sechs Basisemotionen zu untersuchen. Studie 1 verglich Verhaltensdaten und kortikale Reaktionen zwischen dynamischen und statischen Emotionsausdrücken. Studie 2 behandelte methodischen Fragen des Timings der Stimuli und der neutralen dynamischen Bedingung. Studie 3 überprüfte die Hypothese, dass die Erhöhung der Menge von Bewegungen in den Gesichtsausdrücken die Zuweisung der Aufmerksamkeit erhöhen würde, und verglich die Wirkung in emotionalen und nicht-emotionalen Bewegungen. Study 4 konzentrierte sich auf die Frage der Emotionsspezifität der Hirnaktivierung in der Erkennung von Emotionen. Die Ergebnisse bestätigten einen dynamischen Vorteil in der Klassifizierung von Emotionsausdrücken, vermutlich bedingt durch eine Erhöhung in der visuellen Aufmerksamkeit, und eine Verbesserung der Wahrnehmungsverarbeitung. Außerdem, erhöht sich dieser Effekt mit allmählichem Erhöhen der Stärke der Bewegung in beide emotionalen und neutralen Bedingungen. Solche Effekte sprechen für ein perzeptuellen Bias erhöhte Aufmerksamkeit emotionalen verglichen mit neutralen und dynamischen verglichen mit statischen Gesichtern zuzuweisen. Dieser Effekt war für Freude etwas erhöht und für Überraschung reduziert, aber insgesamt ähnlich für alle Emotionsausdrücken. / Behavioral studies have shown that facial expressions of emotion unfolding over time provide some type of information that benefits the recognition of emotional expressions, in comparison with static images. In line with the dynamic advantage hypothesis, neuroimaging studies have shown increased and wider activation while seeing dynamic expressions. The present dissertation aims to clarify the cognitive mechanism underlying this dynamic advantage and the specificity of this effect for six facial expressions of emotion. Study 1 compared behavioral and brain cortical responses to dynamic and static expressions, looking for psychophysiological correlates of the dynamic advantage. Study 2 dealt with methodological issues regarding the timing of the stimuli and the dynamic neutral conditions. Study 3 tested the hypothesis that increasing the amount of movement in the expressions would increase the allocation of attention, and compared effects of intensity in both emotional and non-emotional movements. Study 4 focused on the question of emotion specificity of brain activation during emotion recognition. Results confirmed a dynamic advantage in the classification of expressions, presumably due to more efficient allocation of attention that improved perceptual processing. The effect increased gradually by augmenting the amount of motion, in both emotional and neutral expressions, indicating a perceptual bias to attend facial movements. The enhancement was somewhat larger for happiness and reduced for surprise, but overall similar for all emotional expressions.

No description available.