Die Blickrichtung und ihre Richtung sind wichtige nonverbale Hinweise für die Etablierung von sozialen Interaktionen und die Wahrnehmung von emotionalen Gesichtsausdrücken bei anderen. Ob der Blick direkt auf den Betrachter gerichtet ist (direkter Blick) oder abgewendet (abgewandter Blick), beeinflusst unsere soziale Aufmerksamkeit und emotionale Reaktionen. Dies deutet darauf hin, dass Emotionen und Blickrichtung informative Werte haben, die sich möglicherweise in frühen oder späteren Stadien der neurokognitiven Verarbeitung interagieren. Trotz theoretischer Grundlage, der geteilten Signal-Hypothese (Adams & Kleck, 2003), gibt es einen Mangel an strukturierten elektrophysiologischen Untersuchungen zu den Wechselwirkungen zwischen Emotionen und Blickrichtung sowie ihren neuronalen Korrelaten und wie sie sich in verschiedenen Bevölkerungsgruppen unterscheiden. Um diese Lücke zu schließen, verwendete diese Doktorarbeit ereigniskorrelierte Hirnpotentiale (ERPs), um die Reaktionen auf emotionale Ausdrücke und Blickrichtung in einem neuen Paradigma zu untersuchen, das statischen und dynamischen Blick mit Gesichtsausdrücken kombiniert. Es wurden drei verschiedene Populationen untersucht. Studie 1 untersuchte in einer normalen Stichprobe die Amplituden der ERP-Komponenten, die durch die erstmalige Präsentation von Gesichtern und nachfolgende Änderungen der Blickrichtung in der Hälfte der Durchgänge ausgelöst wurden. In Studie 2 wurden aufgrund der atypischen Gesichtsverarbeitung und verminderten Reaktionen auf Augenblick beim Autismus die ERPs und Augenbewegungen bei zwei Stichproben von Kindern mit unterschiedlichem Schweregrad ihrer Autismusmerkmale untersucht. In Studie 3 wurde in einer großen Stichprobe die vermutlich erhöhte Sensitivität bei der Emotionsverarbeitung und Reaktion auf Augenblick bei Müttern im postpartalen Zeitraum mit besonderem Fokus auf die Gesichter von Säuglingen untersucht. Zusammenfassend zeigen die Ergebnisse der drei Studien, dass in sozialen Interaktionen die emotionalen Effekte von Gesichtern durch die dynamische Blickrichtung moduliert werden. / The eye gaze and its direction are important and relevant non-verbal cues for the establishment of social interactions and the perception of others’ emotional facial expressions. Gaze direction itself, whether eyes are looking straight at the viewer (direct gaze) or whether they look away (averted gaze), affects our social attention and emotional response. This implies that both emotion and gaze have informational values, which might interact at early or later stages of neurocognitive processing. Despite the suggestion of a theoretical basis for this interaction, the shared signal hypothesis (Adams & Kleck, 2003), there is a lack of structured electrophysiological investigations into the interactions between emotion and gaze and their neural correlates, and how they vary across populations. Addressing this need, the present doctoral dissertation used event-related brain potentials (ERPs) to study responses to emotional expressions and gaze direction in a novel paradigm combining static and dynamic gaze with facial expressions. The N170 and EPN were selected as ERP components believed to reflect gaze perception and reflexive attention, respectively. Three different populations were investigated. Study 1, in a normal sample, investigated the amplitudes of the ERP components elicited by the initial presentation of faces and subsequent changes of gaze direction in half of the trials. In Study 2, based on the atypical face processing and diminished responses to eye gaze in autism, the ERPs and eye movements were examined in two samples of children varying in the severity of their autism traits. In Study 3, In a large sample, I addressed the putatively increased sensitivity in emotion processing and response to eye gaze in mothers during their postpartum period with a particular focus on infant's faces. Taken together, the results from three studies demonstrate that in social interactions, the emotional effects of faces are modulated by dynamic gaze direction.

Die Reaktionsauswahl und die visuelle Aufmerksamkeit sind kapazitätslimitiert. In Doppelaufgaben des Paradigmas der Psychologischen Refraktärperiode (PRP) wird angenommen, dass die Reaktionsauswahlstufen in Aufgabe 1 und Aufgabe 2 sequentiell verarbeitet werden. Für Konjunktionssuchaufgaben wird angenommen, dass die visuelle Aufmerksamkeit Objekte selektiert und Objektmerkmale zusammen bindet, was zu einem seriellen Suchprozess führt. In der vorliegenden Dissertation wurde untersucht, ob die visuelle Aufmerksamkeit (d.h. Merkmalsbindung) demselben zentralen Verarbeitungsengpass wie die Reaktionsauswahl in Doppelaufgaben unterliegt. Sequentielle Verarbeitung von Reaktionsauswahl und visueller Aufmerksamkeit würde Evidenz dafür zeigen, dass beide Prozesse derselben Kapazitätslimitation unterliegen, während parallele Verarbeitung Evidenz dafür zeigen würde, dass beide Prozesse unterschiedlichen Kapazitätslimitationen unterliegen. Um diese Frage zu untersuchen, wurden Reaktionszeitmaße (locus-of-slack Methode), Targetdetektionsmaße (d’) und Ereigniskorrelierte Potentiale (EKPs; N2pc (N2 posterior contralateral)) gemessen. Schwerpunkt aller Analysen war der visuelle Aufmerksamkeitsprozess in einer Konjunktionssuche, die als Aufgabe 2 in Doppelaufgaben implementiert wurde. Aufgabe 1 war stets eine Wahlunterscheidungsaufgabe. Die Verhaltens- und elektrophysiologischen Ergebnisse zeigten, dass die Reaktionsauswahl in Aufgabe 1 und die visuelle Aufmerksamkeit (d.h. Merkmalsbindung) in Aufgabe 2 parallel verarbeitet wurden unabhängig von der Stimulusmodalität in Aufgabe 1, der Schwierigkeit der Reaktionsauswahl in Aufgabe 1 und der Darbietungsform des Stimulusdisplays in Aufgabe 2. Außerdem wurde eine Methode entwickelt, um die Anzahl der Objekte zu berechnen, die parallel zur Reaktionsauswahl verarbeitet wurden. Die Berechnungen stützten die Konklusion, dass die Reaktionsauswahl und die visuelle Aufmerksamkeit unterschiedlichen Kapazitätslimitationen unterliegen. / Response selection and visual attention are limited in capacity. Concerning dual-tasks of the Psychological Refractory Period (PRP) paradigm, it is assumed that response selection of Task 1 and Task 2 are processed sequentially. On the other hand, concerning conjunction search, it is assumed that visual attention selects the items and binds the item features resulting in a serial search process. In the present dissertation I investigated whether visual attention (i.e., feature binding) is subject to the same bottleneck mechanism as response selection in dual-tasks. Sequential processing of response selection and visual attention would provide evidence that both processes rely on a common capacity limitation, whereas concurrent processing would provide evidence that they rely on distinct capacity limitations. Reaction time (RT) measures based on the locus-of-slack method, target detectability measures based on d’, and the event-related potential (ERP) technique to measure the N2pc (N2 posterior contralateral) were combined to investigate this question. Analyses focused on visual attention deployment in a conjunction search task, which was implemented as Task 2 in dual-task situations. Task 1 was a choice discrimination task. Both tasks were presented at variable temporal overlap (Stimulus Onset Asynchrony, SOA). The behavioral and N2pc results showed that response selection in Task 1 and visual attention (i.e., feature binding) in Task 2 operated concurrently irrespective of the stimulus modality in Task 1, the response selection difficulty in Task 1 and the type of presentation of the search display in Task 2. Based on a method that was developed in the present dissertation, it was possible to calculate how many items of the search display were processed in parallel to response selection. The results supported the conclusion that response selection and visual attention rely on distinct capacity limitations.

Informelle Berichte zeigten größere Amplituden der durch Gesichter ausgelösten N170 Komponente im Ereigniskorrelierten Potenzial (EKP) bei asiatischen als bei kaukasischen Probanden. Als mögliche Ursache vermutete ich unterschiedliche Erfahrungen mit logographischen bzw. alphabetischen Schriftsystemen (Schriftsystem-Hypothese) oder die verstärkte Exposition mit unbekannten Gesichtern während der Immersion in eine neue soziale oder ethnische Umgebung (soziale Immersions-Hypothese). Zur Überprüfung dieser Hypothesen führte ich zwei kulturvergleichende Studien mit Erwachsenen bzw. Kindern durch. In Studie 1 untersuchte ich einheimische Chinesen und nicht-chinesische Auswärtige in Hongkong und deutsche Einheimische und chinesische Auswärtige in Berlin. Die Auswärtigen an beiden Orten zeigten größere N170 Amplituden auf Gesichter als die Einheimischen. Außerdem zeigten Deutsche, die erst kurze Zeit in Berlin lebten ähnliche Amplituden wie langjährige Einheimische. Insgesamt unterstützt Studie 1 die soziale Immersions-Hypothese, dass die Immersion in eine neue ethnische Umgebung zu einer Vergrößerung der N170 führt. Studie 2 untersuchte die Schriftsystem-Hypothese bei chinesischen und deutschen Erstlesern am Ende der ersten oder zu Beginn des zweiten Schuljahres an ihrem jeweiligen Heimatort. Die Ergebnisse unterstützen die Schriftsystem-Hypothese, dass chinesische Kinder eine größere N170 auf Gesichter zeigen als deutsche. Insgesamt konnte die vorliegende Dissertation zwei neue Einfluss-Faktoren auf das Gesichterverarbeitungs-System nachweisen, das erworbene Schriftsystem (logographische versus alphabetisch) und die Erfahrung sozialer Immersion in eine neue ethnische Umgebung. Diese Effekte zu ganz unterschiedlichen Zeitpunkten der Entwicklung (Kindheit vs. junges Erwachsenen-Alter) zeigen, dass das Gesichterverarbeitungs-System über lange Zeit seine Plastizität behält. / Informal reports have shown larger face-elicited N170 component of event-related potential (ERP) in Asians than Caucasians participants. I proposed that different experience with logographic versus alphabetic scripts (script system hypothesis) or by exposure to abundant novel faces during the immersion into a new social and/or ethnic environment (social immersion hypothesis) as a possible cause. To test these hypotheses, I conducted two cross-cultural ERP studies with adults and Children. In Study 1, I examined Chinese locals and non-Chinese foreigners in Hongkong, and German locals and Chinese foreigners in Berlin. It turned out that the foreigners in both locations showed larger N170 amplitudes to faces than the locals. In addition, Germans who had only lived in Berlin for a short time showed similar face N170 amplitudes as long-term Berlin residents. In sum, Study 1 supports the social immersion hypothesis that immersing into a new ethnic environment drives an increase of face N170. Study 2 investigated the scripts system hypothesis in Chinese and German early readers assessed at the end of the first-grade or at the beginning of the second grade in their respective home towns. The findings support the script system hypothesis that Chinese children showed larger face N170 amplitudes than German children. Overall, the present thesis demonstrated two new influencing factors on the face processing system, the acquired script system (logographic vs. alphabetic) and the social immersion experience in a new ethnic environment. More specifically, learning to read a visually complex logographic Chinese script or immersing into an other-ethnic social environment facilitates early perceptual processing of faces. These effects acquired at different stages of development (early childhood versus young adulthood) show that the face processing system retains its plasticity over a long period of time.