Given the ecological importance of face recognition, it is not surprising that the visual system is capable of processing faces with remarkable efficiency. When presented with a face, information is rapidly extracted to detect and categorize it as a face, followed by face-specific information such as age, gender, and identity. According to cognitive and neural models, the processes underlying face recognition encompass a sequence of steps that begin with a perceptual or visual analysis followed by more image-invariant and identity-selective representations. Importantly, it is only familiar faces for which we have acquired long-term face memories that reach the final stages of identity processing to permit robust, image-invariant behavioural recognition. A key aspect of face processing is that it is fast and automatic. This can be said for both high-level categorization (i.e., detecting that a stimulus is a face) and for encoding at the identity-level. The purpose of these experiments was to use novel electrophysiological and psychophysical techniques to characterize these fast and automatic categorization processes. Experiment 1 and 2 used an implicit visual discrimination paradigm (fast periodic visual stimulation; FPVS) combined with electroencephalography (EEG) to isolate identity-specific neural responses to a personally familiar face, the own-face, and an unfamiliar stranger face. Experiment 1 showed that identity-specific responses recorded over the occipito-temporal region were stronger for a personally familiar face compared to the unfamiliar control identity, while the response to the own-face was even greater than to a personally familiar friend. In Experiment 2, identity-specific responses for a given identity were measured in participants both before and after real-world familiarization. As expected, the results showed a significant increase in the identity-specific response once participants became personally familiar with the test identities. In Experiment 3, we used saccadic eye movements to estimate the lower bounds of the speed of face categorization, and in particular to investigate the question of whether this categorization occurs during early feedforward processing. The results support the view that information needed to detect and selectively respond to face stimuli happens during the earliest visual processing. Collectively, these studies provide additional insight on the mechanisms underlying rapid and automatic face detection and face identity recognition. / Graduate

付記する学位プログラム名: 京都大学大学院思修館 / 京都大学 / 0048 / 新制・課程博士 / 博士(農学) / 甲第20432号 / 農博第2217号 / 新制||農||1048(附属図書館) / 学位論文||H29||N5053(農学部図書室) / 京都大学大学院農学研究科食品生物科学専攻 / (主査)教授 保川 清, 教授 河田 照雄, 准教授 井上 和生 / 学位規則第4条第1項該当 / Doctor of Agricultural Science / Kyoto University / DFAM

Zahlreiche Untersuchungen belegen, dass räumlich selektive Aufmerksamkeit visuelle und auditive Reizverarbeitung beeinflusst. Bestehende Modellvorstellungen sind, aufgrund der geringen Kenntnisse vergleichbarer somatosensorischer Effekte, schwer zu einem allgemeinen Mechanismus generalisieren. Mittels zeitlich-räumlich hoch aufgelöster Messmethoden wurde in dieser Dissertation Effekte räumlich selektiver Aufmerksamkeit auf die bewusste Wahr-nehmung und kortikale Verarbeitung somatosensorischer Reize untersucht. Im Einzelnen wurde gezeigt, dass die räumlich selektive Aufmerksamkeit die Maskierung eines überschwelli-gen Reizes an einer Hand durch einen starken Reiz an der anderen Hand moduliert. Mittels Elektroenzephalografie (EEG) wurde nachgewiesen, dass nach der Stimulation die Verarbei-tung in einem fronto-parietalen Netzwerk den Zugang ins Bewusstsein signalisiert. Der Be-fund einer der bewussten Wahrnehmung zeitlich vorausgehenden neuronalen Desynchronisa-tion im frontalen Kortex und in S1 erlaubt eine Erweiterung bestehender Modellvorstellun-gen. In einer simultanen EEG-funktionelle Magnetresonanztomografie (fMRT) -Studie wurde gezeigt, dass räumlich selektive Aufmerksamkeit die Signalverarbeitung während einer frühen sensorischen Phase der Reizverarbeitung beeinflusst (50 ms). Dieser Effekt korrelierte mit den Blutflußveränderungen in S1. Zusammenfassend zeigen die Studien, dass räumlich selektive Aufmerksamkeit zwar frühe somatosensorische Aktivität in S1 sowie die Wahrnehmung so-matosensorischer Reize moduliert, dies jedoch keine hinreichende Bedingung für die bewusste Wahrnehmung ist. Hingegen ist die attentional kontrollierte Desynchronisation somatosenso-rischer Rhythmen vor der Stimulation, die eine verstärkte fronto-parietale Reizverarbeitung nach sich zieht, hierfür entscheidend. / Numerous studies have shown that selective orientation of attention to a stimulus location modulates visual and auditory stimulus processing. Due to the relatively little knowledge about comparable effects of attention in the somatosensory system, existing models can barely be assigned to general cortical mechanisms. The studies conducted in this dissertation should therefore contribute to this knowledge. Effects of spatial selective attention on conscious per-ception and cortical processing of somatosensory stimuli have been investigated by applying recording methods with high temporal and spatial resolutions. Specifically, it was shown that spatial selective attention modulates masking of supra-threshold stimulus on one hand by a strong stimulus applied to the other hand. Using electroencephalography (EEG), it was dem-onstrated that processing in a fronto-parietal network but not early S1-activation signals the entry into conscious perception. The finding of neuronal desynchronisation in the frontal cor-tex and S1 preceding conscious stimulus perception permits the extension of the existing models. With the aim of localizing the temporal effects of spatial selective attention, a simul-taneous EEG-functional magnetic resonance imaging (fMRI)-study was conducted. In con-trast to findings of visual attention, it was shown that orientation of attention enhances soma-tosensory processing at an early stage of stimulus processing (50 ms). This effect correlated with the changes of cortical blood flow in S1. Together, these studies show that spatial-selective attention modulates early activity in S1 as well as conscious perception of somatosen-sory stimuli. Nevertheless, this is not sufficient for an entrance into conscious perception. Instead, attentionally controlled pre-stimulus desynchronisation of somatosensory rhythmic activity, followed by an increased fronto-parietal stimulus processing are necessary prerequi-sites for conscious perception.

Die sensorischen Informationen, die uns jederzeit zur Verfügung stehen, sind umfangreich, doch unsere bewusste Wahrnehmung erfasst nur einen kleinen Teil davon. Welche Faktoren entscheiden, welche Informationen bewusst wahrgenommen werden? Wie gestaltet sich der Übergang von unbewusster zu bewusster Verarbeitung? Diese Dissertation untersucht den Zugang visueller Informationen zur bewussten Wahrnehmung unter reduzierter Aufmerksamkeit sowie den Einfluss sozial-emotionaler Faktoren. In den Studien wurden Gesichter, die sich in ihrer wahrgenommenen Vertrauenswürdigkeit unterscheiden („Facial Trustworthiness“), mit negativem oder neutralem sozialem Wissen verknüpft und in einer Attentional-Blink-Aufgabe präsentiert. Studie 1 analysierte die Auswirkungen von affektivem Wissen und äußerlichen Merkmalen auf Verhaltensebene, während Studien 2 und 3 neuronale Prozesse mithilfe ereigniskorrelierter Potenziale (EKPs) untersuchten. Die Ergebnisse von Studie 2 zeigten einen graduellen Übergang zur bewussten Wahrnehmung, erkennbar an abgestuften Sichtbarkeitsbewertungen, der Aufgabenleistung und der Aktivität spezifischer EKP-Komponenten (N1-, N2- und P3-Komponenten). In den Studien 1 und 3 wurde eine verstärkte Wahrnehmung von Gesichtern festgestellt, die mit negativem Wissen assoziiert waren, während keine Effekte der Facial Trustworthiness nachgewiesen wurden. Der Einfluss affektiven Wissens war neurophysiologisch mit Unterschieden in der Early Posterior Negativity (EPN) verknüpft – einer Komponente, die mit erhöhter Aufmerksamkeit auf emotionale Reize assoziiert ist. Zusammenfassend stellt diese Arbeit das Konzept des Attentional-Blink als Alles-oder-Nichts-Phänomen infrage und legt nahe, dass graduelle Unterschiede in der bewussten Wahrnehmung bestehen. Sie liefert zudem Einblicke in den zeitlichen Verlauf und die Charakteristiken sozial-emotionaler Einflüsse auf die Wahrnehmung. Diese Befunde werden im Kontext aktueller Bewusstseinsforschung diskutiert. / The sensory information available to us at any given moment is extensive, yet our conscious perception only encompasses a fraction of it. What factors determine which information enters our conscious awareness? How is the transition from unconscious to conscious processing structured? This dissertation examines the access of visual information to conscious perception under conditions of reduced attention and the influence of socio-emotional factors. In the present studies, faces varying in perceived trustworthiness based on appearance (“facial trustworthiness”) were associated with negative or neutral social knowledge and presented in an attentional blink task. Study 1 analyzed the effects of affective knowledge and facial appearance on behavioral responses, while Studies 2 and 3 investigated neural processes using event-related potentials (ERPs). The results of Study 2 revealed a gradual transition to conscious perception, as reflected in graded visibility ratings, task performance, and ERP activity (N1, N2, and P3 components). Studies 1 and 3 found enhanced perception of faces associated with negative knowledge, while no effects of facial trustworthiness were observed. On a neurophysiological level, the influence of affective knowledge was linked to differences in the early posterior negativity (EPN), a component associated with increased attention to emotional stimuli. In summary, this work challenges the concept of the attentional blink as an all-or-nothing phenomenon and suggests the existence of graded differences in conscious perception. It further provides insights into the temporal dynamics and characteristics of socio-emotional influences on perception. These findings are discussed in the context of current consciousness research.