Dans la vie de tous les jours, lorsque nous regardons le monde qui nous entoure, nous bougeons constamment nos yeux. Notre regard se porte successivement sur différents endroits du champ visuel afin de capter l'information visuelle. Ainsi, nos yeux se stabilisent sur deux à trois régions différentes par seconde pendant des périodes appelées fixations. Entre deux fixations, nous réalisons des mouvements rapides des yeux pour déplacer notre regard vers une autre région ; on parle de saccades oculaires. Ces mouvements oculaires sont étroitement liés à l'attention. Quels sont les processus attentionnels mis en jeu lors de l'exploration de scènes ? Comment les facteurs liés à la scène ou à la consigne donnée pour l'exploration modifient-ils les paramètres des mouvements oculaires ? Comment ces modifications évoluent-elles au cours de l'exploration ? Dans cette thèse, nous proposons d'analyser conjointement les données oculométriques et électroencéphalographiques (EEG) pour mieux comprendre les processus attentionnels impliqués dans le traitement de l'information visuelle acquise pendant l'exploration de scènes. Nous étudions à la fois l'influence de facteurs de bas niveau, c'est-à-dire l'information visuelle contenue dans la scène et de haut niveau, c'est-à-dire la consigne donnée aux observateurs. Dans une première étude, nous avons considéré les facteurs de haut niveau à travers la modulation de la tâche à réaliser pour l'exploration des scènes. Nous avons choisi quatre tâches : l'exploration libre, la catégorisation, la recherche visuelle et l'organisation spatiale. Ces tâches ont été choisies car elles impliquent des traitements de l'information visuelle de nature différente et peuvent être classées en fonction de leur niveau de difficulté ou de demande attentionnelle. Dans une seconde étude, nous nous sommes focalisées plus particulièrement sur la recherche visuelle et l'influence de la contrainte temporelle. Enfin, dans une troisième étude, nous considérons les facteurs de bas niveau à travers l'influence d'un distracteur visuel perturbant l'exploration libre. Pour les deux premières études, nous avons enregistré conjointement les mouvements oculaires et les signaux EEG d'un grand nombre de sujets. L'analyse conjointe des signaux EEG et oculométriques permet de tirer profit des deux méthodes. L'oculométrie permet d'accéder aux mouvements oculaires et donc au déploiement de l'attention visuelle sur la scène. Elle permet de connaitre à quel moment et quels endroits de la scène sont regardés. L'EEG permet, avec une grande résolution temporelle, de mettre en avant des différences dans les processus attentionnels selon la condition expérimentale. Ainsi, nous avons montré des différences entre les tâches au niveau des potentiels évoqués par l'apparition de la scène et pour les fixations au cours de l'exploration. De plus, nous avons mis en évidence un lien fort entre le niveau global de l'activité EEG observée sur les régions frontales et les durées de fixation mais aussi des marqueurs de résolution de la tâche au niveau des potentiels évoqués liés à des fixations d'intérêt. L'analyse conjointe des données EEG et oculométriques permet donc de rendre compte des différences de traitement liées à différentes demandes attentionnelles. / In everyday life, when we explored the word, we moved continually our eyes. We focus your gaze successively on different location of the visual field, in order to get the visual information. In this way, our eyes became stable on two or three different regions per second, during period called fixation. Between two fixations, we make fast movements of the eyes to move our gaze to another position; it was called saccade. Eye movements are closely linked to attention. What are the attentional processes involved during scene exploration? How factors related to the scene or the task modify the parameters of eye movements? How these changes evolve during the exploration? In the thesis, we proposed to jointly analyze eye movements and electroencephalographic (EEG) data to better understand attentional processes involved during the processing of the visual information acquired during the exploration of scenes. We focused on low and high level factors. Low level factors corresponded to the visual information included in the scene and high level factors corresponded to the instruction give to observers. In a first study, we considered high level factors by manipulating the instructions for observers. We chose four tasks: free-exploration, categorization, visual search and spatial organization. These tasks were chosen because they involved different visual information processing and can be classified by level of difficulty or attentional demands. In a second study, we focused on the visual search task and on the influence of a time constraint. Finally, in a third study, we considered low level factors by analyzing the influence of a distractor disturbing the free-exploration of scenes. For the two first experiments, we jointly recorded eye movements and EEG signals of a large number of observers. The joint analysis of EEG and eye movement data takes advantage of the two methods. Eye tracking allowed to access to eye movements parameters and therefore to the visual attention deployment. It allowed knowing when and where the regions of the scene were gazed at. EEG allowed to access to differences on attentional processes depending on the experimental condition, with a high temporal resolution. We found differences between tasks for evoked potentials elicited by the scene onset and by fixations along the exploration. Furthermore, we demonstrated a strong link between the global EEG activity observed over frontal regions and fixation durations but also markers of the solving of the task on evoked potentials elicited by fixations of interest. Therefore, joint analysis of EEG and eye movement data allowed to report different processes related to attentional demanding.

Obwohl Blickbewegungen einen elementaren Bestandteil des natürlichen Sehens darstellen, werden hirnelektrische Korrelate der visuellen Verarbeitung im Elektroenzephalogramm (EEG) zumeist während passiver Stimulation des ruhenden Auges erfasst. Ein alternativer methodischer Zugang ist die Kopplung des EEG an Beginn oder Ende natürlich auftretender Augenbewegungen mit Hilfe simultanen, hochauflösenden Eye-Trackings (ET). Die resultierenden sakkaden- bzw. fixationskorrelierten Potentiale (SRPs/FRPs) wurden in zwei Forschungskontexten untersucht und angewendet. Der erste Teil der Arbeit (Publikation 1 & 2) befasst sich mit den elektrophysiologischen Korrelaten von Mikrosakkaden, unwillkürlichen Fixationsaugenbewegungen die auch während traditioneller EEG-Messungen auftreten. Es wird gezeigt, dass Mikrosakkaden trotz ihrer geringen Amplitude eine wesentliche, aber mit herkömmlichen Methoden kaum auszuschließende Quelle muskulärer und kortikaler Aktivität im EEG darstellen (mikrosakkadische SRPs), welche in der Mehrzahl experimenteller Durchgängen aktiv ist, und zur Fehlinterpretation reizgekoppelter Potentiale führen kann. Der zweite Teil der Arbeit demonstriert die Machbarkeit und Nützlichkeit von FRP-Analysen zur Untersuchung hirnelektrischer Prozesse beim Lesen. In Publikation 3 werden Einflüsse verschiedener Messartefakte sowie visuell-evozierter, motorischer und kognitiv modulierter Potentiale auf die FRP-Wellenform beschrieben und Methoden zur Signaloptimierung vorgeschlagen. Wir zeigen, dass sich im natürlichen Satzlesen der klassische N400 Wortvorhersagbarkeitseffekt reproduzieren und in Bezug zu Maßen der Fixationsdauer setzen lässt. In Publikation 4 wurde mittels FRPs das Ausmaß der parafovealen Wortverarbeitung bestimmt. Simultanes ET ist eine sinnvolle Ergänzung zur bestehenden EEG-Methodik, sowohl zur Kontrolle von Mikroaugenbewegungen, als auch zur Erforschung natürlichen Blickbewegungsverhaltens und Integration von Befunden der ET- und EEG-Forschung. / Although natural vision involves an active sampling of the environment with several saccadic eye movements per second, electroencephalographic (EEG) correlates of visual cognition are predominantly recorded under artificial conditions of prolonged fixation. An alternative approach to EEG analysis, explored in the present thesis, is to time-lock the signal not to passive stimulations, but to the on- or offsets of naturally occurring eye movements, yielding saccade- and fixation-related potentials (SRPs/FRPs). Using simultaneous high-resolution eye-tracking (ET), this technique was applied in two contexts. The first part of the thesis (publications 1 & 2) investigated brain-electric correlates of microsaccades, small involuntary eye movements, which occur despite attempted fixation during traditional EEG paradigms. In a series of experiments, we show that SRPs from microsaccades present a significant, but normally hidden source of visuocortical potentials that is active in most trials and can confound the interpretation of stimulus-locked data under specific conditions. The second part of the thesis assessed the feasibility and utility of using FRPs in the study of natural reading. Publication 3 provides a review of artifact sources, low-level factors, and high-level influences determining the FRP waveform in free viewing and proposes methods to optimize signal quality. We then replicate the N400 word predictability effect, a cornerstone of neurolinguistic research, in left-to-right sentence reading and relate N400 amplitude to measures of fixation time. In publication 4, the FRP technique was combined with gaze-contingent display manipulations to investigate the depth of parafoveal preprocessing in fluent reading. Our results show that simultaneous recordings improve the understanding of electrophysiological data recorded during fixation, extend the EEG’s methodological scope to naturalistic viewing scenarios, and help to integrate findings from EEG and ET research.

Visuell-räumliche Aufmerksamkeit spielt eine Schlüsselrolle in der Wortverarbeitung und der Augenbewegungskontrolle beim Lesen. Dennoch bleibt die räumliche und zeitliche Dynamik von Aufmerksamkeitsbereitstellung innerhalb einer Fixation ungeklärt. Die vorliegende Dissertation nutzt drei Ansätze in der Ko-Registrierung von Augenbewegungen und EEG um diese Forschungslücke zu untersuchen und direkte Einblicke in die Aufmerksamkeitsverteilung zwischen Fovea und Parafovea, ihre Anpassung an Verarbeitungsansprüche und Sakkaden sowie ihre Auswirkungen auf Wortverarbeitung zu liefern. In Studie 1 wurde das Probe Paradigma als Maß zur Abbildung räumlicher Aufmerksamkeit ohne Augenbewegungen implementiert. Die vergrößerte, Probe-bezogene N1 zwischen Wortpräsentationen deutet auf eine Bereitstellung und Umverteilung zusätzlicher Ressourcen zur simultanen fovealen und parafovealen Wortverarbeitung hin. Studie 2 untersuchte den Preview Benefit und seine Modulation durch Sakkaden und Verarbeitungsschwierigkeit und zielte darauf ab, das elektrophysiologische Korrelat als indirektes Maß für parafoveale Aufmerksamkeit in ERPs und FRPs zu etablieren. Es zeigte sich ein Effekt des orthographischen Previews auf die N1. Interaktionen mit Lesemodus und Verarbeitungsschwierigkeit implizieren, dass dem Preview Effekt Aufmerksamkeitseffekte zugrunde liegen. In Studie 3 wurden zwei Datensätze hinsichtlich der Lateralisierung von Oszillationen im Alpha-Band untersucht um die in Studie 2 generierten Hypothesen zu unterstützen. Alpha war im sakkadischen Lesen stärker rechts-lateralisiert als in RSVP und eine stärkere Lateralisierung sagte eine kürzere Fixationsdauer vorher, was die Rolle von parafovealer Aufmerksamkeit und ihre Verbindung zu Sakkaden betont. Trotz der Einschränkungen der drei Ansätze stellt die Kombination von Augenbewegungen, ERPs, FRPs und EEG-Oszillationen geeignete Maße für Aufmerksamkeitsprozesse in der Wortverarbeitung dar, die traditionelle Forschungsmethoden ergänzen. / Visuo-spatial attention is a key contributor to word processing and oculomotor control in reading. Yet, the spatial and temporal dynamics of attention allocation within a fixation remain unclear. The present dissertation uses three approaches in the co-registration of eye movements and EEG to investigate this gap and provide direct, online insights into attention distribution across fovea and parafovea, its adaptation to processing load and saccadic behavior, as well as its effects on word processing. In Study 1, the probe paradigm was implemented as a mapping tool of spatial attention adaptation in the absence of eye movements, yielding ERPs. The enhanced probe-related N1 in-between trials indicates a recruitment and redistribution of additional resources to achieve simultaneous foveal and parafoveal word-recognition. Study 2 tested the preview benefit and its modulation by saccades and foveal load, thereby aiming at establishing its electrophysiological correlate as an indirect index of parafoveal attention allocation in ERPs and FRPs. There was an effect of orthographic preview on the N1. Interactions with reading mode and foveal load indicate underlying attention effects. In Study 3, two datasets were reanalyzed with regard to the lateralization of oscillatory activity in the alpha-band in order to directly support the assumptions generated in Study 2. Alpha was more strongly right-lateralized in saccadic reading compared to RSVP, and moment-to-moment lateralization predicted shorter subsequent fixation duration, emphasizing the role of parafoveal attention allocation and its relation to saccades. Despite the limitations of the three approaches at this point, the combination of eye movements, ERPs, FRPs, and EEG oscillations provides suitable online markers of attention processes in word recognition that complement traditional research methods.