Das visuelle System erreicht enorme Verarbeitungsmengen, wenn wir unsere Augen auf ein Objekt richten. Mehrere Prozesse sind aktiv bevor unser Blick das neue Objekt erreicht. Diese Arbeit erforscht die räumlichen und zeitlichen Eigenschaften drei solcher Prozesse: 1. aufmerksamkeitsbedingte Steigerung der neuronalen Aktivität und sakkadische Suppression; 2. aufmerksamkeitsbasierte Auswahl des Zielreizes bei einer visuellen Suchaufgabe; 3. zeitliche Entwicklung der Detektiongenauigkeit bei der Objekt-Substitutionsmaskierung. Wir untersuchten diese Prozesse mit einer Kombination aus humaner Elektroenzephalografie (EEG), eye tracking und psychophysischen Verhaltensmessungen. Zuerst untersuchten wir, wie die neuronale Repräsentation eines Reizes von seiner zeitlichen Nähe zur Sakkade geprägt wird. Wir zeigten, dass direkt vor der Sakkade erscheinende Reize am meisten durch Aufmerksamkeit und Suppression geprägt sind. In Studie 2 wurde die Sichtbarkeit des Reizes mit der Objekt-Substitutionsmaskierung verringert, und wir analysierten das Verhältnis zwischen sakkadischen Reaktionszeiten und ihrer Genauigkeit. Dazu erfassten wir neuronale Marker der Aufmerksamkeitslenkung zum Zielreiz und eine subjektive Bewertung seiner Wahrnehmbarkeit. Wir stellten fest, dass schnelle Sakkaden der Maskierung entgingen und Genauigkeit sowie subjektive Wahrnehmbarkeit erhöhten. Dies zeigt, dass bereits in frühen Verarbeitungsstadien eine bewusste und korrekte Wahrnehmung des Reizes entstehen kann. Wir replizierten diesen Befund für manuelle Antworten, um eine Verfälschung der Ergebnisse durch sakkadenspezifische Prozesse auszuschließen. Neben ihrer theoretischen Bedeutung liefern diese Studien einen methodischen Beitrag zum Forschungsgebiet der EEG-Augenbewegung: Entfernung sakkadischer Artefakte aus dem EEG bzw. Erstellung eines künstlichen Vergleichsdatensatzes. Die Arbeit stellt mehrere Ansätze zur Untersuchung der Dynamik visueller Wahrnehmung sowie Lösungen für zukünftige Studien dar. / The visual system achieves a tremendous amount of processing as soon as we set eyes on a new object. Numerous processes are active already before eyes reach the object. This thesis explores the spatio-temporal properties of three such processes: attentional enhancement and saccadic suppression that accompany saccades to target; attentional selection of target in a visual search task; the timecourse of target detection accuracy under object-substitution masking. We monitored these events using a combination of human electrophysiology (EEG), eye tracking and behavioral psychophysics. We first studied how the neural representation of a visual stimulus is affected by its temporal proximity to saccade onset. We show that stimuli immediately preceding a saccade show strongest effects of attentional enhancement and saccadic suppression. Second, using object-substitution masking to reduce visibility, we analyzed the relationship between saccadic reaction times and response accuracy. We also collected subjective visibility ratings and observed neural markers of attentional selection, such as the negative, posterior-contralateral deflection at 200 ms (N2pc). We found that fast saccades escaped the effects of masking, resulted in higher response accuracy and higher awareness ratings. This indicates that early visual processing can trigger awareness and correct behavior. Finally, we replicated this finding with manual responses. Discovering a similar accuracy timecourse in a different modality ruled out saccade-specific mechanisms, such as saccadic suppression and retinal shift, as a potential confound. Next to their theoretical impact, all studies make a methodological contribution to EEG-eye movement research, such as removal of large-scale saccadic artifacts from EEG data and composition of matched surrogate data. In sum, this work uses multiple approaches to describe the dynamics of visual perisaccadic perception and offers solutions for future studies in this field.

The electro-oculogram (EOG) is the most widely used technique for recording eye movements in clinical settings. It is inexpensive, practical, and non-invasive. Use of EOG is usually restricted to horizontal recordings as vertical EOG contains eyelid artefact (Oster & Stern, 1980) and blinks. The ability to analyse two dimensional (2D) eye movements may provide additional diagnostic information on pathologies, and further insights into the nature of brain functioning. Simultaneous recording of both horizontal and vertical EOG also introduces other difficulties into calibration of the eye movements, such as different gains in the two signals, and misalignment of electrodes producing crosstalk. These transformations of the signals create problems in relating the two dimensional EOG to actual rotations of the eyes. The application of an artificial neural network (ANN) that could map 2D recordings into 2D eye positions would overcome this problem and improve the utility of EOG. To determine whether ANNs are capable of correctly calibrating the saccadic eye movement data from 2D EOG (i.e. performing the necessary inverse transformation), the ANNs were first tested on data generated from mathematical models of saccadic eye movements. Multi-layer perceptrons (MLPs) with non-linear activation functions and trained with back propagation proved to be capable of calibrating simulated EOG data to a mean accuracy of 0.33° of visual angle (SE = 0.01). Linear perceptrons (LPs) were only nearly half as accurate. For five subjects performing a saccadic eye movement task in the upper right quadrant of the visual field, the mean accuracy provided by the MLPs was 1.07° of visual angle (SE = 0.01) for EOG data, and 0.95° of visual angle (SE = 0.03) for infrared limbus reflection (IRIS®) data. MLPs enabled calibration of 2D saccadic EOG to an accuracy not significantly different to that obtained with the infrared limbus tracking data.

The understanding of the subjective experience of a visually stable world despite the occurrence of an observer's eye movements has been the focus of extensive research for over 20 years. These studies have revealed fundamental mechanisms such as anticipatory receptive field (RF) shifts and the saccadic suppression of stimulus displacements, yet there currently exists no single explanatory framework for these observations. We show that a previously presented neuro-computational model of peri-saccadic mislocalization accounts for the phenomenon of predictive remapping and for the observation of saccadic suppression of displacement (SSD). This converging evidence allows us to identify the potential ingredients of perceptual stability that generalize beyond different data sets in a formal physiology-based model. In particular we propose that predictive remapping stabilizes the visual world across saccades by introducing a feedback loop and, as an emergent result, small displacements of stimuli are not noticed by the visual system. The model provides a link from neural dynamics, to neural mechanism and finally to behavior, and thus offers a testable comprehensive framework of visual stability.

Die Erforschung visueller Aufmerksamkeit beruht auf verdeckter Aufmerksamkeit; das heißt, wenn der Fokus der Aufmerksamkeit trotz strikter Fixation ausgerichtet wird ohne größere Sakkaden auszuführen. EEG-Studien haben das neuronale Netzwerk identifiziert, dass verdeckte Aufmerksamkeit steuert. Diese Studien ignorieren jedoch unwillkürliche kleine Sakkaden während der Fixation - Mikrosakkaden (MS) genannt. Blickbewegungsstudien hingegen belegen einen Zusammenhang zwischen Aufmerksamkeit und diesen MS, beziehen ihre Resultate jedoch nicht auf etablierte EEG-Befunde. Um diese Forschungslücke zu schließen, zielt diese Dissertation darauf, den Zusammenhang zwischen Ereignis-korrelierten Potentialen (EKP) endogener Aufmerksamkeit und MS zu untersuchen. Folglich wurden drei Studien mit gleichzeitiger Erfassung von EEG und Blickbewegungen durchgeführt. In den Studien haben die Probanden ein „Posner Spatial-Cueing-Paradigma“ absolviert mit einem endogenen Hinweisreiz. Wir zeigen deutliche Zusammenhänge zwischen MS und neuronalen Korrelaten visueller Aufmerksamkeit. Erstens, MS und ein posteriores EKP reflektierten die Selektion visueller Reize basierend auf deren Merkmale. Dieses Ergebnis stärkt die Idee eines Netzwerkes, dass relevante Reize unter Distraktoren selektiert und zielgerichtetes Verhalten initiiert. Zweitens, MS erzeugten ein visuelles Potential, das verstärkte Potentialkomponenten für Reize zeigte, die im Aufmerksamkeitsfokus lagen. Dieses MS-evozierte Potential stellte einen zeitlich gut aufgelösten Aufmerksamkeitsindex dar. Drittens, MS erzeugten zudem ein in früheren Studien übersehenes, korneoretinales Artefakt. Dieses Artefakt kontaminierte die Messung eines frontalen EKPs, dass zuvor mit der Kontrolle von Aufmerksamkeit assoziiert war. Zusammenfassend zeigt diese Dissertation, dass die gleichzeitige Erfassung von EEG und Blickbewegungen bedeutsame Einblicke in den Zusammenhang von MS und visueller Aufmerksamkeit erlaubt. / Research on visual attention focusses on covert attention; that is, when attention is directed during fixation periods in the absence of larger saccades. While previous EEG research has provided insights into the neural network that controls covert attention, this field fails to account for the inevitable occurrence of miniature fixational saccades - called microsaccades (MS). In contrast, previous eye-tracking research has established links between MSs and covert attention, but has not directly related their findings to seminal EEG results. This thesis bridges this research gap by investigating the link between event-related potentials (ERPs) of endogenous attention and MSs. To this end, three studies were conducted with concomitant ERP and high-resolution eye-tracking recordings while participants performed a Posner spatial cueing task with an endogenous cue. Crucially, we show that MSs relate to neural correlates of visual attention. First, MS and an early posterior ERP reflected the top-down selection of a visual stimulus based on its features. This finding is consistent with the notion of a neural network that selects relevant stimuli from distracting ones and initiates goal-directed behavior toward selected stimuli. Second, gaze shifts from MSs evoked a visual potential in the EEG that was enhanced for stimuli in the focus of attention; a finding well-known for the visual potential measured after presenting a stimulus. Importantly, these MS-related potentials provided a fine-grained temporal index of the subject’s attentional state. Finally, MSs further evoked a corneoretinal artifact overlooked in previous EEG studies. This artifact contaminated the measurement of a frontal ERP previously associated with preparatory attentional control. In sum, this thesis provides first evidence for the benefits of using concomitant ERP and eye-tracking recordings to examine the link between MSs and visual attention.

La fovéa est la seule zone de la rétine où l’acuité visuelle est maximale. Les mécanismes qui visent à déterminer à quels endroits vont avoir lieu les prochaines fixations restent débattus. Certains auteurs suggèrent que les yeux sont principalement attirés par les zones les plus saillantes de la scène. D’autres suggèrent qu’ils sont orientés vers les objets. Les propriétés du système oculomoteur contraignent également les mouvements oculaires. L’objectif de cette thèse était de départager ces différents points de vue en examinant la contribution respective et le décours temporel des facteurs visuo-moteurs de bas niveau et des facteurs cognitifs de plus haut niveau dans la détermination des mouvements oculaires. Nous nous sommes focalisés sur trois phénomènes comportementaux clés : la tendance à bouger les yeux à proximité du centre des objets (Prefered-Viewing Location), les répercussions qu’ont ces positions d’atterrissage sur les durées initiales des fixations (Inverted Optimal-Viewing-Position) et les probabilités de refixation (Optimal-Viewing-Position). Nous avons observé que ces trois effets émergeaient, et ce, quel que soit le type de stimulus testé: des objets, des mots ou des objets sans signification. Cela suggère que ces effets reflètent les propriétés de bas niveau des systèmes visuel et oculomoteur. Par ailleurs, nous avons observé que l’endroit où les yeux atterrissaient au sein de l’objet était également influencé au fil du temps par les traitements de plus haut-niveau des propriétés du stimulus. Les saccades initiées plus tardivement atterrissaient plus proches de la zone la plus informative de l’objet. / High-quality vision is restricted to the fovea - a small region at the center of gaze. The mechanisms that determine which locations in a scene are selected for fixation remain debated. Some suggest that eye movements are mainly driven by the salient features in a scene. Others suggest that eye guidance is object based. The properties of the oculomotor system also strongly constrain eye behavior, but these have been neglected in most existing models. The purpose of this thesis was to disentangle between these different views, by investigating how low-level visuomotor factors versus higher-level cognitive factors contribute to eye movements towards and within isolated objects, and with which time course. We focused on three viewing-position effects: the tendency to move the eyes near the centers of objects (the PVL effect), and the repercussions these initial landing positions have on initial fixation durations (the I-OVP effect) and refixation probabilities (the OVP effect). We found that these three viewing-position effects emerged, and were comparable, in all stimulus types that we tested in this thesis: objects, words and even meaningless non-objects. This suggests that the effects reflect low-level properties of the visual and oculomotor systems. Furthermore, we found that where the eye moved within objects became influenced by ongoing processing of higher-level stimulus properties (e.g., object affordances) over time. Later- compared to early-triggered initial saccades, and even more so within-object refixations, were biased towards the most informative part of the objects, and away from their center of gravity.