Aachen, Techn. Hochsch., Thesis (doctoral), 2001.

Humans use their eyes not only as visual input devices to perceive the environment, but also as an action tool in order to generate intended effects in their environment. For instance, glances are used to direct someone else's attention to a place of interest, indicating that gaze control is an important part of social communication. Previous research on gaze control in a social context mainly focused on the gaze recipient by asking how humans respond to perceived gaze (gaze cueing). So far, this perspective has hardly considered the actor’s point of view by neglecting to investigate what mental processes are involved when actors decide to perform an eye movement to trigger a gaze response in another person. Furthermore, eye movements are also used to affect the non-social environment, for instance when unlocking the smartphone with the help of the eyes. This and other observations demonstrate the necessity to consider gaze control in contexts other than social communication whilst at the same time focusing on commonalities and differences inherent to the nature of a social (vs. non-social) action context. Thus, the present work explores the cognitive mechanisms that control such goal-oriented eye movements in both social and non-social contexts. The experiments presented throughout this work are built on pre-established paradigms from both the oculomotor research domain and from basic cognitive psychology. These paradigms are based on the principle of ideomotor action control, which provides an explanatory framework for understanding how goal-oriented, intentional actions come into being. The ideomotor idea suggests that humans acquire associations between their actions and the resulting effects, which can be accessed in a bi-directional manner: Actions can trigger anticipations of their effects, but the anticipated resulting effects can also trigger the associated actions. According to ideomotor theory, action generation involves the mental anticipation of the intended effect (i.e., the action goal) to activate the associated motor pattern. The present experiments involve situations where participants control the gaze of a virtual face via their eye movements. The triggered gaze responses of the virtual face are consistent to the participant’s eye movements, representing visual action effects. Experimental situations are varied with respect to determinants of action-effect learning (e.g., contingency, contiguity, action mode during acquisition) in order to unravel the underlying dynamics of oculomotor control in these situations. In addition to faces, conditions involving changes in non-social objects were included to address the question of whether mechanisms underlying gaze control differ for social versus non-social context situations. The results of the present work can be summarized into three major findings. 1. My data suggest that humans indeed acquire bi-directional associations between their eye movements and the subsequently perceived gaze response of another person, which in turn affect oculomotor action control via the anticipation of the intended effects. The observed results show for the first time that eye movements in a gaze-interaction scenario are represented in terms of their gaze response in others. This observation is in line with the ideomotor theory of action control. 2. The present series of experiments confirms and extends pioneering results of Huestegge and Kreutzfeldt (2012) with respect to the significant influence of action effects in gaze control. I have shown that the results of Huestegge and Kreutzfeldt (2012) can be replicated across different contexts with different stimulus material given that the perceived action effects were sufficiently salient. 3. Furthermore, I could show that mechanisms of gaze control in a social gaze-interaction context do not appear to be qualitatively different from those in a non-social context. All in all, the results support recent theoretical claims emphasizing the role of anticipation-based action control in social interaction. Moreover, my results suggest that anticipation-based gaze control in a social context is based on the same general psychological mechanisms as ideomotor gaze control, and thus should be considered as an integral part rather than as a special form of ideomotor gaze control. / Der Mensch nutzt die Augen nicht nur zur Wahrnehmung seiner Umwelt, sondern auch als Handlungsinstrument, um intendierte Effekte in seiner Umwelt zu erzeugen. So werden Blicke beispielsweise dazu verwendet, die Aufmerksamkeit eines anderen auf einen bestimmten Ort zu lenken. Dies weist darauf hin, dass Blickkontrolle einen wichtigen Bestandteil in der sozialen Kommunikation darstellt. Die Forschung zu Blickkontrolle im sozialen Kontext hat sich bisher hauptsächlich auf den Blick-Empfänger konzentriert, um die Frage zu beantworten, wie Menschen auf wahrgenommene Blicke reagieren (Gaze Cueing). Dieser Ansatz hat dementsprechend bisher kaum den Standpunkt des Blick-Senders berücksichtigt. So wurde beispielsweise noch nicht untersucht, welche mentalen Prozesse der Ausübung einer Augenbewegung zugrunde liegen, die zum Ziel hat, bei einer anderen Person eine bestimmte Blickreaktion auszulösen. Darüber hinaus werden zielgerichtete Augenbewegungen auch im nicht-sozialen Kontext eingesetzt, beispielsweise beim Entsperren des Smartphones mithilfe der Augen. Diese und andere Beobachtungen zeigen allerdings klar die Notwendigkeit, Blickkontrolle sowohl in der sozialen Kommunikation als auch in anderen, nicht-sozialen Kontexten zu berücksichtigen und dabei gleichzeitig auf Gemeinsamkeiten und Unterschiede zu achten, die der Natur eines sozialen (vs. nicht-sozialen) Handlungskontextes innewohnen. Die vorliegende Arbeit untersucht daher die kognitiven Mechanismen, die solchen zielgerichteten Blickbewegungen in sozialen wie in nicht-sozialen Kontexten zugrunde liegen. Die in der vorliegenden Arbeit vorgestellten Experimente bauen auf bereits etablierten Paradigmen aus der Forschung zu Okulomotorik und zu basalen kognitiven Prozessen auf. Diese Paradigmen basieren auf dem Prinzip der ideomotorischen Handlungskontrolle, das eine Erklärung für die Entstehung zielgerichteter und beabsichtigter Handlungen liefert. Der ideomotorische Gedanke legt nahe, dass Menschen Assoziationen zwischen ihren Handlungen und den daraus resultierenden Effekten erwerben, die in zwei Richtungen wirken können: Eine Handlung kann die Antizipation ihrer Effekte auslösen, aber die aktive Antizipation eines Handlungseffektes kann auch die damit verbundene Handlung auslösen. Nach der ideomotorischen Theorie beinhaltet Handlungsgenerierung die mentale Antizipation des beabsichtigten Handlungseffektes, um das zugehörige motorische Muster zu aktivieren. Die vorliegenden Experimente beinhalten Situationen, in denen die Probanden den Blick eines virtuellen Gesichts mithilfe ihre eigenen Augenbewegungen steuern. Die im virtuellen Gesicht ausgelösten Blickreaktionen repräsentieren die visuellen Handlungseffekte. Die Situationen werden in Bezug auf die Determinanten von Handlungs-Effekt-Lernen (Kontingenz, Kontiguität, Handlungsmodus während des Lernens) variiert, um die zugrundeliegende Dynamik der okulomotorischen Handlungskontrolle in diesen Situationen zu verstehen. Zusätzlich zu den Gesichtern wurden Handlungseffekte in nicht-sozialen Objekten untersucht, um die Frage zu klären, ob sich die der Blickkontrolle zugrundeliegenden Mechanismen für soziale und nicht-soziale Kontextsituationen unterscheiden. Die Ergebnisse der vorliegenden Arbeit lassen sich in drei Hauptergebnisse zusammenfassen. 1. Meine Resultate legen nahe, dass Menschen bi-direktionale Assoziationen zwischen ihren Augenbewegungen und der darauf folgenden Blickreaktion einer anderen Person erwerben, was über die Antizipation der beabsichtigten Effekte die okulomotorische Handlungssteuerung beeinflusst. Die beobachteten Ergebnisse zeigen zum ersten Mal, dass Augenbewegungen in einem Blickinteraktionsszenario in Form einer bei der anderen Person ausgelösten Blickreaktion repräsentiert werden. Diese Beobachtung steht im Einklang mit dem ideomotorischen Prinzip der Handlungskontrolle. 2. Die vorliegende Versuchsreihe belegt und erweitert die wegweisenden Ergebnisse von Huestegge und Kreutzfeldt (2012) in Bezug auf den bedeutenden Einfluss von Handlungseffekten in der okulomotorischen Handlungskontrolle. Ich konnte zeigen, dass sich die Ergebnisse von Huestegge und Kreutzfeldt (2012) über verschiedene Kontexte mit unterschiedlichem Stimulus-Material replizieren lassen unter der Bedingung, dass die wahrgenommenen Handlungseffekte ausreichend stark ausgeprägt waren. 3. Zudem konnte ich zeigen, dass sich Mechanismen der Blickkontrolle in einem sozialen Blickinteraktionskontext vermutlich nicht qualitativ von denen in einem nicht-sozialen Kontext unterscheiden. Zusammenfassend unterstützen die Ergebnisse die jüngsten theoretischen Überlegungen, die die Rolle von antizipativen Prozessen in der Handlungssteuerung in sozialen Interaktionskontexten betonen. Darüber hinaus legen meine Ergebnisse nahe, dass antizipationsbasierte Blickkontrolle im sozialen Kontext auf den gleichen allgemeinen psychologischen Mechanismen wie ideomotorische Blickkontrolle basiert und somit als integraler Bestandteil, und nicht als eine spezielle Form der ideomotorischen Blickkontrolle, betrachtet werden sollte.

Aachen, Techn. Hochsch., Thesis (doctoral), 2000.

Thesis (doctoral)--Rheinisch-Westfälische Technische Hochschule, Aachen, 2001.

Zugl.: Hamburg, Universiẗat, Diss., 1997. / Nebent.: Betrachtungen von Entscheidungsprozessen mittels Blickbewegungsanalyse.

Der Catechol-O-Methyltransferase (COMT) Val158Met Polymorphismus (rs4680) ist am Abbau von Dopamin und Noradrenalin im menschlichen Gehirn beteiligt. In bisherigen Studien konnte gezeigt werden, dass das Met-Allel mit einer erhöhten Reaktivität auf negative Stimuli assoziiert ist. Auf Basis der Tonischen/ Phasischen Dopaminhypothese wird postuliert, dass diese erhöhte Reaktivität auf negative Reize durch defizitäre Disengagementprozesse verursacht sein könnte. Das Ziel dieser Arbeit war es daher, diese theoretische Annahme mithilfe von Blickbewegungsmessungen zu überprüfen und zu untersuchen, ob die erhöhte Reaktivität sich auch in verlängerten Disengagementlatenzen von negativen Reizen widerspiegelt. Es wurden dafür drei Studien durchgeführt, in denen eine adaptierte Version der emotionalen Antisakkadenaufgabe in Verbindung mit einer Blickbewegungsmessung eingesetzt wurde. In der zweiten Studie wurde zusätzlich eine EEG-Messung durchgeführt. Außerdem wurde in der dritten Studie die Aufmerksamkeitslokation manipuliert. In der ersten und zweiten Studie zeigte sich nicht wie erwartet ein linearer Effekt in Relation zum COMT Val158Met Polymorphismus, sondern ein Heterosiseffekt. Dieser Effekt zeigte sich nur in der einfacheren Prosakkadenbedingung. In der ersten Studie wurde der Heterosiseffekt bei negativen Reizen gefunden, wohingegen in der zweiten Studie der Heterosiseffekt nur in einer EEG- Komponente, der Early Posterior Negativity (EPN), aber sowohl bei positiven als auch negativen Reizen gefunden wurde. In der dritten Studie zeigte sich kein Genotypeffekt. Es wird vermutet, dass der COMT Effekt in der emotionalen Verarbeitung aufgabenspezifisch sein könnte und daher, neben linearen Zusammenhängen, unter bestimmten Umständen auch ein Heterosiseffekt auftreten kann. Die Ergebnisse sollten nicht auf eine männliche Stichprobe generalisiert werden, da in allen Studien lediglich weibliche Versuchspersonen teilnahmen. / The catechol-O-methyltransferase (COMT) Val158Met polymorphism (rs4680) moderates dopamine and norepinephrine degradation in the prefrontal cortex. It has been shown that the Met-Allele is associated with an increased reactivity to negative stimuli. With regard to the tonic-phasic dopamine model it is hypothesized that this increased reactivity to negative stimuli derives from deficient disengagement from negative stimuli. The aim of this work was therefore to investigate whether this increased reactivity is reflected in prolonged disengagement from negative pictures. Three studies were conducted, in which an adapted version of the emotional antisaccade task in combination with Eye Tracking was used. This paradigm allows for varying task difficulty. In the second study additionally an EEG measurement was recorded. Furthermore, in the third study the location of the attention was manipulated. Unexpectedly, in the first and second study we did not find a linear effect in relation to the COMT polymorphism, but a heterosis effect. This effect was found only in the simpler Prosaccade condition. In the first study the heterosis effect was found for negative stimuli, whereas in the second study the heterosis effect was found for positive as well as negative stimuli in one EEG component, the Early Posterior Negativity (EPN). The third study yielded no Genotype effect. It is suggested that the COMT effect on emotional processing is task-specific and therefore besides linear effects a heterosis effect might also occur under certain circumstances. In all three studies, only female subjects participated. Therefore the results should not be generalized to a male sample.

Zugl.: Düsseldorf, Univ., Habil.-Schr. u.d.T.: Wölwer, Wolfgang: Differenzierung kognitiver Störungen schizophren Erkrankter mittels Augenbewegungsanalysen

Microsaccades are an important component of the small eye movements that constitute fixation, the basis of visual perception. The specific function of microsaccades has been a long-standing research problem. Only recently, conclusive evidence emerged, showing that microsaccades aid both visual perception and oculomotor control. The main goal of this thesis was to improve our understanding of the implementation of microsaccade generation within the circuitry of saccade control, an unsolved issue in oculomotor research. We make a case for a model according to which microsaccades and saccades result from mutually dependent motor plans, competing for expression. The model consists of an activation field, coding for fixation at its center and for saccades at peripheral locations; saccade amplitude increases with eccentricity. Activity during fixation spreads to slightly peripheral locations in the field and, thus, may result in the generation of microsaccades. Inhibition of remote and excitation of neighbouring locations govern the dynamics of the field, resulting in a strong competition between fixation and saccade generation. We propose that this common-field model of microsaccade and saccade generation finds a neurophysiological counterpart in the motor map of the superior colliculus (SC), a key brainstem structure involved in the generation of saccades. In a series of five behavioral experiments, we tested implications of the model. Predictions were derived concerning (1) the behavior of microsaccades in a given task (microsaccade rate, amplitude, and direction), (2) the interactions of microsaccades and subsequent saccades, and (3) the relationship between microsaccadic behavior and neurophysiological processes at the level of the SC. The results yielded strong support for the model at all three levels of analysis, suggesting that microsaccade statistics are indicative of the state of the fixation-related part of the SC motor map. / Mikrosakkaden sind ein wichtiger Bestandteil der kleinen Augenbewegungen, aus denen Fixationen, die Basis der visuellen Wahrnehmung, bestehen. Neuere Arbeiten erbrachten schlüssige Evidenz dafür, das Mikrosakkaden eine wichtige Rolle in der Wahrnehmung und der Blickbewegungskontrolle spielen. Hauptanliegen dieser Dissertation war es, unser Verständnis der Implementierung der Generierung von Mikrosakkaden im Kreislauf der Sakkadensteuerung zu vertiefen. Wir schlagen ein Modell vor, in dem Mikrosakkaden und Sakkaden konkurrierende Bewegungsprogramme darstellen, die um ihre Umsetzung wettstreiten. Das Modell besteht aus einem Aktivationsfeld, in dem Fixation im Zentrum und Sakkaden in der Peripherie repräsentiert sind (Sakkadenamplitude steigt mit der Exzentrizität). Aktivität während der Fixation breitet sich zu leicht peripheren Orten im Feld aus und kann so zur Generierung von Mikrosakkaden führen. Hemmung von entfernten und Erregung von benachbarten Orten bestimmen die Dynamik im Feld, was zu einem starken Wettstreit zwischen Fixation und Sakkadengenerierung beiträgt. Wir schlagen vor, dass dieses common-field model of microsaccade and saccade generation ein neurophysiologisches Pendant in der Bewegungskarte des colliculus superior (CS) findet, einer Struktur im Hirnstamm, die im starken Zusammenhang mit der Entstehung von Sakkaden steht. In fünf behavioralen Experimenten wurden Implikationen des Modells überprüft. Vorhersagen wurden auf drei Ebenen abgeleitet: (1) Verhalten der Mikrosakkaden in bestimmten Aufgaben (Mikrosakkadenrate, -amplitude und -richtung), (2) Interaktionen von Mikrosakkaden und nachfolgenden Sakkaden, (3) der Zusammenhang zwischen Mikrosakkadenverhalten und neurophysiologischen Prozessen auf der Ebene des CS. Die Ergebnisse unterstützten das Modell auf allen drei Analyseebenen. Mikrosakkaden scheinen ein Indikator der Fixationsaktivität in der Bewegungskarte des CS zu sein.

Since the turn of the millennium, a large number of computational models of visual salience have been put forward. How best to evaluate a given model's ability to predict where human observers fixate in images of real-world scenes remains an open research question. Assessing the role of spatial biases is a challenging issue; this is particularly true when we consider the tendency for high-salience items to appear in the image center, combined with a tendency to look straight ahead (“central bias”). This problem is further exacerbated in the context of model comparisons, because some—but not all—models implicitly or explicitly incorporate a center preference to improve performance. To address this and other issues, we propose to combine a-priori parcellation of scenes with generalized linear mixed models (GLMM), building upon previous work. With this method, we can explicitly model the central bias of fixation by including a central-bias predictor in the GLMM. A second predictor captures how well the saliency model predicts human fixations, above and beyond the central bias. By-subject and by-item random effects account for individual differences and differences across scene items, respectively. Moreover, we can directly assess whether a given saliency model performs significantly better than others. In this article, we describe the data processing steps required by our analysis approach. In addition, we demonstrate the GLMM analyses by evaluating the performance of different saliency models on a new eye-tracking corpus. To facilitate the application of our method, we make the open-source Python toolbox “GridFix” available.

Der Ansatz der Arbeit lässt sich auf zwei Gebiete aus der Blickbewegungsforschung zurückführen. Einerseits basieren die Studien auf Experimenten zum remote distractor effect, andererseits auf Untersuchungen beim Lesen bzw. der Wahrnehmung komplexer Szenen. Innerhalb beider Ansätze findet eine Analyse der Auswirkungen unterschiedlichen Reizmaterials (z.B. Texte oder Bilder) auf die Fixationsdauer statt. Aktuelle Erklärungsansätze werden im Bezug zu den gefundenen Ergebnissen dargestellt und kritisch bewertet. Anhand der Ergebnisse einer Voruntersuchung wird vorgeschlagen, die gefundenen Effekte im Rahmen der Orientierungsreaktion (OR) zu betrachten. In einer Serie von vier Untersuchungen wird dargelegt, dass die Dauer von Fixationen auch durch externe Ereignisse moduliert wird. In der ersten Untersuchung wurden die zeitlichen Aspekte des Distraktoreffekts untersucht. Dafür erschienen Distraktoren mit verschiedenen Latenzen nach Fixationsbeginn. Zusätzlich wurde untersucht, welche Auswirkungen unterschiedliche Distraktormodalitäten (visuell und akustisch) zeigen. Die Ergebnisse demonstrierten eine deutliche Verlängerung der jeweils vom Distraktor betroffenen Fixation für alle Latenzen. Für Distraktoren beider Modalitäten zeigte sich eine vergleichbare Verlängerung betroffener Fixationen. Bei der zweiten Untersuchung wurde für visuelle Distraktoren geprüft, inwieweit sich die vorgeschlagene Interpretation im Rahmen der OR bestätigen lässt. Dafür wurde der Effekt hinsichtlich einer Habituation untersucht. Für die Studie wurden Distraktoren mit zwei verschiedenen Latenzen auf umweltbezogenen vs. retinal fixierten Koordinaten präsentiert. Die Ergebnisse zeigten, dass eher Störungen auf gleichen retinalen Positionen eine Abnahme des Effektes zur Folge haben (also habituieren). Für Distraktoren auf konstanten Bildpositionen konnte keine systematische Abnahme des Distraktoreffektes gemessen werden. Für die dritte Untersuchung wurden Augenbewegungen und blickkontingente ereigniskorrelierte Potentiale (EKP?s) parallel aufgezeichnet. Bisher liegen keine Erkenntnisse vor, wie anhand von Parametern der Augenbewegungen Habituation nachweisbar ist, die Abnahme der N1-Komponente der EKP?s hingegen gilt als etablierter Nachweis einer Habituation. Die Ergebnisse zeigten, neben der Verlängerung der Fixationsdauer für visuelle und akustische Distraktoren, eine deutliche Auswirkung auf die N1-Komponente. Bei der Prüfung der Habituation über die betrachteten Bilder zeigte sich eine Verringerung des Effektes in der Fixationsdauer und der N1-Komponente. Auf Schwierigkeiten in Bezug auf den Nachweis einer ausgeprägten Habituation wurde an entsprechender Stelle hingewiesen. Die letzte Studie (N=1) testete, ob sich die Neuinterpretation des Effektes mit neurophysiologischen Erkenntnissen vereinbaren lässt. Bei dem Probanden wurde aufgrund eines Unfalls eine Schädigung des frontalen Augenfeldes (FEF) angenommen. Es wurden Distraktoren links, rechts, ober- und unterhalb des Fixationsorts dargeboten. Beim ersten Versuch, 12 Monate nach dem Unfall, zeigte sich für Distraktoren links des Fixationsortes keinerlei Verlängerung der betroffenen Fixationen. Beim zweiten Versuch, acht Monate später, zeigte sich der Distraktoreffekt auf allen Positionen. Dies lässt sich als Unterstützung der Annahme einer Schädigung der FEF interpretieren, da sich in verschiedenen Studien selbst bei operativer Entfernung der FEF eine deutliche Verringerung der entstandenen Defizite nach einigen Wochen zeigte. Mögliche Alternativen der dargestellten Interpretation wurden an entsprechender Stelle diskutiert. Diese Untersuchungen bestätigen, dass sich ereignisbezogene Verlängerungen der visuellen Fixationsdauer mit dem Rahmenkonzept der OR in Verbindung bringen lassen. Es gilt jedoch zu berücksichtigen, dass eine Reihe weiterer Einflussfaktoren an der Modulation des Effektes beteiligt sind, obwohl es sich offenbar um eine Reaktion subkortikalen Ursprungs handelt.