Die Suche nach einem Zielobjekt in einer komplexen visuellen Szene ist ein alltäglicher Wahrnehmungsvorgang und ein etabliertes experimentelles Paradigma für die Untersuchung selektiver Aufmerksamkeit. Einem klassischen Modell zufolge ist der Suchprozeß seriell: Die Objekte werden nacheinander vom Aufmerksamkeitsfokus selektiert und so für die Identifikation bereitgestellt. Ein Alternativmodell postuliert einen parallelen Suchprozeß, bei dem alle Objekte in der Szene gleichzeitig vom Sehsystem verarbeitet werden. Beide Modelltypen sind gleich gut mit den Resultaten bisheriger Verhaltensexperimente kompatibel. In der vorliegenden Arbeit wurden die neuronalen Grundlagen des Suchprozesses mit Hilfe der funktionellen Magnetresonanztomographie (fMRT) im menschlichen Gehirn untersucht. Es ist bekannt, dass das frontale Augenfeld (FEF) und drei Subregionen (AIPS, PIPS und IPTO) des posterioren parietalen Cortex (PPC) den im seriellen Suchmodell postulierten Teilprozeß der Verschiebung des Aufmerksamkeitsfokus (ohne Augenbewegungen) kontrollieren. In Experiment 1 wurde geprüft, ob diese Regionen auch am Suchprozeß beteiligt sind. Dazu wurde das fMRT-Signal zwischen einer schwierigen Suche nach einer Verknüpfung zweier visueller Merkmale und einer einfachen Suche nach einem einzelnen Merkmal verglichen. Motorische Anforderungen und Reizmuster waren in beiden Bedingungen so ähnlich wie möglich und in Kontrollexperimenten wurde sichergestellt, dass Aktivierungsunterschiede zwischen beiden Bedingungen keine motorischen oder sensorischen Prozesse reflektieren, sondern spezifisch den Prozeß der Verknüpfungssuche. FEF, AIPS, PIPS und IPTO wurden differentiell aktiviert. In Experiment 2 wurde getestet, ob die Beteiligung dieser Areale an der visuellen Suche von der Notwendigkeit einer Merkmalsverknüpfung abhängt. Dazu wurde eine schwierige Merkmalssuche mit der einfachen Merkmalssuche verglichen und kontrolliert, dass auch dieser Vergleich sensorische und motorische Faktoren eliminierte. Differentielle Aktivierungen in diesem Experiment reflektierten nun nicht mehr den Merkmalsverknüpfungsprozeß, sondern allein die höhere Schwierigkeit der Suche. Auch hier fand sich eine differentielle Aktivierung des FEF, AIPS, PIPS und IPTO. Dabei unterschieden sich die Schwierigkeit auf der Verhaltensebene wie auch die differentielle Aktivierung von PIPS auf der neuronalen Ebene nicht zwischen Verknüpfungs- und schwieriger Merkmalssuche. Die Ergebnisse demonstrieren, dass das FEF und drei Subregionen des PPC an der schwierigen visuellen Suche beteiligt sind. Dies ist gut mit der Annahme eines seriellen und nur schwer mit der eines parallelen Suchprozesses vereinbar. Darüber hinaus suggerieren die Befunde, dass der Beitrag des PPC und FEF zur visuellen Suche nicht auf den Prozeß der Merkmalsverknüpfung beschränkt ist, sondern allgemeiner die Anforderung an den Suchprozeß reflektiert. / The search for a target object in a complex visual scene is an all-day process of visual perception and an established experimental paradigm for the study of selective attention. A classical model postulates a serial search process. That is, objects are selected sequentially by the focus of attention and are thereby routed to the identification stage. An alternative model postulates a parallel search process, in which all objects within the scene are processed simultaneously. Both models are equally consistent with the current behavioural data. In this thesis, the neural basis of the search process in the human brain was investigated with functional magnetic resonance imaging (fMRI). The frontal eye field (FEF) and three sub-regions (AIPS, PIPS und IPTO) of the posterior parietal cortex (PPC) are known to control the shifting of the focus of attention in space (without eye movements), which is postulated by the serial model to be an essential sub-process of visual search. Experiment 1 tested whether the same areas are also engaged in the search process. The fMRI signal was compared between a difficult search for a feature conjunction and an easy search for a single feature. Motor requirements and stimuli were as similar as possible across conditions and control experiments demonstrated that activation differences between conditions do not reflect sensory or motor factors, but rather the process of conjunction search. The FEF, AIPS, PIPS, and IPTO were differentially activated. Experiment 2 tested whether the involvement of these areas in visual search depends on the necessity for conjoining features. A difficult feature search was compared with the easy feature search. This comparison also eliminated sensory and motor factors according to control experiments. Differential activations in this experiment did not reflect the feature conjunction process, but only the higher search difficulty. Again, a differential activation of the FEF, AIPS, PIPS, and IPTO was found. The conjunction and the difficult feature search did not differ in their difficulty at the behavioral level as well as in PIPS activation strength at the neural level. The results show that the FEF and three PPC sub-regions contribute to difficult visual search. This is consistent with the assumption of a serial, but much less consistent with the assumption of a parallel, search process. Furthermore the results suggest that the contribution of the PPC and FEF to visual search is not restricted to the feature conjunction process, but more generally reflects the demands on the search process.

No description available.

Die Erforschung visueller Aufmerksamkeit beruht auf verdeckter Aufmerksamkeit; das heißt, wenn der Fokus der Aufmerksamkeit trotz strikter Fixation ausgerichtet wird ohne größere Sakkaden auszuführen. EEG-Studien haben das neuronale Netzwerk identifiziert, dass verdeckte Aufmerksamkeit steuert. Diese Studien ignorieren jedoch unwillkürliche kleine Sakkaden während der Fixation - Mikrosakkaden (MS) genannt. Blickbewegungsstudien hingegen belegen einen Zusammenhang zwischen Aufmerksamkeit und diesen MS, beziehen ihre Resultate jedoch nicht auf etablierte EEG-Befunde. Um diese Forschungslücke zu schließen, zielt diese Dissertation darauf, den Zusammenhang zwischen Ereignis-korrelierten Potentialen (EKP) endogener Aufmerksamkeit und MS zu untersuchen. Folglich wurden drei Studien mit gleichzeitiger Erfassung von EEG und Blickbewegungen durchgeführt. In den Studien haben die Probanden ein „Posner Spatial-Cueing-Paradigma“ absolviert mit einem endogenen Hinweisreiz. Wir zeigen deutliche Zusammenhänge zwischen MS und neuronalen Korrelaten visueller Aufmerksamkeit. Erstens, MS und ein posteriores EKP reflektierten die Selektion visueller Reize basierend auf deren Merkmale. Dieses Ergebnis stärkt die Idee eines Netzwerkes, dass relevante Reize unter Distraktoren selektiert und zielgerichtetes Verhalten initiiert. Zweitens, MS erzeugten ein visuelles Potential, das verstärkte Potentialkomponenten für Reize zeigte, die im Aufmerksamkeitsfokus lagen. Dieses MS-evozierte Potential stellte einen zeitlich gut aufgelösten Aufmerksamkeitsindex dar. Drittens, MS erzeugten zudem ein in früheren Studien übersehenes, korneoretinales Artefakt. Dieses Artefakt kontaminierte die Messung eines frontalen EKPs, dass zuvor mit der Kontrolle von Aufmerksamkeit assoziiert war. Zusammenfassend zeigt diese Dissertation, dass die gleichzeitige Erfassung von EEG und Blickbewegungen bedeutsame Einblicke in den Zusammenhang von MS und visueller Aufmerksamkeit erlaubt. / Research on visual attention focusses on covert attention; that is, when attention is directed during fixation periods in the absence of larger saccades. While previous EEG research has provided insights into the neural network that controls covert attention, this field fails to account for the inevitable occurrence of miniature fixational saccades - called microsaccades (MS). In contrast, previous eye-tracking research has established links between MSs and covert attention, but has not directly related their findings to seminal EEG results. This thesis bridges this research gap by investigating the link between event-related potentials (ERPs) of endogenous attention and MSs. To this end, three studies were conducted with concomitant ERP and high-resolution eye-tracking recordings while participants performed a Posner spatial cueing task with an endogenous cue. Crucially, we show that MSs relate to neural correlates of visual attention. First, MS and an early posterior ERP reflected the top-down selection of a visual stimulus based on its features. This finding is consistent with the notion of a neural network that selects relevant stimuli from distracting ones and initiates goal-directed behavior toward selected stimuli. Second, gaze shifts from MSs evoked a visual potential in the EEG that was enhanced for stimuli in the focus of attention; a finding well-known for the visual potential measured after presenting a stimulus. Importantly, these MS-related potentials provided a fine-grained temporal index of the subject’s attentional state. Finally, MSs further evoked a corneoretinal artifact overlooked in previous EEG studies. This artifact contaminated the measurement of a frontal ERP previously associated with preparatory attentional control. In sum, this thesis provides first evidence for the benefits of using concomitant ERP and eye-tracking recordings to examine the link between MSs and visual attention.

Die Reaktionsauswahl und die visuelle Aufmerksamkeit sind kapazitätslimitiert. In Doppelaufgaben des Paradigmas der Psychologischen Refraktärperiode (PRP) wird angenommen, dass die Reaktionsauswahlstufen in Aufgabe 1 und Aufgabe 2 sequentiell verarbeitet werden. Für Konjunktionssuchaufgaben wird angenommen, dass die visuelle Aufmerksamkeit Objekte selektiert und Objektmerkmale zusammen bindet, was zu einem seriellen Suchprozess führt. In der vorliegenden Dissertation wurde untersucht, ob die visuelle Aufmerksamkeit (d.h. Merkmalsbindung) demselben zentralen Verarbeitungsengpass wie die Reaktionsauswahl in Doppelaufgaben unterliegt. Sequentielle Verarbeitung von Reaktionsauswahl und visueller Aufmerksamkeit würde Evidenz dafür zeigen, dass beide Prozesse derselben Kapazitätslimitation unterliegen, während parallele Verarbeitung Evidenz dafür zeigen würde, dass beide Prozesse unterschiedlichen Kapazitätslimitationen unterliegen. Um diese Frage zu untersuchen, wurden Reaktionszeitmaße (locus-of-slack Methode), Targetdetektionsmaße (d’) und Ereigniskorrelierte Potentiale (EKPs; N2pc (N2 posterior contralateral)) gemessen. Schwerpunkt aller Analysen war der visuelle Aufmerksamkeitsprozess in einer Konjunktionssuche, die als Aufgabe 2 in Doppelaufgaben implementiert wurde. Aufgabe 1 war stets eine Wahlunterscheidungsaufgabe. Die Verhaltens- und elektrophysiologischen Ergebnisse zeigten, dass die Reaktionsauswahl in Aufgabe 1 und die visuelle Aufmerksamkeit (d.h. Merkmalsbindung) in Aufgabe 2 parallel verarbeitet wurden unabhängig von der Stimulusmodalität in Aufgabe 1, der Schwierigkeit der Reaktionsauswahl in Aufgabe 1 und der Darbietungsform des Stimulusdisplays in Aufgabe 2. Außerdem wurde eine Methode entwickelt, um die Anzahl der Objekte zu berechnen, die parallel zur Reaktionsauswahl verarbeitet wurden. Die Berechnungen stützten die Konklusion, dass die Reaktionsauswahl und die visuelle Aufmerksamkeit unterschiedlichen Kapazitätslimitationen unterliegen. / Response selection and visual attention are limited in capacity. Concerning dual-tasks of the Psychological Refractory Period (PRP) paradigm, it is assumed that response selection of Task 1 and Task 2 are processed sequentially. On the other hand, concerning conjunction search, it is assumed that visual attention selects the items and binds the item features resulting in a serial search process. In the present dissertation I investigated whether visual attention (i.e., feature binding) is subject to the same bottleneck mechanism as response selection in dual-tasks. Sequential processing of response selection and visual attention would provide evidence that both processes rely on a common capacity limitation, whereas concurrent processing would provide evidence that they rely on distinct capacity limitations. Reaction time (RT) measures based on the locus-of-slack method, target detectability measures based on d’, and the event-related potential (ERP) technique to measure the N2pc (N2 posterior contralateral) were combined to investigate this question. Analyses focused on visual attention deployment in a conjunction search task, which was implemented as Task 2 in dual-task situations. Task 1 was a choice discrimination task. Both tasks were presented at variable temporal overlap (Stimulus Onset Asynchrony, SOA). The behavioral and N2pc results showed that response selection in Task 1 and visual attention (i.e., feature binding) in Task 2 operated concurrently irrespective of the stimulus modality in Task 1, the response selection difficulty in Task 1 and the type of presentation of the search display in Task 2. Based on a method that was developed in the present dissertation, it was possible to calculate how many items of the search display were processed in parallel to response selection. The results supported the conclusion that response selection and visual attention rely on distinct capacity limitations.

Fahrerassistenzsysteme werden zunehmend in Fahrzeuge eingebaut mit dem Ziel, den Fahrer beim Fahren zu unterstützen, Fahrfehler zu vermeiden und damit die Fahrsicherheit zu erhöhen. Derzeit sind häufig Systeme im Einsatz, die den Fahrer vor bestimmten Sicherheitsrisiken warnen (z.B. vor einem unbeabsichtigten Verlassen der Fahrspur). Der Trend geht aber hin zu Systemen, die stärker ins Fahrgeschehen eingreifen und somit Teile der Fahraufgabe automatisieren (z.B. selbständig die Spurhaltung des Fahrzeugs übernehmen). Aus der Forschung zur Mensch-Maschine Interaktion ist jedoch bekannt, dass Automatisierung nicht zwangsläufig zur Erhöhung von Sicherheit führt, sondern dass sie vielmehr auch unerwünschte Nebeneffekte für Performanz und Sicherheit mit sich bringen kann in dem Maße, wie Menschen an die veränderten Aufgabenanforderungen adaptieren. Im Straßenverkehr wird insbesondere befürchtet, dass Fahrer sich zu stark auf Fahrerassistenzsysteme verlassen, sich teilweise aus der Fahraufgabe zurückziehen („abschalten“) und ihre Aufmerksamkeit fahrfremden Dingen widmen. Dies kann unter Umständen dazu führen, dass Fahrer im Falle von Systemfehlern oder –ausfällen nicht mehr in der Lage sind rechtzeitig und angemessen einzugreifen bzw. die Kontrolle über das Fahrzeug zu übernehmen. Ziel der Dissertation war es zu untersuchen, inwieweit sich die Involviertheit von Fahrern in die Fahraufgabe verändert je stärker sie durch ein Assistenzsystem unterstützt werden (d.h., je stärker das System Teile der Fahraufgabe automatisiert). Um dies zu untersuchen wurden zwei theoretische Konzepte herangezogen: a) das Verlassen der Fahrer (auf ein System) und b) das Situationsbewusstsein der Fahrer. Basierend auf einer umfassenden Analyse der Forschungsliteratur zum Thema Automatisierung wurde ein theoretisches Rahmenmodell entwickelt, welches Veränderungen in der Involviertheit des Fahrers in die Fahraufgabe auf menschliche Adaptationsprozesse auf verschiedenen Ebenen zurückführt, die sich in Folge der veränderten Aufgaben­anforderungen durch zunehmende Automatisierung ergeben. Dazu zählen Veränderungen in Einstellungen, sowie in kognitiven, energetischen, und motivationalen Prozessen. Um Veränderungen in diesen Prozessen zu untersuchen, wurde eine Vielzahl an objektiven und subjektiven Maßen erhoben. Hauptgegenstand der Dissertation ist eine umfangreiche Fahrsimulatorstudie im Fahrsimulator mit Bewegungsplattform bei VTI (Swedish National Road and Transport Research Institute) in Linköping, Schweden. Dabei kamen zwei Querführungsassistenzsysteme (ein Heading Control System und ein Lane Departure Warning System) zum Einsatz, die den Fahrer in unterschiedlichem Maße bei der Spurhaltung unterstützten. Im Gegensatz zu einem Großteil der bisherigen Studien wurden prozessorientierte Performanzmaße zur Erfassung des Verlassens der Fahrer auf die Assistenzsysteme und des Situationsbewusstseins der Fahrer verwendet. Das Verlassen der Fahrer auf die Querführungsassistenzsysteme wurde durch Blickverhaltensmaße über die Bereitschaft der Fahrer erfasst, ihre visuelle Aufmerksamkeit von der Straße ab hin zu einer Zweitaufgabe im Fahrzeuginnenraum zu wenden. Zur Messung des Situationsbewusstseins der Fahrer wurden Fahrverhaltensmaße herangezogen welche als Indikator für die Schnelligkeit und Abruptheit der Reaktionen der Fahrer auf unerwartete kritische Fahrsituationen dienten. Ein Hauptbefund der Dissertation war, dass die Fahrer sich signifikant im Ausmaß ihres Verlassens auf einen hohen Grad an Assistenz unterschieden. Diese interindividuelle Varianz im Verlassen der Fahrer auf einen hohen Grad an Assistenz konnte am besten durch das Vertrauen der Fahrer in das Querführungsassistenzsystem und ihr Aktivierungsniveau erklärt werden: Je höher das Vertrauen der Fahrer in das System und je geringer ihr Aktivierungsniveau, desto stärker verließen sie sich auf das System. Individuelle Fahrermerkmale (Fahrstil) erklärten einen signifikanten Anteil der Varianz im Vertrauen der Fahrer in die Spurhalteassistenzsysteme. (ersetzt wegen neuem Herausgeber) / Advanced driver assistance systems are increasingly built in vehicles with the aim to support drivers while driving, to reduce driver errors and thereby to increase traffic safety. At present, these systems are often designed to warn drivers of specific safety risks (e.g., of an imminent departure from the driving lane). However, there is a trend towards systems that more strongly intervene in driving and that hence, automate parts of the driving task (e.g., autonomously keep the vehicle within the driving lane). However, research on human-machine interaction has shown that automation does not necessarily increase safety, but that it may also lead to unanticipated side effects on performance and safety to the extent that humans adapt to the changing task demands. A major concern in road traffic is that drivers rely too heavily on driver assistance systems, become less actively involved in the driving task, and divert their attention to things unrelated to driving. Thus, in the case of system malfunctions or failures, drivers possibly may not be prepared to intervene timely and accordingly and to regain control over the vehicle, respectively. The aim of this dissertation was to investigate changes in drivers’ active engagement in the driving task as a function of the degree to which they are supported by a driver assistance system (i.e., as a function of the degree to which the system automates the driving task). Drivers’ active task engagement was studied by referring to two theoretical concepts: a) drivers’ reliance (on a system) and b) drivers’ situation awareness. Based on an extensive review of previous research on automation, a conceptual theoretical framework was developed that links changes in operators’ active task engagement to human adaptation processes on different levels in response to the changing task demands due to automation. Among them are changes in human attitudes as well as in cognitive, motivational and energetic processes. In order to determine the relative influence of these processes, a range of objective and subjective measures was collected. The essential part of the dissertation is an extensive driving simulator study in an advanced moving-base driving simulator at VTI (Swedish National Road and Transport Research Institute) in Linköping, Sweden. Two lateral support systems (a Heading Control system and a Lane Departure Warning system) were implemented which assisted drivers to different degrees in lane keeping. Contrary to most previous automation studies, drivers’ reliance on the lane keeping assistance systems and their situation awareness were studied by using process-oriented performance-based measures. Drivers’ reliance on the lane keeping assistance systems was assessed by eye glance behaviour measures indicating drivers’ preparedness to allocate their visual attention away from the road scene to an in-vehicle secondary task. Drivers’ situation awareness was assessed by behavioural measures of the latency and magnitude of drivers’ initial reactions to unexpected critical driving situations. A major finding of the study was that drivers differed significantly in their reliance on a high level of lane keeping assistance. This interindividual variance in drivers’ reliance on higher-level assistance could be best explained by drivers’ trust in the system and their energetic arousal: The greater drivers’ trust in the system and the lower their arousal, the more did they rely on the system. Individual driver variables (driving style) explained a significant proportion of the variance in drivers’ trust in the lane keeping assistance systems. (replaced because a new publisher)

Advanced driver assistance systems are increasingly built in vehicles with the aim to support drivers while driving, to reduce driver errors and thereby to increase traffic safety. At present, these systems are often designed to warn drivers of specific safety risks (e.g., of an imminent departure from the driving lane). However, there is a trend towards systems that more strongly intervene in driving and that hence, automate parts of the driving task (e.g., autonomously keep the vehicle within the driving lane). However, research on human-machine interaction has shown that automation does not necessarily increase safety, but that it may also lead to unanticipated side effects on performance and safety to the extent that humans adapt to the changing task demands. A major concern in road traffic is that drivers rely too heavily on driver assistance systems, become less actively involved in the driving task, and divert their attention to things unrelated to driving. Thus, in the case of system malfunctions or failures, drivers possibly may not be prepared to intervene timely and accordingly and to regain control over the vehicle, respectively. The aim of this dissertation was to investigate changes in drivers’ active engagement in the driving task as a function of the degree to which they are supported by a driver assistance system (i.e., as a function of the degree to which the system automates the driving task). Drivers’ active task engagement was studied by referring to two theoretical concepts: a) drivers’ reliance (on a system) and b) drivers’ situation awareness. Based on an extensive review of previous research on automation, a conceptual theoretical framework was developed that links changes in operators’ active task engagement to human adaptation processes on different levels in response to the changing task demands due to automation. Among them are changes in human attitudes as well as in cognitive, motivational and energetic processes. In order to determine the relative influence of these processes, a range of objective and subjective measures was collected. The essential part of the dissertation is an extensive driving simulator study in an advanced moving-base driving simulator at VTI (Swedish National Road and Transport Research Institute) in Linköping, Sweden. Two lateral support systems (a Heading Control system and a Lane Departure Warning system) were implemented which assisted drivers to different degrees in lane keeping. Contrary to most previous automation studies, drivers’ reliance on the lane keeping assistance systems and their situation awareness were studied by using process-oriented performance-based measures. Drivers’ reliance on the lane keeping assistance systems was assessed by eye glance behaviour measures indicating drivers’ preparedness to allocate their visual attention away from the road scene to an in-vehicle secondary task. Drivers’ situation awareness was assessed by behavioural measures of the latency and magnitude of drivers’ initial reactions to unexpected critical driving situations. A major finding of the study was that drivers differed significantly in their reliance on a high level of lane keeping assistance. This interindividual variance in drivers’ reliance on higher-level assistance could be best explained by drivers’ trust in the system and their energetic arousal: The greater drivers’ trust in the system and the lower their arousal, the more did they rely on the system. Individual driver variables (driving style) explained a significant proportion of the variance in drivers’ trust in the lane keeping assistance systems. / Fahrerassistenzsysteme werden zunehmend in Fahrzeuge eingebaut mit dem Ziel, den Fahrer beim Fahren zu unterstützen, Fahrfehler zu vermeiden und damit die Fahrsicherheit zu erhöhen. Derzeit sind häufig Systeme im Einsatz, die den Fahrer vor bestimmten Sicherheitsrisiken warnen (z.B. vor einem unbeabsichtigten Verlassen der Fahrspur). Der Trend geht aber hin zu Systemen, die stärker ins Fahrgeschehen eingreifen und somit Teile der Fahraufgabe automatisieren (z.B. selbständig die Spurhaltung des Fahrzeugs übernehmen). Aus der Forschung zur Mensch-Maschine Interaktion ist jedoch bekannt, dass Automatisierung nicht zwangsläufig zur Erhöhung von Sicherheit führt, sondern dass sie vielmehr auch unerwünschte Nebeneffekte für Performanz und Sicherheit mit sich bringen kann in dem Maße, wie Menschen an die veränderten Aufgabenanforderungen adaptieren. Im Straßenverkehr wird insbesondere befürchtet, dass Fahrer sich zu stark auf Fahrerassistenzsysteme verlassen, sich teilweise aus der Fahraufgabe zurückziehen („abschalten“) und ihre Aufmerksamkeit fahrfremden Dingen widmen. Dies kann unter Umständen dazu führen, dass Fahrer im Falle von Systemfehlern oder –ausfällen nicht mehr in der Lage sind rechtzeitig und angemessen einzugreifen bzw. die Kontrolle über das Fahrzeug zu übernehmen. Ziel der Dissertation war es zu untersuchen, inwieweit sich die Involviertheit von Fahrern in die Fahraufgabe verändert je stärker sie durch ein Assistenzsystem unterstützt werden (d.h., je stärker das System Teile der Fahraufgabe automatisiert). Um dies zu untersuchen wurden zwei theoretische Konzepte herangezogen: a) das Verlassen der Fahrer (auf ein System) und b) das Situationsbewusstsein der Fahrer. Basierend auf einer umfassenden Analyse der Forschungsliteratur zum Thema Automatisierung wurde ein theoretisches Rahmenmodell entwickelt, welches Veränderungen in der Involviertheit des Fahrers in die Fahraufgabe auf menschliche Adaptationsprozesse auf verschiedenen Ebenen zurückführt, die sich in Folge der veränderten Aufgaben­anforderungen durch zunehmende Automatisierung ergeben. Dazu zählen Veränderungen in Einstellungen, sowie in kognitiven, energetischen, und motivationalen Prozessen. Um Veränderungen in diesen Prozessen zu untersuchen, wurde eine Vielzahl an objektiven und subjektiven Maßen erhoben. Hauptgegenstand der Dissertation ist eine umfangreiche Fahrsimulatorstudie im Fahrsimulator mit Bewegungsplattform bei VTI (Swedish National Road and Transport Research Institute) in Linköping, Schweden. Dabei kamen zwei Querführungsassistenzsysteme (ein Heading Control System und ein Lane Departure Warning System) zum Einsatz, die den Fahrer in unterschiedlichem Maße bei der Spurhaltung unterstützten. Im Gegensatz zu einem Großteil der bisherigen Studien wurden prozessorientierte Performanzmaße zur Erfassung des Verlassens der Fahrer auf die Assistenzsysteme und des Situationsbewusstseins der Fahrer verwendet. Das Verlassen der Fahrer auf die Querführungsassistenzsysteme wurde durch Blickverhaltensmaße über die Bereitschaft der Fahrer erfasst, ihre visuelle Aufmerksamkeit von der Straße ab hin zu einer Zweitaufgabe im Fahrzeuginnenraum zu wenden. Zur Messung des Situationsbewusstseins der Fahrer wurden Fahrverhaltensmaße herangezogen welche als Indikator für die Schnelligkeit und Abruptheit der Reaktionen der Fahrer auf unerwartete kritische Fahrsituationen dienten. Ein Hauptbefund der Dissertation war, dass die Fahrer sich signifikant im Ausmaß ihres Verlassens auf einen hohen Grad an Assistenz unterschieden. Diese interindividuelle Varianz im Verlassen der Fahrer auf einen hohen Grad an Assistenz konnte am besten durch das Vertrauen der Fahrer in das Querführungsassistenzsystem und ihr Aktivierungsniveau erklärt werden: Je höher das Vertrauen der Fahrer in das System und je geringer ihr Aktivierungsniveau, desto stärker verließen sie sich auf das System. Individuelle Fahrermerkmale (Fahrstil) erklärten einen signifikanten Anteil der Varianz im Vertrauen der Fahrer in die Spurhalteassistenzsysteme.

Visual attention is an important cognitive concept for the daily life of humans, but still not fully understood. Due to this, it is also rarely utilized in computer vision systems. However, understanding visual attention is challenging as it has many and seemingly-different aspects, both at neuronal and behavioral level. Thus, it is very hard to give a uniform explanation of visual attention that can account for all aspects. To tackle this problem, this thesis has the goal to identify a common set of neuronal mechanisms, which underlie both neuronal and behavioral aspects. The mechanisms are simulated by neuro-computational models, thus, resulting in a single modeling approach to explain a wide range of phenomena at once. In the thesis, the chosen aspects are multiple neurophysiological effects, real-world object localization, and a visual masking paradigm (OSM). In each of the considered fields, the work also advances the current state-of-the-art to better understand this aspect of attention itself. The three chosen aspects highlight that the approach can account for crucial neurophysiological, functional, and behavioral properties, thus the mechanisms might constitute the general neuronal substrate of visual attention in the cortex. As outlook, our work provides for computer vision a deeper understanding and a concrete prototype of attention to incorporate this crucial aspect of human perception in future systems.:1. General introduction 2. The state-of-the-art in modeling visual attention 3. Microcircuit model of attention 4. Object localization with a model of visual attention 5. Object substitution masking 6. General conclusion / Visuelle Aufmerksamkeit ist ein wichtiges kognitives Konzept für das tägliche Leben des Menschen. Es ist aber immer noch nicht komplett verstanden, so dass es ein langjähriges Ziel der Neurowissenschaften ist, das Phänomen grundlegend zu durchdringen. Gleichzeitig wird es aufgrund des mangelnden Verständnisses nur selten in maschinellen Sehsystemen in der Informatik eingesetzt. Das Verständnis von visueller Aufmerksamkeit ist jedoch eine komplexe Herausforderung, da Aufmerksamkeit äußerst vielfältige und scheinbar unterschiedliche Aspekte besitzt. Sie verändert multipel sowohl die neuronalen Feuerraten als auch das menschliche Verhalten. Daher ist es sehr schwierig, eine einheitliche Erklärung von visueller Aufmerksamkeit zu finden, welche für alle Aspekte gleichermaßen gilt. Um dieses Problem anzugehen, hat diese Arbeit das Ziel, einen gemeinsamen Satz neuronaler Mechanismen zu identifizieren, welche sowohl den neuronalen als auch den verhaltenstechnischen Aspekten zugrunde liegen. Die Mechanismen werden in neuro-computationalen Modellen simuliert, wodurch ein einzelnes Modellierungsframework entsteht, welches zum ersten Mal viele und verschiedenste Phänomene von visueller Aufmerksamkeit auf einmal erklären kann. Als Aspekte wurden in dieser Dissertation multiple neurophysiologische Effekte, Realwelt Objektlokalisation und ein visuelles Maskierungsparadigma (OSM) gewählt. In jedem dieser betrachteten Felder wird gleichzeitig der State-of-the-Art verbessert, um auch diesen Teilbereich von Aufmerksamkeit selbst besser zu verstehen. Die drei gewählten Gebiete zeigen, dass der Ansatz grundlegende neurophysiologische, funktionale und verhaltensbezogene Eigenschaften von visueller Aufmerksamkeit erklären kann. Da die gefundenen Mechanismen somit ausreichend sind, das Phänomen so umfassend zu erklären, könnten die Mechanismen vielleicht sogar das essentielle neuronale Substrat von visueller Aufmerksamkeit im Cortex darstellen. Für die Informatik stellt die Arbeit damit ein tiefergehendes Verständnis von visueller Aufmerksamkeit dar. Darüber hinaus liefert das Framework mit seinen neuronalen Mechanismen sogar eine Referenzimplementierung um Aufmerksamkeit in zukünftige Systeme integrieren zu können. Aufmerksamkeit könnte laut der vorliegenden Forschung sehr nützlich für diese sein, da es im Gehirn eine Aufgabenspezifische Optimierung des visuellen Systems bereitstellt. Dieser Aspekt menschlicher Wahrnehmung fehlt meist in den aktuellen, starken Computervisionssystemen, so dass eine Integration in aktuelle Systeme deren Leistung sprunghaft erhöhen und eine neue Klasse definieren dürfte.:1. General introduction 2. The state-of-the-art in modeling visual attention 3. Microcircuit model of attention 4. Object localization with a model of visual attention 5. Object substitution masking 6. General conclusion

Fahrerassistenzsysteme werden zunehmend in Fahrzeuge eingebaut mit dem Ziel, den Fahrer beim Fahren zu unterstützen, Fahrfehler zu vermeiden und damit die Fahrsicherheit zu erhöhen. Derzeit sind häufig Systeme im Einsatz, die den Fahrer vor bestimmten Sicherheitsrisiken warnen (z.B. vor einem unbeabsichtigten Verlassen der Fahrspur). Der Trend geht aber hin zu Systemen, die stärker ins Fahrgeschehen eingreifen und somit Teile der Fahraufgabe automatisieren (z.B. selbständig die Spurhaltung des Fahrzeugs übernehmen). Aus der Forschung zur Mensch-Maschine Interaktion ist jedoch bekannt, dass Automatisierung nicht zwangsläufig zur Erhöhung von Sicherheit führt, sondern dass sie vielmehr auch unerwünschte Nebeneffekte für Performanz und Sicherheit mit sich bringen kann in dem Maße, wie Menschen an die veränderten Aufgabenanforderungen adaptieren. Im Straßenverkehr wird insbesondere befürchtet, dass Fahrer sich zu stark auf Fahrerassistenzsysteme verlassen, sich teilweise aus der Fahraufgabe zurückziehen („abschalten“) und ihre Aufmerksamkeit fahrfremden Dingen widmen. Dies kann unter Umständen dazu führen, dass Fahrer im Falle von Systemfehlern oder –ausfällen nicht mehr in der Lage sind rechtzeitig und angemessen einzugreifen bzw. die Kontrolle über das Fahrzeug zu übernehmen. Ziel der Dissertation war es zu untersuchen, inwieweit sich die Involviertheit von Fahrern in die Fahraufgabe verändert je stärker sie durch ein Assistenzsystem unterstützt werden (d.h., je stärker das System Teile der Fahraufgabe automatisiert). Um dies zu untersuchen wurden zwei theoretische Konzepte herangezogen: a) das Verlassen der Fahrer (auf ein System) und b) das Situationsbewusstsein der Fahrer. Basierend auf einer umfassenden Analyse der Forschungsliteratur zum Thema Automatisierung wurde ein theoretisches Rahmenmodell entwickelt, welches Veränderungen in der Involviertheit des Fahrers in die Fahraufgabe auf menschliche Adaptationsprozesse auf verschiedenen Ebenen zurückführt, die sich in Folge der veränderten Aufgaben­anforderungen durch zunehmende Automatisierung ergeben. Dazu zählen Veränderungen in Einstellungen, sowie in kognitiven, energetischen, und motivationalen Prozessen. Um Veränderungen in diesen Prozessen zu untersuchen, wurde eine Vielzahl an objektiven und subjektiven Maßen erhoben. Hauptgegenstand der Dissertation ist eine umfangreiche Fahrsimulatorstudie im Fahrsimulator mit Bewegungsplattform bei VTI (Swedish National Road and Transport Research Institute) in Linköping, Schweden. Dabei kamen zwei Querführungsassistenzsysteme (ein Heading Control System und ein Lane Departure Warning System) zum Einsatz, die den Fahrer in unterschiedlichem Maße bei der Spurhaltung unterstützten. Im Gegensatz zu einem Großteil der bisherigen Studien wurden prozessorientierte Performanzmaße zur Erfassung des Verlassens der Fahrer auf die Assistenzsysteme und des Situationsbewusstseins der Fahrer verwendet. Das Verlassen der Fahrer auf die Querführungsassistenzsysteme wurde durch Blickverhaltensmaße über die Bereitschaft der Fahrer erfasst, ihre visuelle Aufmerksamkeit von der Straße ab hin zu einer Zweitaufgabe im Fahrzeuginnenraum zu wenden. Zur Messung des Situationsbewusstseins der Fahrer wurden Fahrverhaltensmaße herangezogen welche als Indikator für die Schnelligkeit und Abruptheit der Reaktionen der Fahrer auf unerwartete kritische Fahrsituationen dienten. Ein Hauptbefund der Dissertation war, dass die Fahrer sich signifikant im Ausmaß ihres Verlassens auf einen hohen Grad an Assistenz unterschieden. Diese interindividuelle Varianz im Verlassen der Fahrer auf einen hohen Grad an Assistenz konnte am besten durch das Vertrauen der Fahrer in das Querführungsassistenzsystem und ihr Aktivierungsniveau erklärt werden: Je höher das Vertrauen der Fahrer in das System und je geringer ihr Aktivierungsniveau, desto stärker verließen sie sich auf das System. Individuelle Fahrermerkmale (Fahrstil) erklärten einen signifikanten Anteil der Varianz im Vertrauen der Fahrer in die Spurhalteassistenzsysteme. (ersetzt wegen neuem Herausgeber) / Advanced driver assistance systems are increasingly built in vehicles with the aim to support drivers while driving, to reduce driver errors and thereby to increase traffic safety. At present, these systems are often designed to warn drivers of specific safety risks (e.g., of an imminent departure from the driving lane). However, there is a trend towards systems that more strongly intervene in driving and that hence, automate parts of the driving task (e.g., autonomously keep the vehicle within the driving lane). However, research on human-machine interaction has shown that automation does not necessarily increase safety, but that it may also lead to unanticipated side effects on performance and safety to the extent that humans adapt to the changing task demands. A major concern in road traffic is that drivers rely too heavily on driver assistance systems, become less actively involved in the driving task, and divert their attention to things unrelated to driving. Thus, in the case of system malfunctions or failures, drivers possibly may not be prepared to intervene timely and accordingly and to regain control over the vehicle, respectively. The aim of this dissertation was to investigate changes in drivers’ active engagement in the driving task as a function of the degree to which they are supported by a driver assistance system (i.e., as a function of the degree to which the system automates the driving task). Drivers’ active task engagement was studied by referring to two theoretical concepts: a) drivers’ reliance (on a system) and b) drivers’ situation awareness. Based on an extensive review of previous research on automation, a conceptual theoretical framework was developed that links changes in operators’ active task engagement to human adaptation processes on different levels in response to the changing task demands due to automation. Among them are changes in human attitudes as well as in cognitive, motivational and energetic processes. In order to determine the relative influence of these processes, a range of objective and subjective measures was collected. The essential part of the dissertation is an extensive driving simulator study in an advanced moving-base driving simulator at VTI (Swedish National Road and Transport Research Institute) in Linköping, Sweden. Two lateral support systems (a Heading Control system and a Lane Departure Warning system) were implemented which assisted drivers to different degrees in lane keeping. Contrary to most previous automation studies, drivers’ reliance on the lane keeping assistance systems and their situation awareness were studied by using process-oriented performance-based measures. Drivers’ reliance on the lane keeping assistance systems was assessed by eye glance behaviour measures indicating drivers’ preparedness to allocate their visual attention away from the road scene to an in-vehicle secondary task. Drivers’ situation awareness was assessed by behavioural measures of the latency and magnitude of drivers’ initial reactions to unexpected critical driving situations. A major finding of the study was that drivers differed significantly in their reliance on a high level of lane keeping assistance. This interindividual variance in drivers’ reliance on higher-level assistance could be best explained by drivers’ trust in the system and their energetic arousal: The greater drivers’ trust in the system and the lower their arousal, the more did they rely on the system. Individual driver variables (driving style) explained a significant proportion of the variance in drivers’ trust in the lane keeping assistance systems. (replaced because a new publisher)

Advanced driver assistance systems are increasingly built in vehicles with the aim to support drivers while driving, to reduce driver errors and thereby to increase traffic safety. At present, these systems are often designed to warn drivers of specific safety risks (e.g., of an imminent departure from the driving lane). However, there is a trend towards systems that more strongly intervene in driving and that hence, automate parts of the driving task (e.g., autonomously keep the vehicle within the driving lane). However, research on human-machine interaction has shown that automation does not necessarily increase safety, but that it may also lead to unanticipated side effects on performance and safety to the extent that humans adapt to the changing task demands. A major concern in road traffic is that drivers rely too heavily on driver assistance systems, become less actively involved in the driving task, and divert their attention to things unrelated to driving. Thus, in the case of system malfunctions or failures, drivers possibly may not be prepared to intervene timely and accordingly and to regain control over the vehicle, respectively. The aim of this dissertation was to investigate changes in drivers’ active engagement in the driving task as a function of the degree to which they are supported by a driver assistance system (i.e., as a function of the degree to which the system automates the driving task). Drivers’ active task engagement was studied by referring to two theoretical concepts: a) drivers’ reliance (on a system) and b) drivers’ situation awareness. Based on an extensive review of previous research on automation, a conceptual theoretical framework was developed that links changes in operators’ active task engagement to human adaptation processes on different levels in response to the changing task demands due to automation. Among them are changes in human attitudes as well as in cognitive, motivational and energetic processes. In order to determine the relative influence of these processes, a range of objective and subjective measures was collected. The essential part of the dissertation is an extensive driving simulator study in an advanced moving-base driving simulator at VTI (Swedish National Road and Transport Research Institute) in Linköping, Sweden. Two lateral support systems (a Heading Control system and a Lane Departure Warning system) were implemented which assisted drivers to different degrees in lane keeping. Contrary to most previous automation studies, drivers’ reliance on the lane keeping assistance systems and their situation awareness were studied by using process-oriented performance-based measures. Drivers’ reliance on the lane keeping assistance systems was assessed by eye glance behaviour measures indicating drivers’ preparedness to allocate their visual attention away from the road scene to an in-vehicle secondary task. Drivers’ situation awareness was assessed by behavioural measures of the latency and magnitude of drivers’ initial reactions to unexpected critical driving situations. A major finding of the study was that drivers differed significantly in their reliance on a high level of lane keeping assistance. This interindividual variance in drivers’ reliance on higher-level assistance could be best explained by drivers’ trust in the system and their energetic arousal: The greater drivers’ trust in the system and the lower their arousal, the more did they rely on the system. Individual driver variables (driving style) explained a significant proportion of the variance in drivers’ trust in the lane keeping assistance systems. / Fahrerassistenzsysteme werden zunehmend in Fahrzeuge eingebaut mit dem Ziel, den Fahrer beim Fahren zu unterstützen, Fahrfehler zu vermeiden und damit die Fahrsicherheit zu erhöhen. Derzeit sind häufig Systeme im Einsatz, die den Fahrer vor bestimmten Sicherheitsrisiken warnen (z.B. vor einem unbeabsichtigten Verlassen der Fahrspur). Der Trend geht aber hin zu Systemen, die stärker ins Fahrgeschehen eingreifen und somit Teile der Fahraufgabe automatisieren (z.B. selbständig die Spurhaltung des Fahrzeugs übernehmen). Aus der Forschung zur Mensch-Maschine Interaktion ist jedoch bekannt, dass Automatisierung nicht zwangsläufig zur Erhöhung von Sicherheit führt, sondern dass sie vielmehr auch unerwünschte Nebeneffekte für Performanz und Sicherheit mit sich bringen kann in dem Maße, wie Menschen an die veränderten Aufgabenanforderungen adaptieren. Im Straßenverkehr wird insbesondere befürchtet, dass Fahrer sich zu stark auf Fahrerassistenzsysteme verlassen, sich teilweise aus der Fahraufgabe zurückziehen („abschalten“) und ihre Aufmerksamkeit fahrfremden Dingen widmen. Dies kann unter Umständen dazu führen, dass Fahrer im Falle von Systemfehlern oder –ausfällen nicht mehr in der Lage sind rechtzeitig und angemessen einzugreifen bzw. die Kontrolle über das Fahrzeug zu übernehmen. Ziel der Dissertation war es zu untersuchen, inwieweit sich die Involviertheit von Fahrern in die Fahraufgabe verändert je stärker sie durch ein Assistenzsystem unterstützt werden (d.h., je stärker das System Teile der Fahraufgabe automatisiert). Um dies zu untersuchen wurden zwei theoretische Konzepte herangezogen: a) das Verlassen der Fahrer (auf ein System) und b) das Situationsbewusstsein der Fahrer. Basierend auf einer umfassenden Analyse der Forschungsliteratur zum Thema Automatisierung wurde ein theoretisches Rahmenmodell entwickelt, welches Veränderungen in der Involviertheit des Fahrers in die Fahraufgabe auf menschliche Adaptationsprozesse auf verschiedenen Ebenen zurückführt, die sich in Folge der veränderten Aufgaben­anforderungen durch zunehmende Automatisierung ergeben. Dazu zählen Veränderungen in Einstellungen, sowie in kognitiven, energetischen, und motivationalen Prozessen. Um Veränderungen in diesen Prozessen zu untersuchen, wurde eine Vielzahl an objektiven und subjektiven Maßen erhoben. Hauptgegenstand der Dissertation ist eine umfangreiche Fahrsimulatorstudie im Fahrsimulator mit Bewegungsplattform bei VTI (Swedish National Road and Transport Research Institute) in Linköping, Schweden. Dabei kamen zwei Querführungsassistenzsysteme (ein Heading Control System und ein Lane Departure Warning System) zum Einsatz, die den Fahrer in unterschiedlichem Maße bei der Spurhaltung unterstützten. Im Gegensatz zu einem Großteil der bisherigen Studien wurden prozessorientierte Performanzmaße zur Erfassung des Verlassens der Fahrer auf die Assistenzsysteme und des Situationsbewusstseins der Fahrer verwendet. Das Verlassen der Fahrer auf die Querführungsassistenzsysteme wurde durch Blickverhaltensmaße über die Bereitschaft der Fahrer erfasst, ihre visuelle Aufmerksamkeit von der Straße ab hin zu einer Zweitaufgabe im Fahrzeuginnenraum zu wenden. Zur Messung des Situationsbewusstseins der Fahrer wurden Fahrverhaltensmaße herangezogen welche als Indikator für die Schnelligkeit und Abruptheit der Reaktionen der Fahrer auf unerwartete kritische Fahrsituationen dienten. Ein Hauptbefund der Dissertation war, dass die Fahrer sich signifikant im Ausmaß ihres Verlassens auf einen hohen Grad an Assistenz unterschieden. Diese interindividuelle Varianz im Verlassen der Fahrer auf einen hohen Grad an Assistenz konnte am besten durch das Vertrauen der Fahrer in das Querführungsassistenzsystem und ihr Aktivierungsniveau erklärt werden: Je höher das Vertrauen der Fahrer in das System und je geringer ihr Aktivierungsniveau, desto stärker verließen sie sich auf das System. Individuelle Fahrermerkmale (Fahrstil) erklärten einen signifikanten Anteil der Varianz im Vertrauen der Fahrer in die Spurhalteassistenzsysteme.