Advances in unsupervised learning and deep neural networks have led to increased performance in a number of domains, and to the ability to draw strong comparisons between the biological method of self-organization conducted by the brain and computational mechanisms. This thesis aims to use real-world data to tackle two areas in the domain of computer vision which have biological equivalents: feature detection and motion tracking. The aforementioned advances have allowed efficient learning of feature representations directly from large sets of unlabeled data instead of using traditional handcrafted features. The first part of this thesis evaluates such representations by comparing regularization and preprocessing methods which incorporate local neighbouring information during training on a single-layer neural network. The networks are trained and tested on the Hollywood2 video dataset, as well as the static CIFAR-10, STL-10, COIL-100, and MNIST image datasets. The induction of topography or simple image blurring via Gaussian filters during training produces better discriminative features as evidenced by the consistent and notable increase in classification results that they produce. In the visual domain, invariant features are desirable such that objects can be classified despite transformations. It is found that most of the compared methods produce more invariant features, however, classification accuracy does not correlate to invariance. The second, and paramount, contribution of this thesis is a biologically-inspired model to explain the emergence of motion tracking behaviour in early development using unsupervised learning. The model’s self-organization is biased by an original concept called retinal constancy, which measures how similar visual contents are between successive frames. In the proposed two-layer deep network, when exposed to real-world video, the first layer learns to encode visual motion, and the second layer learns to relate that motion to gaze movements, which it perceives and creates through bi-directional nodes. This is unique because it uses general machine learning algorithms, and their inherent generative properties, to learn from real-world data. It also implements a biological theory and learns in a fully unsupervised manner. An analysis of its parameters and limitations is conducted, and its tracking performance is evaluated. Results show that this model is able to successfully follow targets in real-world video, despite being trained without supervision on real-world video.

<p>Experiment One: The Effect of Noise on Autonomic Arousal</p><p><br></p><p>In response to the growing demand for research that helps us understand the complex interactions between Autonomic Arousal (AA) on behavior and performance there is an increasing need for robust techniques to efficiently utilize stimuli, such as sound, to vary the level of AA within a study. The goal of this study was to look at the impact of several factors, including sound intensity, order of presentation, and direction of presentation on skin conductance level, a widely utilized technique for approximating levels of AA. To do this we had 34 young adults ages 18- 34 listen to a series of 2-minute blocks of a sound stimuli based off a heating, ventilation, and air conditioning system (HVAC). Blocks included 5 single intensity conditions each block differing in 10 dBA steps ranging from 35-75 dBA. We presented blocks in both rising and falling level of intensity, with half the participants hearing them in a rising order first and half in a falling order first. The evidence found by this study suggests that increasing the sound level plays an important role in increasing AA and habituation is an extremely important factor that must be accounted for as it, in the case of typical young adults, quickly dampens the response to stimuli and subsequent stimuli. These findings suggest that researchers can best efficiently maximize the range of AA they can use while keeping their participants comfortable by starting out with the most intense stimuli and proceeding to the less intense stimuli, working with habitation instead of against it.</p><p> </p><p><br></p><p> Experiment Two: The Effect of Autonomic Arousal on Visual Attention</p><p><br></p><p>The goal of this study was to better understand how various levels of autonomic arousal impact different components of attentional control and if ASD-related traits indexed by Autism Quotient scores (AQ) might relate to alterations in this relationship. This study had 41 young adult participants (23 women, 17 men, 1 prefer not to say), ages ranging from 18 to 38 years old. Participants listened to varying levels of noise to induce changes in AA, which were recorded as changes in skin conductance level (SCL). To evaluate attentional control, participants preformed pro and anti-saccade visual gap–overlap paradigm tasks as measures of attentional control. The findings of this study suggest that increased levels of autonomic arousal are helpful for improving performance on anti-saccade tasks, which are heavily dependent on top-down attentional control. Additionally, increases in AQ scores were related to having less of a benefit from increasing levels of arousal on anti-saccade tasks. Additional interactions were also found and are discussed in this paper.</p>

No description available.

Cette thèse est motivée par le diagnostic et l’évaluation des maladies neuro-dégénératives et dans le but de diagnostique sur la base de l’attention visuelle.Néanmoins, le dépistage à grande échelle de la population n’est possible que si des modèles de prédiction automatique suffisamment robustes peuvent être construits. Dans ce contexte nous nous intéressons `a la conception et le développement des modèles de prédiction automatique pour un contenu visuel spécifique à utiliser dans l’expérience psycho-visuelle impliquant des patients atteints des maladies neuro-dégénératives. La difficulté d’une telle prédiction réside dans une très faible quantité de données d’entraînement. Les modèles de saillance visuelle ne peuvent pas être fondés sur les caractérisitiques “bottom-up” uniquement, comme le suggère la théorie de l’intégration des caractéristiques. La composante “top-down” de l’attention visuelle humaine devient prépondérante au fur et à mesure d’observation de la scène visuelle. L’attention visuelle peut-être prédite en se basant sur les scènes déjà observées. Les réseaux de convolution profonds (CNN) se sont révèlés être un outil puissant pour prédire les zones saillantes dans les images statiques.Dans le but de construire un modèle de prédiction automatique pour les zones saillantes dans les vidéos naturels et intentionnellement dégradées, nous avons conçu une architecture spécifique de CNN profond. Pour surmonter le manque de données d’apprentissage,nous avons conçu un système d’apprentissage par transfert dérivé de la méthode de Bengio.Nous mesurons ses performances lors de la prédiction de régions saillantes. Les r´esultatsobtenus sont int´eressants concernant la r´eaction des sujets t´emoins normaux contre leszones d´egrad´ees dans les vid´eos. La comparaison de la carte de saillance pr´edite des vid´eosintentionnellement d´egrad´ees avec des cartes de densit´e de fixation du regard et d’autresmod`eles de r´ef´erence montre l’int´erˆet du mod`ele d´evelopp´e. / This thesis is motivated by the diagnosis and the evaluation of the dementia diseasesand with the aim of predicting if a new recorded gaze presents a complaint of thesediseases. Nevertheless, large-scale population screening is only possible if robust predictionmodels can be constructed. In this context, we are interested in the design and thedevelopment of automatic prediction models for specific visual content to be used in thepsycho-visual experience involving patients with dementia (PwD). The difficulty of sucha prediction lies in a very small amount of training data.Visual saliency models cannot be founded only on bottom-up features, as suggested byfeature integration theory. The top-down component of human visual attention becomesprevalent as human observers explore the visual scene. Visual saliency can be predictedon the basis of seen data. Deep Convolutional Neural Networks (CNN) have proven tobe a powerful tool for prediction of salient areas in static images. In order to constructan automatic prediction model for the salient areas in natural and intentionally degradedvideos, we have designed a specific CNN architecture. To overcome the lack of learningdata we designed a transfer learning scheme derived from bengio’s method. We measureits performances when predicting salient regions. The obtained results are interestingregarding the reaction of normal control subjects against degraded areas in videos. Thepredicted saliency map of intentionally degraded videos gives an interesting results comparedto gaze fixation density maps and other reference models.

Fahrerassistenzsysteme werden zunehmend in Fahrzeuge eingebaut mit dem Ziel, den Fahrer beim Fahren zu unterstützen, Fahrfehler zu vermeiden und damit die Fahrsicherheit zu erhöhen. Derzeit sind häufig Systeme im Einsatz, die den Fahrer vor bestimmten Sicherheitsrisiken warnen (z.B. vor einem unbeabsichtigten Verlassen der Fahrspur). Der Trend geht aber hin zu Systemen, die stärker ins Fahrgeschehen eingreifen und somit Teile der Fahraufgabe automatisieren (z.B. selbständig die Spurhaltung des Fahrzeugs übernehmen). Aus der Forschung zur Mensch-Maschine Interaktion ist jedoch bekannt, dass Automatisierung nicht zwangsläufig zur Erhöhung von Sicherheit führt, sondern dass sie vielmehr auch unerwünschte Nebeneffekte für Performanz und Sicherheit mit sich bringen kann in dem Maße, wie Menschen an die veränderten Aufgabenanforderungen adaptieren. Im Straßenverkehr wird insbesondere befürchtet, dass Fahrer sich zu stark auf Fahrerassistenzsysteme verlassen, sich teilweise aus der Fahraufgabe zurückziehen („abschalten“) und ihre Aufmerksamkeit fahrfremden Dingen widmen. Dies kann unter Umständen dazu führen, dass Fahrer im Falle von Systemfehlern oder –ausfällen nicht mehr in der Lage sind rechtzeitig und angemessen einzugreifen bzw. die Kontrolle über das Fahrzeug zu übernehmen. Ziel der Dissertation war es zu untersuchen, inwieweit sich die Involviertheit von Fahrern in die Fahraufgabe verändert je stärker sie durch ein Assistenzsystem unterstützt werden (d.h., je stärker das System Teile der Fahraufgabe automatisiert). Um dies zu untersuchen wurden zwei theoretische Konzepte herangezogen: a) das Verlassen der Fahrer (auf ein System) und b) das Situationsbewusstsein der Fahrer. Basierend auf einer umfassenden Analyse der Forschungsliteratur zum Thema Automatisierung wurde ein theoretisches Rahmenmodell entwickelt, welches Veränderungen in der Involviertheit des Fahrers in die Fahraufgabe auf menschliche Adaptationsprozesse auf verschiedenen Ebenen zurückführt, die sich in Folge der veränderten Aufgaben­anforderungen durch zunehmende Automatisierung ergeben. Dazu zählen Veränderungen in Einstellungen, sowie in kognitiven, energetischen, und motivationalen Prozessen. Um Veränderungen in diesen Prozessen zu untersuchen, wurde eine Vielzahl an objektiven und subjektiven Maßen erhoben. Hauptgegenstand der Dissertation ist eine umfangreiche Fahrsimulatorstudie im Fahrsimulator mit Bewegungsplattform bei VTI (Swedish National Road and Transport Research Institute) in Linköping, Schweden. Dabei kamen zwei Querführungsassistenzsysteme (ein Heading Control System und ein Lane Departure Warning System) zum Einsatz, die den Fahrer in unterschiedlichem Maße bei der Spurhaltung unterstützten. Im Gegensatz zu einem Großteil der bisherigen Studien wurden prozessorientierte Performanzmaße zur Erfassung des Verlassens der Fahrer auf die Assistenzsysteme und des Situationsbewusstseins der Fahrer verwendet. Das Verlassen der Fahrer auf die Querführungsassistenzsysteme wurde durch Blickverhaltensmaße über die Bereitschaft der Fahrer erfasst, ihre visuelle Aufmerksamkeit von der Straße ab hin zu einer Zweitaufgabe im Fahrzeuginnenraum zu wenden. Zur Messung des Situationsbewusstseins der Fahrer wurden Fahrverhaltensmaße herangezogen welche als Indikator für die Schnelligkeit und Abruptheit der Reaktionen der Fahrer auf unerwartete kritische Fahrsituationen dienten. Ein Hauptbefund der Dissertation war, dass die Fahrer sich signifikant im Ausmaß ihres Verlassens auf einen hohen Grad an Assistenz unterschieden. Diese interindividuelle Varianz im Verlassen der Fahrer auf einen hohen Grad an Assistenz konnte am besten durch das Vertrauen der Fahrer in das Querführungsassistenzsystem und ihr Aktivierungsniveau erklärt werden: Je höher das Vertrauen der Fahrer in das System und je geringer ihr Aktivierungsniveau, desto stärker verließen sie sich auf das System. Individuelle Fahrermerkmale (Fahrstil) erklärten einen signifikanten Anteil der Varianz im Vertrauen der Fahrer in die Spurhalteassistenzsysteme. (ersetzt wegen neuem Herausgeber) / Advanced driver assistance systems are increasingly built in vehicles with the aim to support drivers while driving, to reduce driver errors and thereby to increase traffic safety. At present, these systems are often designed to warn drivers of specific safety risks (e.g., of an imminent departure from the driving lane). However, there is a trend towards systems that more strongly intervene in driving and that hence, automate parts of the driving task (e.g., autonomously keep the vehicle within the driving lane). However, research on human-machine interaction has shown that automation does not necessarily increase safety, but that it may also lead to unanticipated side effects on performance and safety to the extent that humans adapt to the changing task demands. A major concern in road traffic is that drivers rely too heavily on driver assistance systems, become less actively involved in the driving task, and divert their attention to things unrelated to driving. Thus, in the case of system malfunctions or failures, drivers possibly may not be prepared to intervene timely and accordingly and to regain control over the vehicle, respectively. The aim of this dissertation was to investigate changes in drivers’ active engagement in the driving task as a function of the degree to which they are supported by a driver assistance system (i.e., as a function of the degree to which the system automates the driving task). Drivers’ active task engagement was studied by referring to two theoretical concepts: a) drivers’ reliance (on a system) and b) drivers’ situation awareness. Based on an extensive review of previous research on automation, a conceptual theoretical framework was developed that links changes in operators’ active task engagement to human adaptation processes on different levels in response to the changing task demands due to automation. Among them are changes in human attitudes as well as in cognitive, motivational and energetic processes. In order to determine the relative influence of these processes, a range of objective and subjective measures was collected. The essential part of the dissertation is an extensive driving simulator study in an advanced moving-base driving simulator at VTI (Swedish National Road and Transport Research Institute) in Linköping, Sweden. Two lateral support systems (a Heading Control system and a Lane Departure Warning system) were implemented which assisted drivers to different degrees in lane keeping. Contrary to most previous automation studies, drivers’ reliance on the lane keeping assistance systems and their situation awareness were studied by using process-oriented performance-based measures. Drivers’ reliance on the lane keeping assistance systems was assessed by eye glance behaviour measures indicating drivers’ preparedness to allocate their visual attention away from the road scene to an in-vehicle secondary task. Drivers’ situation awareness was assessed by behavioural measures of the latency and magnitude of drivers’ initial reactions to unexpected critical driving situations. A major finding of the study was that drivers differed significantly in their reliance on a high level of lane keeping assistance. This interindividual variance in drivers’ reliance on higher-level assistance could be best explained by drivers’ trust in the system and their energetic arousal: The greater drivers’ trust in the system and the lower their arousal, the more did they rely on the system. Individual driver variables (driving style) explained a significant proportion of the variance in drivers’ trust in the lane keeping assistance systems. (replaced because a new publisher)

Advanced driver assistance systems are increasingly built in vehicles with the aim to support drivers while driving, to reduce driver errors and thereby to increase traffic safety. At present, these systems are often designed to warn drivers of specific safety risks (e.g., of an imminent departure from the driving lane). However, there is a trend towards systems that more strongly intervene in driving and that hence, automate parts of the driving task (e.g., autonomously keep the vehicle within the driving lane). However, research on human-machine interaction has shown that automation does not necessarily increase safety, but that it may also lead to unanticipated side effects on performance and safety to the extent that humans adapt to the changing task demands. A major concern in road traffic is that drivers rely too heavily on driver assistance systems, become less actively involved in the driving task, and divert their attention to things unrelated to driving. Thus, in the case of system malfunctions or failures, drivers possibly may not be prepared to intervene timely and accordingly and to regain control over the vehicle, respectively. The aim of this dissertation was to investigate changes in drivers’ active engagement in the driving task as a function of the degree to which they are supported by a driver assistance system (i.e., as a function of the degree to which the system automates the driving task). Drivers’ active task engagement was studied by referring to two theoretical concepts: a) drivers’ reliance (on a system) and b) drivers’ situation awareness. Based on an extensive review of previous research on automation, a conceptual theoretical framework was developed that links changes in operators’ active task engagement to human adaptation processes on different levels in response to the changing task demands due to automation. Among them are changes in human attitudes as well as in cognitive, motivational and energetic processes. In order to determine the relative influence of these processes, a range of objective and subjective measures was collected. The essential part of the dissertation is an extensive driving simulator study in an advanced moving-base driving simulator at VTI (Swedish National Road and Transport Research Institute) in Linköping, Sweden. Two lateral support systems (a Heading Control system and a Lane Departure Warning system) were implemented which assisted drivers to different degrees in lane keeping. Contrary to most previous automation studies, drivers’ reliance on the lane keeping assistance systems and their situation awareness were studied by using process-oriented performance-based measures. Drivers’ reliance on the lane keeping assistance systems was assessed by eye glance behaviour measures indicating drivers’ preparedness to allocate their visual attention away from the road scene to an in-vehicle secondary task. Drivers’ situation awareness was assessed by behavioural measures of the latency and magnitude of drivers’ initial reactions to unexpected critical driving situations. A major finding of the study was that drivers differed significantly in their reliance on a high level of lane keeping assistance. This interindividual variance in drivers’ reliance on higher-level assistance could be best explained by drivers’ trust in the system and their energetic arousal: The greater drivers’ trust in the system and the lower their arousal, the more did they rely on the system. Individual driver variables (driving style) explained a significant proportion of the variance in drivers’ trust in the lane keeping assistance systems. / Fahrerassistenzsysteme werden zunehmend in Fahrzeuge eingebaut mit dem Ziel, den Fahrer beim Fahren zu unterstützen, Fahrfehler zu vermeiden und damit die Fahrsicherheit zu erhöhen. Derzeit sind häufig Systeme im Einsatz, die den Fahrer vor bestimmten Sicherheitsrisiken warnen (z.B. vor einem unbeabsichtigten Verlassen der Fahrspur). Der Trend geht aber hin zu Systemen, die stärker ins Fahrgeschehen eingreifen und somit Teile der Fahraufgabe automatisieren (z.B. selbständig die Spurhaltung des Fahrzeugs übernehmen). Aus der Forschung zur Mensch-Maschine Interaktion ist jedoch bekannt, dass Automatisierung nicht zwangsläufig zur Erhöhung von Sicherheit führt, sondern dass sie vielmehr auch unerwünschte Nebeneffekte für Performanz und Sicherheit mit sich bringen kann in dem Maße, wie Menschen an die veränderten Aufgabenanforderungen adaptieren. Im Straßenverkehr wird insbesondere befürchtet, dass Fahrer sich zu stark auf Fahrerassistenzsysteme verlassen, sich teilweise aus der Fahraufgabe zurückziehen („abschalten“) und ihre Aufmerksamkeit fahrfremden Dingen widmen. Dies kann unter Umständen dazu führen, dass Fahrer im Falle von Systemfehlern oder –ausfällen nicht mehr in der Lage sind rechtzeitig und angemessen einzugreifen bzw. die Kontrolle über das Fahrzeug zu übernehmen. Ziel der Dissertation war es zu untersuchen, inwieweit sich die Involviertheit von Fahrern in die Fahraufgabe verändert je stärker sie durch ein Assistenzsystem unterstützt werden (d.h., je stärker das System Teile der Fahraufgabe automatisiert). Um dies zu untersuchen wurden zwei theoretische Konzepte herangezogen: a) das Verlassen der Fahrer (auf ein System) und b) das Situationsbewusstsein der Fahrer. Basierend auf einer umfassenden Analyse der Forschungsliteratur zum Thema Automatisierung wurde ein theoretisches Rahmenmodell entwickelt, welches Veränderungen in der Involviertheit des Fahrers in die Fahraufgabe auf menschliche Adaptationsprozesse auf verschiedenen Ebenen zurückführt, die sich in Folge der veränderten Aufgaben­anforderungen durch zunehmende Automatisierung ergeben. Dazu zählen Veränderungen in Einstellungen, sowie in kognitiven, energetischen, und motivationalen Prozessen. Um Veränderungen in diesen Prozessen zu untersuchen, wurde eine Vielzahl an objektiven und subjektiven Maßen erhoben. Hauptgegenstand der Dissertation ist eine umfangreiche Fahrsimulatorstudie im Fahrsimulator mit Bewegungsplattform bei VTI (Swedish National Road and Transport Research Institute) in Linköping, Schweden. Dabei kamen zwei Querführungsassistenzsysteme (ein Heading Control System und ein Lane Departure Warning System) zum Einsatz, die den Fahrer in unterschiedlichem Maße bei der Spurhaltung unterstützten. Im Gegensatz zu einem Großteil der bisherigen Studien wurden prozessorientierte Performanzmaße zur Erfassung des Verlassens der Fahrer auf die Assistenzsysteme und des Situationsbewusstseins der Fahrer verwendet. Das Verlassen der Fahrer auf die Querführungsassistenzsysteme wurde durch Blickverhaltensmaße über die Bereitschaft der Fahrer erfasst, ihre visuelle Aufmerksamkeit von der Straße ab hin zu einer Zweitaufgabe im Fahrzeuginnenraum zu wenden. Zur Messung des Situationsbewusstseins der Fahrer wurden Fahrverhaltensmaße herangezogen welche als Indikator für die Schnelligkeit und Abruptheit der Reaktionen der Fahrer auf unerwartete kritische Fahrsituationen dienten. Ein Hauptbefund der Dissertation war, dass die Fahrer sich signifikant im Ausmaß ihres Verlassens auf einen hohen Grad an Assistenz unterschieden. Diese interindividuelle Varianz im Verlassen der Fahrer auf einen hohen Grad an Assistenz konnte am besten durch das Vertrauen der Fahrer in das Querführungsassistenzsystem und ihr Aktivierungsniveau erklärt werden: Je höher das Vertrauen der Fahrer in das System und je geringer ihr Aktivierungsniveau, desto stärker verließen sie sich auf das System. Individuelle Fahrermerkmale (Fahrstil) erklärten einen signifikanten Anteil der Varianz im Vertrauen der Fahrer in die Spurhalteassistenzsysteme.

Visual attention is an important cognitive concept for the daily life of humans, but still not fully understood. Due to this, it is also rarely utilized in computer vision systems. However, understanding visual attention is challenging as it has many and seemingly-different aspects, both at neuronal and behavioral level. Thus, it is very hard to give a uniform explanation of visual attention that can account for all aspects. To tackle this problem, this thesis has the goal to identify a common set of neuronal mechanisms, which underlie both neuronal and behavioral aspects. The mechanisms are simulated by neuro-computational models, thus, resulting in a single modeling approach to explain a wide range of phenomena at once. In the thesis, the chosen aspects are multiple neurophysiological effects, real-world object localization, and a visual masking paradigm (OSM). In each of the considered fields, the work also advances the current state-of-the-art to better understand this aspect of attention itself. The three chosen aspects highlight that the approach can account for crucial neurophysiological, functional, and behavioral properties, thus the mechanisms might constitute the general neuronal substrate of visual attention in the cortex. As outlook, our work provides for computer vision a deeper understanding and a concrete prototype of attention to incorporate this crucial aspect of human perception in future systems.:1. General introduction 2. The state-of-the-art in modeling visual attention 3. Microcircuit model of attention 4. Object localization with a model of visual attention 5. Object substitution masking 6. General conclusion / Visuelle Aufmerksamkeit ist ein wichtiges kognitives Konzept für das tägliche Leben des Menschen. Es ist aber immer noch nicht komplett verstanden, so dass es ein langjähriges Ziel der Neurowissenschaften ist, das Phänomen grundlegend zu durchdringen. Gleichzeitig wird es aufgrund des mangelnden Verständnisses nur selten in maschinellen Sehsystemen in der Informatik eingesetzt. Das Verständnis von visueller Aufmerksamkeit ist jedoch eine komplexe Herausforderung, da Aufmerksamkeit äußerst vielfältige und scheinbar unterschiedliche Aspekte besitzt. Sie verändert multipel sowohl die neuronalen Feuerraten als auch das menschliche Verhalten. Daher ist es sehr schwierig, eine einheitliche Erklärung von visueller Aufmerksamkeit zu finden, welche für alle Aspekte gleichermaßen gilt. Um dieses Problem anzugehen, hat diese Arbeit das Ziel, einen gemeinsamen Satz neuronaler Mechanismen zu identifizieren, welche sowohl den neuronalen als auch den verhaltenstechnischen Aspekten zugrunde liegen. Die Mechanismen werden in neuro-computationalen Modellen simuliert, wodurch ein einzelnes Modellierungsframework entsteht, welches zum ersten Mal viele und verschiedenste Phänomene von visueller Aufmerksamkeit auf einmal erklären kann. Als Aspekte wurden in dieser Dissertation multiple neurophysiologische Effekte, Realwelt Objektlokalisation und ein visuelles Maskierungsparadigma (OSM) gewählt. In jedem dieser betrachteten Felder wird gleichzeitig der State-of-the-Art verbessert, um auch diesen Teilbereich von Aufmerksamkeit selbst besser zu verstehen. Die drei gewählten Gebiete zeigen, dass der Ansatz grundlegende neurophysiologische, funktionale und verhaltensbezogene Eigenschaften von visueller Aufmerksamkeit erklären kann. Da die gefundenen Mechanismen somit ausreichend sind, das Phänomen so umfassend zu erklären, könnten die Mechanismen vielleicht sogar das essentielle neuronale Substrat von visueller Aufmerksamkeit im Cortex darstellen. Für die Informatik stellt die Arbeit damit ein tiefergehendes Verständnis von visueller Aufmerksamkeit dar. Darüber hinaus liefert das Framework mit seinen neuronalen Mechanismen sogar eine Referenzimplementierung um Aufmerksamkeit in zukünftige Systeme integrieren zu können. Aufmerksamkeit könnte laut der vorliegenden Forschung sehr nützlich für diese sein, da es im Gehirn eine Aufgabenspezifische Optimierung des visuellen Systems bereitstellt. Dieser Aspekt menschlicher Wahrnehmung fehlt meist in den aktuellen, starken Computervisionssystemen, so dass eine Integration in aktuelle Systeme deren Leistung sprunghaft erhöhen und eine neue Klasse definieren dürfte.:1. General introduction 2. The state-of-the-art in modeling visual attention 3. Microcircuit model of attention 4. Object localization with a model of visual attention 5. Object substitution masking 6. General conclusion

Fahrerassistenzsysteme werden zunehmend in Fahrzeuge eingebaut mit dem Ziel, den Fahrer beim Fahren zu unterstützen, Fahrfehler zu vermeiden und damit die Fahrsicherheit zu erhöhen. Derzeit sind häufig Systeme im Einsatz, die den Fahrer vor bestimmten Sicherheitsrisiken warnen (z.B. vor einem unbeabsichtigten Verlassen der Fahrspur). Der Trend geht aber hin zu Systemen, die stärker ins Fahrgeschehen eingreifen und somit Teile der Fahraufgabe automatisieren (z.B. selbständig die Spurhaltung des Fahrzeugs übernehmen). Aus der Forschung zur Mensch-Maschine Interaktion ist jedoch bekannt, dass Automatisierung nicht zwangsläufig zur Erhöhung von Sicherheit führt, sondern dass sie vielmehr auch unerwünschte Nebeneffekte für Performanz und Sicherheit mit sich bringen kann in dem Maße, wie Menschen an die veränderten Aufgabenanforderungen adaptieren. Im Straßenverkehr wird insbesondere befürchtet, dass Fahrer sich zu stark auf Fahrerassistenzsysteme verlassen, sich teilweise aus der Fahraufgabe zurückziehen („abschalten“) und ihre Aufmerksamkeit fahrfremden Dingen widmen. Dies kann unter Umständen dazu führen, dass Fahrer im Falle von Systemfehlern oder –ausfällen nicht mehr in der Lage sind rechtzeitig und angemessen einzugreifen bzw. die Kontrolle über das Fahrzeug zu übernehmen. Ziel der Dissertation war es zu untersuchen, inwieweit sich die Involviertheit von Fahrern in die Fahraufgabe verändert je stärker sie durch ein Assistenzsystem unterstützt werden (d.h., je stärker das System Teile der Fahraufgabe automatisiert). Um dies zu untersuchen wurden zwei theoretische Konzepte herangezogen: a) das Verlassen der Fahrer (auf ein System) und b) das Situationsbewusstsein der Fahrer. Basierend auf einer umfassenden Analyse der Forschungsliteratur zum Thema Automatisierung wurde ein theoretisches Rahmenmodell entwickelt, welches Veränderungen in der Involviertheit des Fahrers in die Fahraufgabe auf menschliche Adaptationsprozesse auf verschiedenen Ebenen zurückführt, die sich in Folge der veränderten Aufgaben­anforderungen durch zunehmende Automatisierung ergeben. Dazu zählen Veränderungen in Einstellungen, sowie in kognitiven, energetischen, und motivationalen Prozessen. Um Veränderungen in diesen Prozessen zu untersuchen, wurde eine Vielzahl an objektiven und subjektiven Maßen erhoben. Hauptgegenstand der Dissertation ist eine umfangreiche Fahrsimulatorstudie im Fahrsimulator mit Bewegungsplattform bei VTI (Swedish National Road and Transport Research Institute) in Linköping, Schweden. Dabei kamen zwei Querführungsassistenzsysteme (ein Heading Control System und ein Lane Departure Warning System) zum Einsatz, die den Fahrer in unterschiedlichem Maße bei der Spurhaltung unterstützten. Im Gegensatz zu einem Großteil der bisherigen Studien wurden prozessorientierte Performanzmaße zur Erfassung des Verlassens der Fahrer auf die Assistenzsysteme und des Situationsbewusstseins der Fahrer verwendet. Das Verlassen der Fahrer auf die Querführungsassistenzsysteme wurde durch Blickverhaltensmaße über die Bereitschaft der Fahrer erfasst, ihre visuelle Aufmerksamkeit von der Straße ab hin zu einer Zweitaufgabe im Fahrzeuginnenraum zu wenden. Zur Messung des Situationsbewusstseins der Fahrer wurden Fahrverhaltensmaße herangezogen welche als Indikator für die Schnelligkeit und Abruptheit der Reaktionen der Fahrer auf unerwartete kritische Fahrsituationen dienten. Ein Hauptbefund der Dissertation war, dass die Fahrer sich signifikant im Ausmaß ihres Verlassens auf einen hohen Grad an Assistenz unterschieden. Diese interindividuelle Varianz im Verlassen der Fahrer auf einen hohen Grad an Assistenz konnte am besten durch das Vertrauen der Fahrer in das Querführungsassistenzsystem und ihr Aktivierungsniveau erklärt werden: Je höher das Vertrauen der Fahrer in das System und je geringer ihr Aktivierungsniveau, desto stärker verließen sie sich auf das System. Individuelle Fahrermerkmale (Fahrstil) erklärten einen signifikanten Anteil der Varianz im Vertrauen der Fahrer in die Spurhalteassistenzsysteme. (ersetzt wegen neuem Herausgeber) / Advanced driver assistance systems are increasingly built in vehicles with the aim to support drivers while driving, to reduce driver errors and thereby to increase traffic safety. At present, these systems are often designed to warn drivers of specific safety risks (e.g., of an imminent departure from the driving lane). However, there is a trend towards systems that more strongly intervene in driving and that hence, automate parts of the driving task (e.g., autonomously keep the vehicle within the driving lane). However, research on human-machine interaction has shown that automation does not necessarily increase safety, but that it may also lead to unanticipated side effects on performance and safety to the extent that humans adapt to the changing task demands. A major concern in road traffic is that drivers rely too heavily on driver assistance systems, become less actively involved in the driving task, and divert their attention to things unrelated to driving. Thus, in the case of system malfunctions or failures, drivers possibly may not be prepared to intervene timely and accordingly and to regain control over the vehicle, respectively. The aim of this dissertation was to investigate changes in drivers’ active engagement in the driving task as a function of the degree to which they are supported by a driver assistance system (i.e., as a function of the degree to which the system automates the driving task). Drivers’ active task engagement was studied by referring to two theoretical concepts: a) drivers’ reliance (on a system) and b) drivers’ situation awareness. Based on an extensive review of previous research on automation, a conceptual theoretical framework was developed that links changes in operators’ active task engagement to human adaptation processes on different levels in response to the changing task demands due to automation. Among them are changes in human attitudes as well as in cognitive, motivational and energetic processes. In order to determine the relative influence of these processes, a range of objective and subjective measures was collected. The essential part of the dissertation is an extensive driving simulator study in an advanced moving-base driving simulator at VTI (Swedish National Road and Transport Research Institute) in Linköping, Sweden. Two lateral support systems (a Heading Control system and a Lane Departure Warning system) were implemented which assisted drivers to different degrees in lane keeping. Contrary to most previous automation studies, drivers’ reliance on the lane keeping assistance systems and their situation awareness were studied by using process-oriented performance-based measures. Drivers’ reliance on the lane keeping assistance systems was assessed by eye glance behaviour measures indicating drivers’ preparedness to allocate their visual attention away from the road scene to an in-vehicle secondary task. Drivers’ situation awareness was assessed by behavioural measures of the latency and magnitude of drivers’ initial reactions to unexpected critical driving situations. A major finding of the study was that drivers differed significantly in their reliance on a high level of lane keeping assistance. This interindividual variance in drivers’ reliance on higher-level assistance could be best explained by drivers’ trust in the system and their energetic arousal: The greater drivers’ trust in the system and the lower their arousal, the more did they rely on the system. Individual driver variables (driving style) explained a significant proportion of the variance in drivers’ trust in the lane keeping assistance systems. (replaced because a new publisher)

Advanced driver assistance systems are increasingly built in vehicles with the aim to support drivers while driving, to reduce driver errors and thereby to increase traffic safety. At present, these systems are often designed to warn drivers of specific safety risks (e.g., of an imminent departure from the driving lane). However, there is a trend towards systems that more strongly intervene in driving and that hence, automate parts of the driving task (e.g., autonomously keep the vehicle within the driving lane). However, research on human-machine interaction has shown that automation does not necessarily increase safety, but that it may also lead to unanticipated side effects on performance and safety to the extent that humans adapt to the changing task demands. A major concern in road traffic is that drivers rely too heavily on driver assistance systems, become less actively involved in the driving task, and divert their attention to things unrelated to driving. Thus, in the case of system malfunctions or failures, drivers possibly may not be prepared to intervene timely and accordingly and to regain control over the vehicle, respectively. The aim of this dissertation was to investigate changes in drivers’ active engagement in the driving task as a function of the degree to which they are supported by a driver assistance system (i.e., as a function of the degree to which the system automates the driving task). Drivers’ active task engagement was studied by referring to two theoretical concepts: a) drivers’ reliance (on a system) and b) drivers’ situation awareness. Based on an extensive review of previous research on automation, a conceptual theoretical framework was developed that links changes in operators’ active task engagement to human adaptation processes on different levels in response to the changing task demands due to automation. Among them are changes in human attitudes as well as in cognitive, motivational and energetic processes. In order to determine the relative influence of these processes, a range of objective and subjective measures was collected. The essential part of the dissertation is an extensive driving simulator study in an advanced moving-base driving simulator at VTI (Swedish National Road and Transport Research Institute) in Linköping, Sweden. Two lateral support systems (a Heading Control system and a Lane Departure Warning system) were implemented which assisted drivers to different degrees in lane keeping. Contrary to most previous automation studies, drivers’ reliance on the lane keeping assistance systems and their situation awareness were studied by using process-oriented performance-based measures. Drivers’ reliance on the lane keeping assistance systems was assessed by eye glance behaviour measures indicating drivers’ preparedness to allocate their visual attention away from the road scene to an in-vehicle secondary task. Drivers’ situation awareness was assessed by behavioural measures of the latency and magnitude of drivers’ initial reactions to unexpected critical driving situations. A major finding of the study was that drivers differed significantly in their reliance on a high level of lane keeping assistance. This interindividual variance in drivers’ reliance on higher-level assistance could be best explained by drivers’ trust in the system and their energetic arousal: The greater drivers’ trust in the system and the lower their arousal, the more did they rely on the system. Individual driver variables (driving style) explained a significant proportion of the variance in drivers’ trust in the lane keeping assistance systems. / Fahrerassistenzsysteme werden zunehmend in Fahrzeuge eingebaut mit dem Ziel, den Fahrer beim Fahren zu unterstützen, Fahrfehler zu vermeiden und damit die Fahrsicherheit zu erhöhen. Derzeit sind häufig Systeme im Einsatz, die den Fahrer vor bestimmten Sicherheitsrisiken warnen (z.B. vor einem unbeabsichtigten Verlassen der Fahrspur). Der Trend geht aber hin zu Systemen, die stärker ins Fahrgeschehen eingreifen und somit Teile der Fahraufgabe automatisieren (z.B. selbständig die Spurhaltung des Fahrzeugs übernehmen). Aus der Forschung zur Mensch-Maschine Interaktion ist jedoch bekannt, dass Automatisierung nicht zwangsläufig zur Erhöhung von Sicherheit führt, sondern dass sie vielmehr auch unerwünschte Nebeneffekte für Performanz und Sicherheit mit sich bringen kann in dem Maße, wie Menschen an die veränderten Aufgabenanforderungen adaptieren. Im Straßenverkehr wird insbesondere befürchtet, dass Fahrer sich zu stark auf Fahrerassistenzsysteme verlassen, sich teilweise aus der Fahraufgabe zurückziehen („abschalten“) und ihre Aufmerksamkeit fahrfremden Dingen widmen. Dies kann unter Umständen dazu führen, dass Fahrer im Falle von Systemfehlern oder –ausfällen nicht mehr in der Lage sind rechtzeitig und angemessen einzugreifen bzw. die Kontrolle über das Fahrzeug zu übernehmen. Ziel der Dissertation war es zu untersuchen, inwieweit sich die Involviertheit von Fahrern in die Fahraufgabe verändert je stärker sie durch ein Assistenzsystem unterstützt werden (d.h., je stärker das System Teile der Fahraufgabe automatisiert). Um dies zu untersuchen wurden zwei theoretische Konzepte herangezogen: a) das Verlassen der Fahrer (auf ein System) und b) das Situationsbewusstsein der Fahrer. Basierend auf einer umfassenden Analyse der Forschungsliteratur zum Thema Automatisierung wurde ein theoretisches Rahmenmodell entwickelt, welches Veränderungen in der Involviertheit des Fahrers in die Fahraufgabe auf menschliche Adaptationsprozesse auf verschiedenen Ebenen zurückführt, die sich in Folge der veränderten Aufgaben­anforderungen durch zunehmende Automatisierung ergeben. Dazu zählen Veränderungen in Einstellungen, sowie in kognitiven, energetischen, und motivationalen Prozessen. Um Veränderungen in diesen Prozessen zu untersuchen, wurde eine Vielzahl an objektiven und subjektiven Maßen erhoben. Hauptgegenstand der Dissertation ist eine umfangreiche Fahrsimulatorstudie im Fahrsimulator mit Bewegungsplattform bei VTI (Swedish National Road and Transport Research Institute) in Linköping, Schweden. Dabei kamen zwei Querführungsassistenzsysteme (ein Heading Control System und ein Lane Departure Warning System) zum Einsatz, die den Fahrer in unterschiedlichem Maße bei der Spurhaltung unterstützten. Im Gegensatz zu einem Großteil der bisherigen Studien wurden prozessorientierte Performanzmaße zur Erfassung des Verlassens der Fahrer auf die Assistenzsysteme und des Situationsbewusstseins der Fahrer verwendet. Das Verlassen der Fahrer auf die Querführungsassistenzsysteme wurde durch Blickverhaltensmaße über die Bereitschaft der Fahrer erfasst, ihre visuelle Aufmerksamkeit von der Straße ab hin zu einer Zweitaufgabe im Fahrzeuginnenraum zu wenden. Zur Messung des Situationsbewusstseins der Fahrer wurden Fahrverhaltensmaße herangezogen welche als Indikator für die Schnelligkeit und Abruptheit der Reaktionen der Fahrer auf unerwartete kritische Fahrsituationen dienten. Ein Hauptbefund der Dissertation war, dass die Fahrer sich signifikant im Ausmaß ihres Verlassens auf einen hohen Grad an Assistenz unterschieden. Diese interindividuelle Varianz im Verlassen der Fahrer auf einen hohen Grad an Assistenz konnte am besten durch das Vertrauen der Fahrer in das Querführungsassistenzsystem und ihr Aktivierungsniveau erklärt werden: Je höher das Vertrauen der Fahrer in das System und je geringer ihr Aktivierungsniveau, desto stärker verließen sie sich auf das System. Individuelle Fahrermerkmale (Fahrstil) erklärten einen signifikanten Anteil der Varianz im Vertrauen der Fahrer in die Spurhalteassistenzsysteme.