In this thesis, situations were analyzed in which drivers operate infotainment systems (IVIS) while driving. In this, the focus lay on such situations in which drivers operated these secondary tasks successfully. Following that, a resource orientated approach was chosen in contrast to the focus of many other studies. Demonstrating the negative effects of secondary tasks while driving was less central in this thesis. Rather, everyday behavior adaptations were analyzed that enabled drivers to operate secondary tasks successfully while driving. Therefore these adaptations were measured with regards to the following three factors: driving task, secondary task and mental workload. Additionally the influence of several secondary task attributes was analyzed. Thereby especially the perceived interruptibility was researched in detail. The thesis contains 3 different parts: 1. Introduction to research field, 2. Empiric part and 3. Overall discussion. In the first part an introduction and an overview of the current research concerning secondary task operation while driving is presented. The second part contains 3 studies, each presented in manuscript form. The goal of the first study was to show basic behavior adaptations in a driving simulator study that enables drivers to operate secondary tasks while driving. Thereby it became obvious that drivers adapted their driving behavior as well as their activity in the secondary task dynamically to the specific situation. The driving task was prioritized thereby. The adaptations were dependent on the current as well as the anticipated development of the situations and correspondingly sensitive to the variation of a cue to a hazardous driving situation. If drivers were warned (and thereby an anticipation was possible), they reduced especially their activity in the secondary task. In the second study the influence of mental workload and the attributes of a secondary task were analyzed in-depth. Drivers were informed by a noise signal either about an upcoming unknown driving situation or about an upcoming speed reduction situation in this study. It could be shown that if a secondary task can be interrupted without a perceived decline in performance, it is interrupted in demanding driving situations. If an interruption causes a perceived performance loss, the task is interrupted less often, and so the workload is increased (measured with a physiological measurement). Thus, drivers compensate their current demands by behavior adaptations in different factors, depending on the characteristics of a secondary task. The interaction between driving task, secondary task and workload could be proven by this research. Only if a secondary task could be interrupted without a perceived loss of performance drivers interrupted the task before a hazardous situation was reached. In line with the findings from the studies above a setting was developed for the third study that is less bound to the simulation of complex driving situations and thereby independent from specific driving simulator settings. Nevertheless the anticipation of further driving situations and the option to adapt behavior was given to the drivers by the setting to measure the effects described above. Additionally secondary tasks were analyzed that have a high comparability to common IVIS. Thus, a focus was on the influence of tasks that require time critical inputs. As expected, in tasks with time critical inputs the activity was less often reduced, even if a demanding driving situation was announced. Thereby another influencing factor to the perceived interruptibility of secondary tasks could be analyzed. In the presented studies it was shown that drivers anticipate the further development of a situation and adapt their activity in the secondary task dynamically due to several characteristics of this task. For the future evaluation of IVIS, methodological requirements were deduced from the presented studies and a possible setting for further research was discussed. / In dieser Dissertation werden Situationen untersucht, in denen Fahrer während der Fahrt Infotainmentsysteme (In- Vehicle Infotainment Systeme, kurz IVIS) bedienen. Hierbei wird der Fokus auf Situationen gelegt, in denen Fahrer erfolgreich Nebenaufgaben bearbeiten. Im Gegensatz zu einer Vielzahl von anderen Studien wird hier ein ressourcenorientierter Ansatz gewählt. Im Mittelpunkt steht demnach weniger der Nachweis von Leistungseinbußen in der Fahraufgabe durch zusätzliche Aufgaben. Es wird im Gegensatz dazu herausgearbeitet, durch welche alltäglichen Verhaltensanpassungen Fahrer in der Lage sind, Aufgaben zusätzlich zur Fahraufgabe erfolgreich zu bearbeiten. Dazu werden diese Verhaltensanpassungen messbar gemacht. Ein Hauptaugenmerk wird dabei auf die Faktoren Fahraufgabe, Nebenaufgabe und die mentale Beanspruchung gelegt. Des Weiteren wird der Einfluss verschiedener Nebenaufgaben auf das Verhalten analysiert. Dabei wird insbesondere die wahrgenommene Unterbrechbarkeit der Nebenaufgaben detailliert untersucht. Die Arbeit besteht aus 3 Teilen: 1. Hintergrund des Forschungsfeldes, 2.Experimentalteil und 3. zusammenfassende Diskussion. Im ersten Teil der Arbeit wird zunächst eine Einführung in das Forschungsfeld gegeben und anschließend ein Überblick über den aktuellen Forschungsstand in Bezug auf Zweitaufgabenbearbeitung während der Fahrt. Im Experimentalteil werden 3 Studien präsentiert, die im Rahmen dieser Arbeit durchgeführt wurden (jeweils in Form einer Veröffentlichung). In der ersten Studie war das Ziel grundlegende Verhaltensanpassungen in einer Fahrsimulationsstudie nachzuweisen, die es Fahrern ermöglichen Nebenaufgaben erfolgreich während der Fahrt zu bearbeiten. Dabei wurde deutlich, dass Fahrer ihr Fahrverhalten und ihre Eingabeaktivität in einer Nebenaufgabe der jeweiligen Situation dynamisch anpassen. Die Fahraufgabe wurde dabei priorisiert. Die Verhaltensanpassungen waren sowohl abhängig von der aktuellen, als auch von der antizipierten Situation und zeigten sich demnach abhängig von der Variation eines Hinweisreizes auf eine kritische Verkehrssituation. Als die Fahrer vor einer möglichen Gefahr gewarnt wurden (sie diese also antizipieren konnten), wurde insbesondere die Aktivität in der Nebenaufgabe reduziert. In der daran anschließenden Studie wurde die Rolle der Beanspruchung im Zusammenhang mit den Eigenschaften der Nebenaufgabe näher untersucht. Probanden wurden mithilfe eines Tons entweder auf eine bevorstehende, unbekannte Fahrsituation oder auf eine bevorstehende Geschwindigkeitsreduktion hingewiesen. Es konnte gezeigt werden, dass Fahrer in Situationen, in denen sie den weiteren Fahrverlauf antizipieren und die Nebenaufgabe ohne wahrgenommenen Leistungsverlust unterbrechen konnten, signifikant weniger bedienten. Im Gegensatz dazu zeigte sich in Nebenaufgaben, deren Unterbrechung einen direkten Leistungsverlust nach sich zog, dass Fahrer auch in kritischen Situation gleich viel bedienten. Dieses Verhalten wurde durch eine höhere Anstrengung kompensiert (gemessen mit einem physiologischen Beanspruchungsmaß). Der Zusammenhang der drei Faktoren Fahraufgabe, Nebenaufgabe und Beanspruchung wurde hierbei deutlich. Des Weiteren konnte der Einfluss der Eigenschaften der Nebenaufgaben deutlich gemacht werden: Nur wenn die Unterbrechung der Nebenaufgabe keinen direkten Leistungsverlust zur Folge hatte, wurde diese bereits vor dem Auftreten einer kritischen Situation unterbrochen. Basierend auf den Ergebnissen der ersten beiden Studien wurde für die dritte Studie ein vereinfachtes Setting entwickelt, das weniger auf der Simulation komplexer Fahrsituationen basiert, mithilfe dessen jedoch dennoch die relevanten Effekte messbar sein sollen. Dadurch wird das Setting unabhängiger von einer bestimmten Simulationsumgebung. Dabei wurde den Probanden sowohl ermöglicht relevante Fahrsituationen zu antizipieren als auch ihr Verhalten daran anzupassen. Des Weiteren wurden Nebenaufgaben analysiert, die ähnliche Bedieneingaben erforderten wie gebräuchliche IVIS, und die zum Teil zeitkritische Eingaben erforderten. Wenn Eingaben zeitkritisch gemacht werden mussten, wurde die Nebenaufgabe erwartungsgemäß seltener unterbrochen, auch wenn eine kritische Fahrsituation angekündigt wurde. Dadurch wurde ein weiterer Einflussfaktor auf die wahrgenommene Unterbrechbarkeit von Aufgaben in Fahrsituationen untersucht. In den vorliegenden Studien konnte gezeigt werden, dass Fahrer den weiteren Verlauf von Fahrsituationen antizipieren und ihre Aktivität in einer Nebenaufgabe dynamisch und in Abhängigkeit zu bestimmten Eigenschaften der Nebenaufgabe anpassen. Für die zukünftige Bewertung von IVIS wurden dabei relevante methodische Rahmenbedingungen herausgearbeitet und ein mögliches Setting vorgestellt.

Den fysiska arbetsmiljön är viktig för hälsan. Den kontorstypen vi arbetar i har en betydande påverkan på individen. Vi vet idag att buller, speciellt över en längre tid bidrar till negativa hälsoeffekter. Trots det utformar vi kontor med öppnare landskap där arbetstagare inte kan kontrollera bakgrundsljudet. Den här studien genomförs i en kontrollerad miljö med syfte att synliggöra hur det kan vara att arbeta i ett öppet kontorslandskap och i ett vanligt kontor. Studien mäter både upplevd och observerad arbetsbelastning, samt hur dessa skiljer sig åt i en tyst miljö och en miljö med bakgrundsljud. I experimentet använde vi oss av eye-tracking utrustning för att mäta pupillutvidgning, vilket kan ha ett samband med ökad mental arbetsbelastning. GSR-utrustning användes för att mäta känslosvall och deltagarnas upplevda arbetsbelastning mättes med hjälp av en NASA-TLX enkät. Resultatet visar att miljön med bakgrundsljud upplevdes störande under hela testet. Skillnader i pupillstorleken visade på en ökad mental arbetsbelastning när det fanns ljud i bakgrunden, men bara på de tester som innehöll en läsuppgift. Om arbetsbelastningen blir för hög, kan det enligt tidigare forskning, leda till en negativ påverkan på en persons hälsa. / The physical work environment is important for your health. The type of office we work in have a significant impact on the individual. We know today that noise, especially over a longer period of time contribute to negative health effects. Despite this we continue designing offices with open landscape where workers cannot control the background noise. This study is conducted in a controlled environment with the intention to get a view how it might be to work in an open landscape office and in a regular office. The study measure both perceived and observed mental load, and how these differ in a quiet environment and an environment with background noise. In the experiment we used eye-tracking equipment to measure pupil dilation, which may be associated with increased mental load. GSR-equipment was used to measure emotional arousal and participants perceived workload was measured using a NASA-TLX questionnaire. The result shows that the environment with background noise was experienced as disturbing throughout the test. Differences in pupil dilation showed an increased mental workload when there was sound in the background, but only on the tests that contained a reading task. If the workload becomes too high, it can, according to previous research, lead to a negative impact on a person’s health.

This study investigates the impact of peripheral visual information in alleviating motion sickness when engaging in non-driving tasks in fully automated driving. A peripheral visual feedforward system (PVFS) was designed providing information about the upcoming actions of the automated car in the periphery of the occupant’s attention. It was hypothesized that after getting the information from the PVFS, the users’ situation awareness is improved while motion sickness is prevented from developing. The PVFS was also assumed not to increase mental workload nor interrupt the performance of the non-driving tasks. The study was accomplished on an actual road using a Wizard of Oz technique deploying an instrumented car that behaved like a real fully automated car. The test rides using the current setup and methodology indicated high consistency in simulating the automated driving. Results showed that with PVFS, situation awareness was enhanced and motion sickness was lessened while mental workload was unchanged. Participants also indicated high hedonistic user experience with the PVFS. While providing peripheral information showed positive results, further study such as delivering richer information and active head movement are possibly needed.

No description available.

As part of a project within Saab Aeronautics, a Swedish Fighter Aircraft industry, this study was conducted. The fighter pilot is under immense pressure as he/she ventures into the complex environment that is airspace and air combat in a hostile area. The HMI (Human Machine Interface) is the pilot and aircrafts common denominator that leads to mission success but has its limitations. An Adaptive Human-Machine Interface (AHMI) is an HMI that is modified to help the pilot despite the situation he/she finds themselves in. The AHMI has many tasks but what gives it its edge is the adaptivity to different situations and to assist the pilot’s well-being. This can be done via proper visualization of information but also automation of lesser tasks. Mission success depends on physiological parameters such as mental workload and situational awareness to attain optimized operative performance. In this thesis we delve into the depths of what is important in AHMI and the requirements that are needed to produce and demonstrate the AHMI. The mapping of requirements onto simulators is an important aspect to move forward with the development of AHMI. Literature reviews and interviews were conducted in order to learn more about the domain and answer the research questions. The interviewees concur that the proper way of mapping requirements is dependent on what is supposed to be investigated. Is it a graphical component, principle, function or scenario? Through the comparison between the literature and thematic analysis through the interviews it was found that the mapping of requirements is dependent on what is to be investigated. Further, AHMI is deemed an effective support system for the pilot and that autonomy is effective to a certain extent. But when autonomy takes too much control the pilot loses situational awareness and therefore performs worse. Within the project, there is a common consensus between the interviewed subjects that AHMI is the way to move forward with fighter aircraft cockpit development.

The objective of this study was to assess low to high levels of Cognitive Workload by measuring heart rate and cortical blood flow in real-time. Four conditions were implemented into a within-subjects experimental design. Two conditions of difficulty and two conditions of trial order were used to illicit different levels of workload which will be analyzed with psychophysiological equipment. Functional Near-Infrared Spectroscopy (fNIRS) has become more prominent for measuring the blood oxygenation levels in the prefrontal cortex of individuals operating in hazardous work environments, students with learning disabilities, and in research for military training. This is due to the fNIR device being highly mobile, inexpensive, and able to produce a high-spatial resolution of the dorsolateral prefrontal cortex during executive functioning. Heart Rate will be measured by an Electrocardiogram, which will be used in concordance with fNIR oxygenation levels to predict if an individual is in a condition that produces low or high mental workload. Successfully utilizing heart rate and blood oxygenation data as predictors of cognitive workload may validate implementing multiple physiological devices together in real-time and may be a more accurate solution for preventing excessive workload.

Die langfristigen Folgen von psychischer Fehlbeanspruchung stellen ein beträchtliches Problem unserer modernen Gesellschaft dar. Zur Identifizierung derartiger Fehlbelastungen während der Mensch-Maschine-Interaktion (MMI) kann die objektive, kontinuierliche Messung der psychischen Beanspruchung einen wesentlichen Beitrag leisten. Neueste Entwicklungen in der Sensortechnologie und der algorithmischen Methodenentwicklung auf Basis von KI liefern die Grundlagen zu ihrer messtechnischen Bestimmung. Vorarbeiten zur Entwicklung einer Methode zur neuronalen Beanspruchungsdiagnostik sind bereits erfolgt (Radüntz, 2017). Eine praxisrelevante Nutzung dieser Ergebnisse ist erfolgsversprechend, wenn die Methode mit Wearables kombiniert werden kann. Gleichzeitig sind die Evaluation und bedingungsbezogene Reliabilitätsprüfung der entwickelten Methode zur neuronalen Beanspruchungsdiagnostik in realitätsnahen Umgebungen erforderlich. Im Rahmen von experimentellen Untersuchungen der Gebrauchstauglichkeit von kommerziellen EEG-Registrierungssystemen für den mobilen Feldeinsatz wird die darauf basierende Systemauswahl für die MMI-Praxis getroffen. Die Untersuchungen zur Validierung der kontinuierlichen Methode zur Beanspruchungsdetektion erfolgt am Beispiel des Fluglotsenarbeitsplatzes beim simulierten „Arrival Management“. / The long-term negative consequences of inappropriate mental workload on employee health constitute a serious problem for a digitalized society. Continuous, objective assessment of mental workload can provide an essential contribution to the identification of such improper load. Recent improvements in sensor technology and algorithmic methods for biosignal processing are the basis for the quantitative determination of mental workload. Neuronal workload measurement has the advantage that workload registration is located directly there where human information processing takes place, namely the brain. Preliminary studies for the development of a method for neuronal workload registration by use of the electroencephalogram (EEG) have already been carried out [Rad16, Rad17]. For the field use of these findings, the mental workload assess- ment on the basis of the EEG must be evaluated and its reliability examined with respect to several conditions in realistic environments. A further essential require-ment is that the method can be combined with the innovative technologies of gel free EEG registration and wireless signal transmission. Hence, the presented papers include two investigations. Main subject of the first investigation are experimental studies on the usability of commercially-oriented EEG systems for mobile field use and system selection for the future work. Main subject of the second investigation is the evaluation of the continuous method for neuronal mental workload registration in the field. Thereby, a challenging application was used, namely the arrival management of aircraft. The simulation of the air traffic control environment allows the realisation of realistic conditions with different levels of task load. Furthermore, the work is well contextualized in a domain which is very sensible to human-factors research.

No description available.

No description available.

Les récents avancements en sciences cognitives, psychologie et neurosciences, ont démontré que les émotions et les processus cognitifs sont intimement reliés. Ce constat a donné lieu à une nouvelle génération de Systèmes Tutoriels Intelligents (STI) dont la logique d’adaptation repose sur une considération de la dimension émotionnelle et affective de l’apprenant. Ces systèmes, connus sous le nom de Systèmes Tutoriels Émotionnellement Intelligents (STEI), cherchent à se doter des facultés des tuteurs humains dans leurs capacités à détecter, comprendre et s’adapter intuitivement en fonction de l’état émotionnel des apprenants. Toutefois, en dépit du nombre important de travaux portant sur la modélisation émotionnelle, les différents résultats empiriques ont démontré que les STEI actuels n’arrivent pas à avoir un impact significatif sur les performances et les réactions émotionnelles des apprenants. Ces limites sont principalement dues à la complexité du concept émotionnel qui rend sa modélisation difficile et son interprétation ambiguë. Dans cette thèse, nous proposons d’augmenter les STEI des indicateurs d’états mentaux d’engagement et de charge mentale de travail. Ces états mentaux ont l’avantage d’englober à la fois une dimension affective et cognitive. Pour cela, nous allons, dans une première partie, présenter une approche de modélisation de ces indicateurs à partir des données de l’activité cérébrale des apprenants. Dans une seconde partie, nous allons intégrer ces modèles dans un STEI capable d’adapter en temps réel le processus d’apprentissage en fonction de ces indicateurs. / Recent advances in cognitive science, psychology and neuroscience have shown that emotions and cognitive processes are closely intertwined. This fact has given rise to a new generation of Intelligent Tutoring Systems (ITS) whose adaptive logic is based on the consideration of the learner’s emotional and affective dimension. These systems, known as Emotionally Intelligent Tutoring Systems (EITS), seek to acquire the human tutors’ ability in detecting, understanding and adapting to the learners’ emotional state. However, despite the large body of work on emotional modeling, several empirical results showed that current EITS fail to have a significant impact on the learners’ performance and emotional reactions. These limitations are mainly due to the complexity of the emotional concept which makes its modeling difficult and its interpretation ambiguous. In this thesis we propose to increase EITS with mental state indicators of engagement and mental workload. These mental states have the advantage to include both affective and cognitive dimensions. To this end, we first present an approach to modeling these indicators from the learners’ brain activity data. In the second part, we will integrate these models into an EITS able to adapt in real time the learning process according to these indicators.