In den letzten Jahren ist ein immer größerer Anstieg automatisierter Fahrfunktionen zu verzeichnen. Mit der Einführung von automatisierten Fahrzeugen (AF) gehen allerdings nicht nur Vorteile, sondern auch potentielle Herausforderungen hinsichtlich der Interaktion mit anderen Verkehrsteilnehmenden einher. Beispielsweise werden ein potentiell abweichender Fahrstil von AF, sowie die Veränderung der FahrerInnenrolle und daraus resultierende veränderte Interaktionen mit umgebenden Verkehrsteilnehmenden in der Literatur diskutiert. Besonders in Shared Spaces, wie auf Parkplätzen, in denen verschiedene Verkehrsteilnehmende auf beschränktem Raum miteinander agieren, es allerdings nur begrenzte gesetzliche Regelungen gibt, sind Interaktionen und die Koordination von Manövern notwendig. Hierfür setzen Verkehrsteilnehmende verschiedene Kommunikationssignale ein. Gegeben der genannten Herausforderungen ergibt sich für AF der Forschungsbedarf, wie zukünftige Interaktionen mit umgebenden Verkehrsteilnehmenden intuitiv und vorhersehbar gestaltet werden können. Das Ziel dieser Dissertation war es deshalb, wissenschaftliche Erkenntnisse zur Gestaltung solcher potentiellen Interaktionen beizutragen. Die Arbeit besteht aus drei wissenschaftlichen Artikeln, sowie einer vorangestellten Synopse, in der theoretische Grundlage dargelegt, wesentliche Ergebnisse der Artikel aufgegriffen und diskutiert, theoretische und praktische Implikationen abgeleitet werden. Interaktionen im Straßenverkehr werden häufig durch räumliche und zeitliche Lücken im Verkehrsfluss koordiniert. Spezifische Fahrparameter manueller Fahrzeuge (MF) könnten quantifiziert und als Orientierung für intuitive und vorhersehbare AF-Fahrfunktionen genutzt werden. Deshalb beschäftigte sich der erste Artikel mit akzeptierten Lücken im Verkehrsfluss als spezifischer Fahrparameter. In einer Laborstudie wurde die Lückenwahl für das Manöver vorwärts Einparken auf einem Parkplatz mit verschiedenen heranfahrenden Interaktionspartnern aus FahrerInnenperspektive untersucht. Die Ergebnisse der Studie zeigten, dass MF nicht die eine zeitliche Lücke für die Initiierung eines Parkmanövers im Verkehrsfluss wählten, sondern verschiedene Faktoren wie die Größe und Geschwindigkeit eines heranfahrenden Interaktionspartners diese Entscheidung beeinflussten. Zur Unterstützung von intuitiven und vorhersehbaren Interaktionen sollten solche spezifische Einflussfaktoren zukünftig auch in AF-Fahrfunktionen implementiert werden. Diese könnten eine verbesserte Antizipation von AF-Fahrverhalten durch umgebende Verkehrsteilnehmende ermöglichen. Außerdem könnten AF dadurch bevorstehende Manöver von MF verbessert antizipieren. Um potentiellen Interaktionsherausforderungen zu begegnen, beschäftigt sich die Forschung außerdem mit LED-Lichtleisten, die perspektivisch zusätzliche Kommunikationssignale in AF präsentieren könnten. Da diese Lichtleisten abstrakte Signale präsentieren, beschäftigt sich der zweite Artikel der Arbeit mit der Bewertung solcher Signale als zusätzliches Kommunikationsmittel in AF. Es wurde eine Feldstudie durchgeführt, in der ein AF simuliert wurde. Auf dem Dach des Testfahrzeuges war eine LED-Lichtleiste angebracht, die umgebenden FußgängerInnen verschiedene Kommunikationssignale präsentierte. Die ProbandInnen beurteilten die untersuchten Lichtsignale generell als unverständlich, wodurch diese Signale ohne bereitgestelltes Vorwissen keinen Mehrwert zur Vorhersehbarkeit der Verkehrssituation lieferten. Allerdings konnten die Ergebnisse der Studie ein allgemeines Potential für Lichtsignale als Kommunikationsmittel in AF aufzeigen, da die ProbandInnen deren generellen Einsatz in AF als nützlich bewerteten. Der dritte Artikel beschäftige sich mit dem Einfluss von Interaktionserfahrung und den Auswirkungen von Fehlfunktionen zusätzlicher Lichtsignale als potentielles Kommunikationsmittel in AF (d.h. ein Widerspruch zwischen den eingesetzten Lichtsignalen und den Fahrzeugbewegungen als Kommunikationssignal) auf deren Bewertung. In einer Laborstudie bewerteten die ProbandInnen die untersuchten Signale aus FußgängerInnenperspektive in einem Parkplatzsetting. Die Bewertungen des Systems stiegen nach kurzen Interaktionssequenzen an, nach erlebten Systemfehlern sanken diese ab. Die Ergebnisse verdeutlichen die Relevanz einer adäquaten Systembeurteilung. Einerseits sollte die Bewertung des Systems dessen Nutzung ermöglichen, um potentielle Vorteile auszuschöpfen. Andererseits sollten aber auch andere Kommunikationssignale, wie Fahrzeugbewegungen, weiterhin als Informationsquelle in Interaktionen berücksichtigt werden, um potentiell sicherheitskritischen Situationen im Fall von Systemfehlfunktionen vorzubeugen. Da FußgängerInnen über 65 Jahren im Straßenverkehr durch altersbedingte Beeinträchtigungen besonders gefährdet sind, untersuchte die Studie außerdem Unterschiede in der Bewertung des Systems zwischen jüngeren (18 – 40 Jahren) und älteren ProbandInnen (≥ 65 Jahren). Generell bewerteten ältere ProbandInnen das System positiver als Jüngere. Allerdings passten Ältere ihre Systembewertung im Fall von erlebten Fehlfunktion auch weniger an, was besonders hohe sicherheitskritische Auswirkungen haben könnte, z.B. hinsichtlich längerer Reaktionszeiten auf nicht erwartete Fahrzeugbewegungen bei fehlerhaften Lichtsignalen. Insgesamt unterstreichen die Ergebnisse der Dissertation die Notwendigkeit einer menschzentrierten Produktenwicklung in Bezug auf die Implementierung spezifischer Fahrparameter, sowie potentieller zusätzlicher Lichtkommunikationssignale in AF. Konkret zeigen die Ergebnisse, dass verschiedene Einflussfaktoren für vorhersehbare und intuitive AF-Fahrparameter berücksichtigt werden sollten. Außerdem konnte gezeigt werden, dass zusätzliche Lichtsignale in AF ein generelles Potential zur Unterstützung zukünftiger Interaktionen im Straßenverkehr haben. Nachfolgende Forschung sollte weitere Verkehrsszenarien und Einflussfaktoren auf Interaktionen im Straßenverkehr und AF untersuchen, sowie die Bedürfnisse spezifischer NutzerInnengruppen genauer beleuchten. Insgesamt kann die Arbeit dazu beitragen, Anforderungen und Voraussetzungen für vorhersehbare und intuitive Interaktionen in AF besser zu verstehen. Verschiedene theoretische Konzepte und Annahmen der Mensch-Maschine-Interaktion im Allgemeinen können auch auf AF und Lichtsignale als potentielles zusätzliches Kommunikationsmittel angewendet werden. Weiterhin können aus den Ergebnissen der Dissertation verschiedene Strategien und praktische Maßnahmen für die Gestaltung von vorhersehbaren und intuitiven AF-Interaktionsverhalten mit manuellen Verkehrsteilnehmenden abgeleitet werden, welche sich positiv auf die Nutzung und Akzeptanz von AF auswirken könnten.:Danksagung Zusammenfassung Summary Table of contents Synopsis 1 Introduction 2 Interactions in road traffic 2.1 Defining interactions in road traffic 2.2 Joint activities in road traffic 2.3 Situation awareness in road traffic 2.4 Shared spaces as interactional space for different traffic participants 3 Communication in road traffic 3.1 Models for describing communication in road traffic 3.2 Implicit communication in road traffic 3.3 Explicit communication in road traffic 4 Vehicle automation 4.1 Levels of vehicle automation 4.2 Challenges in automated driving 5 Enabeling AVs for predictable interactions in mixed road traffic 5.1 HMI framework in AVs 5.2 Dynamic human-machine interfaces (dHMIs) 5.3 External human-machine interfaces (eHMIs) 6 Research objectives of the dissertation 6.1 Research objective 1: Examining and deriving manual drivers’ gap acceptance parameters when initiating parking actions as a basic orientation for intuitively initiating parking maneuvers in AVs 6.2 Research objective 2: Assessing abstract eHMI signals as additional means of communication in AVs by incidental users in a shared space setting 6.3 Research objective 3: Investigating participants’ eHMI assessment considering interaction experience with the system and multiple malfunctions of the system 6.4 Research objective 4: Examining differences in eHMI assessment between younger and elderly pedestrians 6.5 Integration of conducted studies of the thesis into the HMI framework by Bengler et al. (2020) 7 Overview of the applied methodology 7.1 Laboratory studies 7.2 Wizard-of-Oz study 8 Main results and discussion 8.1 Main findings and discussion regarding gaps in traffic flow for coordinating encounters 8.2 Main findings and discussion regarding eHMIs as potential additional means of communication in AVs 9 Implications 9.1 Theoretical considerations 9.2 Practical implications 10 Conclusion 11 References Paper I Paper II Paper III Curriculum Vitae Publications

Effective communication between automated vehicles (AVs) and human road users (HRU) in mixed traffic is essential for ensuring safety, trust and acceptance. However, existing research on external Human-Machine Interfaces (eHMI) for AVs often overlooks design factors and their interconnections, leading to suboptimal designs. This article presents a comprehensive framework of Human-Machine Interaction in mixed traffic, integrating different relevant stakeholders, influencing factors, and relationships. By visualizing the interactions during communication and with the surrounding environment, the framework serves as a valuable tool for research and development of eHMI, maintaining a comprehensive perspective. Key challenges include determining optimal design features, such as message transmission methods and integration into the vehicle exterior design, and considering diverse human factors, such as age, culture, and cognitive abilities. By addressing these challenges, future eHMI designs can enhance user acceptance and trust in AVs, contributing to safer and more efficient mixed traffic environments. Further research will delve into the detailed examination of design factors and the interaction between interior and exterior vehicle interfaces.

Technologien wie Sensoren können dabei helfen, die Fortschritte und Zustände der Lernenden (z.B. Langeweile, Verhaltensweisen des Aufgebens) zu verstehen, und diese erkannten Zustände können genutzt werden, um ein Unterstützungssystem zu entwickeln, das als Begleiter fungiert. Zu diesem Zweck werden in dieser Dissertation drei Forschungsfragen untersucht: 1) Wie können multimodale Sensordaten wie physiologische und eingebettete Sensordaten genutzt werden, um Lernbegleiter zu entwickeln, die den Lernenden ein Bewusstsein für ihre Zustände vermitteln? als erste Forschungsfrage, 2) Wie können Lernbegleiter auf verschiedenen Modalitätsschnittstellen entworfen werden, wie z.B. bildschirmbasierte Agenten und verkörperte Roboter?, um verschiedene Möglichkeiten zu untersuchen, wie Lernende effektiv beraten werden können, und 3) Wie können nicht-technische Nutzer bei der Gestaltung und Nutzung multimodaler Lernbegleiter für ihre Anwendungen unterstützt werden? Zur Beantwortung der obengenannten Forschungsfragen wurde als Methode der Design-Based Research (DBR) Ansatz gewählt, bei der Theorie und Praxis gleichermaßen berücksichtigt wurden. Die daraus abgeleiteten Designüberlegungen dienten als Leitfaden für die Gestaltung von Lernbegleitern und der Plattform zur Entwicklung multimodaler Lernbegleiter. / This dissertation investigates three research questions: 1) How can multimodal sensor data such as physiological and embedded sensor data be used to design learning companions to provide learners with an awareness of their states?, 2) How can learning companions be designed for different modality interfaces, such as screen-based agents and embodied robots? to investigate various means to provide effective advice to learners, and 3) How can non-technical users be supported in designing and using multimodal learning companions in their various use cases? To answer these research questions, design-based research (DBR) methodology was utilized, considering both theory and practice. The derived design considerations were employed to guide the design of the learning companions as well as the platform to design multimodal learning companions. The findings from this dissertation reveal an association between the change in physiological sensor values and the arousal of emotion, which is also endorsed by prior studies. It was also found that using sensor devices such as mobile and wearable devices and Facial Expression Recognition (FER) can add to the methods of detecting learners’ states. Furthermore, designing a learning companion requires a consideration of the different modalities of the involved technology, in addition to the appropriate design of application scenarios. It is also necessary to integrate the stakeholders (e.g. teachers) into the design process while also considering the data privacy of the target users (e.g. students). The dissertation employs DBR to investigate real-life educational issues, considering both theories and practical constraints. Even though the studies conducted are limited, as they involved only small sample sizes lacking in generalizability, some authentic educational needs were derived, and the corresponding solutions were devised and tested in this dissertation.

Angesichts der weltweit zunehmenden Zerstörung von Ökosystemen spielen ökologisch wirksame und sozial gerechte Umweltschutzinstrumente eine wichtige Rolle. Zahlungen für Ökosystemleistungen (Payments for Ecosystem Services, PES) finden zunehmend Anwendung. Sie dienen als freiwillige und konditionale Anreize für die Bereitstellung von Ökosystemleistungen. Einige dieser PES-Verträge werden mit lokalen Gemeinschaften abgeschlossen, die die Vertragsbedingungen gemeinsam erfüllen (Collective PES, C-PES). Während diese Programme einerseits als Chance für einen erfolgreichen Umweltschutz gesehen werden, wird zum anderen befürchtet, dass sich die Einführung von Marktprinzipien negativ auf lokale Gemeinschaften auswirkt. Vor diesem Hintergrund widmet sich die Dissertation der Frage, inwieweit C-PES-Programme die sozial-ökologische Transformation in Richtung Nachhaltigkeit fördern oder erschweren. Paper I gibt einen literaturgestützten Überblick über Definitionen und Systematisierungen von Kommodifizierungsprozessen und deren sozial-ökologische Auswirkungen. Basierend auf einem im ersten Paper entwickelten Framework werden in Paper II 29 C-PES-Programme weltweit hinsichtlich ihres ökosystemleistungsbezogenen Kommodifizierungsgrades untersucht. Paper III fokussiert auf Mensch-Wildtier-Konflikte im Zusammenhang mit einem Schutzprogramm für Vielfraße und Luchse im Kontext indigener Samen-Gemeinschaften in Schweden. Insgesamt zeigt sich, dass C-PES nicht per se eine Transformation in Richtung sozial-ökologischer Nachhaltigkeit unterstützen, sondern nur dann einen erfolgreichen Beitrag leisten können, wenn bei der Umsetzung die lokalen Gegebenheiten berücksichtigt und Entscheidungen über die Programmgestaltung inklusiv getroffen werden. Darüber hinaus ist es wichtig, dass C-PES Programme engere Mensch-Natur-Beziehungen ermöglichen und in einen umfassenden institutionellen Wandel eingebettet sind, der sich über verschiedene räumliche und politische Ebenen erstreckt. / As ecosystems around the world continue to degrade, the implementation of ecologically effective and socially just conservation instruments is critical. Payments for ecosystem services (PES) are an increasingly popular tool. PES are voluntary and conditional incentives for the provision of ecosystem services, rewarding landowners for their conservation efforts. Some PES programs target local communities that collectively meet contractual obligations (collective PES, C-PES). Proponents see C-PES as a promising tool for successful nature conservation, while critics argue that the introduction of market principles into areas not previously characterized by them can have negative effects, such as the erosion and replacement of well-functioning local community institutions and the crowding out of intrinsic conservation motivations. Against the background of these controversies, this dissertation aims to contribute to answering the question of how paying local communities for their conservation efforts supports or hinders the social-ecological transformation towards sustainability. Paper I reviews definitions and systematizations of program-related commodification processes and local land tenure structures, and their links to social-ecological program outcomes. Based on a framework developed in the first paper, Paper II examines 29 C-PES programs worldwide regarding their ES-related degree of commodification. Paper III focuses on human-environment conflicts in the context of conservation performance payments for wolverines and lynxes in Sweden, which are made to indigenous Sámi communities. Overall, the findings of the three papers suggest that C-PES programs do not in themselves address leverage points for a sustainability transformation, but can only be fully effective when implemented in a careful and inclusive manner, ensuring that they contribute to a larger institutional change across scales and when they support closer connections between people and nature.

Das Zusammenleben in Gruppen ist im Tierreich ein weit verbreitetes Phänomen. Einer der Vorteile des Gruppenlebens könnte die sogenannte „Schwarmintelligenz“ sein, das heißt die Fähigkeit von Gruppen kognitive Probleme zu lösen, die die Problemlösekompetenz einzelner Individuen übersteigt. In der vorliegenden Dissertation untersuchte ich, ob die Gruppengröße beim Menschen und bei Fischen mit einer verbesserten Entscheidungsfindung einhergeht. Beim Menschen analysierte ich zunächst das Abschneiden von Einzelpersonen, die später als Teil einer Gruppe getestet wurden, in einfachen Einschätzungsaufgaben sowie komplizierteren Satz-Rekonstruktionstests. Meine Frage war, ob es Individuen in Gruppen gelingt bessere Entscheidungen zutreffen als das einem durchschnittlichen Individuum der Gruppe alleine möglich wäre und ob Gruppen sogar die Leistung ihres besten Mitglieds in den individuellen Tests überbieten könnten. Tatsächlich konnte ich zeigen, dass Gruppen die Leistung des besten Mitglieds übertreffen, wenn die Problemstellung für Einzelpersonen zu komplex ist oder sich häufig wiederholt. Weiterhin gelang mir zu zeigen, dass Gruppen von Menschen bei einer simulierten Prädationssituation, ähnlich wie es bereits für andere Tierarten beschrieben wurde, anhand von so genannten „Quorum“-Regeln durch non-verbale Kommunikation entscheiden, ob sie bleiben oder flüchten. Dabei dienen einfache Bewegungsmuster als Schlüsselreiz. Individuen einer Gruppe erhöhen durch diesen Mechanismus gleichzeitig ihre echt positiven und verringern ihre falsch positiven Entscheidungen. Beim Guppy, einem Süßwasserfisch aus Trinidad, untersuchte ich in deren natürlichem Habitat, ob die Fähigkeit einzelner Individuen zwischen einer genießbaren und einer ungenießbaren Futterquelle zu unterscheiden, mit der Gruppengröße ansteigt. Meine Ergebnisse zeigen, dass Guppys mit größerer Wahrscheinlichkeit eine genießbare Futterquelle identifizierten, sobald sie Teil einer größeren Gruppe waren. / Group living is a widespread phenomenon. One of its assumed advantages is collective cognition, the ability of groups to solve cognitive problems that are beyond single individuals’ abilities. In this thesis, I investigated whether decision-making improves with group size in both humans and fish, thus using the strengths of each system. In humans, I tested individual performance in simple quantity estimation tasks and a more difficult sentence reconstruction task first alone and then as part of a group. My question was whether groups were able to improve not only on average individual decisions, but also to beat their best members. Indeed, when a given problem is recurrent or too complex for individuals, groups were able to outperform their best members in different contexts. Furthermore, I showed that in a simulated predation experiment, groups of humans decided to stay or to escape using quorum thresholds based on movement behaviour without verbal communication, as has been shown in other animals. This simple movement mechanism allowed individuals in groups to simultaneously increase true positives and decrease false positives. In the guppy, a freshwater fish from Trinidad, I tested in their natural environment whether individuals’ ability to distinguish between an edible and a non-edible food item increases with group size. My results indicate that guppies had better chances to identify the edible food item when part of bigger groups. By investigating several populations with different ecological backgrounds, in particular differing in predation levels, I found that, despite a lower sampling activity in high predation habitats, predation did not affect the improvement of decisions in groups.

Zwischenmenschliches Vertrauen spielt in Beziehungen eine wichtige Rolle und beinhaltet die Erwartung, dass auf das Wort des Anderen Verlass ist (Rotter, 1967). Auch im Zusammenhang mit Automation und Mensch-Maschine-Systemen erlangt die Betrachtung von Vertrauen in den vergangenen Jahren immer größere Bedeutung. In den Bereichen automatisierte Fahrzeugsteuerung oder militärische Freund-Feind-Erkennung wurde bereits eine Vielzahl von Erhebungen durchgeführt. Einen Forschungsgegenstand, der bislang jedoch weitestgehend unbeachtet geblieben ist, stellen Heim-Automatisierungen und Unterstützungstechnologien für ältere Personen dar. Die vorliegende Dissertation möchte einen Anstoß für die Forschungsaktivitäten im Kontext von Vertrauen in Ambient Assisted Living (AAL) Systeme geben und gleichzeitig die Möglichkeiten von Unterstützungs-technologien (für beeinträchtigte Personen) im Wohnumfeld aufzeigen. Im Fokus der Untersuchung steht dabei das Vertrauen älterer Personen, als potentielle Endnutzer, in AAL Systeme. Nach Durchführung der Literaturanalyse, wurden mittels einer Fragebogenstudie zunächst verschiedene Einflussfaktoren auf das Vertrauen in AAL sowie die Nutzungsabsicht der senioren Zielgruppe erforscht. Unter Einbeziehung der Variablen des Technology Acceptance Modells (TAM) (Davis, 1989) werden Personen mit und ohne täglichem Unterstützungsbedarf befragt. Basierend auf den dadurch gewonnenen Erkenntnissen wurden zwei Experimente durchgeführt. Die Probanden der beiden Experimente, die jeweils eine seniore Testgruppe und eine junge Kontrollgruppe umfassten, sollten mittels eines Mock-Ups auf einem Tablet-Computer verschiedene Aufgaben im Wohnumfeld bearbeiten. Im ersten Experiment wurde zusätzlich zu der Standard-Bedienoberfläche der AAL Technologie, entweder persönliche Unterstützung via Operateur oder eine technische Unterstützung zur Verfügung gestellt. Das zweite Experiment untersuchte drei unterschiedliche Stufen von Zuverlässigkeit einer AAL Applikation. / Interpersonal trust as “expectancy that the verbal statements of others can be relied upon” (Rotter, 1967; p. 651) plays an important role in human relationships. But even in the context of automation and man-machine systems, the consideration of trust has acquired even greater importance in recent years. In the field of automated vehicle control systems or military friend-or-foe recognition, a large number of surveys relating to trust have been conducted. An area of research that, to date, has not been well-investigated is home automation, such as smart home and assistive technologies for older people. The present thesis aims to initiate such research activities in the context of trust in Ambient Assisted Living (AAL) systems, as well as to demonstrate the opportunities that assistive technologies present for impaired persons in the living environment. The focus of the present survey is on the trust of older people, as potential end-users, in AAL systems. To establish an understanding of the state of this research field, a literature review has been conducted. Subsequently, the various factors influencing trust in AAL and usage intention of the elderly target group are examined via a written questionnaire study. Taking into account the variables of the Technology Acceptance Model (TAM) (Davis, 1989), persons with and without need for daily support are interviewed. Based on the obtained results, two subsequent experiments were carried out. The participants in the two experiments, each including a senior test group and a young control group, worked on various tasks through a mock-up on a tablet-computer in the living environment. In the first experiment, in addition to the standard user interface of the AAL technology, either personal support via operator or a technical embedded support was provided to test the differential impact on the trust of the participants in AAL. The second experiment included three different levels of reliability of an AAL application.

Information visualization (InfoVis) makes data accessible in a graphical form, enables visual and interactive data exploration, and is becoming increasingly important in our data-driven world - InfoVis empowers people from various domains to truly benefit from abstract and vast amounts of data. Although they often target desktop environments, nowadays, data visualizations are also used on omnipresent mobile devices, such as smartphones and tablets. However, most mobile devices are personal digital companions, typically visualizing moderately complex data (e.g., fitness, health, finances, weather, public transport data) on a single and very compact display, making it inherently hard to show the full range or simultaneously different perspectives of data. The research in this thesis engages with these aspects by striving for novel mobile device interactions that enable data analysis with more than a single device, more than a single visualization view, and more than a single user. At the core of this dissertation are four realized projects that can be connected by the following research objectives: (i) Facilitating data visualization beyond the casual exploration of personal data, (ii) Integrating mobile devices in multi-device settings for InfoVis, and (iii) Exploiting the mobility and spatiality of mobile devices for InfoVis. To address the first objective, my research mainly concentrates on interactions with multivariate data represented in multiple coordinated views (MCV). To address the second objective, I consider two different device settings in my work: One part investigates scenarios where one or more people sit at a regular table and analyze data in MCV that are distributed across several mobile devices (mobile devices on a table). The other part focuses on scenarios in which a wall-sized display shows large-scale MCV and mobile devices enable interactions with the visualizations from varying positions and distances (mobile devices in 3D space). The settings also allow to look at different purposes and roles of mobile devices during data exploration. To address the third objective, I examine different spatial device interactions. This includes placing and organizing multiple mobile devices in meaningful spatial arrangements and also pointing interaction that combines touch and spatial device input. Overall, with my research, I apply an exploratory approach and develop a range of techniques and studies that contribute to the understanding of how mobile devices can be used not only for typical personal visualization but also in more professional settings as part of novel and beyond-the-desktop InfoVis environments.:Publications ... ix List of Figures ... xix List of Tables ... xx 1. Introduction ... 1 1.1. Research Objectives and Questions ... 5 1.2. Methodological Approach ... 8 1.3. Scope of the Thesis ... 10 1.4. Thesis Outline & Contributions ... 13 2. Background & Related Work ... 15 2.1. Data Visualization on a Mobile Device ... 16 2.1.1. Revisiting Differences of Data Visualization for Desktops and Mobiles ... 16 2.1.2. Visualization on Handheld Devices: PDAs to Smartphones ... 18 2.1.3. Visualization on Tablet Computers ... 20 2.1.4. Visualization on Smartwatches and Fitness Trackers ... 21 2.1.5. Mobile Data Visualization and Adjacent Topics ... 22 2.2. Cross-Device Data Visualization ... 24 2.2.1. General Components of Cross-Device Interaction ... ... 24 2.2.2. Cross-Device Settings with Large Displays ... 26 2.2.3. Cross-Device Settings with Several Mobile Devices ... 27 2.2.4. Augmented Displays ... 29 2.2.5. Collaborative Data Analysis ... 30 2.2.6. Technological Aspects ... 31 2.3. Interaction for Visualization ... 32 2.3.1. Touch Interaction for InfoVis ... 33 2.3.2. Spatial Interaction for InfoVis ... 36 2.4. Summary ... 38 3. VisTiles: Combination & Spatial Arrangement of Mobile Devices ... 41 3.1. Introduction ... 43 3.2. Dynamic Layout and Coordination ... 45 3.2.1. Design Space: Input and Output ... 46 3.2.2. Tiles: View Types and Distribution ... 46 3.2.3. Workspaces: Coordination of Visualizations ... 47 3.2.4. User-defined View Layout ... 49 3.3. Smart Adaptations and Combinations ... 49 3.3.1. Expanded Input Design Space ... 50 3.3.2. Use of Side-by-Side Arrangements ... 50 3.3.3. Use of Continuous Device Movements ... 53 3.3.4. Managing Adaptations and Combinations ... 54 3.4. Realizing a Working Prototype of VisTiles ... 55 3.4.1. Phase I: Proof of Concept ... 55 3.4.2. Phase II: Preliminary User Study ... 56 3.4.3. Phase III: Framework Revision and Final Prototype ... 59 3.5. Discussion ... 63 3.5.1. Limitations of the Technical Realization ... 63 3.5.2. Understanding the Use of Space and User Behavior ... 64 3.5.3. Divide and Conquer: Single-Display or Multi-Display? ... 64 3.5.4. Space to Think: Physical Tiles or Virtual Tiles? ... 65 3.6. Chapter Summary & Conclusion ... 66 4. Marvis: Mobile Devices and Augmented Reality ... 69 4.1. Introduction ... 71 4.2. Related Work: Augmented Reality for Information Visualization ... 74 4.3. Design Process & Design Rationale ... 75 4.3.1. Overview of the Development Process ... 75 4.3.2. Expert Interviews in the Design Phase ... 76 4.3.3. Design Choices & Rationales ... 78 4.4. Visualization and Interaction Concepts ... 79 4.4.1. Single Mobile Device with Augmented Reality ... 79 4.4.2. Two and More Mobile Devices with Augmented Reality ... 83 4.5. Prototype Realization ... 86 4.5.1. Technical Implementation and Setup ... 87 4.5.2. Implemented Example Use Cases ... 88 4.6. Discussion ... 94 4.6.1. Expert Reviews ... 94 4.6.2. Lessons Learned ... 95 4.7. Chapter Summary & Conclusion ... 98 5. FlowTransfer: Content Sharing Between Phones and a Large Display ... 101 5.1. Introduction ... 103 5.2. Related Work ... 104 5.2.1. Interaction with Large Displays ... 104 5.2.2. Interactive Cross-Device Data Transfer ... 105 5.2.3. Distal Pointing ... 106 5.3. Development Process and Design Goals ... 106 5.4. FlowTransfer’s Pointing Cursor and Transfer Techniques ... 108 5.4.1. Distance-dependent Pointing Cursor ... 109 5.4.2. Description of Individual Transfer Techniques ... 110 5.5. Technical Implementation and Setup ... 115 5.6. User Study ... 115 5.6.1. Study Design and Methodology ... 115 5.6.2. General Results ... 117 5.6.3. Results for Individual Techniques ... 117 5.7. Design Space for Content Sharing Techniques ... 119 5.8. Discussion ... 120 5.8.1. Design Space Parameters and Consequences ... 121 5.8.2. Interaction Design ... 121 5.8.3. Content Sharing-inspired Techniques for Information Visual- ization ... 122 5.9. Chapter Summary & Conclusion ... 123 6. Divico: Touch and Pointing Interaction for Multiple Coordinated Views ... 125 6.1. Introduction ... 127 6.2. Bringing Large-Scale MCV to Wall-Sized Displays ... 129 6.3. Interaction Design for Large-Scale MCV ... 130 6.3.1. Interaction Style and Vocabulary ... 131 6.3.2. Interaction with Visual Elements of Views ... 132 6.3.3. Control of Analysis Tools ... 134 6.3.4. Interaction with Visualization Views ... 134 6.4. Data Set and Prototype Implementation ... 135 6.5. User Study: Goals and Methodology ... 136 6.5.1. Participants ... 137 6.5.2. Apparatus ... 137 6.5.3. Procedure and Tasks ... 138 6.5.4. Collected and Derived Data ... 139 6.6. Results: User Behavior and Usage Patterns ... 140 6.6.1. Data Analysis Method ... 140 6.6.2. Analysis of User Behavior and Movement ... 140 6.6.3. Analysis of Collaboration Aspects ... 142 6.6.4. Analysis of Application Usage ... 145 6.7. Discussion ... 146 6.7.1. Setup ... 146 6.7.2. Movement ... 147 6.7.3. Distance and Interaction Modality ... 147 6.7.4. Device Usage ... 148 6.7.5. MCV Aspects ... 149 6.8. Chapter Summary & Conclusion ... 149 7. Discussion and Conclusion ... 151 7.1. Summary of the Chapters ... 151 7.2. Contributions ... 152 7.2.1. Beyond Casual Exploration of Personal Data ... 153 7.2.2. Multi-Device Settings ... 154 7.2.3. Spatial Interaction ... 156 7.3. Facets of Mobile Device Interaction for InfoVis ... 157 7.3.1. Mobile Devices ... 158 7.3.2. Interaction ... 160 7.3.3. Data Visualization ... 161 7.3.4. Situation ... 162 7.4. Limitations, Open Questions, and Future Work ... 162 7.4.1. Technical Realization ... 163 7.4.2. Extent of Visual Data Analysis ... 164 7.4.3. Natural Movement in the Spectrum of Explicit and Implicit User Input ... 165 7.4.4. Novel Setups & Future Devices ... 166 7.5. Closing Remarks ... 167 Bibliography ... 169 A. Appendix for ViTiles ... 219 A.1. Examples of Early Sketches and Notes ... 219 A.2. Color Scheme for Visualizations ... 220 A.3. Notes Sheet with Interview Procedure ... 221 A.4. Demographic Questionaire ... 222 A.5. Examplary MCV Images for Explanation ... 223 B. Appendix for Marvis ... 225 B.1. Participants’ Expertise ... 225 B.2. Notes Sheet with Interview Procedure ... 226 B.3. Sketches of Ideas by the Participants ... 227 B.4. Grouped Comments from Expert Interviews (Design Phase) ... 228 C. Appendix for FlowTransfer ... 229 C.1. State Diagram for the LayoutTransfer Technique ... 229 C.2. User Study: Demographic Questionnaire ... 230 C.3. User Study: Techniques Questionnaire ... 231 D. Appendix for Divico ... 235 D.1. User Study: Demographic Information ... 235 D.2. User Study: Expertise Information ... 237 D.3. User Study: Training Questionnaire ... 239 D.4. User Study: Final Questionnaire ... 241 D.5. Study Tasks ... 245 D.5.1. Themed Exploration Phase ... 245 D.5.2. Open Exploration Phase ... 246 D.6. Grouping and Categorization of Protocol Data ... 246 D.7. Usage of Open-Source Tool GIAnT for Video Coding Analysis ... 248 D.8. Movement of Participants (Themed Exploration Phase) ... 250 D.9. Movement of Participants (Open Exploration Phase) ... 254 E. List of Co-supervised Student Theses ... 259 / Informationsvisualisierung (InfoVis) macht Daten in grafischer Form zugänglich, ermöglicht eine visuelle und interaktive Datenexploration und wird in unserer von Daten bestimmten Welt immer wichtiger. InfoVis ermöglicht es Menschen in verschiedenen Anwendungsbereichen, aus den abstrakten und enormen Datenmengen einen echten Nutzen zu ziehen. Obwohl sie häufig auf Desktop-Umgebungen ausgerichtet sind, werden Datenvisualisierungen heutzutage auch auf den allseits präsenten Mobilgeräten wie Smartphones und Tablets eingesetzt. Die meisten Mobilgeräte sind jedoch persönliche digitale Begleiter, die in der Regel mäßig komplexe Daten (z.B. Fitness-, Gesundheits-, Finanz-, Wetter-, Nahverkehrsdaten) auf einem einzigen und sehr kompakten Display visualisieren, wodurch es grundsätzlich schwierig ist, die gesamte Bandbreite von bzw. gleichzeitig mehrere Blickwinkel auf Daten darzustellen. Die in dieser Arbeit vorgestellte Forschung greift diese Aspekte auf und versucht, neuartige Mobilgeräte-Interaktionen zu untersuchen, die eine Datenanalyse mit mehr als nur einem Gerät, mehr als nur einer Visualisierung und mehr als nur einem Benutzer ermöglichen. Im Mittelpunkt dieser Dissertation stehen vier durchgeführte Projekte, die sich anhand der folgenden Forschungsziele miteinander verbinden lassen: (i) Datenvisualisierung jenseits der einfachen Exploration persönlicher Daten ermöglichen, (ii) Mobilgeräte für InfoVis in geräteübergreifende Umgebungen einbinden und (iii) die Beweglichkeit und Räumlichkeit von Mobilgeräten für InfoVis ausnutzen. Um auf das erste Ziel hinzuarbeiten, liegt der Schwerpunkt meiner Forschung auf der Interaktion mit multivariaten Daten, die in mehreren miteinander verknüpften Visualisierungen (engl. multiple coordinated views, kurz MCV) abgebildet werden. Um das zweite Ziel zu adressieren, werden in meiner Arbeit zwei grundlegend unterschiedliche Gerätekonfigurationen behandelt: Der eine Teil befasst sich mit Szenarien, in denen eine oder mehrere Personen an einem Tisch sitzen, um Daten mit MCV zu analysieren, wobei die Ansichten auf mehrere Mobilgeräte verteilt sind (Mobilgeräte auf einem Tisch). Der andere Teil beschäftigt sich mit Szenarien, in denen ein wandgroßes Display eine große Anzahl von MCV anzeigt, während Mobilgeräte die Interaktion mit diesen Ansichten aus unterschiedlichen Positionen und Entfernungen ermöglichen (Mobilgeräte im 3D-Raum). Die Gerätekonfigurationen erlauben es zudem, verschiedene Einsatzzwecke und Rollen von mobilen Geräten während der Datenexploration zu untersuchen. Um auf das dritte Ziel hinzuwirken, untersuche ich mehrere räumliche Geräteinteraktionen. Dies umfasst die Platzierung und Anordnung mehrerer Mobilgeräte in sinnvollen räumlichen Konstellationen sowie Pointing-Interaktion die Touch- und räumliche Geräteeingaben miteinander kombiniert. Allgemein betrachtet wende ich in meiner Forschung einen explorativen Ansatz an. Ich entwickle eine Reihe von Techniken und führe Untersuchungen durch, die zu einem besseren Verständnis beitragen, wie Mobilgeräte nicht nur für typische persönliche Visualisierungen, sondern auch in einem eher professionellen Umfeld als Teil neuartiger InfoVis-Umgebungen jenseits klassischer Desktop-Arbeitsplätze eingesetzt werden können.:Publications ... ix List of Figures ... xix List of Tables ... xx 1. Introduction ... 1 1.1. Research Objectives and Questions ... 5 1.2. Methodological Approach ... 8 1.3. Scope of the Thesis ... 10 1.4. Thesis Outline & Contributions ... 13 2. Background & Related Work ... 15 2.1. Data Visualization on a Mobile Device ... 16 2.1.1. Revisiting Differences of Data Visualization for Desktops and Mobiles ... 16 2.1.2. Visualization on Handheld Devices: PDAs to Smartphones ... 18 2.1.3. Visualization on Tablet Computers ... 20 2.1.4. Visualization on Smartwatches and Fitness Trackers ... 21 2.1.5. Mobile Data Visualization and Adjacent Topics ... 22 2.2. Cross-Device Data Visualization ... 24 2.2.1. General Components of Cross-Device Interaction ... ... 24 2.2.2. Cross-Device Settings with Large Displays ... 26 2.2.3. Cross-Device Settings with Several Mobile Devices ... 27 2.2.4. Augmented Displays ... 29 2.2.5. Collaborative Data Analysis ... 30 2.2.6. Technological Aspects ... 31 2.3. Interaction for Visualization ... 32 2.3.1. Touch Interaction for InfoVis ... 33 2.3.2. Spatial Interaction for InfoVis ... 36 2.4. Summary ... 38 3. VisTiles: Combination & Spatial Arrangement of Mobile Devices ... 41 3.1. Introduction ... 43 3.2. Dynamic Layout and Coordination ... 45 3.2.1. Design Space: Input and Output ... 46 3.2.2. Tiles: View Types and Distribution ... 46 3.2.3. Workspaces: Coordination of Visualizations ... 47 3.2.4. User-defined View Layout ... 49 3.3. Smart Adaptations and Combinations ... 49 3.3.1. Expanded Input Design Space ... 50 3.3.2. Use of Side-by-Side Arrangements ... 50 3.3.3. Use of Continuous Device Movements ... 53 3.3.4. Managing Adaptations and Combinations ... 54 3.4. Realizing a Working Prototype of VisTiles ... 55 3.4.1. Phase I: Proof of Concept ... 55 3.4.2. Phase II: Preliminary User Study ... 56 3.4.3. Phase III: Framework Revision and Final Prototype ... 59 3.5. Discussion ... 63 3.5.1. Limitations of the Technical Realization ... 63 3.5.2. Understanding the Use of Space and User Behavior ... 64 3.5.3. Divide and Conquer: Single-Display or Multi-Display? ... 64 3.5.4. Space to Think: Physical Tiles or Virtual Tiles? ... 65 3.6. Chapter Summary & Conclusion ... 66 4. Marvis: Mobile Devices and Augmented Reality ... 69 4.1. Introduction ... 71 4.2. Related Work: Augmented Reality for Information Visualization ... 74 4.3. Design Process & Design Rationale ... 75 4.3.1. Overview of the Development Process ... 75 4.3.2. Expert Interviews in the Design Phase ... 76 4.3.3. Design Choices & Rationales ... 78 4.4. Visualization and Interaction Concepts ... 79 4.4.1. Single Mobile Device with Augmented Reality ... 79 4.4.2. Two and More Mobile Devices with Augmented Reality ... 83 4.5. Prototype Realization ... 86 4.5.1. Technical Implementation and Setup ... 87 4.5.2. Implemented Example Use Cases ... 88 4.6. Discussion ... 94 4.6.1. Expert Reviews ... 94 4.6.2. Lessons Learned ... 95 4.7. Chapter Summary & Conclusion ... 98 5. FlowTransfer: Content Sharing Between Phones and a Large Display ... 101 5.1. Introduction ... 103 5.2. Related Work ... 104 5.2.1. Interaction with Large Displays ... 104 5.2.2. Interactive Cross-Device Data Transfer ... 105 5.2.3. Distal Pointing ... 106 5.3. Development Process and Design Goals ... 106 5.4. FlowTransfer’s Pointing Cursor and Transfer Techniques ... 108 5.4.1. Distance-dependent Pointing Cursor ... 109 5.4.2. Description of Individual Transfer Techniques ... 110 5.5. Technical Implementation and Setup ... 115 5.6. User Study ... 115 5.6.1. Study Design and Methodology ... 115 5.6.2. General Results ... 117 5.6.3. Results for Individual Techniques ... 117 5.7. Design Space for Content Sharing Techniques ... 119 5.8. Discussion ... 120 5.8.1. Design Space Parameters and Consequences ... 121 5.8.2. Interaction Design ... 121 5.8.3. Content Sharing-inspired Techniques for Information Visual- ization ... 122 5.9. Chapter Summary & Conclusion ... 123 6. Divico: Touch and Pointing Interaction for Multiple Coordinated Views ... 125 6.1. Introduction ... 127 6.2. Bringing Large-Scale MCV to Wall-Sized Displays ... 129 6.3. Interaction Design for Large-Scale MCV ... 130 6.3.1. Interaction Style and Vocabulary ... 131 6.3.2. Interaction with Visual Elements of Views ... 132 6.3.3. Control of Analysis Tools ... 134 6.3.4. Interaction with Visualization Views ... 134 6.4. Data Set and Prototype Implementation ... 135 6.5. User Study: Goals and Methodology ... 136 6.5.1. Participants ... 137 6.5.2. Apparatus ... 137 6.5.3. Procedure and Tasks ... 138 6.5.4. Collected and Derived Data ... 139 6.6. Results: User Behavior and Usage Patterns ... 140 6.6.1. Data Analysis Method ... 140 6.6.2. Analysis of User Behavior and Movement ... 140 6.6.3. Analysis of Collaboration Aspects ... 142 6.6.4. Analysis of Application Usage ... 145 6.7. Discussion ... 146 6.7.1. Setup ... 146 6.7.2. Movement ... 147 6.7.3. Distance and Interaction Modality ... 147 6.7.4. Device Usage ... 148 6.7.5. MCV Aspects ... 149 6.8. Chapter Summary & Conclusion ... 149 7. Discussion and Conclusion ... 151 7.1. Summary of the Chapters ... 151 7.2. Contributions ... 152 7.2.1. Beyond Casual Exploration of Personal Data ... 153 7.2.2. Multi-Device Settings ... 154 7.2.3. Spatial Interaction ... 156 7.3. Facets of Mobile Device Interaction for InfoVis ... 157 7.3.1. Mobile Devices ... 158 7.3.2. Interaction ... 160 7.3.3. Data Visualization ... 161 7.3.4. Situation ... 162 7.4. Limitations, Open Questions, and Future Work ... 162 7.4.1. Technical Realization ... 163 7.4.2. Extent of Visual Data Analysis ... 164 7.4.3. Natural Movement in the Spectrum of Explicit and Implicit User Input ... 165 7.4.4. Novel Setups & Future Devices ... 166 7.5. Closing Remarks ... 167 Bibliography ... 169 A. Appendix for ViTiles ... 219 A.1. Examples of Early Sketches and Notes ... 219 A.2. Color Scheme for Visualizations ... 220 A.3. Notes Sheet with Interview Procedure ... 221 A.4. Demographic Questionaire ... 222 A.5. Examplary MCV Images for Explanation ... 223 B. Appendix for Marvis ... 225 B.1. Participants’ Expertise ... 225 B.2. Notes Sheet with Interview Procedure ... 226 B.3. Sketches of Ideas by the Participants ... 227 B.4. Grouped Comments from Expert Interviews (Design Phase) ... 228 C. Appendix for FlowTransfer ... 229 C.1. State Diagram for the LayoutTransfer Technique ... 229 C.2. User Study: Demographic Questionnaire ... 230 C.3. User Study: Techniques Questionnaire ... 231 D. Appendix for Divico ... 235 D.1. User Study: Demographic Information ... 235 D.2. User Study: Expertise Information ... 237 D.3. User Study: Training Questionnaire ... 239 D.4. User Study: Final Questionnaire ... 241 D.5. Study Tasks ... 245 D.5.1. Themed Exploration Phase ... 245 D.5.2. Open Exploration Phase ... 246 D.6. Grouping and Categorization of Protocol Data ... 246 D.7. Usage of Open-Source Tool GIAnT for Video Coding Analysis ... 248 D.8. Movement of Participants (Themed Exploration Phase) ... 250 D.9. Movement of Participants (Open Exploration Phase) ... 254 E. List of Co-supervised Student Theses ... 259

Many functions that at one time could only be performed by humans can nowadays be carried out by machines. Automation impacts many areas of life including work, home, communication and mobility. In the driving context, in-vehicle automation is considered to provide solutions for environmental, economic, safety and societal challenges. However, automation changes the driving task and the human-machine interaction. Thus, the expected benefit of in-vehicle automation can be undermined by changes in drivers’ behaviour, i.e. behavioural adaptation. This PhD project focuses on motivational as well as higher cognitive processes underlying behavioural adaptation when interacting with in-vehicle automation. Motivational processes include the development of trust and acceptance, whereas higher cognitive processes comprise the learning process as well as the development of mental models and Situation Awareness (SA). As an example for in-vehicle automation, the advanced driver assistance system Adaptive Cruise Control (ACC) was investigated. ACC automates speed and distance control by maintaining a constant set cruising speed and automatically adjusting vehicle’s velocity in order to provide a specified distance to the preceding vehicle. However, due to sensor limitations, not every situation can be handled by the system and therefore driver intervention is required. Trust, acceptance and an appropriate mental model of the system functionality are considered key variables for adequate use and appropriate SA. To systematically investigate changes in motivational and higher cognitive processes, a driving simulator as well as an on-road study were carried out. Both of the studies were conducted using a repeated-measures design, taking into account the process character, i.e. changes over time. The main focus was on the development of trust, acceptance and the mental model of novice users when interacting with ACC. By now, only few studies have attempted to assess changes in higher level cognitive processes, due to methodological difficulties posed by the dynamic task of driving. Therefore, this PhD project aimed at the elaboration and validation of innovative methods for assessing higher cognitive processes, with an emphasis on SA and mental models. In addition, a new approach for analyzing big and heterogeneous data in social science was developed, based on the use of relational databases. The driving simulator study investigated the effect of divergent initial mental models of ACC (i.e., varying according to correctness) on trust, acceptance and mental model evolvement. A longitudinal study design was applied, using a two-way (3×3) repeated measures mixed design with a matched sample of 51 subjects. Three experimental groups received (1) a correct ACC description, (2) an incomplete and idealised account omitting potential problems, and (3) an incorrect description including non-occurring problems. All subjects drove a 56-km track of highway with an identical ACC system, three times, and within a period of 6 weeks. Results showed that after using the system, participants’ mental model of ACC converged towards the profile of the correct group. Non-experienced problems tended to disappear from the mental model network when they were not activated by experience. Trust and acceptance grew steadily for the correct condition. The same trend was observed for the group with non-occurring problems, starting from a lower initial level. Omitted problems in the incomplete group led to a constant decrease in trust and acceptance without recovery. This indicates that automation failures do not negatively affect trust and acceptance if they are known beforehand. During each drive, participants continuously completed a visual secondary task, the Surrogate Reference Task (SURT). The frequency of task completion was used as objective online-measure for SA, based on the principle that situationally aware driver would reduce the engagement in the secondary task if they expect potentially critical situations. Results showed that correctly informed drivers were aware of potential system limitations and reduced their engagement in the secondary task when such situations arose. Participants with no information about limitations became only aware after first encounter and reduced secondary task engagement in corresponding situations during subsequent trials. However, trust and acceptance in the system declined over time due to the unexpected failures. Non occurring limitations tended to drop from the mental model and resulted in reduced SA already in the second trial. The on-road study investigated the learning process, as well as the development of trust, acceptance and the mental model for interacting with ACC in real conditions. Research questions aimed to model the learning process in mathematical/statistical terms, examine moments and conditions when these processes stabilize, and assess how experience changes the mental model of the system. A sample of fifteen drivers without ACC experience drove a test vehicle with ACC ten consecutive times on the same route within a 2-month period. In contrast to the driving simulator study, all participants were fully trained in ACC functionality by reading the owner’s manual in the beginning. Results showed that learning, as well as the development of acceptance and trust in ACC follows the power law of learning, in case of comprehensive prior information on system limitations. Thus, the major part of the learning process occurred during the first interaction with the system and support in explaining the systems abilities (e.g. by tutoring systems) should therefore primarily be given during this first stage. All processes stabilized at a relatively high level after the fifth session, which corresponds to 185 km or 3.5 hours of driving. No decline was observable with ongoing system experience. However, in line with the findings from the simulator study, limitations that are not experienced tended to disappear from the mental model if they were not activated by experience. With regard to the validation of the developed methods for assessing mental models and SA, results are encouraging. The studies show that the mental model questionnaire is able to provide insights into the construction of mental models and the development over time. Likewise, the implicit measurement approach to assess SA online in the driving simulator is sensitive to user’s awareness of potentially critical situations. In terms of content, the results of the studies prove the enduring relevance of the initial mental model for the learning process, SA, as well as the development of trust, acceptance and a realistic mental model about automation capabilities and limitations. Given the importance of the initial mental model it is recommended that studies on system trust and acceptance should include, and attempt to control, users’ initial mental model of system functionality. Although the results showed that also incorrect and incomplete initial mental models converged by experience towards a realistic appreciation of system functionality, the more cognitive effort needed to update the mental model, the lower trust and acceptance. Providing an idealised description, which omits potential problems, only leads to temporarily higher trust and acceptance in the beginning. The experience of unexpected limitations results in a steady decrease in trust and acceptance over time. A trial-and-error strategy for in-vehicle automation use, without accompanying information, is therefore considered insufficient for developing stable trust and acceptance. If the mental model matches experience, trust and acceptance grow steadily following the power law of learning – regardless of the experience of system limitations. Provided that such events are known in advance, they will not cause a decrease in trust and acceptance over time. Even over-information about potential problems lowers trust and acceptance only in the beginning, and not in the long run. Potential problems should therefore not be concealed in over-idealised system descriptions; the more information given, the better, in the long run. However, limitations that are not experienced tend to disappear from the mental model. Therefore, it is recommended that users be periodically reminded of system limitations to make sure that corresponding knowledge becomes re-activated. Intelligent tutoring systems incorporated in automated systems could provide a solution. In the driving context, periodic reminders about system limitations could be shown via the multifunction displays integrated in most modern cars. Tutoring systems could also be used to remind the driver of the presence of specific in-vehicle automation systems and reveal their benefits. / Viele Aufgaben, die ehemals von Menschen ausgeführt wurden, werden heute von Maschinen übernommen. Dieser Prozess der Automatisierung betrifft viele Lebensbereiche von Arbeit, Wohnen, Kommunikation bis hin zur Mobilität. Im Bereich des Individualverkehrs wird die Automatisierung von Fahrzeugen als Möglichkeit gesehen, zukünftigen Herausforderungen wirtschaftlicher, gesellschaftlicher und umweltpolitischer Art zu begegnen. Allerdings verändert Automatisierung die Fahraufgabe und die Mensch-Technik Interaktion im Fahrzeug. Daher können beispielsweise erwartete Sicherheitsgewinne automatisch agierender Assistenzsysteme durch Veränderungen im Verhalten des Fahrers geschmälert werden, was als Verhaltensanpassung (behavioural adaptation) bezeichnet wird. Dieses Dissertationsprojekt untersucht motivationale und höhere kognitive Prozesse, die Verhaltensanpassungen im Umgang mit automatisierten Fahrerassistenzsystemen zugrunde liegen. Motivationale Prozesse beinhalten die Entwicklung von Akzeptanz und Vertrauen in das System, unter höheren kognitiven Prozessen werden Lernprozesse sowie die Entwicklung von mentalen Modellen des Systems und Situationsbewusstsein (Situation Awareness) verstanden. Im Fokus der Untersuchungen steht das Fahrerassistenzsystem Adaptive Cruise Control (ACC) als ein Beispiel für Automatisierung im Fahrzeug. ACC regelt automatisch die Geschwindigkeit des Fahrzeugs, indem bei freier Fahrbahn eine eingestellte Wunschgeschwindigkeit und bei einem Vorausfahrer automatisch ein eingestellter Abstand eingehalten wird. Allerdings kann ACC aufgrund von Einschränkungen der Sensorik nicht jede Situation bewältigen, weshalb der Fahrer übernehmen muss. Für diesen Interaktionsprozess spielen Vertrauen, Akzeptanz und das mentale Modell der Systemfunktionalität eine Schlüsselrolle, um einen sicheren Umgang mit dem System und ein adäquates Situationsbewusstsein zu entwickeln. Zur systematischen Erforschung dieser motivationalen und kognitiven Prozesse wurden eine Fahrsimulatorstudie und ein Versuch im Realverkehr durchgeführt. Beide Studien wurden im Messwiederholungsdesign angelegt, um dem Prozesscharakter gerecht werden und Veränderungen über die Zeit erfassen zu können. Die Entwicklung von Vertrauen, Akzeptanz und mentalem Modell in der Interaktion mit ACC war zentraler Forschungsgegenstand beider Studien. Bislang gibt es wenige Studien, die kognitive Prozesse im Kontext der Fahrzeugführung untersucht haben, unter anderem auch wegen methodischer Schwierigkeiten in diesem dynamischen Umfeld. Daher war es ebenfalls Teil dieses Dissertationsprojekts, neue Methoden zur Erfassung höherer kognitiver Prozesse in dieser Domäne zu entwickeln, mit Fokus auf mentalen Modellen und Situationsbewusstsein. Darüber hinaus wurde auch ein neuer Ansatz für die Analyse großer und heterogener Datenmengen im sozialwissenschaftlichen Bereich entwickelt, basierend auf dem Einsatz relationaler Datenbanken. Ziel der der Fahrsimulatorstudie war die systematische Erforschung des Effekts von unterschiedlich korrekten initialen mentalen Modellen von ACC auf die weitere Entwicklung des mentalen Modells, Vertrauen und Akzeptanz des Systems. Eine Stichprobe von insgesamt 51 Probanden nahm an der Studie teil; der Versuch wurde als zweifaktorielles (3x3) gemischtes Messwiederholungsdesign konzipiert. Die 3 parallelisierten Versuchsgruppen zu je 17 Personen erhielten (1) eine korrekte Beschreibung des ACC, (2) eine idealisierte Beschreibung unter Auslassung auftretender Systemprobleme und (3) eine überkritische Beschreibung mit zusätzlichen Hinweisen auf Systemprobleme, die nie auftraten. Alle Teilnehmer befuhren insgesamt dreimal im Zeitraum von sechs Wochen dieselbe 56 km lange Autobahnstrecke im Fahrsimulator mit identischem ACC-System. Mit zunehmendem Einsatz des ACC zeigte sich im anfänglich divergierenden mentalen Modell zwischen den Gruppen eine Entwicklung hin zum mentalen Modell der korrekt informierten Gruppe. Nicht erfahrene Systemprobleme tendierten dazu, im mentalen Modell zu verblassen, wenn sie nicht durch Erfahrung reaktiviert wurden. Vertrauen und Akzeptanz stiegen stetig in der korrekt informierten Gruppe. Dieselbe Entwicklung zeigte sich auch in der überkritisch informierten Gruppe, wobei Vertrauen und Akzeptanz anfänglich niedriger waren als in der Bedingung mit korrekter Information. Verschwiegene Systemprobleme führten zu einer konstanten Abnahme von Akzeptanz und Vertrauen ohne Erholung in der Gruppe mit idealisierter Beschreibung. Diese Resultate lassen darauf schließen, dass Probleme automatisierter Systeme sich nicht zwingend negativ auf Vertrauen und Akzeptanz auswirken, sofern sie vorab bekannt sind. Bei jeder Fahrt führten die Versuchsteilnehmer zudem kontinuierlich eine visuell beanspruchende Zweitaufgabe aus, die Surrogate Reference Task (SURT). Die Frequenz der Zweitaufgabenbearbeitung diente als objektives Echtzeitmaß für das Situationsbewusstsein, basierend auf dem Ansatz, dass situationsbewusste Fahrer die Zuwendung zur Zweitaufgabe reduzieren wenn sie potentiell kritische Situationen erwarten. Die Ergebnisse zeigten, dass die korrekt informierten Fahrer sich potentiell kritischer Situationen mit möglichen Systemproblemen bewusst waren und schon im Vorfeld der Entstehung die Zweitaufgabenbearbeitung reduzierten. Teilnehmer ohne Informationen zu auftretenden Systemproblemen wurden sich solcher Situationen erst nach dem ersten Auftreten bewusst und reduzierten in entsprechenden Szenarien der Folgefahrten die Zweitaufgabenbearbeitung. Allerdings sanken Vertrauen und Akzeptanz des Systems aufgrund der unerwarteten Probleme. Erwartete, aber nicht auftretende Systemprobleme tendierten dazu, im mentalen Modell des Systems zu verblassen und resultierten in vermindertem Situationsbewusstsein bereits in der zweiten Fahrt. Im Versuch unter Realbedingungen wurden der Lernprozesses sowie die Entwicklung des mentalen Modells, Vertrauen und Akzeptanz von ACC im Realverkehr erforscht. Ziele waren die statistisch/mathematische Modellierung des Lernprozesses, die Bestimmung von Zeitpunkten der Stabilisierung dieser Prozesse und wie sich reale Systemerfahrung auf das mentale Modell von ACC auswirkt. 15 Versuchsteilnehmer ohne ACC-Erfahrung fuhren ein Serienfahrzeug mit ACC insgesamt 10-mal auf der gleichen Strecke in einem Zeitraum von 2 Monaten. Im Unterschied zur Fahrsimulatorstudie waren alle Teilnehmer korrekt über die ACC-Funktionen und Funktionsgrenzen informiert durch Lesen der entsprechenden Abschnitte im Fahrzeughandbuch am Beginn der Studie. Die Ergebnisse zeigten, dass der Lernprozess sowie die Entwicklung von Akzeptanz und Vertrauen einer klassischen Lernkurve folgen – unter der Bedingung umfassender vorheriger Information zu Systemgrenzen. Der größte Lernfortschritt ist am Beginn der Interaktion mit dem System sichtbar und daher sollten Hilfen (z.B. durch intelligente Tutorsysteme) in erster Linie zu diesem Zeitpunkt gegeben werden. Eine Stabilisierung aller Prozesse zeigte sich nach der fünften Fahrt, was einer Fahrstrecke von rund 185 km oder 3,5 Stunden Fahrzeit entspricht. Es zeigten sich keine Einbrüche in Akzeptanz, Vertrauen bzw. dem Lernprozess durch die gemachten Erfahrungen im Straßenverkehr. Allerdings zeigte sich – analog zur Fahrsimulatorstudie – auch in der Realfahrstudie ein Verblassen von nicht erfahrenen Systemgrenzen im mentalen Modell, wenn diese nicht durch Erfahrungen aktiviert wurden. Im Hinblick auf die Validierung der neu entwickelten Methoden zur Erfassung von mentalen Modellen und Situationsbewusstsein sind die Resultate vielversprechend. Die Studien zeigen, dass mit dem entwickelten Fragebogenansatz zur Quantifizierung des mentalen Modells Einblicke in Aufbau und Entwicklung mentaler Modelle gegeben werden können. Der implizite Echtzeit-Messansatz für Situationsbewusstsein im Fahrsimulator zeigt sich ebenfalls sensitiv in der Erfassung des Bewusstseins von Fahrern für potentiell kritische Situationen. Inhaltlich zeigen die Studien die nachhaltige Relevanz des initialen mentalen Modells für den Lernprozess sowie die Entwicklung von Situationsbewusstsein, Akzeptanz, Vertrauen und die weitere Ausformung eines realistischen mentalen Modells der Möglichkeiten und Grenzen automatisierter Systeme. Aufgrund dieser Relevanz wird die Einbindung und Kontrolle des initialen mentalen Modells in Studien zu automatisierten Systemen unbedingt empfohlen. Die Ergebnisse zeigen zwar, dass sich auch unvollständige bzw. falsche mentale Modelle durch Erfahrungslernen hin zu einer realistischen Einschätzung der Systemmöglichkeiten und -grenzen verändern, allerdings um den Preis sinkenden Vertrauens und abnehmender Akzeptanz. Idealisierte Systembeschreibungen ohne Hinweise auf mögliche Systemprobleme bringen nur anfänglich etwas höheres Vertrauen und Akzeptanz. Das Erleben unerwarteter Probleme führt zu einem stetigen Abfall dieser motivationalen Faktoren über die Zeit. Ein alleiniges Versuchs-Irrtums-Lernen für den Umgang mit automatisierter Assistenz im Fahrzeug ohne zusätzliche Information wird daher als nicht ausreichend für die Entwicklung stabilen Vertrauens und stabiler Akzeptanz betrachtet. Wenn das initiale mentale Modell den Erfahrungen entspricht, entwickeln sich Akzeptanz und Vertrauen gemäß einer klassischen Lernkurve – trotz erlebter Systemgrenzen. Sind diese potentiellen Probleme vorher bekannt, führen sie nicht zwingend zu einer Reduktion von Vertrauen und Akzeptanz. Auch zusätzliche überkritische Information vermindert Vertrauen und Akzeptanz nur am Beginn, aber nicht langfristig. Daher sollen potentielle Probleme in automatisierten Systemen nicht in idealisierten Beschreibungen verschwiegen werden – je präzisere Information gegeben wird, desto besser im langfristigen Verlauf. Allerdings tendieren nicht erfahrene Systemgrenzen zum Verblassen im mentalen Modell. Daher wird empfohlen, Nutzer regelmäßig an diese Systemgrenzen zu erinnern um die entsprechenden Facetten des mentalen Modells zu reaktivieren. In automatisierten Systemen integrierte intelligente Tutorsysteme könnten dafür eine Lösung bieten. Im Fahrzeugbereich könnten solche periodischen Erinnerungen an Systemgrenzen in Multifunktionsdisplays angezeigt werden, die mittlerweile in vielen modernen Fahrzeugen integriert sind. Diese Tutorsysteme können darüber hinaus auch auf die Präsenz eingebauter automatisierter Systeme hinweisen und deren Vorteile aufzeigen.

Die vorliegende Arbeit untersucht die Auswirkung von reichhaltigen, natürlichen Eingabe- und Ausgabeinformationen in virtuellen Umgebungen in Form von Natural Mapping und Stereoskopie. Dabei steht insbesondere die Kombination der Ein- und Ausgabemodalitäten mit dem damit verbundenen Interaktionsgegenstand im Fokus. Auf Basis von mentalen Modellen werden Transferprozesse von Wissen und Fertigkeiten bezüglich realer Handlungen auf virtuelle Handlungen angenommen. Diese resultieren in einer potenziell höheren User Experience und Performance bei der Interaktion. Spatial Mapping wird als Konzept der räumlichen Übereinstimmung von Wahrnehmungsräumen der Ein- und Ausgabeinformationen eingeführt und damit als holistische Erweiterung von Natural Mapping verstanden. Spatial Mapping bezeichnet in der vorliegenden Arbeit den Grad der Verknüpfung der physikalischen und virtuellen Umgebung, sodass Nutzer im Idealfall eine isomorphe Abbildung der beiden Wahrnehmungsräume erfahren und notwendige Transformationsprozesse für die Verarbeitung der virtuellen Umgebung minimiert werden können. Im Resultat stehen mehr kognitive Ressourcen für andere Inhalte zur Verfügung. Auf Basis des Spatial-Mapping-Ansatzes wurde ein Pfadmodell konstruiert, das experimentell überprüft wurde. In zwei Experimenten wurden Effekte von Natural Mapping und Stereoskopie in Szenarien mit hohem Spatial Mapping untersucht. Das erste Experiment nutzte dafür ein kommerzielles Computerspiel, bei dem Spatial Mapping für die Interaktion nicht handlungsrelevant war. Beim zweiten Experiment kam ein Virtual-Reality-Simulator zum Einsatz, bei dessen Aufgabenstellung Nutzer vom hohen Spatial Mapping deutlich profitieren konnten. Meist wird Stereoskopie auf existierende mediale Inhalte angewendet, ohne die Inhalte entsprechend darauf anzupassen. Diese Vorgehensweise lässt sich sowohl bei kommerziellen Computerspielen als auch in der Filmindustrie beobachten. Die Experimente zeigen, dass Stereoskopie keinen Einfluss auf UX und Performance hat, wenn das verfügbare Spatial Mapping für den Interaktionsgegenstand nicht handlungsrelevant ist. Die Arbeit diskutiert den Einsatz von Stereoskopie und Natural Mapping in Abhängigkeit des verwendeten Interaktionsgegenstandes und liefert damit einen Erklärungsansatz, der Eingabe- und Ausgabemodalitäten kombiniert betrachtet.:1. Einführung: Spatial Mapping in virtuellen Umgebungen 2. User Experience und Zustände fokussierter Aufmerksamkeit 3. Two Step Process Model of Spatial Presence Formation 4. Stereoskopie in virtuellen Umgebungen 5. Natural Mapping in virtuellen Umgebungen 6. Spatial Mapping von Wahrnehmungsräumen 7. Experiment 1: Spatial Mapping bei niedriger Task Adequacy 8. Experiment 2: Spatial Mapping bei hoher Task Adequacy 9. Fazit und Ausblick

Many functions that at one time could only be performed by humans can nowadays be carried out by machines. Automation impacts many areas of life including work, home, communication and mobility. In the driving context, in-vehicle automation is considered to provide solutions for environmental, economic, safety and societal challenges. However, automation changes the driving task and the human-machine interaction. Thus, the expected benefit of in-vehicle automation can be undermined by changes in drivers’ behaviour, i.e. behavioural adaptation. This PhD project focuses on motivational as well as higher cognitive processes underlying behavioural adaptation when interacting with in-vehicle automation. Motivational processes include the development of trust and acceptance, whereas higher cognitive processes comprise the learning process as well as the development of mental models and Situation Awareness (SA). As an example for in-vehicle automation, the advanced driver assistance system Adaptive Cruise Control (ACC) was investigated. ACC automates speed and distance control by maintaining a constant set cruising speed and automatically adjusting vehicle’s velocity in order to provide a specified distance to the preceding vehicle. However, due to sensor limitations, not every situation can be handled by the system and therefore driver intervention is required. Trust, acceptance and an appropriate mental model of the system functionality are considered key variables for adequate use and appropriate SA. To systematically investigate changes in motivational and higher cognitive processes, a driving simulator as well as an on-road study were carried out. Both of the studies were conducted using a repeated-measures design, taking into account the process character, i.e. changes over time. The main focus was on the development of trust, acceptance and the mental model of novice users when interacting with ACC. By now, only few studies have attempted to assess changes in higher level cognitive processes, due to methodological difficulties posed by the dynamic task of driving. Therefore, this PhD project aimed at the elaboration and validation of innovative methods for assessing higher cognitive processes, with an emphasis on SA and mental models. In addition, a new approach for analyzing big and heterogeneous data in social science was developed, based on the use of relational databases. The driving simulator study investigated the effect of divergent initial mental models of ACC (i.e., varying according to correctness) on trust, acceptance and mental model evolvement. A longitudinal study design was applied, using a two-way (3×3) repeated measures mixed design with a matched sample of 51 subjects. Three experimental groups received (1) a correct ACC description, (2) an incomplete and idealised account omitting potential problems, and (3) an incorrect description including non-occurring problems. All subjects drove a 56-km track of highway with an identical ACC system, three times, and within a period of 6 weeks. Results showed that after using the system, participants’ mental model of ACC converged towards the profile of the correct group. Non-experienced problems tended to disappear from the mental model network when they were not activated by experience. Trust and acceptance grew steadily for the correct condition. The same trend was observed for the group with non-occurring problems, starting from a lower initial level. Omitted problems in the incomplete group led to a constant decrease in trust and acceptance without recovery. This indicates that automation failures do not negatively affect trust and acceptance if they are known beforehand. During each drive, participants continuously completed a visual secondary task, the Surrogate Reference Task (SURT). The frequency of task completion was used as objective online-measure for SA, based on the principle that situationally aware driver would reduce the engagement in the secondary task if they expect potentially critical situations. Results showed that correctly informed drivers were aware of potential system limitations and reduced their engagement in the secondary task when such situations arose. Participants with no information about limitations became only aware after first encounter and reduced secondary task engagement in corresponding situations during subsequent trials. However, trust and acceptance in the system declined over time due to the unexpected failures. Non occurring limitations tended to drop from the mental model and resulted in reduced SA already in the second trial. The on-road study investigated the learning process, as well as the development of trust, acceptance and the mental model for interacting with ACC in real conditions. Research questions aimed to model the learning process in mathematical/statistical terms, examine moments and conditions when these processes stabilize, and assess how experience changes the mental model of the system. A sample of fifteen drivers without ACC experience drove a test vehicle with ACC ten consecutive times on the same route within a 2-month period. In contrast to the driving simulator study, all participants were fully trained in ACC functionality by reading the owner’s manual in the beginning. Results showed that learning, as well as the development of acceptance and trust in ACC follows the power law of learning, in case of comprehensive prior information on system limitations. Thus, the major part of the learning process occurred during the first interaction with the system and support in explaining the systems abilities (e.g. by tutoring systems) should therefore primarily be given during this first stage. All processes stabilized at a relatively high level after the fifth session, which corresponds to 185 km or 3.5 hours of driving. No decline was observable with ongoing system experience. However, in line with the findings from the simulator study, limitations that are not experienced tended to disappear from the mental model if they were not activated by experience. With regard to the validation of the developed methods for assessing mental models and SA, results are encouraging. The studies show that the mental model questionnaire is able to provide insights into the construction of mental models and the development over time. Likewise, the implicit measurement approach to assess SA online in the driving simulator is sensitive to user’s awareness of potentially critical situations. In terms of content, the results of the studies prove the enduring relevance of the initial mental model for the learning process, SA, as well as the development of trust, acceptance and a realistic mental model about automation capabilities and limitations. Given the importance of the initial mental model it is recommended that studies on system trust and acceptance should include, and attempt to control, users’ initial mental model of system functionality. Although the results showed that also incorrect and incomplete initial mental models converged by experience towards a realistic appreciation of system functionality, the more cognitive effort needed to update the mental model, the lower trust and acceptance. Providing an idealised description, which omits potential problems, only leads to temporarily higher trust and acceptance in the beginning. The experience of unexpected limitations results in a steady decrease in trust and acceptance over time. A trial-and-error strategy for in-vehicle automation use, without accompanying information, is therefore considered insufficient for developing stable trust and acceptance. If the mental model matches experience, trust and acceptance grow steadily following the power law of learning – regardless of the experience of system limitations. Provided that such events are known in advance, they will not cause a decrease in trust and acceptance over time. Even over-information about potential problems lowers trust and acceptance only in the beginning, and not in the long run. Potential problems should therefore not be concealed in over-idealised system descriptions; the more information given, the better, in the long run. However, limitations that are not experienced tend to disappear from the mental model. Therefore, it is recommended that users be periodically reminded of system limitations to make sure that corresponding knowledge becomes re-activated. Intelligent tutoring systems incorporated in automated systems could provide a solution. In the driving context, periodic reminders about system limitations could be shown via the multifunction displays integrated in most modern cars. Tutoring systems could also be used to remind the driver of the presence of specific in-vehicle automation systems and reveal their benefits.:Table of contents LIST OF FIGURES I LIST OF TABLES II LIST OF ABBREVIATIONS III ACKNOWLEDGEMENTS IV SUMMARY V ZUSAMMENFASSUNG VIII 1 INTRODUCTION 12 2 THEORETICAL BACKGROUND 14 2.1 BEHAVIOURAL ADAPTATION AND HIGHER COGNITIVE PROCESSES 14 2.2 VEHICLE AUTOMATION AND ADAPTIVE CRUISE CONTROL 17 2.3 MENTAL MODELS 20 2.3.1 Definition 20 2.3.2 Mental model construction and update 20 2.3.3 Discussion of existing measures 21 2.3.4 Development of the mental model questionnaire 23 2.4 SITUATION AWARENESS 24 2.4.1 Definition 24 2.4.2 Relationship between mental models and Situation Awareness 26 2.4.3 Situation Awareness as comprehension process 27 2.4.4 Discussion of existing measures 27 2.4.5 Development of the Situation Awareness measurement technique 29 2.5 LEARNING, ACCEPTANCE AND TRUST IN AUTOMATION 30 2.5.1 Power law of learning 30 2.5.2 Acceptance 31 2.5.3 Trust in automation 31 2.5.4 Related research on learning, acceptance and trust in ACC 32 3 OVERALL RESEARCH QUESTIONS 34 4 OVERALL METHODOLOGICAL CONSIDERATIONS 35 4.1 DRIVING SIMULATOR STUDIES AND ON-ROAD TESTS 35 4.2 DATABASE-FRAMEWORK FOR DATA STORAGE AND ANALYSIS 37 5 DRIVING SIMULATOR STUDY 42 5.1 AIMS AND RESEARCH QUESTIONS 42 5.2 METHOD AND MATERIAL 43 5.2.1 Sampling and participants 43 5.2.2 Research design and procedure 44 5.2.3 Facilities and driving simulator track 45 5.2.4 Secondary task SURT 46 5.2.5 System description 46 5.2.6 Dependent variables trust, acceptance and mental model 47 5.2.7 Contrast analysis 48 5.3 RESULTS 49 5.3.1 Mental model 49 5.3.2 Trust and acceptance 51 5.3.3 Situation Awareness 52 5.4 DISCUSSION 56 6 ON-ROAD STUDY 59 6.1 AIMS AND RESEARCH QUESTIONS 59 6.2 METHOD AND MATERIAL 59 6.2.1 Research design and procedure 59 6.2.2 Sampling and participants 60 6.2.3 Facilities and apparatus 60 6.2.4 Dependent variables mental model, trust, acceptance, learning and ACC usage 62 6.3 RESULTS 63 6.3.1 ACC usage 63 6.3.2 Trust and acceptance 64 6.3.3 Learning 65 6.3.4 Mental model 67 6.4 DISCUSSION 68 7 GENERAL DISCUSSION AND CONCLUSIONS 70 7.1 THEORETICAL AND PRACTICAL CONSIDERATIONS 70 7.2 METHODOLOGICAL CONSIDERATIONS 71 7.3 LIMITATIONS AND DIRECTIONS FOR FUTURE RESEARCH 74 8 REFERENCES 76 9 APPENDIX 88 9.1 QUESTIONNAIRES USED IN THE DRIVING SIMULATOR STUDY 88 9.1.1 Original German version 88 9.1.2 English translation 91 9.2 ACC DESCRIPTIONS USED IN THE DRIVING SIMULATOR STUDY 94 9.2.1 Correct description 94 9.2.2 Incomplete description 95 9.2.3 Incorrect description 96 9.3 SCHEMATIC OVERVIEW OF THE DRIVING SIMULATOR TRACK 97 9.4 QUESTIONNAIRES USED IN THE ON-ROAD STUDY 99 9.4.1 Original German version 99 9.4.2 English translation 103 9.5 SEMINAR PROGRAMME: DATABASES AS ANALYSIS TOOL IN SOCIAL SCIENCE 107 9.6 CURRICULUM VITAE AND PUBLICATIONS 109 / Viele Aufgaben, die ehemals von Menschen ausgeführt wurden, werden heute von Maschinen übernommen. Dieser Prozess der Automatisierung betrifft viele Lebensbereiche von Arbeit, Wohnen, Kommunikation bis hin zur Mobilität. Im Bereich des Individualverkehrs wird die Automatisierung von Fahrzeugen als Möglichkeit gesehen, zukünftigen Herausforderungen wirtschaftlicher, gesellschaftlicher und umweltpolitischer Art zu begegnen. Allerdings verändert Automatisierung die Fahraufgabe und die Mensch-Technik Interaktion im Fahrzeug. Daher können beispielsweise erwartete Sicherheitsgewinne automatisch agierender Assistenzsysteme durch Veränderungen im Verhalten des Fahrers geschmälert werden, was als Verhaltensanpassung (behavioural adaptation) bezeichnet wird. Dieses Dissertationsprojekt untersucht motivationale und höhere kognitive Prozesse, die Verhaltensanpassungen im Umgang mit automatisierten Fahrerassistenzsystemen zugrunde liegen. Motivationale Prozesse beinhalten die Entwicklung von Akzeptanz und Vertrauen in das System, unter höheren kognitiven Prozessen werden Lernprozesse sowie die Entwicklung von mentalen Modellen des Systems und Situationsbewusstsein (Situation Awareness) verstanden. Im Fokus der Untersuchungen steht das Fahrerassistenzsystem Adaptive Cruise Control (ACC) als ein Beispiel für Automatisierung im Fahrzeug. ACC regelt automatisch die Geschwindigkeit des Fahrzeugs, indem bei freier Fahrbahn eine eingestellte Wunschgeschwindigkeit und bei einem Vorausfahrer automatisch ein eingestellter Abstand eingehalten wird. Allerdings kann ACC aufgrund von Einschränkungen der Sensorik nicht jede Situation bewältigen, weshalb der Fahrer übernehmen muss. Für diesen Interaktionsprozess spielen Vertrauen, Akzeptanz und das mentale Modell der Systemfunktionalität eine Schlüsselrolle, um einen sicheren Umgang mit dem System und ein adäquates Situationsbewusstsein zu entwickeln. Zur systematischen Erforschung dieser motivationalen und kognitiven Prozesse wurden eine Fahrsimulatorstudie und ein Versuch im Realverkehr durchgeführt. Beide Studien wurden im Messwiederholungsdesign angelegt, um dem Prozesscharakter gerecht werden und Veränderungen über die Zeit erfassen zu können. Die Entwicklung von Vertrauen, Akzeptanz und mentalem Modell in der Interaktion mit ACC war zentraler Forschungsgegenstand beider Studien. Bislang gibt es wenige Studien, die kognitive Prozesse im Kontext der Fahrzeugführung untersucht haben, unter anderem auch wegen methodischer Schwierigkeiten in diesem dynamischen Umfeld. Daher war es ebenfalls Teil dieses Dissertationsprojekts, neue Methoden zur Erfassung höherer kognitiver Prozesse in dieser Domäne zu entwickeln, mit Fokus auf mentalen Modellen und Situationsbewusstsein. Darüber hinaus wurde auch ein neuer Ansatz für die Analyse großer und heterogener Datenmengen im sozialwissenschaftlichen Bereich entwickelt, basierend auf dem Einsatz relationaler Datenbanken. Ziel der der Fahrsimulatorstudie war die systematische Erforschung des Effekts von unterschiedlich korrekten initialen mentalen Modellen von ACC auf die weitere Entwicklung des mentalen Modells, Vertrauen und Akzeptanz des Systems. Eine Stichprobe von insgesamt 51 Probanden nahm an der Studie teil; der Versuch wurde als zweifaktorielles (3x3) gemischtes Messwiederholungsdesign konzipiert. Die 3 parallelisierten Versuchsgruppen zu je 17 Personen erhielten (1) eine korrekte Beschreibung des ACC, (2) eine idealisierte Beschreibung unter Auslassung auftretender Systemprobleme und (3) eine überkritische Beschreibung mit zusätzlichen Hinweisen auf Systemprobleme, die nie auftraten. Alle Teilnehmer befuhren insgesamt dreimal im Zeitraum von sechs Wochen dieselbe 56 km lange Autobahnstrecke im Fahrsimulator mit identischem ACC-System. Mit zunehmendem Einsatz des ACC zeigte sich im anfänglich divergierenden mentalen Modell zwischen den Gruppen eine Entwicklung hin zum mentalen Modell der korrekt informierten Gruppe. Nicht erfahrene Systemprobleme tendierten dazu, im mentalen Modell zu verblassen, wenn sie nicht durch Erfahrung reaktiviert wurden. Vertrauen und Akzeptanz stiegen stetig in der korrekt informierten Gruppe. Dieselbe Entwicklung zeigte sich auch in der überkritisch informierten Gruppe, wobei Vertrauen und Akzeptanz anfänglich niedriger waren als in der Bedingung mit korrekter Information. Verschwiegene Systemprobleme führten zu einer konstanten Abnahme von Akzeptanz und Vertrauen ohne Erholung in der Gruppe mit idealisierter Beschreibung. Diese Resultate lassen darauf schließen, dass Probleme automatisierter Systeme sich nicht zwingend negativ auf Vertrauen und Akzeptanz auswirken, sofern sie vorab bekannt sind. Bei jeder Fahrt führten die Versuchsteilnehmer zudem kontinuierlich eine visuell beanspruchende Zweitaufgabe aus, die Surrogate Reference Task (SURT). Die Frequenz der Zweitaufgabenbearbeitung diente als objektives Echtzeitmaß für das Situationsbewusstsein, basierend auf dem Ansatz, dass situationsbewusste Fahrer die Zuwendung zur Zweitaufgabe reduzieren wenn sie potentiell kritische Situationen erwarten. Die Ergebnisse zeigten, dass die korrekt informierten Fahrer sich potentiell kritischer Situationen mit möglichen Systemproblemen bewusst waren und schon im Vorfeld der Entstehung die Zweitaufgabenbearbeitung reduzierten. Teilnehmer ohne Informationen zu auftretenden Systemproblemen wurden sich solcher Situationen erst nach dem ersten Auftreten bewusst und reduzierten in entsprechenden Szenarien der Folgefahrten die Zweitaufgabenbearbeitung. Allerdings sanken Vertrauen und Akzeptanz des Systems aufgrund der unerwarteten Probleme. Erwartete, aber nicht auftretende Systemprobleme tendierten dazu, im mentalen Modell des Systems zu verblassen und resultierten in vermindertem Situationsbewusstsein bereits in der zweiten Fahrt. Im Versuch unter Realbedingungen wurden der Lernprozesses sowie die Entwicklung des mentalen Modells, Vertrauen und Akzeptanz von ACC im Realverkehr erforscht. Ziele waren die statistisch/mathematische Modellierung des Lernprozesses, die Bestimmung von Zeitpunkten der Stabilisierung dieser Prozesse und wie sich reale Systemerfahrung auf das mentale Modell von ACC auswirkt. 15 Versuchsteilnehmer ohne ACC-Erfahrung fuhren ein Serienfahrzeug mit ACC insgesamt 10-mal auf der gleichen Strecke in einem Zeitraum von 2 Monaten. Im Unterschied zur Fahrsimulatorstudie waren alle Teilnehmer korrekt über die ACC-Funktionen und Funktionsgrenzen informiert durch Lesen der entsprechenden Abschnitte im Fahrzeughandbuch am Beginn der Studie. Die Ergebnisse zeigten, dass der Lernprozess sowie die Entwicklung von Akzeptanz und Vertrauen einer klassischen Lernkurve folgen – unter der Bedingung umfassender vorheriger Information zu Systemgrenzen. Der größte Lernfortschritt ist am Beginn der Interaktion mit dem System sichtbar und daher sollten Hilfen (z.B. durch intelligente Tutorsysteme) in erster Linie zu diesem Zeitpunkt gegeben werden. Eine Stabilisierung aller Prozesse zeigte sich nach der fünften Fahrt, was einer Fahrstrecke von rund 185 km oder 3,5 Stunden Fahrzeit entspricht. Es zeigten sich keine Einbrüche in Akzeptanz, Vertrauen bzw. dem Lernprozess durch die gemachten Erfahrungen im Straßenverkehr. Allerdings zeigte sich – analog zur Fahrsimulatorstudie – auch in der Realfahrstudie ein Verblassen von nicht erfahrenen Systemgrenzen im mentalen Modell, wenn diese nicht durch Erfahrungen aktiviert wurden. Im Hinblick auf die Validierung der neu entwickelten Methoden zur Erfassung von mentalen Modellen und Situationsbewusstsein sind die Resultate vielversprechend. Die Studien zeigen, dass mit dem entwickelten Fragebogenansatz zur Quantifizierung des mentalen Modells Einblicke in Aufbau und Entwicklung mentaler Modelle gegeben werden können. Der implizite Echtzeit-Messansatz für Situationsbewusstsein im Fahrsimulator zeigt sich ebenfalls sensitiv in der Erfassung des Bewusstseins von Fahrern für potentiell kritische Situationen. Inhaltlich zeigen die Studien die nachhaltige Relevanz des initialen mentalen Modells für den Lernprozess sowie die Entwicklung von Situationsbewusstsein, Akzeptanz, Vertrauen und die weitere Ausformung eines realistischen mentalen Modells der Möglichkeiten und Grenzen automatisierter Systeme. Aufgrund dieser Relevanz wird die Einbindung und Kontrolle des initialen mentalen Modells in Studien zu automatisierten Systemen unbedingt empfohlen. Die Ergebnisse zeigen zwar, dass sich auch unvollständige bzw. falsche mentale Modelle durch Erfahrungslernen hin zu einer realistischen Einschätzung der Systemmöglichkeiten und -grenzen verändern, allerdings um den Preis sinkenden Vertrauens und abnehmender Akzeptanz. Idealisierte Systembeschreibungen ohne Hinweise auf mögliche Systemprobleme bringen nur anfänglich etwas höheres Vertrauen und Akzeptanz. Das Erleben unerwarteter Probleme führt zu einem stetigen Abfall dieser motivationalen Faktoren über die Zeit. Ein alleiniges Versuchs-Irrtums-Lernen für den Umgang mit automatisierter Assistenz im Fahrzeug ohne zusätzliche Information wird daher als nicht ausreichend für die Entwicklung stabilen Vertrauens und stabiler Akzeptanz betrachtet. Wenn das initiale mentale Modell den Erfahrungen entspricht, entwickeln sich Akzeptanz und Vertrauen gemäß einer klassischen Lernkurve – trotz erlebter Systemgrenzen. Sind diese potentiellen Probleme vorher bekannt, führen sie nicht zwingend zu einer Reduktion von Vertrauen und Akzeptanz. Auch zusätzliche überkritische Information vermindert Vertrauen und Akzeptanz nur am Beginn, aber nicht langfristig. Daher sollen potentielle Probleme in automatisierten Systemen nicht in idealisierten Beschreibungen verschwiegen werden – je präzisere Information gegeben wird, desto besser im langfristigen Verlauf. Allerdings tendieren nicht erfahrene Systemgrenzen zum Verblassen im mentalen Modell. Daher wird empfohlen, Nutzer regelmäßig an diese Systemgrenzen zu erinnern um die entsprechenden Facetten des mentalen Modells zu reaktivieren. In automatisierten Systemen integrierte intelligente Tutorsysteme könnten dafür eine Lösung bieten. Im Fahrzeugbereich könnten solche periodischen Erinnerungen an Systemgrenzen in Multifunktionsdisplays angezeigt werden, die mittlerweile in vielen modernen Fahrzeugen integriert sind. Diese Tutorsysteme können darüber hinaus auch auf die Präsenz eingebauter automatisierter Systeme hinweisen und deren Vorteile aufzeigen.:Table of contents LIST OF FIGURES I LIST OF TABLES II LIST OF ABBREVIATIONS III ACKNOWLEDGEMENTS IV SUMMARY V ZUSAMMENFASSUNG VIII 1 INTRODUCTION 12 2 THEORETICAL BACKGROUND 14 2.1 BEHAVIOURAL ADAPTATION AND HIGHER COGNITIVE PROCESSES 14 2.2 VEHICLE AUTOMATION AND ADAPTIVE CRUISE CONTROL 17 2.3 MENTAL MODELS 20 2.3.1 Definition 20 2.3.2 Mental model construction and update 20 2.3.3 Discussion of existing measures 21 2.3.4 Development of the mental model questionnaire 23 2.4 SITUATION AWARENESS 24 2.4.1 Definition 24 2.4.2 Relationship between mental models and Situation Awareness 26 2.4.3 Situation Awareness as comprehension process 27 2.4.4 Discussion of existing measures 27 2.4.5 Development of the Situation Awareness measurement technique 29 2.5 LEARNING, ACCEPTANCE AND TRUST IN AUTOMATION 30 2.5.1 Power law of learning 30 2.5.2 Acceptance 31 2.5.3 Trust in automation 31 2.5.4 Related research on learning, acceptance and trust in ACC 32 3 OVERALL RESEARCH QUESTIONS 34 4 OVERALL METHODOLOGICAL CONSIDERATIONS 35 4.1 DRIVING SIMULATOR STUDIES AND ON-ROAD TESTS 35 4.2 DATABASE-FRAMEWORK FOR DATA STORAGE AND ANALYSIS 37 5 DRIVING SIMULATOR STUDY 42 5.1 AIMS AND RESEARCH QUESTIONS 42 5.2 METHOD AND MATERIAL 43 5.2.1 Sampling and participants 43 5.2.2 Research design and procedure 44 5.2.3 Facilities and driving simulator track 45 5.2.4 Secondary task SURT 46 5.2.5 System description 46 5.2.6 Dependent variables trust, acceptance and mental model 47 5.2.7 Contrast analysis 48 5.3 RESULTS 49 5.3.1 Mental model 49 5.3.2 Trust and acceptance 51 5.3.3 Situation Awareness 52 5.4 DISCUSSION 56 6 ON-ROAD STUDY 59 6.1 AIMS AND RESEARCH QUESTIONS 59 6.2 METHOD AND MATERIAL 59 6.2.1 Research design and procedure 59 6.2.2 Sampling and participants 60 6.2.3 Facilities and apparatus 60 6.2.4 Dependent variables mental model, trust, acceptance, learning and ACC usage 62 6.3 RESULTS 63 6.3.1 ACC usage 63 6.3.2 Trust and acceptance 64 6.3.3 Learning 65 6.3.4 Mental model 67 6.4 DISCUSSION 68 7 GENERAL DISCUSSION AND CONCLUSIONS 70 7.1 THEORETICAL AND PRACTICAL CONSIDERATIONS 70 7.2 METHODOLOGICAL CONSIDERATIONS 71 7.3 LIMITATIONS AND DIRECTIONS FOR FUTURE RESEARCH 74 8 REFERENCES 76 9 APPENDIX 88 9.1 QUESTIONNAIRES USED IN THE DRIVING SIMULATOR STUDY 88 9.1.1 Original German version 88 9.1.2 English translation 91 9.2 ACC DESCRIPTIONS USED IN THE DRIVING SIMULATOR STUDY 94 9.2.1 Correct description 94 9.2.2 Incomplete description 95 9.2.3 Incorrect description 96 9.3 SCHEMATIC OVERVIEW OF THE DRIVING SIMULATOR TRACK 97 9.4 QUESTIONNAIRES USED IN THE ON-ROAD STUDY 99 9.4.1 Original German version 99 9.4.2 English translation 103 9.5 SEMINAR PROGRAMME: DATABASES AS ANALYSIS TOOL IN SOCIAL SCIENCE 107 9.6 CURRICULUM VITAE AND PUBLICATIONS 109