This research project took part in the SENA project (Autonomous Embedded Navigation System), which was developed at the Mobile Robotics Lab of the Mechatronics Group at the Engineering School of São Carlos, University of São Paulo (EESC - USP) in collaboration with the São Carlos Institute of Physics. Aiming for an autonomous behavior in the prototype vehicle this dissertation focused on deploying some machine learning algorithms to support its perception. These algorithms enabled the vehicle to execute articial-intelligence tasks, such as prediction and memory retrieval for object classication. Even though in autonomous navigation there are several perception, cognition and actuation tasks, this dissertation focused only on perception, which provides the vehicle control system with information about the environment around it. The most basic information to be provided is the existence of objects (obstacles) around the vehicle. In formation about the sort of object it is also provided, i.e., its classication among cars, pedestrians, stakes, the road, as well as the scale of such an object and its position in front of the vehicle. The environmental data was acquired by using a camera and a Velodyne LiDAR. A ceiling analysis of the object detection pipeline was used to simulate the proposed methodology. As a result, this analysis estimated that processing specic regions in the PDF Compressor Pro xii image (i.e., Regions of Interest, or RoIs), where it is more likely to nd an object, would be the best way of improving our recognition system, a process called image normalization. Consequently, experimental results in a data-fusion approach using laser data and images, in which RoIs were found using the LiDAR data, showed that the fusion approach can provide better object detection and classication compared with the use of either camera or LiDAR alone. Deploying a data-fusion classication using RoI method can be executed at 6 Hz and with 100% precision in pedestrians and 92.3% in cars. The fusion also enabled road estimation even when there were shadows and colored road markers in the image. Vision-based classier supported by LiDAR data provided a good solution for multi-scale object detection and even for the non-uniform illumination problem. / Este projeto de pesquisa fez parte do projeto SENA (Sistema Embarcado de Navegação Autônoma), ele foi realizado no Laboratório de Robótica Móvel do Grupo de Mecatrônica da Escola de Engenharia de São Carlos (EESC), em colaboração com o Instituto de Física de São Carlos (IFSC). A grande motivação do projeto SENA é o desenvolvimento de tecnologias assistidas e autônomas que possam atender às necessidades de diferentes tipos de motoristas (inexperientes, idosos, portadores de limitações, etc.). Vislumbra-se que a aplicação em larga escala desse tipo de tecnologia, em um futuro próximo, certamente reduzirá drasticamente a quantidade de pessoas feridas e mortas em acidentes automobilísticos em estradas e em ambientes urbanos. Nesse contexto, este projeto de pesquisa teve como objetivo proporcionar informações relativas ao ambiente ao redor do veículo, ao sistema de controle e de tomada de decisão embarcado no veículo autônomo. As informações mais básicas fornecidas são as posições dos objetos (obstáculos) ao redor do veículo; além disso, informações como o tipo de objeto (ou seja, sua classificação em carros, pedestres, postes e a própria rua mesma), assim como o tamanho deles. Os dados do ambiente são adquiridos através do emprego de uma câmera e um Velodyne LiDAR. Um estudo do tipo ceiling foi usado para simular a metodologia da detecção dos obstáculos. Estima-se que , após realizar o estudo, que analisar regiões especificas da imagem, chamadas de regiões de interesse, onde é mais provável encontrar um obstáculo, é o melhor jeito de melhorar o sistema de reconhecimento. Observou-se na implementação da fusão dos sensores que encontrar regiões de interesse usando LiDAR, e classificá-las usando visão artificial fornece um melhor resultado na hora de compará-lo com os resultados ao usar apenas câmera ou LiDAR. Obteve-se uma classificação com precisão de 100% para pedestres e 92,3% para carros, rodando em uma frequência de 6 Hz. A fusão dos sensores também forneceu um método para estimar a estrada mesmo quando esta tinha sombra ou faixas de cor. Em geral, a classificação baseada em visão artificial e LiDAR mostrou uma solução para detecção de objetos em várias escalas e mesmo para o problema da iluminação não uniforme do ambiente.

Annually, road accidents cause more than 1.2 million deaths, 50 million injuries, and US$ 518 billion of economic cost globally. About 90% of the accidents occur due to human errors such as bad awareness, distraction, drowsiness, low training, fatigue etc. These human errors can be minimized by using advanced driver assistance system (ADAS) which actively monitors the driving environment and alerts a driver to the forthcoming danger, for example adaptive cruise control, blind spot detection, parking assistance, forward collision warning, lane departure warning, driver drowsiness detection, and traffic sign recognition etc. Unfortunately, these systems are provided only with modern luxury cars because they are very expensive due to numerous sensors employed. Therefore, camera-based ADAS are being seen as an alternative because a camera has much lower cost, higher availability, can be used for multiple applications and ability to integrate with other systems. Aiming at developing a camera-based ADAS, we have performed an ethnographic study of drivers in order to find what information about the surroundings could be helpful for drivers to avoid accidents. Our study shows that information on speed, distance, relative position, direction, and size & type of the nearby vehicles & other objects would be useful for drivers, and sufficient for implementing most of the ADAS functions. After considering available technologies such as radar, sonar, lidar, GPS, and video-based analysis, we conclude that video-based analysis is the fittest technology that provides all the essential support required for implementing ADAS functions at very low cost. Finally, we have proposed a Smart-Dashboard system that puts technologies – such as camera, digital image processor, and thin display – into a smart system to offer all advanced driver assistance functions. A basic prototype, demonstrating three functions only, is implemented in order to show that a full-fledged camera-based ADAS can be implemented using MATLAB. / Phone# 00966-56-00-56-471

No description available.

No description available.

<p dir="ltr">Approaches to system testing and evaluation (T&E) are becoming increasingly relevant as artificial intelligence (AI)/machine learning (ML) technology expands across the industry’s current landscape. As the AI/ML landscape continues to develop, greater amounts of data are required to build the next generation of technology. Multiple communities have worked to create frameworks to interact with such scales of data, yet a gap persists in the ability to utilize data generated throughout the development process to support the for use in a T&E program. The objective of this thesis is to address this gap through a multi-fidelity approach to the test and evaluation of AI-enabled systems. This approach is constructed using a space of models to visualize similarities and differences between each individual model. Once requirements and potential tests that models can be employed to fulfill are organized, a method to sequentially select models for testing is utilized. Models are selected to maximize utility, dependent on model performance and cost to the T&E team. Experimentation was conducted through the case of an autonomous vehicle (AV) perception system, where models were constructed using a simulation of the Purdue University campus for AVs to drive around. Results show that the proposed approach, when paired with Bayesian Optimization for sequential test selection through an expected improvement acquisition function, can effectively select models in a manner that works to minimize uncertainty and cost for the test team. Through computational experiments, the proposed approach can be used to develop test combinations that minimize costs and maximize utility while maximizing the information a T&E team has on how well a system can meet a set of testing requirements in operational conditions.</p>

Technology pervades our daily living, and is increasingly integrated into the vehicle – directly affecting driving. On the one hand technology such as cell phones provoke driver distraction and inattention, whereas, on the other hand, Advanced Driver Assistance Systems (ADAS) support the driver in the driving task. The question is, can a driver successfully adapt to the ever growing technological advancements? Thus, this thesis aimed at improving safe driver behaviour by understanding the underlying psychological mechanisms that influence behavioural change. Previous research on ADAS and human attention was reviewed in the context of driver behavioural adaptation. Empirical data from multiple data sources such as driving performance data, visual behaviour data, video footage, and subjective data were analyzed to evaluate two ADAS (a brake-capacity forward collision warning system, B-FCW, and a Visual Distraction Alert System, VDA-System). Results from a field operational test (EuroFOT) showed that brake-capacity forward collision warnings lead to immediate attention allocation toward the roadway and drivers hit the brake, yet change their initial response later on by directing their eyes toward the warning source in the instrument cluster. A similar phenomenon of drivers changing initial behaviour was found in a driving simulator study assessing a Visual Distraction Alert System. Analysis showed that a Visual Distraction Alert System successfully assists drivers in redirecting attention to the relevant aspects of the driving task and significantly improves driving performance. The effects are discussed with regard to behavioural adaptation, calibration and system acceptance. Based on these findings a novel assessment for human-machine-interaction (HMI) of ADAS was introduced. Based on the contribution of this thesis and previous best-practices, a holistic safety management model on accident prevention strategies (before, during and after driving) was developed. The DO-IT BEST Feedback Model is a comprehensive feedback strategy including driver feedback at various time scales and therefore is expected to provide an added benefit for distraction and inattention prevention. The central contributions of this work are to advance research in the field of traffic psychology in the context of attention allocation strategies, and to improve the ability to design future safety systems with the human factor in focus. The thesis consists of the introduction of the conducted research, six publications in full text and a comprehensive conclusion of the publications. In brief this thesis intends to improve safe driver behaviour by understanding the underlying psychological mechanisms that influence behavioral change, thereby resulting in more attention allocation to the forward roadway, and improved vehicle control. / Technologie durchdringt unser tägliches Leben und ist zunehmend integriert in Fahrzeuge – das Resultat sind veränderte Anforderungen an Fahrzeugführer. Einerseits besteht die Gefahr, dass er durch die Bedienung innovativer Technologien (z.B. Mobiltelefone) unachtsam wird und visuell abgelenkt ist, andererseits kann die Nutzung von Fahrerassistenzsystemen die den Fahrer bei der Fahraufgabe unterstützten einen wertvollen Beitrag zur Fahrsicherheit bieten. Die steigende Aktualität beider Problematiken wirft die Frage auf: "Kann der Fahrer sich erfolgreich dem ständig wachsenden technologischen Fortschritt anpassen?" Das Ziel der vorliegenden Arbeit ist der Erkenntnisgewinn zur Verbesserung des Fahrverhaltens indem der Verhaltensänderungen zugrunde liegende psychologische Mechanismen untersucht werden. Eine Vielzahl an Literatur zu Fahrerassistenzsystemen und Aufmerksamkeitsverteilung wurde vor dem Hintergrund von Verhaltensanpassung der Fahrer recherchiert. Daten mehrerer empirischer Quellen, z. B. Fahrverhalten, Blickbewegungen, Videomitschnitte und subjektive Daten dienten zur Datenauswertung zweier Fahrerassistenzsysteme. Im Rahmen einer Feldstudie zeigte sich, dass Bremskapazitäts-Kollisionswarnungen zur sofortigen visuellen Aufmerksamkeitsverteilung zur Fahrbahn und zum Bremsen führen, Fahrer allerdings ihre Reaktion anpassen indem sie zur Warnanzeige im Kombinationsinstrument schauen. Ein anderes Phänomen der Verhaltensanpassung wurde in einer Fahrsimulatorstudie zur Untersuchung eines Ablenkungswarnsystems, das dabei hilft die Blicke von Autofahrern stets auf die Straße zu lenken, gefunden. Diese Ergebnisse weisen nach, dass solch ein System unterstützt achtsamer zu sein und sicherer zu fahren. Die vorliegenden Befunde wurden im Zusammenhang zu Vorbefunden zur Verhaltensanpassung zu Fahrerassistenzsystemen, Fahrerkalibrierung und Akzeptanz von Technik diskutiert. Basierend auf den gewonnenen Erkenntnissen wurde ein neues Vorgehen zur Untersuchung von Mensch- Maschine-Interaktion eingeführt. Aufbauend auf den Resultaten der vorliegenden Arbeit wurde ein ganzheitliches Modell zur Fahrsicherheit und -management, das DO-IT BEST Feedback Modell, entwickelt. Das Modell bezieht sich auf multitemporale Fahrer-Feedbackstrategien und soll somit einen entscheidenen Beitrag zur Verkehrssicherheit und dem Umgang mit Fahrerunaufmerksamkeit leisten. Die zentralen Beiträge dieser Arbeit sind die Gewinnung neuer Erkenntnisse in den Bereichen der Angewandten Psychologie und der Verkehrspsychologie in den Kontexten der Aufmerksamkeitsverteilung und der Verbesserung der Gestaltung von Fahrerassistenzsystemen fokusierend auf den Bediener. Die Dissertation besteht aus einem Einleitungsteil, drei empirischen Beiträgen sowie drei Buchkapiteln und einer abschliessenden Zusammenfassung.

Les systèmes d'aide à la conduite (ADAS) ont pour objectif d'assister le conducteur et en particulier d'améliorer la sécurité routière. Pour cela, différents capteurs sont généralement embarqués dans les véhicules afin, par exemple, d'avertir le conducteur en cas de danger présent sur la route. L'utilisation de capteurs de type caméra est une solution économiquement avantageuse et de nombreux ADAS à base de caméra voient le jour. Malheureusement, les performances de tels systèmes se dégradent en présence de conditions météorologiques défavorables, notamment en présence de brouillard ou de pluie, ce qui obligerait à les désactiver temporairement par crainte de résultats erronés. Hors, c'est précisément dans ces conditions difficiles que le conducteur aurait potentiellement le plus besoin d'être assisté. Une fois les conditions météorologiques détectées et caractérisées par vision embarquée, nous proposons dans cette thèse de restaurer l'image dégradée à la sortie du capteur afin de fournir aux ADAS un signal de meilleure qualité et donc d'étendre la gamme de fonctionnement de ces systèmes. Dans l'état de l'art, il existe plusieurs approches traitant la restauration d'images, parmi lesquelles certaines sont dédiées à nos problématiques de brouillard ou de pluie, et d'autres sont plus générales : débruitage, rehaussement du contraste ou de la couleur, "inpainting"... Nous proposons dans cette thèse de combiner les deux familles d'approches. Dans le cas du brouillard notre contribution est de tirer profit de deux types d'approches (physique et signal) afin de proposer une nouvelle méthode automatique et adaptée au cas d'images routières. Nous avons évalué notre méthode à l'aide de critères ad hoc (courbes ROC, contraste visibles à 5 %, évaluation sur ADAS) appliqués sur des bases de données d'images de synthèse et réelles. Dans le cas de la pluie, une fois les gouttes présentes sur le pare-brise détectées, nous reconstituons les parties masquées de l'image à l'aide d'une méthode d'"inpainting" fondée sur les équations aux dérivées partielles. Les paramètres de la méthode ont été optimisés sur des images routières. Enfin, nous montrons qu'il est possible grâce à cette approche de construire trois types d'applications : prétraitement, traitement et assistance. Dans chaque famille, nous avons proposé et évalué une application spécifique : détection des panneaux dans le brouillard ; détection de l'espace navigable dans le brouillard ; affichage de l'image restaurée au conducteur.

<div>With more and more videos taken from dash cams on thousands of cars, retrieving these videos and searching for important information is a daunting task. The purpose of this work is to mine some key road and vehicle motion attributes in a large-scale driving video data set for traffic analysis, sensing algorithm development and autonomous driving test benchmarks. Current sensing and control of autonomous cars based on full-view identification makes it difficult to maintain a high-frequency with a fast-moving vehicle, since computation is increasingly used to cope with driving environment changes.</div><div><br></div><div>A big challenge in video data mining is how to deal with huge amounts of data. We use a compact representation called the road profile system to visualize the road environment in long 2D images. It reduces the data from each frame of image to one line, thereby compressing the video clip to the image. This data dimensionality reduction method has several advantages: First, the data size is greatly compressed. The data is compressed from a video to an image, and each frame in the video is compressed into a line. The data size is compressed hundreds of times. While the size and dimensionality of the data has been compressed greatly, the useful information in the driving video is still completely preserved, and motion information is even better represented more intuitively. Because of the data and dimensionality reduction, the identification algorithm computational efficiency is higher than the full-view identification method, and it makes the real-time identification on road is possible. Second, the data is easier to be visualized, because the data is reduced in dimensionality, and the three-dimensional video data is compressed into two-dimensional data, the reduction is more conducive to the visualization and mutual comparison of the data. Third, continuously changing attributes are easier to show and be captured. Due to the more convenient visualization of two-dimensional data, the position, color and size of the same object within a few frames will be easier to compare and capture. At the same time, in many cases, the trouble caused by tracking and matching can be eliminated. Based on the road profile system, there are three tasks in autonomous driving are achieved using the road profile images.</div><div><br></div><div>The first application is road edge detection under different weather and appearance for road following in autonomous driving to capture the road profile image and linearity profile image in the road profile system. This work uses naturalistic driving video data mining to study the appearance of roads, which covers large-scale road data and changes. This work excavated a large number of naturalistic driving video sets to sample the light-sensitive area for color feature distribution. The effective road contour image is extracted from the long-time driving video, thereby greatly reducing the amount of video data. Then, the weather and lighting type can be identified. For each weather and lighting condition obvious features are I identified at the edge of the road to distinguish the road edge. </div><div><br></div><div>The second application is detecting vehicle interactions in driving videos via motion profile images to capture the motion profile image in the road profile system. This work uses visual actions recorded in driving videos taken by a dashboard camera to identify this interaction. The motion profile images of the video are filtered at key locations, thereby reducing the complexity of object detection, depth sensing, target tracking and motion estimation. The purpose of this reduction is for decision making of vehicle actions such as lane changing, vehicle following, and cut-in handling.</div><div><br></div><div>The third application is motion planning based on vehicle interactions and driving video. Taking note of the fact that a car travels in a straight line, we simply identify a few sample lines in the view to constantly scan the road, vehicles, and environment, generating a portion of the entire video data. Without using redundant data processing, we performed semantic segmentation to streaming road profile images. We plan the vehicle's path/motion using the smallest data set possible that contains all necessary information for driving.</div><div><br></div><div>The results are obtained efficiently, and the accuracy is acceptable. The results can be used for driving video mining, traffic analysis, driver behavior understanding, etc.</div>

Technology pervades our daily living, and is increasingly integrated into the vehicle – directly affecting driving. On the one hand technology such as cell phones provoke driver distraction and inattention, whereas, on the other hand, Advanced Driver Assistance Systems (ADAS) support the driver in the driving task. The question is, can a driver successfully adapt to the ever growing technological advancements? Thus, this thesis aimed at improving safe driver behaviour by understanding the underlying psychological mechanisms that influence behavioural change. Previous research on ADAS and human attention was reviewed in the context of driver behavioural adaptation. Empirical data from multiple data sources such as driving performance data, visual behaviour data, video footage, and subjective data were analyzed to evaluate two ADAS (a brake-capacity forward collision warning system, B-FCW, and a Visual Distraction Alert System, VDA-System). Results from a field operational test (EuroFOT) showed that brake-capacity forward collision warnings lead to immediate attention allocation toward the roadway and drivers hit the brake, yet change their initial response later on by directing their eyes toward the warning source in the instrument cluster. A similar phenomenon of drivers changing initial behaviour was found in a driving simulator study assessing a Visual Distraction Alert System. Analysis showed that a Visual Distraction Alert System successfully assists drivers in redirecting attention to the relevant aspects of the driving task and significantly improves driving performance. The effects are discussed with regard to behavioural adaptation, calibration and system acceptance. Based on these findings a novel assessment for human-machine-interaction (HMI) of ADAS was introduced. Based on the contribution of this thesis and previous best-practices, a holistic safety management model on accident prevention strategies (before, during and after driving) was developed. The DO-IT BEST Feedback Model is a comprehensive feedback strategy including driver feedback at various time scales and therefore is expected to provide an added benefit for distraction and inattention prevention. The central contributions of this work are to advance research in the field of traffic psychology in the context of attention allocation strategies, and to improve the ability to design future safety systems with the human factor in focus. The thesis consists of the introduction of the conducted research, six publications in full text and a comprehensive conclusion of the publications. In brief this thesis intends to improve safe driver behaviour by understanding the underlying psychological mechanisms that influence behavioral change, thereby resulting in more attention allocation to the forward roadway, and improved vehicle control.:Abstract i Zusammenfassung iii List of included publications v Acknowledgements vii Previously published work ix Table of contents xi Preface xii 1 Chapter 1 Introduction 1 1.1 Outline 1 1.2 Objectives 2 1.3 Background 8 1.3.1 Behavioural adaption to ADAS 8 1.3.2 Driver distraction and inattention 9 2 Chapter 2 Paper I 23 3 Chapter 3 Paper II 47 4 Chapter 4 Paper III 61 5 Chapter 5 Paper IV 91 6 Chapter 6 Paper V 117 7 Chapter 7 Paper VI 143 8 Chapter 8 Conclusions and discussion 161 8.1. Contributions 161 8.2. Implications 171 8.3. Limitations and research needs 173 9 References 177 Curriculum Vitae 199 Eidesstattliche Erklärung 201 / Technologie durchdringt unser tägliches Leben und ist zunehmend integriert in Fahrzeuge – das Resultat sind veränderte Anforderungen an Fahrzeugführer. Einerseits besteht die Gefahr, dass er durch die Bedienung innovativer Technologien (z.B. Mobiltelefone) unachtsam wird und visuell abgelenkt ist, andererseits kann die Nutzung von Fahrerassistenzsystemen die den Fahrer bei der Fahraufgabe unterstützten einen wertvollen Beitrag zur Fahrsicherheit bieten. Die steigende Aktualität beider Problematiken wirft die Frage auf: "Kann der Fahrer sich erfolgreich dem ständig wachsenden technologischen Fortschritt anpassen?" Das Ziel der vorliegenden Arbeit ist der Erkenntnisgewinn zur Verbesserung des Fahrverhaltens indem der Verhaltensänderungen zugrunde liegende psychologische Mechanismen untersucht werden. Eine Vielzahl an Literatur zu Fahrerassistenzsystemen und Aufmerksamkeitsverteilung wurde vor dem Hintergrund von Verhaltensanpassung der Fahrer recherchiert. Daten mehrerer empirischer Quellen, z. B. Fahrverhalten, Blickbewegungen, Videomitschnitte und subjektive Daten dienten zur Datenauswertung zweier Fahrerassistenzsysteme. Im Rahmen einer Feldstudie zeigte sich, dass Bremskapazitäts-Kollisionswarnungen zur sofortigen visuellen Aufmerksamkeitsverteilung zur Fahrbahn und zum Bremsen führen, Fahrer allerdings ihre Reaktion anpassen indem sie zur Warnanzeige im Kombinationsinstrument schauen. Ein anderes Phänomen der Verhaltensanpassung wurde in einer Fahrsimulatorstudie zur Untersuchung eines Ablenkungswarnsystems, das dabei hilft die Blicke von Autofahrern stets auf die Straße zu lenken, gefunden. Diese Ergebnisse weisen nach, dass solch ein System unterstützt achtsamer zu sein und sicherer zu fahren. Die vorliegenden Befunde wurden im Zusammenhang zu Vorbefunden zur Verhaltensanpassung zu Fahrerassistenzsystemen, Fahrerkalibrierung und Akzeptanz von Technik diskutiert. Basierend auf den gewonnenen Erkenntnissen wurde ein neues Vorgehen zur Untersuchung von Mensch- Maschine-Interaktion eingeführt. Aufbauend auf den Resultaten der vorliegenden Arbeit wurde ein ganzheitliches Modell zur Fahrsicherheit und -management, das DO-IT BEST Feedback Modell, entwickelt. Das Modell bezieht sich auf multitemporale Fahrer-Feedbackstrategien und soll somit einen entscheidenen Beitrag zur Verkehrssicherheit und dem Umgang mit Fahrerunaufmerksamkeit leisten. Die zentralen Beiträge dieser Arbeit sind die Gewinnung neuer Erkenntnisse in den Bereichen der Angewandten Psychologie und der Verkehrspsychologie in den Kontexten der Aufmerksamkeitsverteilung und der Verbesserung der Gestaltung von Fahrerassistenzsystemen fokusierend auf den Bediener. Die Dissertation besteht aus einem Einleitungsteil, drei empirischen Beiträgen sowie drei Buchkapiteln und einer abschliessenden Zusammenfassung.:Abstract i Zusammenfassung iii List of included publications v Acknowledgements vii Previously published work ix Table of contents xi Preface xii 1 Chapter 1 Introduction 1 1.1 Outline 1 1.2 Objectives 2 1.3 Background 8 1.3.1 Behavioural adaption to ADAS 8 1.3.2 Driver distraction and inattention 9 2 Chapter 2 Paper I 23 3 Chapter 3 Paper II 47 4 Chapter 4 Paper III 61 5 Chapter 5 Paper IV 91 6 Chapter 6 Paper V 117 7 Chapter 7 Paper VI 143 8 Chapter 8 Conclusions and discussion 161 8.1. Contributions 161 8.2. Implications 171 8.3. Limitations and research needs 173 9 References 177 Curriculum Vitae 199 Eidesstattliche Erklärung 201

Many functions that at one time could only be performed by humans can nowadays be carried out by machines. Automation impacts many areas of life including work, home, communication and mobility. In the driving context, in-vehicle automation is considered to provide solutions for environmental, economic, safety and societal challenges. However, automation changes the driving task and the human-machine interaction. Thus, the expected benefit of in-vehicle automation can be undermined by changes in drivers’ behaviour, i.e. behavioural adaptation. This PhD project focuses on motivational as well as higher cognitive processes underlying behavioural adaptation when interacting with in-vehicle automation. Motivational processes include the development of trust and acceptance, whereas higher cognitive processes comprise the learning process as well as the development of mental models and Situation Awareness (SA). As an example for in-vehicle automation, the advanced driver assistance system Adaptive Cruise Control (ACC) was investigated. ACC automates speed and distance control by maintaining a constant set cruising speed and automatically adjusting vehicle’s velocity in order to provide a specified distance to the preceding vehicle. However, due to sensor limitations, not every situation can be handled by the system and therefore driver intervention is required. Trust, acceptance and an appropriate mental model of the system functionality are considered key variables for adequate use and appropriate SA. To systematically investigate changes in motivational and higher cognitive processes, a driving simulator as well as an on-road study were carried out. Both of the studies were conducted using a repeated-measures design, taking into account the process character, i.e. changes over time. The main focus was on the development of trust, acceptance and the mental model of novice users when interacting with ACC. By now, only few studies have attempted to assess changes in higher level cognitive processes, due to methodological difficulties posed by the dynamic task of driving. Therefore, this PhD project aimed at the elaboration and validation of innovative methods for assessing higher cognitive processes, with an emphasis on SA and mental models. In addition, a new approach for analyzing big and heterogeneous data in social science was developed, based on the use of relational databases. The driving simulator study investigated the effect of divergent initial mental models of ACC (i.e., varying according to correctness) on trust, acceptance and mental model evolvement. A longitudinal study design was applied, using a two-way (3×3) repeated measures mixed design with a matched sample of 51 subjects. Three experimental groups received (1) a correct ACC description, (2) an incomplete and idealised account omitting potential problems, and (3) an incorrect description including non-occurring problems. All subjects drove a 56-km track of highway with an identical ACC system, three times, and within a period of 6 weeks. Results showed that after using the system, participants’ mental model of ACC converged towards the profile of the correct group. Non-experienced problems tended to disappear from the mental model network when they were not activated by experience. Trust and acceptance grew steadily for the correct condition. The same trend was observed for the group with non-occurring problems, starting from a lower initial level. Omitted problems in the incomplete group led to a constant decrease in trust and acceptance without recovery. This indicates that automation failures do not negatively affect trust and acceptance if they are known beforehand. During each drive, participants continuously completed a visual secondary task, the Surrogate Reference Task (SURT). The frequency of task completion was used as objective online-measure for SA, based on the principle that situationally aware driver would reduce the engagement in the secondary task if they expect potentially critical situations. Results showed that correctly informed drivers were aware of potential system limitations and reduced their engagement in the secondary task when such situations arose. Participants with no information about limitations became only aware after first encounter and reduced secondary task engagement in corresponding situations during subsequent trials. However, trust and acceptance in the system declined over time due to the unexpected failures. Non occurring limitations tended to drop from the mental model and resulted in reduced SA already in the second trial. The on-road study investigated the learning process, as well as the development of trust, acceptance and the mental model for interacting with ACC in real conditions. Research questions aimed to model the learning process in mathematical/statistical terms, examine moments and conditions when these processes stabilize, and assess how experience changes the mental model of the system. A sample of fifteen drivers without ACC experience drove a test vehicle with ACC ten consecutive times on the same route within a 2-month period. In contrast to the driving simulator study, all participants were fully trained in ACC functionality by reading the owner’s manual in the beginning. Results showed that learning, as well as the development of acceptance and trust in ACC follows the power law of learning, in case of comprehensive prior information on system limitations. Thus, the major part of the learning process occurred during the first interaction with the system and support in explaining the systems abilities (e.g. by tutoring systems) should therefore primarily be given during this first stage. All processes stabilized at a relatively high level after the fifth session, which corresponds to 185 km or 3.5 hours of driving. No decline was observable with ongoing system experience. However, in line with the findings from the simulator study, limitations that are not experienced tended to disappear from the mental model if they were not activated by experience. With regard to the validation of the developed methods for assessing mental models and SA, results are encouraging. The studies show that the mental model questionnaire is able to provide insights into the construction of mental models and the development over time. Likewise, the implicit measurement approach to assess SA online in the driving simulator is sensitive to user’s awareness of potentially critical situations. In terms of content, the results of the studies prove the enduring relevance of the initial mental model for the learning process, SA, as well as the development of trust, acceptance and a realistic mental model about automation capabilities and limitations. Given the importance of the initial mental model it is recommended that studies on system trust and acceptance should include, and attempt to control, users’ initial mental model of system functionality. Although the results showed that also incorrect and incomplete initial mental models converged by experience towards a realistic appreciation of system functionality, the more cognitive effort needed to update the mental model, the lower trust and acceptance. Providing an idealised description, which omits potential problems, only leads to temporarily higher trust and acceptance in the beginning. The experience of unexpected limitations results in a steady decrease in trust and acceptance over time. A trial-and-error strategy for in-vehicle automation use, without accompanying information, is therefore considered insufficient for developing stable trust and acceptance. If the mental model matches experience, trust and acceptance grow steadily following the power law of learning – regardless of the experience of system limitations. Provided that such events are known in advance, they will not cause a decrease in trust and acceptance over time. Even over-information about potential problems lowers trust and acceptance only in the beginning, and not in the long run. Potential problems should therefore not be concealed in over-idealised system descriptions; the more information given, the better, in the long run. However, limitations that are not experienced tend to disappear from the mental model. Therefore, it is recommended that users be periodically reminded of system limitations to make sure that corresponding knowledge becomes re-activated. Intelligent tutoring systems incorporated in automated systems could provide a solution. In the driving context, periodic reminders about system limitations could be shown via the multifunction displays integrated in most modern cars. Tutoring systems could also be used to remind the driver of the presence of specific in-vehicle automation systems and reveal their benefits. / Viele Aufgaben, die ehemals von Menschen ausgeführt wurden, werden heute von Maschinen übernommen. Dieser Prozess der Automatisierung betrifft viele Lebensbereiche von Arbeit, Wohnen, Kommunikation bis hin zur Mobilität. Im Bereich des Individualverkehrs wird die Automatisierung von Fahrzeugen als Möglichkeit gesehen, zukünftigen Herausforderungen wirtschaftlicher, gesellschaftlicher und umweltpolitischer Art zu begegnen. Allerdings verändert Automatisierung die Fahraufgabe und die Mensch-Technik Interaktion im Fahrzeug. Daher können beispielsweise erwartete Sicherheitsgewinne automatisch agierender Assistenzsysteme durch Veränderungen im Verhalten des Fahrers geschmälert werden, was als Verhaltensanpassung (behavioural adaptation) bezeichnet wird. Dieses Dissertationsprojekt untersucht motivationale und höhere kognitive Prozesse, die Verhaltensanpassungen im Umgang mit automatisierten Fahrerassistenzsystemen zugrunde liegen. Motivationale Prozesse beinhalten die Entwicklung von Akzeptanz und Vertrauen in das System, unter höheren kognitiven Prozessen werden Lernprozesse sowie die Entwicklung von mentalen Modellen des Systems und Situationsbewusstsein (Situation Awareness) verstanden. Im Fokus der Untersuchungen steht das Fahrerassistenzsystem Adaptive Cruise Control (ACC) als ein Beispiel für Automatisierung im Fahrzeug. ACC regelt automatisch die Geschwindigkeit des Fahrzeugs, indem bei freier Fahrbahn eine eingestellte Wunschgeschwindigkeit und bei einem Vorausfahrer automatisch ein eingestellter Abstand eingehalten wird. Allerdings kann ACC aufgrund von Einschränkungen der Sensorik nicht jede Situation bewältigen, weshalb der Fahrer übernehmen muss. Für diesen Interaktionsprozess spielen Vertrauen, Akzeptanz und das mentale Modell der Systemfunktionalität eine Schlüsselrolle, um einen sicheren Umgang mit dem System und ein adäquates Situationsbewusstsein zu entwickeln. Zur systematischen Erforschung dieser motivationalen und kognitiven Prozesse wurden eine Fahrsimulatorstudie und ein Versuch im Realverkehr durchgeführt. Beide Studien wurden im Messwiederholungsdesign angelegt, um dem Prozesscharakter gerecht werden und Veränderungen über die Zeit erfassen zu können. Die Entwicklung von Vertrauen, Akzeptanz und mentalem Modell in der Interaktion mit ACC war zentraler Forschungsgegenstand beider Studien. Bislang gibt es wenige Studien, die kognitive Prozesse im Kontext der Fahrzeugführung untersucht haben, unter anderem auch wegen methodischer Schwierigkeiten in diesem dynamischen Umfeld. Daher war es ebenfalls Teil dieses Dissertationsprojekts, neue Methoden zur Erfassung höherer kognitiver Prozesse in dieser Domäne zu entwickeln, mit Fokus auf mentalen Modellen und Situationsbewusstsein. Darüber hinaus wurde auch ein neuer Ansatz für die Analyse großer und heterogener Datenmengen im sozialwissenschaftlichen Bereich entwickelt, basierend auf dem Einsatz relationaler Datenbanken. Ziel der der Fahrsimulatorstudie war die systematische Erforschung des Effekts von unterschiedlich korrekten initialen mentalen Modellen von ACC auf die weitere Entwicklung des mentalen Modells, Vertrauen und Akzeptanz des Systems. Eine Stichprobe von insgesamt 51 Probanden nahm an der Studie teil; der Versuch wurde als zweifaktorielles (3x3) gemischtes Messwiederholungsdesign konzipiert. Die 3 parallelisierten Versuchsgruppen zu je 17 Personen erhielten (1) eine korrekte Beschreibung des ACC, (2) eine idealisierte Beschreibung unter Auslassung auftretender Systemprobleme und (3) eine überkritische Beschreibung mit zusätzlichen Hinweisen auf Systemprobleme, die nie auftraten. Alle Teilnehmer befuhren insgesamt dreimal im Zeitraum von sechs Wochen dieselbe 56 km lange Autobahnstrecke im Fahrsimulator mit identischem ACC-System. Mit zunehmendem Einsatz des ACC zeigte sich im anfänglich divergierenden mentalen Modell zwischen den Gruppen eine Entwicklung hin zum mentalen Modell der korrekt informierten Gruppe. Nicht erfahrene Systemprobleme tendierten dazu, im mentalen Modell zu verblassen, wenn sie nicht durch Erfahrung reaktiviert wurden. Vertrauen und Akzeptanz stiegen stetig in der korrekt informierten Gruppe. Dieselbe Entwicklung zeigte sich auch in der überkritisch informierten Gruppe, wobei Vertrauen und Akzeptanz anfänglich niedriger waren als in der Bedingung mit korrekter Information. Verschwiegene Systemprobleme führten zu einer konstanten Abnahme von Akzeptanz und Vertrauen ohne Erholung in der Gruppe mit idealisierter Beschreibung. Diese Resultate lassen darauf schließen, dass Probleme automatisierter Systeme sich nicht zwingend negativ auf Vertrauen und Akzeptanz auswirken, sofern sie vorab bekannt sind. Bei jeder Fahrt führten die Versuchsteilnehmer zudem kontinuierlich eine visuell beanspruchende Zweitaufgabe aus, die Surrogate Reference Task (SURT). Die Frequenz der Zweitaufgabenbearbeitung diente als objektives Echtzeitmaß für das Situationsbewusstsein, basierend auf dem Ansatz, dass situationsbewusste Fahrer die Zuwendung zur Zweitaufgabe reduzieren wenn sie potentiell kritische Situationen erwarten. Die Ergebnisse zeigten, dass die korrekt informierten Fahrer sich potentiell kritischer Situationen mit möglichen Systemproblemen bewusst waren und schon im Vorfeld der Entstehung die Zweitaufgabenbearbeitung reduzierten. Teilnehmer ohne Informationen zu auftretenden Systemproblemen wurden sich solcher Situationen erst nach dem ersten Auftreten bewusst und reduzierten in entsprechenden Szenarien der Folgefahrten die Zweitaufgabenbearbeitung. Allerdings sanken Vertrauen und Akzeptanz des Systems aufgrund der unerwarteten Probleme. Erwartete, aber nicht auftretende Systemprobleme tendierten dazu, im mentalen Modell des Systems zu verblassen und resultierten in vermindertem Situationsbewusstsein bereits in der zweiten Fahrt. Im Versuch unter Realbedingungen wurden der Lernprozesses sowie die Entwicklung des mentalen Modells, Vertrauen und Akzeptanz von ACC im Realverkehr erforscht. Ziele waren die statistisch/mathematische Modellierung des Lernprozesses, die Bestimmung von Zeitpunkten der Stabilisierung dieser Prozesse und wie sich reale Systemerfahrung auf das mentale Modell von ACC auswirkt. 15 Versuchsteilnehmer ohne ACC-Erfahrung fuhren ein Serienfahrzeug mit ACC insgesamt 10-mal auf der gleichen Strecke in einem Zeitraum von 2 Monaten. Im Unterschied zur Fahrsimulatorstudie waren alle Teilnehmer korrekt über die ACC-Funktionen und Funktionsgrenzen informiert durch Lesen der entsprechenden Abschnitte im Fahrzeughandbuch am Beginn der Studie. Die Ergebnisse zeigten, dass der Lernprozess sowie die Entwicklung von Akzeptanz und Vertrauen einer klassischen Lernkurve folgen – unter der Bedingung umfassender vorheriger Information zu Systemgrenzen. Der größte Lernfortschritt ist am Beginn der Interaktion mit dem System sichtbar und daher sollten Hilfen (z.B. durch intelligente Tutorsysteme) in erster Linie zu diesem Zeitpunkt gegeben werden. Eine Stabilisierung aller Prozesse zeigte sich nach der fünften Fahrt, was einer Fahrstrecke von rund 185 km oder 3,5 Stunden Fahrzeit entspricht. Es zeigten sich keine Einbrüche in Akzeptanz, Vertrauen bzw. dem Lernprozess durch die gemachten Erfahrungen im Straßenverkehr. Allerdings zeigte sich – analog zur Fahrsimulatorstudie – auch in der Realfahrstudie ein Verblassen von nicht erfahrenen Systemgrenzen im mentalen Modell, wenn diese nicht durch Erfahrungen aktiviert wurden. Im Hinblick auf die Validierung der neu entwickelten Methoden zur Erfassung von mentalen Modellen und Situationsbewusstsein sind die Resultate vielversprechend. Die Studien zeigen, dass mit dem entwickelten Fragebogenansatz zur Quantifizierung des mentalen Modells Einblicke in Aufbau und Entwicklung mentaler Modelle gegeben werden können. Der implizite Echtzeit-Messansatz für Situationsbewusstsein im Fahrsimulator zeigt sich ebenfalls sensitiv in der Erfassung des Bewusstseins von Fahrern für potentiell kritische Situationen. Inhaltlich zeigen die Studien die nachhaltige Relevanz des initialen mentalen Modells für den Lernprozess sowie die Entwicklung von Situationsbewusstsein, Akzeptanz, Vertrauen und die weitere Ausformung eines realistischen mentalen Modells der Möglichkeiten und Grenzen automatisierter Systeme. Aufgrund dieser Relevanz wird die Einbindung und Kontrolle des initialen mentalen Modells in Studien zu automatisierten Systemen unbedingt empfohlen. Die Ergebnisse zeigen zwar, dass sich auch unvollständige bzw. falsche mentale Modelle durch Erfahrungslernen hin zu einer realistischen Einschätzung der Systemmöglichkeiten und -grenzen verändern, allerdings um den Preis sinkenden Vertrauens und abnehmender Akzeptanz. Idealisierte Systembeschreibungen ohne Hinweise auf mögliche Systemprobleme bringen nur anfänglich etwas höheres Vertrauen und Akzeptanz. Das Erleben unerwarteter Probleme führt zu einem stetigen Abfall dieser motivationalen Faktoren über die Zeit. Ein alleiniges Versuchs-Irrtums-Lernen für den Umgang mit automatisierter Assistenz im Fahrzeug ohne zusätzliche Information wird daher als nicht ausreichend für die Entwicklung stabilen Vertrauens und stabiler Akzeptanz betrachtet. Wenn das initiale mentale Modell den Erfahrungen entspricht, entwickeln sich Akzeptanz und Vertrauen gemäß einer klassischen Lernkurve – trotz erlebter Systemgrenzen. Sind diese potentiellen Probleme vorher bekannt, führen sie nicht zwingend zu einer Reduktion von Vertrauen und Akzeptanz. Auch zusätzliche überkritische Information vermindert Vertrauen und Akzeptanz nur am Beginn, aber nicht langfristig. Daher sollen potentielle Probleme in automatisierten Systemen nicht in idealisierten Beschreibungen verschwiegen werden – je präzisere Information gegeben wird, desto besser im langfristigen Verlauf. Allerdings tendieren nicht erfahrene Systemgrenzen zum Verblassen im mentalen Modell. Daher wird empfohlen, Nutzer regelmäßig an diese Systemgrenzen zu erinnern um die entsprechenden Facetten des mentalen Modells zu reaktivieren. In automatisierten Systemen integrierte intelligente Tutorsysteme könnten dafür eine Lösung bieten. Im Fahrzeugbereich könnten solche periodischen Erinnerungen an Systemgrenzen in Multifunktionsdisplays angezeigt werden, die mittlerweile in vielen modernen Fahrzeugen integriert sind. Diese Tutorsysteme können darüber hinaus auch auf die Präsenz eingebauter automatisierter Systeme hinweisen und deren Vorteile aufzeigen.