Vision based active safety systems have become more frequently occurring in modern vehicles to estimate depth of the objects ahead and for autonomous driving (AD) and advanced driver-assistance systems (ADAS). In this thesis a lightweight deep convolutional neural network performing real-time depth estimation on single monocular images is implemented and evaluated. Many of the vision based automatic brake systems in modern vehicles only detect pre-trained object types such as pedestrians and vehicles. These systems fail to detect general objects such as road debris and roadside obstacles. In stereo vision systems the problem is resolved by calculating a disparity image from the stereo image pair to extract depth information. The distance to an object can also be determined using radar and LiDAR systems. By using this depth information the system performs necessary actions to avoid collisions with objects that are determined to be too close. However, these systems are also more expensive than a regular mono camera system and are therefore not very common in the average consumer car. By implementing robust depth estimation in mono vision systems the benefits from active safety systems could be utilized by a larger segment of the vehicle fleet. This could drastically reduce human error related traffic accidents and possibly save many lives. The network architecture evaluated in this thesis is more lightweight than other CNN architectures previously used for monocular depth estimation. The proposed architecture is therefore preferable to use on computationally lightweight systems. The network solves a supervised regression problem during the training procedure in order to produce a pixel-wise depth estimation map. The network was trained using a sparse ground truth image with spatially incoherent and discontinuous data and output a dense spatially coherent and continuous depth map prediction. The spatially incoherent ground truth posed a problem of discontinuity that was addressed by a masked loss function with regularization. The network was able to predict a dense depth estimation on the KITTI dataset with close to state-of-the-art performance.

Many functions that at one time could only be performed by humans can nowadays be carried out by machines. Automation impacts many areas of life including work, home, communication and mobility. In the driving context, in-vehicle automation is considered to provide solutions for environmental, economic, safety and societal challenges. However, automation changes the driving task and the human-machine interaction. Thus, the expected benefit of in-vehicle automation can be undermined by changes in drivers’ behaviour, i.e. behavioural adaptation. This PhD project focuses on motivational as well as higher cognitive processes underlying behavioural adaptation when interacting with in-vehicle automation. Motivational processes include the development of trust and acceptance, whereas higher cognitive processes comprise the learning process as well as the development of mental models and Situation Awareness (SA). As an example for in-vehicle automation, the advanced driver assistance system Adaptive Cruise Control (ACC) was investigated. ACC automates speed and distance control by maintaining a constant set cruising speed and automatically adjusting vehicle’s velocity in order to provide a specified distance to the preceding vehicle. However, due to sensor limitations, not every situation can be handled by the system and therefore driver intervention is required. Trust, acceptance and an appropriate mental model of the system functionality are considered key variables for adequate use and appropriate SA. To systematically investigate changes in motivational and higher cognitive processes, a driving simulator as well as an on-road study were carried out. Both of the studies were conducted using a repeated-measures design, taking into account the process character, i.e. changes over time. The main focus was on the development of trust, acceptance and the mental model of novice users when interacting with ACC. By now, only few studies have attempted to assess changes in higher level cognitive processes, due to methodological difficulties posed by the dynamic task of driving. Therefore, this PhD project aimed at the elaboration and validation of innovative methods for assessing higher cognitive processes, with an emphasis on SA and mental models. In addition, a new approach for analyzing big and heterogeneous data in social science was developed, based on the use of relational databases. The driving simulator study investigated the effect of divergent initial mental models of ACC (i.e., varying according to correctness) on trust, acceptance and mental model evolvement. A longitudinal study design was applied, using a two-way (3×3) repeated measures mixed design with a matched sample of 51 subjects. Three experimental groups received (1) a correct ACC description, (2) an incomplete and idealised account omitting potential problems, and (3) an incorrect description including non-occurring problems. All subjects drove a 56-km track of highway with an identical ACC system, three times, and within a period of 6 weeks. Results showed that after using the system, participants’ mental model of ACC converged towards the profile of the correct group. Non-experienced problems tended to disappear from the mental model network when they were not activated by experience. Trust and acceptance grew steadily for the correct condition. The same trend was observed for the group with non-occurring problems, starting from a lower initial level. Omitted problems in the incomplete group led to a constant decrease in trust and acceptance without recovery. This indicates that automation failures do not negatively affect trust and acceptance if they are known beforehand. During each drive, participants continuously completed a visual secondary task, the Surrogate Reference Task (SURT). The frequency of task completion was used as objective online-measure for SA, based on the principle that situationally aware driver would reduce the engagement in the secondary task if they expect potentially critical situations. Results showed that correctly informed drivers were aware of potential system limitations and reduced their engagement in the secondary task when such situations arose. Participants with no information about limitations became only aware after first encounter and reduced secondary task engagement in corresponding situations during subsequent trials. However, trust and acceptance in the system declined over time due to the unexpected failures. Non occurring limitations tended to drop from the mental model and resulted in reduced SA already in the second trial. The on-road study investigated the learning process, as well as the development of trust, acceptance and the mental model for interacting with ACC in real conditions. Research questions aimed to model the learning process in mathematical/statistical terms, examine moments and conditions when these processes stabilize, and assess how experience changes the mental model of the system. A sample of fifteen drivers without ACC experience drove a test vehicle with ACC ten consecutive times on the same route within a 2-month period. In contrast to the driving simulator study, all participants were fully trained in ACC functionality by reading the owner’s manual in the beginning. Results showed that learning, as well as the development of acceptance and trust in ACC follows the power law of learning, in case of comprehensive prior information on system limitations. Thus, the major part of the learning process occurred during the first interaction with the system and support in explaining the systems abilities (e.g. by tutoring systems) should therefore primarily be given during this first stage. All processes stabilized at a relatively high level after the fifth session, which corresponds to 185 km or 3.5 hours of driving. No decline was observable with ongoing system experience. However, in line with the findings from the simulator study, limitations that are not experienced tended to disappear from the mental model if they were not activated by experience. With regard to the validation of the developed methods for assessing mental models and SA, results are encouraging. The studies show that the mental model questionnaire is able to provide insights into the construction of mental models and the development over time. Likewise, the implicit measurement approach to assess SA online in the driving simulator is sensitive to user’s awareness of potentially critical situations. In terms of content, the results of the studies prove the enduring relevance of the initial mental model for the learning process, SA, as well as the development of trust, acceptance and a realistic mental model about automation capabilities and limitations. Given the importance of the initial mental model it is recommended that studies on system trust and acceptance should include, and attempt to control, users’ initial mental model of system functionality. Although the results showed that also incorrect and incomplete initial mental models converged by experience towards a realistic appreciation of system functionality, the more cognitive effort needed to update the mental model, the lower trust and acceptance. Providing an idealised description, which omits potential problems, only leads to temporarily higher trust and acceptance in the beginning. The experience of unexpected limitations results in a steady decrease in trust and acceptance over time. A trial-and-error strategy for in-vehicle automation use, without accompanying information, is therefore considered insufficient for developing stable trust and acceptance. If the mental model matches experience, trust and acceptance grow steadily following the power law of learning – regardless of the experience of system limitations. Provided that such events are known in advance, they will not cause a decrease in trust and acceptance over time. Even over-information about potential problems lowers trust and acceptance only in the beginning, and not in the long run. Potential problems should therefore not be concealed in over-idealised system descriptions; the more information given, the better, in the long run. However, limitations that are not experienced tend to disappear from the mental model. Therefore, it is recommended that users be periodically reminded of system limitations to make sure that corresponding knowledge becomes re-activated. Intelligent tutoring systems incorporated in automated systems could provide a solution. In the driving context, periodic reminders about system limitations could be shown via the multifunction displays integrated in most modern cars. Tutoring systems could also be used to remind the driver of the presence of specific in-vehicle automation systems and reveal their benefits.:Table of contents LIST OF FIGURES I LIST OF TABLES II LIST OF ABBREVIATIONS III ACKNOWLEDGEMENTS IV SUMMARY V ZUSAMMENFASSUNG VIII 1 INTRODUCTION 12 2 THEORETICAL BACKGROUND 14 2.1 BEHAVIOURAL ADAPTATION AND HIGHER COGNITIVE PROCESSES 14 2.2 VEHICLE AUTOMATION AND ADAPTIVE CRUISE CONTROL 17 2.3 MENTAL MODELS 20 2.3.1 Definition 20 2.3.2 Mental model construction and update 20 2.3.3 Discussion of existing measures 21 2.3.4 Development of the mental model questionnaire 23 2.4 SITUATION AWARENESS 24 2.4.1 Definition 24 2.4.2 Relationship between mental models and Situation Awareness 26 2.4.3 Situation Awareness as comprehension process 27 2.4.4 Discussion of existing measures 27 2.4.5 Development of the Situation Awareness measurement technique 29 2.5 LEARNING, ACCEPTANCE AND TRUST IN AUTOMATION 30 2.5.1 Power law of learning 30 2.5.2 Acceptance 31 2.5.3 Trust in automation 31 2.5.4 Related research on learning, acceptance and trust in ACC 32 3 OVERALL RESEARCH QUESTIONS 34 4 OVERALL METHODOLOGICAL CONSIDERATIONS 35 4.1 DRIVING SIMULATOR STUDIES AND ON-ROAD TESTS 35 4.2 DATABASE-FRAMEWORK FOR DATA STORAGE AND ANALYSIS 37 5 DRIVING SIMULATOR STUDY 42 5.1 AIMS AND RESEARCH QUESTIONS 42 5.2 METHOD AND MATERIAL 43 5.2.1 Sampling and participants 43 5.2.2 Research design and procedure 44 5.2.3 Facilities and driving simulator track 45 5.2.4 Secondary task SURT 46 5.2.5 System description 46 5.2.6 Dependent variables trust, acceptance and mental model 47 5.2.7 Contrast analysis 48 5.3 RESULTS 49 5.3.1 Mental model 49 5.3.2 Trust and acceptance 51 5.3.3 Situation Awareness 52 5.4 DISCUSSION 56 6 ON-ROAD STUDY 59 6.1 AIMS AND RESEARCH QUESTIONS 59 6.2 METHOD AND MATERIAL 59 6.2.1 Research design and procedure 59 6.2.2 Sampling and participants 60 6.2.3 Facilities and apparatus 60 6.2.4 Dependent variables mental model, trust, acceptance, learning and ACC usage 62 6.3 RESULTS 63 6.3.1 ACC usage 63 6.3.2 Trust and acceptance 64 6.3.3 Learning 65 6.3.4 Mental model 67 6.4 DISCUSSION 68 7 GENERAL DISCUSSION AND CONCLUSIONS 70 7.1 THEORETICAL AND PRACTICAL CONSIDERATIONS 70 7.2 METHODOLOGICAL CONSIDERATIONS 71 7.3 LIMITATIONS AND DIRECTIONS FOR FUTURE RESEARCH 74 8 REFERENCES 76 9 APPENDIX 88 9.1 QUESTIONNAIRES USED IN THE DRIVING SIMULATOR STUDY 88 9.1.1 Original German version 88 9.1.2 English translation 91 9.2 ACC DESCRIPTIONS USED IN THE DRIVING SIMULATOR STUDY 94 9.2.1 Correct description 94 9.2.2 Incomplete description 95 9.2.3 Incorrect description 96 9.3 SCHEMATIC OVERVIEW OF THE DRIVING SIMULATOR TRACK 97 9.4 QUESTIONNAIRES USED IN THE ON-ROAD STUDY 99 9.4.1 Original German version 99 9.4.2 English translation 103 9.5 SEMINAR PROGRAMME: DATABASES AS ANALYSIS TOOL IN SOCIAL SCIENCE 107 9.6 CURRICULUM VITAE AND PUBLICATIONS 109 / Viele Aufgaben, die ehemals von Menschen ausgeführt wurden, werden heute von Maschinen übernommen. Dieser Prozess der Automatisierung betrifft viele Lebensbereiche von Arbeit, Wohnen, Kommunikation bis hin zur Mobilität. Im Bereich des Individualverkehrs wird die Automatisierung von Fahrzeugen als Möglichkeit gesehen, zukünftigen Herausforderungen wirtschaftlicher, gesellschaftlicher und umweltpolitischer Art zu begegnen. Allerdings verändert Automatisierung die Fahraufgabe und die Mensch-Technik Interaktion im Fahrzeug. Daher können beispielsweise erwartete Sicherheitsgewinne automatisch agierender Assistenzsysteme durch Veränderungen im Verhalten des Fahrers geschmälert werden, was als Verhaltensanpassung (behavioural adaptation) bezeichnet wird. Dieses Dissertationsprojekt untersucht motivationale und höhere kognitive Prozesse, die Verhaltensanpassungen im Umgang mit automatisierten Fahrerassistenzsystemen zugrunde liegen. Motivationale Prozesse beinhalten die Entwicklung von Akzeptanz und Vertrauen in das System, unter höheren kognitiven Prozessen werden Lernprozesse sowie die Entwicklung von mentalen Modellen des Systems und Situationsbewusstsein (Situation Awareness) verstanden. Im Fokus der Untersuchungen steht das Fahrerassistenzsystem Adaptive Cruise Control (ACC) als ein Beispiel für Automatisierung im Fahrzeug. ACC regelt automatisch die Geschwindigkeit des Fahrzeugs, indem bei freier Fahrbahn eine eingestellte Wunschgeschwindigkeit und bei einem Vorausfahrer automatisch ein eingestellter Abstand eingehalten wird. Allerdings kann ACC aufgrund von Einschränkungen der Sensorik nicht jede Situation bewältigen, weshalb der Fahrer übernehmen muss. Für diesen Interaktionsprozess spielen Vertrauen, Akzeptanz und das mentale Modell der Systemfunktionalität eine Schlüsselrolle, um einen sicheren Umgang mit dem System und ein adäquates Situationsbewusstsein zu entwickeln. Zur systematischen Erforschung dieser motivationalen und kognitiven Prozesse wurden eine Fahrsimulatorstudie und ein Versuch im Realverkehr durchgeführt. Beide Studien wurden im Messwiederholungsdesign angelegt, um dem Prozesscharakter gerecht werden und Veränderungen über die Zeit erfassen zu können. Die Entwicklung von Vertrauen, Akzeptanz und mentalem Modell in der Interaktion mit ACC war zentraler Forschungsgegenstand beider Studien. Bislang gibt es wenige Studien, die kognitive Prozesse im Kontext der Fahrzeugführung untersucht haben, unter anderem auch wegen methodischer Schwierigkeiten in diesem dynamischen Umfeld. Daher war es ebenfalls Teil dieses Dissertationsprojekts, neue Methoden zur Erfassung höherer kognitiver Prozesse in dieser Domäne zu entwickeln, mit Fokus auf mentalen Modellen und Situationsbewusstsein. Darüber hinaus wurde auch ein neuer Ansatz für die Analyse großer und heterogener Datenmengen im sozialwissenschaftlichen Bereich entwickelt, basierend auf dem Einsatz relationaler Datenbanken. Ziel der der Fahrsimulatorstudie war die systematische Erforschung des Effekts von unterschiedlich korrekten initialen mentalen Modellen von ACC auf die weitere Entwicklung des mentalen Modells, Vertrauen und Akzeptanz des Systems. Eine Stichprobe von insgesamt 51 Probanden nahm an der Studie teil; der Versuch wurde als zweifaktorielles (3x3) gemischtes Messwiederholungsdesign konzipiert. Die 3 parallelisierten Versuchsgruppen zu je 17 Personen erhielten (1) eine korrekte Beschreibung des ACC, (2) eine idealisierte Beschreibung unter Auslassung auftretender Systemprobleme und (3) eine überkritische Beschreibung mit zusätzlichen Hinweisen auf Systemprobleme, die nie auftraten. Alle Teilnehmer befuhren insgesamt dreimal im Zeitraum von sechs Wochen dieselbe 56 km lange Autobahnstrecke im Fahrsimulator mit identischem ACC-System. Mit zunehmendem Einsatz des ACC zeigte sich im anfänglich divergierenden mentalen Modell zwischen den Gruppen eine Entwicklung hin zum mentalen Modell der korrekt informierten Gruppe. Nicht erfahrene Systemprobleme tendierten dazu, im mentalen Modell zu verblassen, wenn sie nicht durch Erfahrung reaktiviert wurden. Vertrauen und Akzeptanz stiegen stetig in der korrekt informierten Gruppe. Dieselbe Entwicklung zeigte sich auch in der überkritisch informierten Gruppe, wobei Vertrauen und Akzeptanz anfänglich niedriger waren als in der Bedingung mit korrekter Information. Verschwiegene Systemprobleme führten zu einer konstanten Abnahme von Akzeptanz und Vertrauen ohne Erholung in der Gruppe mit idealisierter Beschreibung. Diese Resultate lassen darauf schließen, dass Probleme automatisierter Systeme sich nicht zwingend negativ auf Vertrauen und Akzeptanz auswirken, sofern sie vorab bekannt sind. Bei jeder Fahrt führten die Versuchsteilnehmer zudem kontinuierlich eine visuell beanspruchende Zweitaufgabe aus, die Surrogate Reference Task (SURT). Die Frequenz der Zweitaufgabenbearbeitung diente als objektives Echtzeitmaß für das Situationsbewusstsein, basierend auf dem Ansatz, dass situationsbewusste Fahrer die Zuwendung zur Zweitaufgabe reduzieren wenn sie potentiell kritische Situationen erwarten. Die Ergebnisse zeigten, dass die korrekt informierten Fahrer sich potentiell kritischer Situationen mit möglichen Systemproblemen bewusst waren und schon im Vorfeld der Entstehung die Zweitaufgabenbearbeitung reduzierten. Teilnehmer ohne Informationen zu auftretenden Systemproblemen wurden sich solcher Situationen erst nach dem ersten Auftreten bewusst und reduzierten in entsprechenden Szenarien der Folgefahrten die Zweitaufgabenbearbeitung. Allerdings sanken Vertrauen und Akzeptanz des Systems aufgrund der unerwarteten Probleme. Erwartete, aber nicht auftretende Systemprobleme tendierten dazu, im mentalen Modell des Systems zu verblassen und resultierten in vermindertem Situationsbewusstsein bereits in der zweiten Fahrt. Im Versuch unter Realbedingungen wurden der Lernprozesses sowie die Entwicklung des mentalen Modells, Vertrauen und Akzeptanz von ACC im Realverkehr erforscht. Ziele waren die statistisch/mathematische Modellierung des Lernprozesses, die Bestimmung von Zeitpunkten der Stabilisierung dieser Prozesse und wie sich reale Systemerfahrung auf das mentale Modell von ACC auswirkt. 15 Versuchsteilnehmer ohne ACC-Erfahrung fuhren ein Serienfahrzeug mit ACC insgesamt 10-mal auf der gleichen Strecke in einem Zeitraum von 2 Monaten. Im Unterschied zur Fahrsimulatorstudie waren alle Teilnehmer korrekt über die ACC-Funktionen und Funktionsgrenzen informiert durch Lesen der entsprechenden Abschnitte im Fahrzeughandbuch am Beginn der Studie. Die Ergebnisse zeigten, dass der Lernprozess sowie die Entwicklung von Akzeptanz und Vertrauen einer klassischen Lernkurve folgen – unter der Bedingung umfassender vorheriger Information zu Systemgrenzen. Der größte Lernfortschritt ist am Beginn der Interaktion mit dem System sichtbar und daher sollten Hilfen (z.B. durch intelligente Tutorsysteme) in erster Linie zu diesem Zeitpunkt gegeben werden. Eine Stabilisierung aller Prozesse zeigte sich nach der fünften Fahrt, was einer Fahrstrecke von rund 185 km oder 3,5 Stunden Fahrzeit entspricht. Es zeigten sich keine Einbrüche in Akzeptanz, Vertrauen bzw. dem Lernprozess durch die gemachten Erfahrungen im Straßenverkehr. Allerdings zeigte sich – analog zur Fahrsimulatorstudie – auch in der Realfahrstudie ein Verblassen von nicht erfahrenen Systemgrenzen im mentalen Modell, wenn diese nicht durch Erfahrungen aktiviert wurden. Im Hinblick auf die Validierung der neu entwickelten Methoden zur Erfassung von mentalen Modellen und Situationsbewusstsein sind die Resultate vielversprechend. Die Studien zeigen, dass mit dem entwickelten Fragebogenansatz zur Quantifizierung des mentalen Modells Einblicke in Aufbau und Entwicklung mentaler Modelle gegeben werden können. Der implizite Echtzeit-Messansatz für Situationsbewusstsein im Fahrsimulator zeigt sich ebenfalls sensitiv in der Erfassung des Bewusstseins von Fahrern für potentiell kritische Situationen. Inhaltlich zeigen die Studien die nachhaltige Relevanz des initialen mentalen Modells für den Lernprozess sowie die Entwicklung von Situationsbewusstsein, Akzeptanz, Vertrauen und die weitere Ausformung eines realistischen mentalen Modells der Möglichkeiten und Grenzen automatisierter Systeme. Aufgrund dieser Relevanz wird die Einbindung und Kontrolle des initialen mentalen Modells in Studien zu automatisierten Systemen unbedingt empfohlen. Die Ergebnisse zeigen zwar, dass sich auch unvollständige bzw. falsche mentale Modelle durch Erfahrungslernen hin zu einer realistischen Einschätzung der Systemmöglichkeiten und -grenzen verändern, allerdings um den Preis sinkenden Vertrauens und abnehmender Akzeptanz. Idealisierte Systembeschreibungen ohne Hinweise auf mögliche Systemprobleme bringen nur anfänglich etwas höheres Vertrauen und Akzeptanz. Das Erleben unerwarteter Probleme führt zu einem stetigen Abfall dieser motivationalen Faktoren über die Zeit. Ein alleiniges Versuchs-Irrtums-Lernen für den Umgang mit automatisierter Assistenz im Fahrzeug ohne zusätzliche Information wird daher als nicht ausreichend für die Entwicklung stabilen Vertrauens und stabiler Akzeptanz betrachtet. Wenn das initiale mentale Modell den Erfahrungen entspricht, entwickeln sich Akzeptanz und Vertrauen gemäß einer klassischen Lernkurve – trotz erlebter Systemgrenzen. Sind diese potentiellen Probleme vorher bekannt, führen sie nicht zwingend zu einer Reduktion von Vertrauen und Akzeptanz. Auch zusätzliche überkritische Information vermindert Vertrauen und Akzeptanz nur am Beginn, aber nicht langfristig. Daher sollen potentielle Probleme in automatisierten Systemen nicht in idealisierten Beschreibungen verschwiegen werden – je präzisere Information gegeben wird, desto besser im langfristigen Verlauf. Allerdings tendieren nicht erfahrene Systemgrenzen zum Verblassen im mentalen Modell. Daher wird empfohlen, Nutzer regelmäßig an diese Systemgrenzen zu erinnern um die entsprechenden Facetten des mentalen Modells zu reaktivieren. In automatisierten Systemen integrierte intelligente Tutorsysteme könnten dafür eine Lösung bieten. Im Fahrzeugbereich könnten solche periodischen Erinnerungen an Systemgrenzen in Multifunktionsdisplays angezeigt werden, die mittlerweile in vielen modernen Fahrzeugen integriert sind. Diese Tutorsysteme können darüber hinaus auch auf die Präsenz eingebauter automatisierter Systeme hinweisen und deren Vorteile aufzeigen.:Table of contents LIST OF FIGURES I LIST OF TABLES II LIST OF ABBREVIATIONS III ACKNOWLEDGEMENTS IV SUMMARY V ZUSAMMENFASSUNG VIII 1 INTRODUCTION 12 2 THEORETICAL BACKGROUND 14 2.1 BEHAVIOURAL ADAPTATION AND HIGHER COGNITIVE PROCESSES 14 2.2 VEHICLE AUTOMATION AND ADAPTIVE CRUISE CONTROL 17 2.3 MENTAL MODELS 20 2.3.1 Definition 20 2.3.2 Mental model construction and update 20 2.3.3 Discussion of existing measures 21 2.3.4 Development of the mental model questionnaire 23 2.4 SITUATION AWARENESS 24 2.4.1 Definition 24 2.4.2 Relationship between mental models and Situation Awareness 26 2.4.3 Situation Awareness as comprehension process 27 2.4.4 Discussion of existing measures 27 2.4.5 Development of the Situation Awareness measurement technique 29 2.5 LEARNING, ACCEPTANCE AND TRUST IN AUTOMATION 30 2.5.1 Power law of learning 30 2.5.2 Acceptance 31 2.5.3 Trust in automation 31 2.5.4 Related research on learning, acceptance and trust in ACC 32 3 OVERALL RESEARCH QUESTIONS 34 4 OVERALL METHODOLOGICAL CONSIDERATIONS 35 4.1 DRIVING SIMULATOR STUDIES AND ON-ROAD TESTS 35 4.2 DATABASE-FRAMEWORK FOR DATA STORAGE AND ANALYSIS 37 5 DRIVING SIMULATOR STUDY 42 5.1 AIMS AND RESEARCH QUESTIONS 42 5.2 METHOD AND MATERIAL 43 5.2.1 Sampling and participants 43 5.2.2 Research design and procedure 44 5.2.3 Facilities and driving simulator track 45 5.2.4 Secondary task SURT 46 5.2.5 System description 46 5.2.6 Dependent variables trust, acceptance and mental model 47 5.2.7 Contrast analysis 48 5.3 RESULTS 49 5.3.1 Mental model 49 5.3.2 Trust and acceptance 51 5.3.3 Situation Awareness 52 5.4 DISCUSSION 56 6 ON-ROAD STUDY 59 6.1 AIMS AND RESEARCH QUESTIONS 59 6.2 METHOD AND MATERIAL 59 6.2.1 Research design and procedure 59 6.2.2 Sampling and participants 60 6.2.3 Facilities and apparatus 60 6.2.4 Dependent variables mental model, trust, acceptance, learning and ACC usage 62 6.3 RESULTS 63 6.3.1 ACC usage 63 6.3.2 Trust and acceptance 64 6.3.3 Learning 65 6.3.4 Mental model 67 6.4 DISCUSSION 68 7 GENERAL DISCUSSION AND CONCLUSIONS 70 7.1 THEORETICAL AND PRACTICAL CONSIDERATIONS 70 7.2 METHODOLOGICAL CONSIDERATIONS 71 7.3 LIMITATIONS AND DIRECTIONS FOR FUTURE RESEARCH 74 8 REFERENCES 76 9 APPENDIX 88 9.1 QUESTIONNAIRES USED IN THE DRIVING SIMULATOR STUDY 88 9.1.1 Original German version 88 9.1.2 English translation 91 9.2 ACC DESCRIPTIONS USED IN THE DRIVING SIMULATOR STUDY 94 9.2.1 Correct description 94 9.2.2 Incomplete description 95 9.2.3 Incorrect description 96 9.3 SCHEMATIC OVERVIEW OF THE DRIVING SIMULATOR TRACK 97 9.4 QUESTIONNAIRES USED IN THE ON-ROAD STUDY 99 9.4.1 Original German version 99 9.4.2 English translation 103 9.5 SEMINAR PROGRAMME: DATABASES AS ANALYSIS TOOL IN SOCIAL SCIENCE 107 9.6 CURRICULUM VITAE AND PUBLICATIONS 109

Testing, verification and validation of sensors, components and systems is vital in the early-stage development of new cars with computer-in-the-car architecture. This can be done with the help of the existing technique, hardware-in-the-loop (HIL) testing which, in the close loop testing case, consists of four main parts: Real-Time Simulation Platform, Sensor Simulation PC, Interface Unit (IU), and unit under test which is, for instance, a Vehicle Computing Unit (VCU). The purpose of this degree project is to research and develop a proof of concept for in-house development of an image injection solution (IIS) on the IU in the HIL testing environment. A proof of concept could confirm that editing, customizing, and having full control of the IU is a possibility. This project was initiated by Volvo Cars to optimize the use of the HIL testing environment currently available, making the environment more changeable and controllable while the IIS remains a static system. The IU is an MPSoC/FPGA based design that uses primarily Xilinx hardware and software (Vivado/Vitis) to achieve the necessary requirements for image injection in the HIL testing environment. It consists of three stages in series: input, image processing, and output. The whole project was divided in three parts based on the three stages and carried out at Volvo Cars in cooperation by three students, respectively. The author of this thesis was responsible for the output stage, where the main goal was to find a solution for converting, preferably, AXI4 RAW12 image data into data on CSI2 format. This CSI2 data can then be used as input to serializers, which in turn transmit the data via fiber-optic cable on GMSL2 format to the VCU. Associated with the output stage, extensive simulations and hardware tests have been done on a preliminary solution that partially worked on the hardware, producing signals in parts of the design that could be read and analyzed. However, a final definite solution that fully functions on the hardware has not been found, because the work is at the initial phase of an advanced and very complex project. Presented in this thesis is: important theory regarding, for example, protocols CSI2, AXI4, GMSL2, etc., appropriate hardware selection for an IIS in HIL (FPGA, MPSoC, FMC, etc.), simulations of AXI4 and CSI2 signals, comparisons of those simulations with the hardware signals of an implemented design, and more. The outcome was heavily dependent on getting a certain hardware (TEF0010) to transmit the GMSL2 data. Since the wrong card was provided, this was the main problem that hindered the thesis from reaching a fully functioning implementation. However, these results provide a solid foundation for future work related to image injection in a HIL environment.

Today, the main research field for the automotive industry is to find solutions for active safety. In order to perceive the surrounding environment, tracking nearby traffic objects plays an important role. Validation of the tracking performance is often done in staged traffic scenarios, where additional sensors, mounted on the vehicles, are used to obtain their true positions and velocities. The difficulty of evaluating the tracking performance complicates its development. An alternative approach studied in this thesis, is to record sequences and use non-causal algorithms, such as smoothing, instead of filtering to estimate the true target states. With this method, validation data for online, causal, target tracking algorithms can be obtained for all traffic scenarios without the need of extra sensors. We investigate how non-causal algorithms affects the target tracking performance using multiple sensors and dynamic models of different complexity. This is done to evaluate real-time methods against estimates obtained from non-causal filtering. Two different measurement units, a monocular camera and a LIDAR sensor, and two dynamic models are evaluated and compared using both causal and non-causal methods. The system is tested in two single object scenarios where ground truth is available and in three multi object scenarios without ground truth. Results from the two single object scenarios shows that tracking using only a monocular camera performs poorly since it is unable to measure the distance to objects. Here, a complementary LIDAR sensor improves the tracking performance significantly. The dynamic models are shown to have a small impact on the tracking performance, while the non-causal application gives a distinct improvement when tracking objects at large distances. Since the sequence can be reversed, the non-causal estimates are propagated from more certain states when the target is closer to the ego vehicle. For multiple object tracking, we find that correct associations between measurements and tracks are crucial for improving the tracking performance with non-causal algorithms.