L’Affichage Tête Haute (ATH) est la solution émergente pour l’aide visuelle à la conduite automobile, surtout dans certaines conditions de visibilité réduite par un temps dégradé ou une route mal éclairée. Le dispositif ATH permet de projeter des informations virtuelles, directement dans le champ de vision central de la scène de conduite, sans détournement du regard de la route. La perception visuelle du conducteur est ainsi augmentée avec une coexistence entre le réel et le virtuel. Cependant, pour garantir la bonne perception de ces informations virtuelles et permettre aux conducteurs d’engager les actions appropriées au bon moment, il est nécessaire d’assurer un paramétrage optimal. Ce projet de thèse se consacre à l’étude de trois facteurs majeurs : (1) la Parallaxe de Mouvement du Conducteur – PMC, (2) la distance de projection de la RA, (3) la condition de visibilité. Ces différents facteurs ont été progressivement introduits au cours des expérimentations. Deux métaphores visuelles RA pour l’aide à la conduite primaire ont été spécialement conçues. Trois expérimentations ont été menées sur sujets réels dans les simulateurs de conduite de Renault. L’ATH-RA a été simulé virtuellement et intégré à l’environnement virtuel de conduite, ce qui a permis la réalisation d’études subjectives et objectives, afin d’étudier progressivement : l’impact de la PMC, le lien avec la distance de projection, et l’influence des conditions de visibilité. Dans ce travail pluridisciplinaire, nous tentons de comprendre comment les informations Réalité Augmentée sont perçues par le conducteur ainsi que l’influence sur le comportement et les performances durant la conduite, afin de proposer des préconisations sur les paramètres d’un ATH-RA. / Head-Up Display is the emerging solution for visual aid while driving a car, especially during reduced visibility conditions, such as bad weather or when the road is poorly lighted. The HUD device allows to project virtual information in the central field of view of the driving scene, enabling the driver to keep his attention on the road. The visual perception of the driver is therefore augmented, with a coexistence between the real and virtual world. However, it is necessary to ensure an optimal setting in order to guarantee the good perception of the virtual information, and allow drivers to take appropriate actions at the right moment. This thesis project is dedicated to study three important parameters: (1) The Driver Head Motion Parallax, (2) AR projection distance, (3) visibility conditions. An experimental approach has been implemented, with the selection of two AR visual metaphors for driving aid. Three experimentations with real subjects have been realized in Renault’s driving simulators, where the three factors have been integrated progressively. The AR-HUD was simulated virtually and embedded in the virtual driving scene. This allowed to realize subjective and objective analysis to progressively study: the impact of the PMC, the link with the projection distance, and the influence of visibility conditions. The aim of this multidisciplinary work is an attempt to understand how AR information if perceived by the driver, and the influence on driver behavior and performance.

Les récentes percées technologiques dans les domaines de l’actionnement, de la perception et de l’intelligence artificielle annoncent une nouvelle ère pour l’assistance à la conduite et les véhicules hautement automatisés. Toutefois, dans un contexte où l’automatisation demeure imparfaite, il est primordial de s’assurer que le système d’automatisation de la conduite puisse maintenir la conscience de la situation du conducteur afin que ce dernier puisse accomplir avec succès son rôle de supervision des actions du système. En même temps, le système doit pouvoir assurer la sécurité du véhicule et prévenir les actions du conducteur qui risqueraient de compromettre sa sécurité et celle des usagers de la route. Il est donc nécessaire d’intégrer dès la conception du système automatisé de conduite, la problématique des interactions avec le conducteur en réglant les problèmes de partage de tâche et de degré de liberté, d’autorité et de niveau d’automatisation du système. S’inscrivant dans le cadre du projet ANR-CoCoVeA (Coopération Conducteur-Véhicule Automatisé), cette thèse se penche de plus près sur la question de la coopération entre l’automate de conduite et le conducteur. Notre objectif est de fournir au conducteur un niveau d’assistance conforme à ses attentes, capable de prendre en compte ses intentions tout en assurant un niveau de sécurité important. Pour cela nous proposons un cadre général qui intègre l’ensemble des fonctionnalités nécessaires sous la forme d’une architecture permettant une coopération à plusieurs niveaux de la tâche de conduite. Les notions d’attribution des tâches et de gestion d’autorité avec leurs différentes nuances sont abordées et l’ensemble des fonctions du système identifiées dans l’architecture ont été étudiées et adaptées pour ce besoin de coopération. Ainsi, nous avons développé des algorithmes de décision de la manœuvre à effectuer, de planification de trajectoire et de contrôle qui intègrent des mécanismes leur permettant de s’adapter aux actions et aux intentions du conducteur lors d’un éventuel conflit. En complément de l’aspect technique, cette thèse étudie les notions de coopération sous l’angle des facteurs humains en intégrant des tests utilisateur réalisés sur le simulateur de conduite dynamique SHERPA-LAMIH. Ces tests ont permis à la fois de valider les développements réalisés et d’approfondir l’étude grâce à l’éclairage qu’ils ont apporté sur l’intérêt de chaque forme de coopération. / The recent technological breakthroughs in the actuation, perception and artificial intelligence domains herald a new dawn for driving assistance and highly automated driving. However, in a context where the automation remains imperfect and prone to error, it is crucial to ensure that the automated driving system maintains the driver’s situation awareness in order to be able to successfully and continuously supervise the system’s actions. At the same time, the system must be able to ensure the safety of the vehicle and prevent the driver’s actions that would compromise his safety and that of other road users. Therefore, it is essential that the issue of interaction and cooperation with the driver is addressed throughout the whole system design process. This entails the issues of task allocation, authority management and levels of automation. Conducted in the scope of the projet ANR-CoCoVeA (French acronym for: "Cooperation between Driver and Automated Vehicle"), this thesis takes a closer look at the question of cooperation between the driver and automated driving systems. Our main objective is to provide the driver with a suitable assistance level that accounts for his intentions while ensuring global safety. For this matter, we propose a general framework that incorporates the necessary features for a successful cooperation at the different levels of the driving task in the form of a system architecture. The questions of task allocation and authority management are addressed under their different nuances and the identified system functionalities are studied and adapted to match the cooperation requirements. Therefore, we have developed algorithms to perform maneuver decision making, trajectory planning, and control that include the necessary mechanisms to adapt to the driver’s actions and intentions in the case of potential conflicts. In addition to the technical aspects, this thesis studies the cooperation notions from the human factor perspective. User test studies conducted on the SHERPA-LAMIH dynamic simulator allowed for the validation of the different developments while shedding light on the benefits of different cooperation forms.

Fahrerassistenzsysteme (FAS), wie zum Beispiel die „Aktive Gefahrenbremsung“, sollen dazu beitragen, das Fahren sicherer zu machen und die Anzahl an Unfällen und Verunglückten im Straßenverkehr weiter zu senken. Bei der Entwicklung von FAS muss neben der funktionalen Zuverlässigkeit des FAS sichergestellt werden, dass der Fahrer die Assistenzfunktion versteht und fehlerfrei benutzen kann. Zur Bestimmung geeigneter Systemauslegungen kommen in der Entwicklung Probandenversuche zum Einsatz, bei denen die zukünftigen Nutzer das FAS erleben und anschließend beurteilen. In dieser Arbeit wird die Eignung eines statischen Fahrsimulators für die Durchführung von Probandenversuchen zur Bewertung aktiv eingreifender FAS untersucht. Hierzu wurde ein Fahrversuch auf der Teststrecke und im statischen Fahrsimulator konzipiert, mit jeweils ca. 80 Probanden durchgeführt und die Ergebnisse bezüglich der Auswirkung des FAS „Aktive Gefahrenbremsung“ auf ausgewählte objektive und subjektive Kennwerte in der jeweiligen Versuchsumgebung vergleichend gegenübergestellt. Es zeigt sich, dass der statische Fahrsimulator prinzipiell für die Durchführung von Studien zur Bewertung aktiv eingreifender FAS geeignet ist. Als Ergebnis der Arbeit werden Erkenntnisse zur Aussagekraft der betrachteten Kennwerte sowie Empfehlungen zur Versuchsdurchführung im statischen Fahrsimulator gegeben.

The researcher developed an autonomous driving simulation by training an end-to-end policy model using deep reinforcement learning algorithms in the Gym-duckietown virtual environment. The control strategy of the model was designed for the lane-following task. Several reinforcement learning algorithms were implemented and the SAC algorithm was chosen to train a non-end-to-end model with the information provided by the environment such as speed as input values, as well as an end-to-end model with images captured by the agent's front camera as input. In this paper, the researcher compared the advantages and disadvantages of the two models using kinetic parameters in the environment and conducted a series of experiments on the control strategy of the end-to-end model to explore the effects of different environmental parameters or reward functions on the models.:CHAPTER 1 INTRODUCTION 1 1.1 AUTONOMOUS DRIVING OVERVIEW 1 1.2 RESEARCH QUESTIONS AND METHODS 3 1.2.1 Research Questions 3 1.2.2 Research Methods 4 1.3 PAPER STRUCTURE 5 CHAPTER 2 RESEARCH BACKGROUND 7 2.1 RESEARCH STATUS 7 2.2 THEORETICAL BASIS 8 2.2.1 Machine Learning 8 2.2.2 Deep Learning 9 2.2.3 Reinforcement Learning 11 2.2.4 Deep Reinforcement Learning 14 CHAPTER 3 METHOD 15 3.1 SIMULATION PLATFORM 16 3.2 CONTROL TASK 17 3.3 OBSERVATION SPACE 18 3.3.1 Information as Observation (Non-end-to-end) 19 3.3.2 Images as Observation (End-to-end) 20 3.4 ACTION SPACE 22 3.5 ALGORITHM 23 3.5.1 Mathematical Foundations 23 3.5.2 Policy Iteration 25 3.6 POLICY ARCHITECTURE 25 3.6.1 Network Architecture for Non-end-to-end Model 26 3.6.2 Network Architecture for End-to-end Model 28 3.7 REWARD SHAPING 29 3.7.1 Calculation of Speed-based Reward Function 30 3.7.2 Calculation of the reward function based on the position of the agent relative to the right lane 31 CHAPTER 4 TRAINING PROCESS 33 4.1 TRAINING PROCESS OF NON-END-TO-END MODEL 34 4.2 TRAINING PROCESS OF END-TO-END MODEL 35 CHAPTER 5 RESULT 38 CHAPTER 6 TEST AND EVALUATION 41 6.1 EVALUATION OF END-TO-END MODEL 43 6.1.1 Speed Tests in Two Scenarios 43 6.1.2 Lateral Deviation between the Agent and the Right Lane’s Centerline 44 6.1.3 Orientation Deviation between the Agent and the Right Lane’s Centerline 45 6.2 COMPARISON OF THE END-TO-END MODEL TO TWO BASELINES IN SIMULATION 46 6.2.1 Comparison with Non-end-to-end Baseline 47 6.2.2 Comparison with PD Baseline 51 6.3 TEST THE EFFECT OF DIFFERENT WEIGHTS ASSIGNMENTS ON THE END-TO-END MODEL 53 CHAPTER 7 CONCLUSION 57 / Der Forscher entwickelte eine autonome Fahrsimulation, indem er ein End-to-End-Regelungsmodell mit Hilfe von Deep Reinforcement Learning-Algorithmen in der virtuellen Umgebung von Gym-duckietown trainierte. Die Kontrollstrategie des Modells wurde für die Aufgabe des Spurhaltens entwickelt. Es wurden mehrere Verstärkungslernalgorithmen implementiert, und der SAC-Algorithmus wurde ausgewählt, um ein Nicht-End-to-End-Modell mit den von der Umgebung bereitgestellten Informationen wie Geschwindigkeit als Eingabewerte sowie ein End-to-End-Modell mit den von der Frontkamera des Agenten aufgenommenen Bildern als Eingabe zu trainieren. In diesem Beitrag verglich der Forscher die Vor- und Nachteile der beiden Modelle unter Verwendung kinetischer Parameter in der Umgebung und führte eine Reihe von Experimenten zur Kontrollstrategie des End-to-End-Modells durch, um die Auswirkungen verschiedener Umgebungsparameter oder Belohnungsfunktionen auf die Modelle zu untersuchen.:CHAPTER 1 INTRODUCTION 1 1.1 AUTONOMOUS DRIVING OVERVIEW 1 1.2 RESEARCH QUESTIONS AND METHODS 3 1.2.1 Research Questions 3 1.2.2 Research Methods 4 1.3 PAPER STRUCTURE 5 CHAPTER 2 RESEARCH BACKGROUND 7 2.1 RESEARCH STATUS 7 2.2 THEORETICAL BASIS 8 2.2.1 Machine Learning 8 2.2.2 Deep Learning 9 2.2.3 Reinforcement Learning 11 2.2.4 Deep Reinforcement Learning 14 CHAPTER 3 METHOD 15 3.1 SIMULATION PLATFORM 16 3.2 CONTROL TASK 17 3.3 OBSERVATION SPACE 18 3.3.1 Information as Observation (Non-end-to-end) 19 3.3.2 Images as Observation (End-to-end) 20 3.4 ACTION SPACE 22 3.5 ALGORITHM 23 3.5.1 Mathematical Foundations 23 3.5.2 Policy Iteration 25 3.6 POLICY ARCHITECTURE 25 3.6.1 Network Architecture for Non-end-to-end Model 26 3.6.2 Network Architecture for End-to-end Model 28 3.7 REWARD SHAPING 29 3.7.1 Calculation of Speed-based Reward Function 30 3.7.2 Calculation of the reward function based on the position of the agent relative to the right lane 31 CHAPTER 4 TRAINING PROCESS 33 4.1 TRAINING PROCESS OF NON-END-TO-END MODEL 34 4.2 TRAINING PROCESS OF END-TO-END MODEL 35 CHAPTER 5 RESULT 38 CHAPTER 6 TEST AND EVALUATION 41 6.1 EVALUATION OF END-TO-END MODEL 43 6.1.1 Speed Tests in Two Scenarios 43 6.1.2 Lateral Deviation between the Agent and the Right Lane’s Centerline 44 6.1.3 Orientation Deviation between the Agent and the Right Lane’s Centerline 45 6.2 COMPARISON OF THE END-TO-END MODEL TO TWO BASELINES IN SIMULATION 46 6.2.1 Comparison with Non-end-to-end Baseline 47 6.2.2 Comparison with PD Baseline 51 6.3 TEST THE EFFECT OF DIFFERENT WEIGHTS ASSIGNMENTS ON THE END-TO-END MODEL 53 CHAPTER 7 CONCLUSION 57