Les constructeurs automobiles proposent de plus en plus des systèmes d'aide à la conduite, en anglais Advanced Driver Assistance Systems (ADAS), utilisant des caméras et des algorithmes de traitement d'images. Pour embarquer des applications ADAS, les fondeurs proposent des architectures embarquées hétérogènes. Ces Systems-on-Chip (SoCs) intègrent sur la même puce plusieurs processeurs de différentes natures. Cependant, avec leur complexité croissante, il devient de plus en plus difficile pour un industriel automobile de choisir un SoC qui puisse exécuter une application ADAS donnée avec le respect des contraintes temps-réel. De plus le caractère hétérogène amène une nouvelle problématique : la répartition des charges de calcul entre les différents processeurs du même SoC.Pour répondre à cette problématique, nous avons défini au cours de cette thèse une méthodologie globale de l’analyse de l'embarquabilité d'algorithmes de traitement d'images pour une exécution temps-réel. Cette méthodologie permet d'estimer l'embarquabilité d'un algorithme de traitement d'images sur plusieurs SoCs hétérogènes en explorant automatiquement les différentes répartitions de charge de calcul possibles. Elle est basée sur trois contributions majeures : la modélisation d'un algorithme et ses contraintes temps-réel, la caractérisation d'un SoC hétérogène et une méthode de prédiction de performances multi-architecture. / Car manufacturers increasingly provide Advanced Driver Assistance Systems (ADAS) based on cameras and image processing algorithms. To embed ADAS applications, semiconductor companies propose heterogeneous architectures. These Systems-on-Chip (SoCs) are composed of several processors with different capabilities on the same chip. However, with the increasing complexity of such systems, it becomes more and more difficult for an automotive actor to chose a SoC which can execute a given ADAS application while meeting real-time constraints. In addition, embedding algorithms on this type of hardware is not trivial: one needs to determine how to spread the computational load between the different processors, in others words the mapping of the computational load.In response to this issue, we defined during this thesis a global methodology to study the embeddability of image processing algorithms for real-time execution. This methodology predicts the embeddability of a given image processing algorithm on several heterogeneous SoCs by automatically exploring the possible mapping. It is based on three major contributions: the modeling of an algorithm and its real-time constraints, the characterization of a heterogeneous SoC, and a performance prediction approach which can address different types of architectures.

Trots påkallande av fri väg med blåljus och siren, kan utryckningsfordon ha svårt att ta sig fram i trafiken. Detta då civila förare inte alltid lyckas upptäcka utryckningsfordonen, bland annat på grund av dåliga ljus-, väder-, eller vägförhållanden. Denna studie undersökte därför huruvida meddelanden som varnar för ankommande utryckningsfordon (EVA-varningar), för bilförare med olika körerfarenhet samt tidigare vana av avancerade förarstödsystem (ADAS), påverkar lämnandet av fri väg. Resultatet visade att förarna som mottog EVA-varningar, i genomsnitt, lämnade fri väg tidigare än de som inte mottog några varningar. Förarna med låg ADAS-vana var dock mindre positiva till att vilja mottaga EVA-varningar i framtiden, även om de upplevde att varningarna förbättrade deras körbeteende. Utifrån resultatet verkar EVA-varningar vara ett bra komplement för att påkalla fri väg, där varken körerfarenhet eller ADAS-vana verkar spela någon roll för förståelsen av EVA-systemet. Vidare har tidigare studier visat att olika bilförares attityd gentemot utryckningsfordon kan påverka viljan att lämna fri väg. Därmed undersökte denna studie även bilförares upplevelse, beteende och attityd gentemot utryckande ambulans och polis. Resultatet visade att förarna hade en mer accepterande attityd gentemot utryckande ambulanser än vad de hade mot poliser. Exempelvis instämde deltagarna i högre grad med att det är viktigare att lämna fri väg till ambulanser, att ambulansens utryckningsärenden är mer brådskande, och att det är mer okej att ambulanser bryter mot trafikregler än om polisen gör det. Däremot var alla eniga om att fri väg alltid måste lämnas till både ambulans och polis. / Even though emergency vehicles use lights and sirens to demand surrounding traffic to move over, civilian drivers sometimes have trouble detecting them. This could be due to poor light, weather, or road conditions. Therefore, this study examined whether warning messages for approaching emergency vehicles (EVA-warnings), for drivers with different driving experiences and previous experience of advanced driving assistant system (ADAS), can facilitate moving over. The results showed that drivers who received EVA-warnings moved over earlier than those who did not receive any warnings. However, drivers with low ADAS-experience were less positive about the idea of receiving EVA-warnings in the future, even though they felt the warnings improved their driving. Overall, EVA-warnings worked as a good complement to encourage drivers to move over, where neither driving experience nor previous ADAS-experience seems to affect the understanding of the EVA-system. Furthermore,previous studies have shown that different attitudes towards emergency vehicles can affect the willingness to move over. Therefore, this study examined drivers' experience, behavior, and attitude towards ambulances and police vehicles. The results showed that drivers had a more accepting attitude towards ambulances compared to police vehicles. The participants agreed to a greater extent that it is more important to move over for ambulances, that the ambulance's emergency matters are more urgent, and that it is more okay for ambulances to break traffic rules in comparison with police vehicles. However, everyone agreed that one must always move over for both ambulances and police vehicles.

Le travail de thèse décrit dans ce manuscrit concerne les Systèmes Avancés d’Aide à la Conduite (ADAS) qui sont devenus de nos jours un axe de recherche stratégique chez de nombreux constructeurs automobiles. Ce type de systèmes peuvent être considérés comme la première génération de dispositifs de conduite assistée ou semi-autonome et qui ouvrira la voie aux véhicules pleinement autonomes. La première partie de ce manuscrit concerne l’analyse et la commande pour les applications de contrôle de la dynamique latérale du véhicule – autoguidage par suivi de cible et aide au maintien au centre de la voie (LCA). Dans ce cadre, la sécurité joue un rôle clé, mettant en lumière la mise en oeuvre différentes techniques de commande contrainte pour des modèles linéaires à paramètres variants (LPV). La commande prédictive (MPC) et la commande par interpolation (IBC) ont été sélectionnés dans ce travail. De plus, la conception d’un système de commande robuste qui assure un comportement correct malgré la variation des paramètres du système ou la présence d’incertitudes est une caractéristique critique. Les outils de la théorie de l’invariance positive robuste (RPI) sont pris en considération pour la conception de stratégies de commande robustes LPV par rapport aux larges variations de la vitesse véhicule et aux changements de courbure de la route. Le second axe de cette thèse est la planification optimale de trajectoire pour les manouvres de dépassement et de changement de voie sur autoroute, avec réduction des risques de collision. Pour atteindre cet objectif, la description exhaustive des scénarios possible est présentée, permettant de formuler un problème d’optimisation qui maximise le confort du conducteur et assure la satisfaction des contraintes du système. / The thesis work contained in this manuscript is dedicated to the Advanced Driving Assistance Systems, which has become nowadays a strategic research line in many car companies. This kind of systems can be seen as a first generation of assisted or semi-autonomous driving, that will set the way to fully automated vehicles. The first part focuses on the analysis and control of lateral dynamics control applications - Autosteer by target tracking and the Lane Centering Assistance System (LCA). In this framework, safety plays a key role, bringing into focus the application of different constrained control techniques for linear parametervarying (LPV) models. Model Predictive Control (MPC) and Interpolation Based Control (IBC) have been the selected ones in the present work. In addition, it is a critical feature to design robust control systems that ensure a correct behavior under system's variation of parameters or in the presence of uncertainty. Robust Positive Invariance (RPI) theory tools are considered to design robust LPV control strategies with respect to large vehicle speed variations and curvature of the road changes. The second axis of this thesis is the optimization-based trajectory planning for overtaking and lane change in highways with anti-collision enhancements. To achieve this goal, an exhaustive description of the possible scenarios that may arise is presented, allowing to formulate an optimization problem which maximizes passenger comfort and ensures system constraints' satisfaction.

京都大学 / 0048 / 新制・課程博士 / 博士(工学) / 甲第18689号 / 工博第3967号 / 新制||工||1611(附属図書館) / 31622 / 京都大学大学院工学研究科機械理工学専攻 / (主査)教授 椹木 哲夫, 教授 西脇 眞二, 教授 松原 厚 / 学位規則第4条第1項該当 / Doctor of Philosophy (Engineering) / Kyoto University / DFAM

While vehicle technology is rapidly advanced, advanced driver assistance system (ADAS) stays in focus. However, all of these growing automotive applications are driving up the bandwidth requirements, therefore vehicle networks require higher bandwidth and more deterministic real-time guarantees than before.Switched Ethernet is widely used for all kinds of applications, and it gradually moves into the automotive domain. The new specification of the IEEE 802.1 Audio/Video Bridging (AVB) standard provides the QoS features needed for ADAS data streaming.In this work, we study and analyse Ethernet-based invehicle communication of both legacy Ethernet and AVB Ethernet through a simulation approach to verify the automotive network performance. Furthermore, a system engineering approach is used to achieve a more model-based design of simulation and developing prototypes in the future. / Samtidigt som fordonsteknologin ökar snabbt, är det system för avancerad förarassistans (advanced driver assistance systems, ADAS) som står i fokus. Dessa ökande fordonsapplikationer driver på bandbreddskraven, och därför kräver fordonsnätverken högre bandbredd och mer determinisktiska realtidskrav än tidigare.Switchat nätverk (Switched Ethernet) används i alla möjliga applikationer och flyttar gradvis in i fordonsdomänen. Den nya specificationen av standarden IEEE 802.1 Audio/Video Bridging (AVB) tillhandahåller QoS (Quality of Service) funktioner för ADAS dataöverföring.I den här avhandlingen undersöks och analyseras Ethernetbaserad fordonskommunikation av både vanligt nätverk (Ethernet) och AVB Ethernet genom simulering för att verifiera nätverksprestandan för fordonsnätverket i fråga. En systemingenjörsinriktning har använts för att skapa en mer modell-baserad design av simuleringen, som även kan användas för att utveckla prototyper i framtiden.

Moderne Fahrerassistenzsysteme und der Weg zum autonomen Fahren stellen immer größere Anforderungen an die Steuergeräte Hard- und Software im Fahrzeug. Um diese Anforderungen zu erfüllen kommen vermehrt hochperformante Steuergeräte mit einer heterogenen Prozessorarchitektur zum Einsatz. Ein Safety-Prozessor, auf dem ein standardmäßiges AUTOSAR-Betriebssystem ausgeführt wird, übernimmt dabei die echtzeitkritischen und sicherheitsrelevanten Aufgaben wohingegen die rechenintensiven und dynamischen Aufgaben auf einem sehr viel leistungsfähigeren Performance-Prozessor unter einem POSIX-Betriebssystem wie zum Beispiel Linux ausgeführt werden. Hierbei soll es ermöglicht werden unter dem Linux System ebenfalls AUTOSAR Softwarekomponenten und Module auszuführen, welche beispielsweise die im Fahrzeug verwendeten Kommunikationsprotokolle umsetzen oder weniger sicherheitskritische Aufgaben erfüllen. Auf diese Weise lassen sich andere Steuergeräte im Fahrzeug entlasten. Dazu wurde im Rahmen dieser Arbeit eine Softwarearchitektur entwickelt, die es ermöglicht AUTOSAR-Komponenten direkt in einer Linux-Umgebung auszuführen. Des Weiteren wurde eine einfache und effiziente Kommunikation zwischen AUTOSARKomponenten und Linux-Applikationen erarbeitet.

Le travail de cette thèse a été consacré au développement d’une nouvelle méthode de détection pour un système anticollision par la mesure de trajectographie, ce qui pourrait contribuer aux systèmes d’aide à la conduite. Pour obtenir une haute probabilité de détection, nous avons choisi la solution de vidéo stéréoscopique coopérative : la coopération entre véhicules rend la détection plus facile et fiable. Il y a deux participants dans le système : les véhicules « porteurs du système » aussi bien que les « suiveurs », sont équipés de caméras stéréoscopiques, c’est à dire de deux capteurs d’image, appartenant à des familles technologique à haute cadence; les véhicules « cibles » sont équipés des feux à Leds modulés, dont la fréquence de modulation est déjà connue par les véhicules « suiveurs ». Après filtrage dans l’espace temporel, le système ne détecte que des signaux issus des feux modulés, ce qui réduit fortement l’information à traiter par rapport aux calculs de trajectographie traditionnels. La détection de feux modulés est donc réalisée par le filtrage par traitement numérique des images, qui est adapté à la fréquence de modulation recherchée. Pour cela, nous avons proposé 3 types de filtres adaptés à la fréquence de modulation et conçus de façon à rejeter au mieux les signaux de fond.Pour évaluer les performances tant en détection qu’en réjection des fausses alarmes, nous avons d’abord effectué des simulations numériques en prenant en compte des signaux artificiels, puis des calculs sur vrais signaux obtenus dans les expérimentations avec véhicule d’essai statique, puis roulant. Les roulages étaient de différentes vitesses, de 30km/h jusqu’à 100km/h, ce qui nous a permis d’analyser le signal issu du feu ainsi que le comportement de nos filtres à des vitesses angulaires de feu nulles, faibles ou élevées. Le résultat de ces expérimentations montre que le filtrage permet de détecter les feux à Leds de type DRL jusqu’à 140m sans aucune fausse détection sur le fond. Ces expérimentations sont une étape essentielle pour définir de façon plus précise un tel système, en particulier dans le choix du seuil. Nous avons aussi évalué des technologies qui peuvent améliorer la performance du système, mais qui ne sont pas encore prêtes à industrialiser. Par exemple, les « rétines » artificielles nous permettent d’utiliser les filtres analogiques intégrés, et ainsi de réduire leurs bandes passantes. / This thesis was devoted to the development of a new detection method for vehicular collision avoidance system based on trajectory measurement, which could contribute to driver assistance systems.In order to obtain high detection probability, we have chosen the cooperative stereoscopic video solution: the cooperation between vehicles makes it easier and more reliable when they aim to detect each other. There are two participants in the system: the “system carriers" vehicles, or the " followers" are equipped with stereoscopic cameras (two image sensors), who belong to high speed technology families; the "targets" vehicles are equipped with modulated LED lights, with the modulation frequency being already known by the "followers". After space-time filtering, the system detects the signals emitted bymodulated lights sources, which greatly reduces the amount of information to be processed comparing to traditional trajectory calculations methods. The detection of modulated light is achieved by filtering based on digital image processing, which is adapted to the desired modulation frequency. We have proposed three types of filters suitable for detecting the modulation at this frequency and at the same time for rejecting the background as well as possible.In order to be able to evaluate the performances of both detecting signals and rejecting false alarms, we first performed numerical simulations based on the model signals, then calculations on real signals acquired in static and driving experiments. The tested speeds were from 30km/h up to 100km/h, which allowed us to analyze the signals emitted from vehicle lights as well as the behavior of our filters under different angular velocities of the lights (zero, low and high). The result of these experiments showed that our method of filtering could detect LED-type DRL lights up to 140m without any false alarm. This is essential to define more precisely the values of thresholds of such systems. We have also evaluated technologies that are possible to improve system performance in the future, which are not yet ready to be used in industry productions. For example, artificial "retinas" could allow us to integrate analog filters in the chips, and thus to reduce bandwidth of the filters.

Este trabalho apresenta um sistema que se utiliza de características extraídas de dados provenientes de um sensor Kinect v2 para monitorar o motorista, dados de sensores inerciais, da telemetria do veículo e dados sobre a estrada/faixa de rodagem para reconhecer o estilo de direção, permitindo ao sistema detectar o uso do celular no trânsito, um motorista embriagado e a direção sonolenta, evitando assim, riscos relacionados com a direção. De fato, quando veículos são conduzidos por pessoas em ligações telefônicas, o risco de acidente aumenta de 4 a 6 vezes. Motoristas embriagados causaram 10:497 mortes nas rodovias dos Estados Unidos da América em 2016, segundo o órgão local responsável pela segurança no trânsito (NHTSA). Um Conjunto de Dados Naturalista do Comportamento do Motorista (NDBD) foi criado especificamente para este trabalho e utilizado para o teste e validação do sistema proposto. A solução proposta emprega duas análises dos dados do motorista, os subsistemas de reconhecimento de padrões de Curto e Longo prazos. Assim, pode-se detectar situações de risco na direção. O sistema possui 3 níveis de alerta: sem alerta, alerta baixo e alerta alto. O subsistema de Curto Prazo detecta situações de sem alerta e de algum nível de alerta. Já o subsistema de Longo Prazo é responsável por determinar o nível de alerta: baixo ou alto. Classificadores baseados em Aprendizado de Máquina e Redes Neurais Artificiais (RNA) foram utilizados. Um Algoritmo Genético foi empregado para otimizar e selecionar um conjunto de valores que ajustam a entrada de características, função de ativação dos neurônios e topologia/treino da rede neural. O sistema proposto alcançou 79;5% de acurácia nos frames do NDBD (conjunto de treinamento e validação obtidos utilizando um simulador veicular próprio), para a detecção conjunta de risco em situações de uso de celular, embriaguez ou condução normal. Para o classificador de Curto Prazo, utilizou-se períodos de 5 frames e uma janela de 140 frames para o Longo Prazo. Considerando a detecção individualizada dos problemas de condução, no caso específico da embriaguez (usados dados de embriaguez e direção normal) o sistema obteve 98% de acurácia, e especificamente para o uso de celular obteve 95% de acurácia. Na classificação de sem alerta (situações sem risco), o sistema obteve apenas 1;5% de predições erradas (falsos positivos), contribuindo assim para o conforto do motorista ao utilizar o sistema. / In this work, a system has been developed using features from a frontal Kinect v2 sensor to monitor the driver, from inertial sensors, car telemetry, and road lane data to recognize the driving style, enabling to recognize the use of a cell phone while driving, a drunk driver, and drowsy driving, avoiding driving risks. In fact, cars driven by people on phone calls, increases the risk of crash between 4 and 6 times. Drunk drivers caused 10;497 deaths on USA roads in 2016 according to NHTSA. The Naturalistic Driver Behavior Dataset (NDBD) was created specifically for this work and it was used to test the proposed system. The proposed solution uses two analysis of the drivers data, the Short-Term and Long-Term pattern recognition subsystems, thus it could detect the risk situations while driving. The system has 3 levels of alarm: no alarm, lowest alarm, and highest alarm. Short-Term detects between no alarm or some level alarm. Long-Term is responsible for determining the risk alarm level, low or high. The classifiers are based on Machine Learning and Artificial Neural Networks (ANN), furthermore, the values set to adjust input features, neuron activation functions, and network topology/training parameters were optimized and selected using a Genetic Algorithm. The proposed system achieved 79:5% of accuracy in NDBD frames (training and validation sets obtained using a driving simulator), for joint detection of risk in situations of cellphone usage, drunkenness, or normal driving. For the Short-Term classifier, it was used length periods of 5 frames and a window of 140 frames for Long-Term. Considering the individualized detection of driving problems, in the specific case of drunkenness (using data of drunkenness and normal driving), the system achieved 98% of accuracy, and specifically for cell phone usage 95% of accuracy. The best results achieved obtained only 1:5% of no risk situation having a wrong prediction (false positives with alarm activation), contributing to the driver comfort when he/she is using the system.

Cette thèse en Cognitique se focalise sur la « Conception Centrée sur l'Humain » (Human Centred Design) de futures assistances à la conduite automobile, adaptées aux conducteurs âgés (ou Elderly Adapted Driver Assistance Systems).Pour ce faire, la démarche proposée repose sur une approche et une méthodologie pluridisciplinaire. Sur le plan ergonomique, il s'agit de mieux connaître les spécificitésde la population des conducteurs âgés, dans le but d'identifier des difficultés et des besoins en assistance. A cette fin, 76 conducteurs âgés (de 70 à 87 ans) ont conduitun véhicule instrumenté, immergé dans le trafic. Le corpus de données comporte2100 kilomètres de conduite et 1400 situations de conduite autoévaluées par lesconducteurs, complétés par 6 Focus Group (30 conducteurs âgés).Le second volet, relevant d'une démarche d'Ingénierie Cognitive, vise à concevoir et développer des fonctions de « monitorage » à partir du corpus de données. L'objectif est de disposer de modèles et de fonctions d'analyse temps-réel capables (1) de superviser l'activité de conduite des conducteurs âgés (2) en regard du contexte ou des risques situationnels, afin de (3) diagnostiquer des difficultés ou erreurs de conduite, à des fins d’adaptativité des assistances. Des fonctions de monitorage en lien avec les contrôles de base du véhicule (gestion de la vitesse, positionnement dans la voie et la gestion de l'espace inter-véhiculaire avant) sont développées. Sur cette base, des fonctions de monitorage plus intégrées pour l'aide aux franchissements d'intersections (Tourne-à-Gauche) et l'assistance à l'insertion sur voies rapides (et au changement de voie) sont également proposées. / This thesis in Cognitics presents a Human Centered Design approach for thedevelopment of future driving assistance systems dedicated to elderly drivers orElderly Adapted Driver Assistance Systems (E-ADAS).To do so, this work relies on a multi-disciplinary approach for data collection andanalysis. Regarding Ergonomics, the aim is to better understand the specificrequirements of this population in order to identify their actual difficulties and actualneeds of assistance. In this frame, 76 drivers (aged from 70 to 87 years old) took partto an on-the-road experiment, driving an instrumented car. The dataset includes2100 km of ecological driving data and 1400 auto-evaluated driving situations,completed by 6 Focus Groups (involving 30 elderly drivers).The second part of this research, relying on Cognitive Engineering, explores thedesign and implementation of monitoring functions based on the aforementioneddataset. The objective is to have real-time models and analytical functions, able to:(1) supervise the driving activity as realized by an elderly driver, (2) taking in toconsideration the driving context or situational risks (3) in order to detect difficulties ordriving errors. Beyond this thesis, these diagnostics will have to be integrated inassistive systems to better adapt their support to the specific needs of elderly drivers.Specific monitoring functions related to basic vehicle control (speed management,lane positioning and headway regulation) are presented. Based on these results,integrated monitoring functions for intersection crossings in Left-Turn manoeuver,highway merging assistance, and, more broadly, lane change assistance areintroduced.

Cette thèse est dédiée à la pré-calibration des nouveaux systèmes d’aides à la conduite (ADAS). Le développement de ces systèmes est devenu aujourd’hui un axe de recherche stratégique pour les constructeurs automobiles dans le but de proposer des véhicules plus sûrs et moins énergivores. Cette thèse contribue à une vision méthodologique multi-critère, multi-modèle et multi-scénario. Elle en propose une instanciation particulière pour la pré-calibration spécifique au Lane Centering Assistance (LCA). Elle s’appuie sur des modèles dynamiques de complexité juste nécessaire du véhicule et de son environnement pour, dans le cadre du formalisme H2/H∞, formaliser et arbitrer les compromis entre performance de suivi de voie, confort des passagers et robustesse. Les critères élaborés sont définis de manière à être d’interprétation aisée, car directement liés à la physique, et facilement calculables. Ils s’appuient sur des modèles de perturbations exogènes (e.g. courbure de la route ou rafale de vent) et de véhicules multiples mais représentatifs, de manière à réduire autant que possible le pessimisme tout en embrassant l’ensemble des situations réalistes. Des simulations et des essais sur véhicules démontrent l’intérêt de l’approche. / This thesis deals with the tuning of the new Advanced Driving Assistance Systems (ADAS). The development of these systems has become nowadays a strategic line of research for the automotive industry towards the conception of safer and fuel-efficient vehicles.This thesis contributes to a multi-criterion, multi-modeland multi-scenario methodological vision of the tuning process. It is presented through a specific application of the tuning of the Lane Centering Assistance (LCA). It relies on vehicle and environment’s dynamical models of adequate complexity in the aim of formalizing and managing, in a H2/H∞ framework, the trade-off between performance, comfort and robustness. The formulated criteria are easy to compute and defined in a way to be understandable, closely linked to practical specifications. The whole methodology is driven by the research of a pertinent trade-off between realism (being as closest as possible to reality) and complexity (quick evaluation of the criterion). The efficiency and the robustness of the approach is demonstrated through high-fidelity simulations and numerous tests on real vehicles.