The development of driver assistance and automated vehicle control is in process and finds its way more and more into urban traffic environments. Here, the complexity of traffic situations is highly challenging and requires system approaches to comprehend such situations. The key element is the process of situation assessment to identify critical situations in advance and derive adequate warning and intervention strategies. This thesis introduces a system approach to establish a situation assessment process with the focus on the prediction of the driver intention. The system design is based on the Situation Awareness model by Endsley. Further, a prediction algorithm is created using Hidden Markov Models. To define the parameters of the models, an existing database is used and previously analyzed to identify reasonable variables that indicate an intended driving direction while approaching the intersection. Here, vehicle dynamics are used instead of driver inputs to enable a further extension of the prediction, i.e.\\ to predict the driving intention of other vehicles detected by sensors. High prediction rates at temporal distances of several seconds before entering the intersection are accomplished. The prediction is integrated in a system for situation assessment including an intersection model. A Matlab tool is created with an interface to the vehicle CAN bus and the intersection modeling which uses digital map data to establish a representation of the intersection. To identify differences and similarities in the process of approaching an intersection dependent on the intersection shape and regulation, a naturalistic driving study is conducted. Here, the distance to the intersection and velocity is observed on driver inputs related to the upcoming intersection (leaving the gas pedal, pushing the brake, using the turn signal). The findings are used to determine separate prediction models dependent on shape and regulation of the upcoming intersection. The system runs in real-time and is tested in a real traffic environment. / Die Entwicklung von Fahrerassistenz und automatisiertem Fahren ist in vollem Gange und entwickelt sich zunehmend in Richtung urbanen Verkehrsraum. Hier stellen besonders komplexe Verkehrssituationen sowohl für den Fahrer als auch für Assistenzsysteme eine Herausforderung dar. Zur Bewältigung dieser Situationen sind neue Systemansätze notwendig, die eine Situationsanalyse und -bewertung beinhalten. Dieser Prozess der Situationseinschätzung ist der Schlüssel zum Erkennen von kritischen Situationen und daraus abgeleiteten Warnungs- und Eingriffsstrategien. Diese Arbeit stellt einen Systemansatz vor, welcher den Prozess der Situationseinschätzung abbildet mit einem Fokus auf die Prädiktion der Fahrerintention. Das Systemdesign basiert dabei auf dem Situation Awareness Model von Endsley. Der Prädiktionsalgorithmus ist mit Hilfe von Hidden Markov Modellen umgesetzt. Zur Bestimmung der Modellparameter wurde eine existierende Datenbasis genutzt und zur Bestimmung von relevanten Variablen für die Prädiktion der Fahrtrichtung während der Kreuzungsannäherung analysiert. Dabei wurden Daten zur Fahrdynamik ausgewählt anstelle von Fahrereingaben um die Prädiktion später auf externe Fahrzeuge mittels Sensorinformationen zu erweitern. Es wurden hohe Prädiktionsraten bei zeitlichen Abständen von mehreren Sekunden bis zum Kreuzungseintritt erzielt. Die Prädiktion wurde in das System zur Situationseinschätzung integriert. Weiterhin beinhaltet das System eine statische Kreuzungsmodellierung. Dabei werden digitale Kartendaten genutzt um eine Repräsentation der Kreuzung und ihrer statischen Attribute zu erzeugen und die der Kreuzungsform entsprechenden Prädiktionsmodelle auszuwählen. Das Gesamtsystem ist als Matlab Tool mit einer Schnittstelle zum CAN Bus implementiert. Weiterhin wurde eine Fahrstudie zum natürlichen Fahrverhalten durchgeführt um mögliche Unterschiede und Gemeinsamkeiten bei der Annäherung an Kreuzungen in Abhängigkeit der Form und Regulierung zu identifizieren. Hierbei wurde die Distanz zur Kreuzung und die Geschwindigkeit bei Fahrereingaben im Bezug zur folgenden Kreuzung gemessen (Gaspedalverlassen, Bremspedalbetätigung, Blinkeraktivierung). Die Ergebnisse der Studie wurden genutzt um die Notwendigkeit verschiedener Prädiktionsmodelle in Abhängigkeit von Form der Kreuzung zu bestimmen. Das System läuft in Echtzeit und wurde im realen Straßenverkehr getestet.

[pt] Dirigir é uma tarefa diária que permite uma locomoção mais rápida e mais confortável, no entanto, mais da metade dos acidentes fatais estão relacionados à imprudência. Manobras imprudentes podem ser detectadas com boa precisão, analisando dados relativos à interação motorista-veículo, por exemplo, curvas, aceleração e desaceleração abruptas. Embora existam algoritmos para detecção online de anomalias, estes normalmente são projetados para serem executados em computadores com grande poder computacional. Além disso, geralmente visam escala através da computação paralela, computação em grid ou computação em nuvem. Esta tese apresenta uma abordagem baseada em complex event processing para a detecção online de anomalias e classificação do comportamento de condução. Além disso, objetivamos identificar se dispositivos móveis com poder computacional limitado, como os smartphones, podem ser usados para uma detecção online do comportamento de condução. Para isso, modelamos e avaliamos três algoritmos de detecção online de anomalia no paradigma de processamento de fluxos de dados, que recebem os dados dos sensores do smartphone e dos sensores à bordo do veículo como entrada. As vantagens que o processamento de fluxos de dados proporciona reside no fato de que este reduz a quantidade de dados transmitidos do dispositivo móvel para servidores/nuvem, bem como se reduz o consumo de energia/bateria devido à transmissão de dados dos sensores e possibilidade de operação mesmo se o dispositivo móvel estiver desconectado. Para classificar os motoristas, um mecanismo estatístico utilizado na mineração de documentos que avalia a importância de uma palavra em uma coleção de documentos, denominada frequência de documento inversa, foi adaptado para identificar a importância de uma anomalia em um fluxo de dados, e avaliar quantitativamente o grau de prudência ou imprudência das manobras dos motoristas. Finalmente, uma avaliação da abordagem (usando o algoritmo que obteve melhor resultado na primeira etapa) foi realizada através de um estudo de caso do comportamento de condução de 25 motoristas em cenário real. Os resultados mostram uma acurácia de classificação de 84 por cento e um tempo médio de processamento de 100 milissegundos. / [en] Driving is a daily task that allows individuals to travel faster and more comfortably, however, more than half of fatal crashes are related to recklessness driving behaviors. Reckless maneuvers can be detected with accuracy by analyzing data related to driver-vehicle interactions, abrupt turns, acceleration, and deceleration, for instance. Although there are algorithms for online anomaly detection, they are usually designed to run on computers with high computational power. In addition, they typically target scale through parallel computing, grid computing, or cloud computing. This thesis presents an online anomaly detection approach based on complex event processing to enable driving behavior classification. In addition, we investigate if mobile devices with limited computational power, such as smartphones, can be used for online detection of driving behavior. To do so, we first model and evaluate three online anomaly detection algorithms in the data stream processing paradigm, which receive data from the smartphone and the in-vehicle embedded sensors as input. The advantages that stream processing provides lies in the fact that reduce the amount of data transmitted from the mobile device to servers/the cloud, as well as reduce the energy/battery usage due to transmission of sensor data and possibility to operate even if the mobile device is disconnected. To classify the drivers, a statistical mechanism used in document mining that evaluates the importance of a word in a collection of documents, called inverse document frequency, has been adapted to identify the importance of an anomaly in a data stream, and then quantitatively evaluate how cautious or reckless drivers maneuvers are. Finally, an evaluation of the approach (using the algorithm that achieved better result in the first step) was carried out through a case study of the 25 drivers driving behavior. The results show an accuracy of 84 percent and an average processing time of 100 milliseconds.

La sécurité routière est un enjeu de santé publique et de développement à travers le monde. En 2010, déjà plus d'un milliard de véhicules à travers le monde étaient en circulation (1). En 2016, près de 1,35 million de personnes ont été rapportées comme décédées suite à des accidents de la route (2). Avec des intérieurs de véhicules et des environnements routiers en constante évolution au cours du dernier siècle, les capacités visuelles sont de plus en plus sollicitées entraînant également une contribution accrue des capacités cognitives. Du point de vue scientifique et clinique, l'interaction entre les mécanismes visuels, tels que l'acuité visuelle et les mécanismes cognitifs impliqués pendant la conduite sont encore peu étudiés et à peine promus comme éléments clés du comportement de conduite sécuritaire. L'étude de cette problématique, dont l'impact est sous-estimé au niveau sociétal, est au coeur de ce travail de maîtrise. Si l'acuité visuelle est difficile à relier aux taux d'accidentologie (3, 4), il est cependant reconnu que les capacités visuo cognitives prédisent le taux d'accidentologie sur route à cinq ans (3) et en simulateur de conduite (5). C’est pourquoi dans cette étude, nous avons émis l'hypothèse que, dans un contexte de forte charge cognitive en conduite, une diminution de l'acuité visuelle aurait un impact négatif sur le comportement de conduite. Nous avons examiné si un seuil d'acuité visuelle artificiellement réduit au seuil légal d'obtention du permis de conduire au Canada, et une réduction plus importante induirait un effet sur les performances de conduite. Le comportement de 21 conducteurs âgés de 21 à 34 ans a été mesuré à l'aide du simulateur VS500M dans divers contextes de conduite et de charge cognitive. Un scénario rural de conduite à faible charge cognitive en comparaison à un scénario autoroute de conduite impliquant des tâches de navigation sur GPS ont été utilisés. Deux scénarios de chaque ont été réalisés avec une vision optimale -acuité visuelle de 6/6- et une qualité de vision réduite -acuité visuelle réduite artificiellement à un niveau plus faible pour 11 des conducteurs et une réduction plus importante pour 10 des conducteurs. Les résultats, faisant l'objet d'une publication scientifique à comité de lecture en préparation, démontrent une diminution des capacités à manoeuvrer le véhicule efficacement, notamment une augmentation de la variabilité de la vitesse et de la position latérale du véhicule (SDLP) en contexte de charge mentale élevée, une augmentation de la variabilité de la vitesse en condition de qualité de vision réduite lors de présence de charge mentale élevée ainsi qu'une diminution de la vitesse moyenne et une augmentation de sa variabilité selon les groupes de réduction de qualité visuelle, toujours dans un contexte de charge mentale élevée. Même si le taux de succès reste stable malgré la manipulation expérimentale, les résultats confirment l'importance d'évaluer les enjeux visuels dans des contextes certes quotidiens, mais pour 2 lesquels les interactions avec la cognition sont encore peu considérées. La sollicitation de la vision à des distances intermédiaires par la tâche de GPS, en plus des distances de loin telles que considérées par les aspects normatifs de la législation du permis de conduire, l'augmentation de la charge cognitive associée à cette double tâche de mobilité et de navigation, mais aussi à la réduction de la qualité de vision nous amènent à proposer de nouvelles pistes de recherche dans la discussion de ce mémoire pour mieux comprendre les enjeux des amétropies visuelles, de la presbytie ou bien encore du vieillissement / Road safety is a public health and development issue across the world. In 2010, more than a billion vehicles were already in circulation worldwide (1). In 2016, nearly 1.35 million people were reported as dead after road crashes (2). With ever-changing vehicle interiors and road environments over the past century, visual abilities are increasingly strained resulting in an increased contribution of cognitive abilities as well. From a scientific and clinical point of view, the interaction between visual mechanisms, such as visual acuity and the cognitive mechanisms involved during driving are still little studied and hardly promoted as key elements of safe driving behavior. The study of this problem, the impact of which is underestimated at the societal level, is at the heart of my master's work. While visual acuity is difficult to relate to accident rates (3, 4), it is however recognized that visuo-cognitive abilities predict the road accident rate at five years (3) and in a driving simulator (5). This is why in this study, we hypothesized that, in a context of high cognitive load while driving, a decrease in visual acuity would have a negative impact on driving behavior. We examined whether a visual acuity threshold artificially reduced to the legal threshold for obtaining a driver's license in Canada, and a greater reduction, would have an effect on driving performance. The behaviors of 21 drivers aged between 21 and 34 were measured using the VS500M simulator in various driving and cognitive load contexts. A rural driving scenario with low cognitive load compared to a highway driving scenario involving GPS navigation tasks were used. Two scenarios were carried out by all the participants with optimal vision - visual acuity of 6/6 - and reduced quality of vision -a lower artificially reduced visual acuity 11 of the drivers and a higher one for 10 of the drivers. The results, which are the subject of a peer-reviewed scientific publication in preparation, demonstrate a decrease in the ability to maneuver the vehicle effectively, in particular an increase in the variability of speed and of the standard deviation of lateral position of the vehicle (SDLP) in a context of high mental load, an increase in the variability of speed under reduced vision quality conditions in the presence of a high mental load as well as a decrease in the average speed and an increase in its variability according to the visual quality reduction groups, also in a context of high mental load. Even if the success rate remains stable despite the experimental manipulation, the results confirm the importance of evaluating visual issues in contexts that are admittedly everyday but for which interactions with cognition are still little considered. The solicitation of vision at intermediate distances by the GPS task, in addition to far distances as considered by the normative aspects of driving license legislation, the increased cognitive load associated with this dual mobility task and navigation, but also to the reduction of the quality of vision lead us to propose new avenues of research in discussion of this thesis to better understand the stakes of visual ametropia, presbyopia or even aging.

The development of Advanced Driver Assistance Systems and autonomous driving is one of the main research fields in the area of vehicle development today. Initially the research in this area focused on analyzing and predicting driving maneuvers on highways. Nowadays, a vast amount of research focuses on urban areas as well. Driving maneuvers in urban areas are more complex and therefore more difficult to predict than driving maneuvers on highways. The goals of predicting and understanding driving maneuvers are to reduce accidents, to improve traffic density, and to develop reliable algorithms for autonomous driving. Driving behavior during different driving maneuvers such as turning at intersections, emergency braking or lane changes are analyzed. This thesis focuses on the driving behavior around lane changes and thus the prediction of lane changes in the urban area is applied with an Echo State Network. First, existing methods with a special focus on input variables and results were evaluated to derive input variables with regard to lane change and no lane change sequences. The data for this first analyses were obtained from a naturalistic driving study. Based on theses results the final set of variables (steering angle, turn signal and gazes to the left and right) was chosen for further computations. The parameters of the Echo State Network were then optimized using the data of the naturalistic driving study and the final set of variables. Finally, left and right lane changes were predicted. Furthermore, the Echo State Network was compared to a feedforward neural network. The Echo State Network could predict left and right lane changes more successful than the feedforward neural network. / Fahrerassistenzsysteme und Algorithmen zum autonomen Fahren stellen ein aktuelles Forschungsfeld im Bereich der Fahrzeugentwicklung dar. Am Anfang wurden vor allem Fahrmanöver auf der Autobahn analysiert und vorhergesagt, mittlerweile hat sich das Forschungsfeld auch auf den urbanen Verkehr ausgeweitet. Fahrmanöver im urbanen Raum sind komplexer als Fahrmanöver auf Autobahnen und daher schwieriger vorherzusagen. Ziele für die Vorhersage von Fahrmanövern sind die Reduzierung von Verkehrsunfällen, die Verbesserung des Verkehrsflusses und die Entwicklung von zuverlässigen Algorithmen für das autonome Fahren. Um diese Ziele zu erreichen, wird das Fahrverhalten bei unterschiedlichen Fahrmanövern analysiert, wie z.B. beim Abbiegevorgang an Kreuzungen, bei der Notbremsung oder beim Spurwechsel. In dieser Arbeit wird der Spurwechsel im urbanen Straßenverkehr mit einem Echo State Network vorhergesagt. Zuerst wurden existierende Methoden zur Spurwechselvorhersage bezogen auf die Eingaben und die Ergebnisse bewertet, um danach die spurwechselbezogenen Variableneigenschaften bezüglich Spurwechsel- und Nicht-Spurwechselsequenzen zu analysieren. Die Daten, die Basis für diese ersten Untersuchungen waren, stammen aus einer Realfahrstudie. Basierend auf diesen Resultaten wurden die finalen Variablen (Lenkwinkel, Blinker und Blickrichtung) für weitere Berechnungen ausgewählt. Mit den Daten aus der Realfahrstudie und den finalen Variablen wurden die Parameter des Echo State Networks optimiert und letztendlich wurden linke und rechte Spurwechsel vorhergesagt. Zusätzlich wurde das Echo State Network mit einem vorwärtsgerichteten neuronalen Netz verglichen. Das Echo State Network konnte linke und rechte Spurwechsel erfolgreicher vorhersagen als das vorwärtsgerichtete neuronale Netz.

The development of driver assistance and automated vehicle control is in process and finds its way more and more into urban traffic environments. Here, the complexity of traffic situations is highly challenging and requires system approaches to comprehend such situations. The key element is the process of situation assessment to identify critical situations in advance and derive adequate warning and intervention strategies. This thesis introduces a system approach to establish a situation assessment process with the focus on the prediction of the driver intention. The system design is based on the Situation Awareness model by Endsley. Further, a prediction algorithm is created using Hidden Markov Models. To define the parameters of the models, an existing database is used and previously analyzed to identify reasonable variables that indicate an intended driving direction while approaching the intersection. Here, vehicle dynamics are used instead of driver inputs to enable a further extension of the prediction, i.e.\\ to predict the driving intention of other vehicles detected by sensors. High prediction rates at temporal distances of several seconds before entering the intersection are accomplished. The prediction is integrated in a system for situation assessment including an intersection model. A Matlab tool is created with an interface to the vehicle CAN bus and the intersection modeling which uses digital map data to establish a representation of the intersection. To identify differences and similarities in the process of approaching an intersection dependent on the intersection shape and regulation, a naturalistic driving study is conducted. Here, the distance to the intersection and velocity is observed on driver inputs related to the upcoming intersection (leaving the gas pedal, pushing the brake, using the turn signal). The findings are used to determine separate prediction models dependent on shape and regulation of the upcoming intersection. The system runs in real-time and is tested in a real traffic environment.:Contents List of Figures Acronyms 1 Introduction 1.1 Motivation 1.2 Outline 2 Fundamentals 2.1 Traffic Intersections 2.2 Situation Assessment 2.3 Prediction of Driver Intention 2.3.1 Methods Overview 2.3.2 Hidden Markov Models 2.4 Localization 3 Driving Behavior 3.1 Data Analysis 3.1.1 Data selection and processing 3.1.2 Results 3.1.3 Conclusion 3.2 Naturalistic Driving Study 3.2.1 Background 3.2.2 Methods 3.2.3 Results 3.2.4 Discussion and Conclusion 4 Prediction Algorithm 4.1 Framework 4.2 Input data 4.3 Evaluation 4.4 Validation 4.5 Conclusion 5 System Approach 5.1 Sensing 5.2 Situation analysis 5.3 Prediction 5.3.1 Implementation 5.3.2 Graphical User Interface (GUI) 5.3.3 Testing and Outlook 6 Conclusion and Outlook Bibliography / Die Entwicklung von Fahrerassistenz und automatisiertem Fahren ist in vollem Gange und entwickelt sich zunehmend in Richtung urbanen Verkehrsraum. Hier stellen besonders komplexe Verkehrssituationen sowohl für den Fahrer als auch für Assistenzsysteme eine Herausforderung dar. Zur Bewältigung dieser Situationen sind neue Systemansätze notwendig, die eine Situationsanalyse und -bewertung beinhalten. Dieser Prozess der Situationseinschätzung ist der Schlüssel zum Erkennen von kritischen Situationen und daraus abgeleiteten Warnungs- und Eingriffsstrategien. Diese Arbeit stellt einen Systemansatz vor, welcher den Prozess der Situationseinschätzung abbildet mit einem Fokus auf die Prädiktion der Fahrerintention. Das Systemdesign basiert dabei auf dem Situation Awareness Model von Endsley. Der Prädiktionsalgorithmus ist mit Hilfe von Hidden Markov Modellen umgesetzt. Zur Bestimmung der Modellparameter wurde eine existierende Datenbasis genutzt und zur Bestimmung von relevanten Variablen für die Prädiktion der Fahrtrichtung während der Kreuzungsannäherung analysiert. Dabei wurden Daten zur Fahrdynamik ausgewählt anstelle von Fahrereingaben um die Prädiktion später auf externe Fahrzeuge mittels Sensorinformationen zu erweitern. Es wurden hohe Prädiktionsraten bei zeitlichen Abständen von mehreren Sekunden bis zum Kreuzungseintritt erzielt. Die Prädiktion wurde in das System zur Situationseinschätzung integriert. Weiterhin beinhaltet das System eine statische Kreuzungsmodellierung. Dabei werden digitale Kartendaten genutzt um eine Repräsentation der Kreuzung und ihrer statischen Attribute zu erzeugen und die der Kreuzungsform entsprechenden Prädiktionsmodelle auszuwählen. Das Gesamtsystem ist als Matlab Tool mit einer Schnittstelle zum CAN Bus implementiert. Weiterhin wurde eine Fahrstudie zum natürlichen Fahrverhalten durchgeführt um mögliche Unterschiede und Gemeinsamkeiten bei der Annäherung an Kreuzungen in Abhängigkeit der Form und Regulierung zu identifizieren. Hierbei wurde die Distanz zur Kreuzung und die Geschwindigkeit bei Fahrereingaben im Bezug zur folgenden Kreuzung gemessen (Gaspedalverlassen, Bremspedalbetätigung, Blinkeraktivierung). Die Ergebnisse der Studie wurden genutzt um die Notwendigkeit verschiedener Prädiktionsmodelle in Abhängigkeit von Form der Kreuzung zu bestimmen. Das System läuft in Echtzeit und wurde im realen Straßenverkehr getestet.:Contents List of Figures Acronyms 1 Introduction 1.1 Motivation 1.2 Outline 2 Fundamentals 2.1 Traffic Intersections 2.2 Situation Assessment 2.3 Prediction of Driver Intention 2.3.1 Methods Overview 2.3.2 Hidden Markov Models 2.4 Localization 3 Driving Behavior 3.1 Data Analysis 3.1.1 Data selection and processing 3.1.2 Results 3.1.3 Conclusion 3.2 Naturalistic Driving Study 3.2.1 Background 3.2.2 Methods 3.2.3 Results 3.2.4 Discussion and Conclusion 4 Prediction Algorithm 4.1 Framework 4.2 Input data 4.3 Evaluation 4.4 Validation 4.5 Conclusion 5 System Approach 5.1 Sensing 5.2 Situation analysis 5.3 Prediction 5.3.1 Implementation 5.3.2 Graphical User Interface (GUI) 5.3.3 Testing and Outlook 6 Conclusion and Outlook Bibliography