L'hypovigilance du conducteur (que ce soit provoquée par la distraction ou la somnolence) est une des menaces principales pour la sécurité routière. Cette thèse s'encadre dans le projet Toucango, porté par la start-up Innov+, qui vise à construire un détecteur d'hypovigilance en temps réel basé sur la fusion d'un flux vidéo en proche infra-rouge et d'informations environnementales. L'objectif de cette thèse consiste donc à proposer des techniques d'extraction des indices pertinents ainsi que des algorithmes de fusion multimodale qui puissent être embarqués sur le système pour un fonctionnement en temps réel. Afin de travailler dans des conditions proches du terrain, une base de données en conduite réelle a été créée avec la collaboration de plusieurs sociétés de transports. Dans un premier temps, nous présentons un état de l'art scientifique et une étude des solutions disponibles sur le marché pour la détection de l'hypovigilance. Ensuite, nous proposons diverses méthodes basées sur le traitement d'images (pour la détection des indices pertinents sur la tête, yeux, bouche et visage) et de données (pour les indices environnementaux basés sur la géolocalisation). Nous réalisons une étude sur les facteurs environnementaux liés à l'hypovigilance et développons un système d'estimation du risque contextuel. Enfin, nous proposons des techniques de fusion multimodale de ces indices avec l'objectif de détecter plusieurs comportements d'hypovigilance : distraction visuelle ou cognitive, engagement dans une tâche secondaire, privation de sommeil, micro-sommeil et somnolence. / Driver hypovigilance (whether caused by distraction or drowsiness) is one of the major threats to road safety. This thesis is part of the Toucango project, hold by the start-up Innov+, which aims to build a real-time hypovigilance detector based on the fusion of near infra-red video evidence and environmental information. The objective of this thesis is therefore to propose techniques for extracting relevant indices as well as multimodal fusion algorithms that can be embedded in the system for real-time operation. In order to work near ground truth conditions, a naturalistic driving database has been created with the collaboration of several transport companies. We first present a scientific state of the art and a study of the solutions available on the market for hypovigilance detection. Then, we propose several methods based on image (for the detection of relevant indices on the head, eyes, mouth and face) and data processing (for environmental indices based on geolocation). We carry out a study on the environmental factors related to hypovigilance and develop a contextual risk estimation system. Finally, we propose multimodal fusion techniques of these indices with the objective of detecting several hypovigilance behaviors: visual or cognitive distraction, engagement in a secondary task, sleep deprivation, microsleep and drowsiness.

Depuis plusieurs années le LAAS-CNRS travaille sur la problématique de la détection de la baisse de vigilance d'un conducteur d'automobile à partir de l'analyse du mode de conduite, afin de réduire le grand nombre des accidents routiers. Dans ce contexte, nous nous sommes intéressés de dégager une mesure référante de l'hypovigilance qui permettrait, par comparaison, de valider le système de mesure embarqué associant des mesures comportementales. Cette thèse a porté sur l'analyse automatique des signaux physiologiques (EEG, EOG) permettant de caractériser la somnolence; et s'est inscrit dans le cadre du projet européen SENSATION. Ce travail s'articule en 2 parties. La première est dédiée à l'analyse des EEG et commence par une présentation de la forme d'onde des signaux à analyser et des phénomènes représentatifs de la somnolence, puis des techniques d'analyse susceptibles de répondre au problème posé : transformé de Fourier, décomposition en Ondelettes, transformation de Hilbert Huang; Pour la suite de l'étude, nous avons sélectionnée la transformation de Hilbert-Huang. La précision de cette méthode sera étudier qualitativement, avant de présenter l'algorithme développé et les premiers résultats obtenus sur des signaux réels. Les conclusions de l'analyse de la précision nous ont amené à modifier l'algorithme proposé par Huang en normalisant les composantes fournies par la transformation de Huang sur l'ensemble de la fenêtre d'analyse avant application de la transformation de Hilbert. La deuxième partie de la thèse est donc consacrée à la localisation et la caractérisation des clignements des yeux dans l'EOG. Avant de présenter l'algorithme développé, nous décrivons le signal étudié et le modèle de clignement proposé. Nous comparons ensuite, sur une base de données constituée durant des expériences menées sur un simulateur de conduite, les résultats obtenus par notre algorithme à une analyse semi-automatique. Une fois la détection des clignements validée, nous com parons le degré de somnolence déterminé après mise en place des règles utilisées par les experts à l'analyse visuelle des signaux. Le bilan du travail réalisé et les perspectives d'amélioration des résultats concluront ce travail.

Ce travail de thèse a pour contexte la surveillance des systèmes homme-machine, où l'opérateur est le conducteur d'un système de transport ferroviaire. Notre objectif est d'améliorer la sécurité du système en prévenant et en évitant les facteurs pouvant augmenter le risque d'une erreur humaine. Deux verrous majeurs sont identifiés : l'aspect caractérisation, ou comment déterminer les phases indicatives et discernables de l'activité de conduite et l'aspect représentation, ou comment décrire et codifier les actions de conduite de l'opérateur et leurs répercussions sur le système ferroviaire dans un formalisme mathématique permettant une analyse sans équivoque. Pour solutionner ces verrous, nous proposons en premier lieu un modèle comportemental de l'opérateur humain permettant de représenter son comportement de contrôle en temps continu. Afin de tenir compte des différences inter- et intra-individuelles des opérateurs humains, ainsi des changements de situations, nous proposons une transformation du modèle comportemental initialement présenté, dans un nouveau espace de représentation. Cette transformation est basée sur la théorie des chaines cachées de Markov, et sur l'adaptation d'une technique particulière de reconnaissance de formes. Par la suite, nous définissons une modélisation comportementale en temps discret de l'opérateur humain, permettant en même temps de représenter ses actions et de tenir compte des erreurs et des évènements inattendus dans l'environnement de travail. Cette modélisation est inspirée des modèles cognitifs d’opérateur. Les deux aspects permettent d'interpréter les observables par rapport à des situations de référence. Afin de caractériser l'état global de l'opérateur humain, différentes informations sont prises en considération ; ces informations sont hétérogènes et entachées d’incertitudes de mesure, nécessitant une procédure de fusion de données robuste qui est effectuée à l'aide d'un réseau Bayésien. Au final, les méthodologies de modélisation et de fusion proposées sont exploitées pour la conception d'un système de vigilance fiable et non-intrusif. Ce système permet d'interpréter les comportements de conduite et de détecter les états à risque du conducteur (ex. l'hypovigilance). L'étude théorique a été testée en simulation pour vérifier sa validité. Puis, une étude de faisabilité a été menée sur des données expérimentales obtenues lors des expériences sur la plate-forme de conduite ferroviaire COR&GEST du laboratoire LAMIH. Ces résultats ont permis de planifier et de mettre en place les expérimentations à mener sur le futur simulateur de conduite multimodal "PSCHITT-PMR". / The scope of the thesis is the monitoring of human-machine systems, where the operator is the driver of rail-based transportation system. Our objective is to improve the security of the system preventing and avoiding factors that increase the risk of a human error. Two major problems are identified: characterization, or how to determine indicative and discernible phases of driver's activity and representation, or how to describe and codify driver's actions and its repercussions on the rail system in a mathematical formalism that will allow unequivocal analysis. In order to bring a solution to those problems, we propose, first-of-all, a behavioral model of the human operator representing his control behavior in continuous-time. To consider inter- and intra-individual differences of human operators and situation changes, we propose a transformation of the latter behavioral model in a new space of representation. This transformation is based on the theory of Hidden Markov Models, and on an adaptation of a special pattern recognition technique. Then, we propose a discrete-time behavioral modeling of the human operator, which represents his actions and takes account of errors and unexpected events in work environment. This model is inspired by cognitive models of human operators. These two aspects allow us to interpret observables with respect to reference situations in order to characterize the overall human operator state. Different information sources are considered; as a result the data are heterogeneous and subject to measuring uncertainties, needing a robust data fusion approach that is performed using a Bayesian Network. Finally, the proposed modeling and fusion methodologies are used to design a reliable and unintrusive vigilance system. This system can interpret driving behaviors and to detect driver’s risky states in order to prevent drowsiness. The theoretical study was tested in simulation to check the validity. Then, a feasibility study was conducted using data obtained during experiments on the LAMIH laboratory railroad platform “COR&GEST”. These results allowed us to plan and implement experiments to be conducted on the future multimodal driving simulator “PSCHITT-PMR”.