L'hypovigilance du conducteur (que ce soit provoquée par la distraction ou la somnolence) est une des menaces principales pour la sécurité routière. Cette thèse s'encadre dans le projet Toucango, porté par la start-up Innov+, qui vise à construire un détecteur d'hypovigilance en temps réel basé sur la fusion d'un flux vidéo en proche infra-rouge et d'informations environnementales. L'objectif de cette thèse consiste donc à proposer des techniques d'extraction des indices pertinents ainsi que des algorithmes de fusion multimodale qui puissent être embarqués sur le système pour un fonctionnement en temps réel. Afin de travailler dans des conditions proches du terrain, une base de données en conduite réelle a été créée avec la collaboration de plusieurs sociétés de transports. Dans un premier temps, nous présentons un état de l'art scientifique et une étude des solutions disponibles sur le marché pour la détection de l'hypovigilance. Ensuite, nous proposons diverses méthodes basées sur le traitement d'images (pour la détection des indices pertinents sur la tête, yeux, bouche et visage) et de données (pour les indices environnementaux basés sur la géolocalisation). Nous réalisons une étude sur les facteurs environnementaux liés à l'hypovigilance et développons un système d'estimation du risque contextuel. Enfin, nous proposons des techniques de fusion multimodale de ces indices avec l'objectif de détecter plusieurs comportements d'hypovigilance : distraction visuelle ou cognitive, engagement dans une tâche secondaire, privation de sommeil, micro-sommeil et somnolence. / Driver hypovigilance (whether caused by distraction or drowsiness) is one of the major threats to road safety. This thesis is part of the Toucango project, hold by the start-up Innov+, which aims to build a real-time hypovigilance detector based on the fusion of near infra-red video evidence and environmental information. The objective of this thesis is therefore to propose techniques for extracting relevant indices as well as multimodal fusion algorithms that can be embedded in the system for real-time operation. In order to work near ground truth conditions, a naturalistic driving database has been created with the collaboration of several transport companies. We first present a scientific state of the art and a study of the solutions available on the market for hypovigilance detection. Then, we propose several methods based on image (for the detection of relevant indices on the head, eyes, mouth and face) and data processing (for environmental indices based on geolocation). We carry out a study on the environmental factors related to hypovigilance and develop a contextual risk estimation system. Finally, we propose multimodal fusion techniques of these indices with the objective of detecting several hypovigilance behaviors: visual or cognitive distraction, engagement in a secondary task, sleep deprivation, microsleep and drowsiness.

L'hypovigilance correspond à la transition entre la veille et le sommeil durant laquelle l'organisme voit ses facultés d'observation et d'analyse fortement réduites. Elle est responsable de nombreux accidents sur la route. Le but de cette thèse est de proposer un système de détection de cette phase accidentogène à partir de l'analyse conjointe de l'activité cérébrale (électroencéphalogramme ou EEG) et d'une vidéo du conducteur. Dans un premier temps, une méthode non-supervisée de détection d'hypovigilance fonctionnant à l'aide d'un unique canal EEG a été proposée. Cette méthode, qui met en oeuvre différentes techniques de traitement du signal et de diagnostic, obtient de bonnes performances sur un ensemble de conducteurs, sans qu'il soit nécessaire de régler de paramètres. Dans un deuxième temps, nous nous sommes intéressés à la caractérisation des signes visuels de l'hypovigilance par une analyse vidéo des clignements. Une comparaison entre l'approche vidéo développée et l'approche traditionnelle par électro-oculogramme (EOG) a permis d'étudier dans quelle mesure la vidéo peut remplacer l'EOG pour la caractérisation des clignements. Elle a également permis de souligner la nécessité d'utiliser d'une caméra rapide (pouvant aller jusqu'à 200fps) pour caractériser les clignements. Un algorithme de détection d'hypovigilance à partir de la caractérisation vidéo des clignements a ainsi été développé. Pour finir, un algorithme de détection d'hypovigilance fusionnant, à l'aide de logique floue, les informations obtenues par les approches physiologique et vidéo est présenté. Toutes ces méthodes ont été testées et validées sur une base de données conséquente de conduite en état d'hypovigilance, la base de données ayant été expertisée par un spécialiste.