Driving while drowsy is a major cause behind road accidents, and exposes the driver to a much higher crash risk compared to driving while alert. Therefore, the use of assistive systems that monitor a driver’s level of vigilance and alert the fatigue driver can be significant in the prevention of accidents. This thesis introduces three different methods towards the detection of drivers’ drowsiness based on yawning measurement. All three approaches involve several steps, including the real time detection of the driver’s face, mouth and yawning. The last approach, which is the most accurate, is based on the Viola-Jones theory for face and mouth detection and the back projection theory for measuring both the rate and the amount of changes in the mouth for yawning detection. Test results demonstrate that the proposed system can efficiently measure the aforementioned parameters and detect the yawning state as a sign of a driver’s drowsiness.

This diploma thesis deals with the options of image processing on mobile platforms, especially on Android operating system, and their use in a driver drowsiness detection system. The introductory part analyses the influence of drowsiness on drivers, focusing chiefly on the microsleep, and describes the already existing driver drowsiness detection systems. The thesis proceeds by the description of possibilities of image processing on mobile platforms with the emphasis on Android operating system together with the OpenCV library, known from the desktop interface. This is followed by comparison of various options of library implementation on a mobile platform. The chapter on image processing describes the algorithms for the detection of objects in the image, usable for detection of face, eyes and their posture. The practical part implements the selected methods for the Android operating system. A referential application was created to provide an explanatory demonstration of these methods on a real device. The individual methods are compared on the basis of time consumption, error rate and other factors.

Im unter Ruhebedingungen abgeleiteten Elektroenzephalogramm (Ruhe-EEG) können Episoden niedergespannter EEG-Aktivität sowohl mit Schläfrigkeit, als auch mit geistiger Aktivität assoziiert sein. Aus diesem Grunde stellt niedergespannte EEG-Aktivität eine potentielle Fehlerquelle bei der Interpretation des Ruhe-EEGs dar. Wird niedergespannte EEG-Aktivität jedoch von für das Einschlafen charakteristischen, langsamen Augenbewegungen (Slow horizontal eye movements, SEM) begleitet, ist eine Assoziation mit geistiger Aktivität ausgeschlossen. Ziel dieser Dissertation ist die Untersuchung der Frage, ob niedergespannte EEG-Aktivität im Ruhe-EEG, welche von SEM begleitet wird (B1+), sich von solcher ohne begleitende SEM (B1-) hinsichtlich ihrer spektralen und räumlichen Zusammensetzung unterscheidet. Hierzu wurden 35 Ruhe-EEGs gesunder Probanden analysiert, welche jeweils mindestens 10s B1-, B1+ sowie 10s niedergespannter EEG-Aktivität während der Bearbeitung einer Kopfrechenaufgabe (calc) präsentierten. Unter Verwendung der Methode der standardized low resolution brain electromagnetic tomography (sLORETA) wurden für calc, B1- und B1+ die kortikalen Stromdichteverteilungen in vier verschiedenen, individuell angepassten Frequenzbändern berechnet. Die statistische Auswertung ergab signifikante Unterschiede zwischen B1- und B1+: Es zeigte bei B1- sowohl im Delta- als auch im Theta-Band eine geringere Aktivität im Bereich des Cingulums sowie benachbarten Teilen der Frontal-, Parietal- und Okzipiallappen. Zusätzlich zeigte sich eine erhöhte Aktivität im Frequenzbereich des Beta-Bandes in den Temporallappen für B1- verglichen mit B1+. Der Vergleich von calc mit B1+ erbrachte ähnliche Resultate. Die Befunde lassen eine Zugehörigkeit von B1- zu einem, verglichen mit B1+ höheren Vigilanzniveau vermuten und liefern Evidenz für die Einteilung niedergespannter Episoden im Ruhe-EEG in solche mit und ohne begleitende SEM.

L'hypovigilance du conducteur (que ce soit provoquée par la distraction ou la somnolence) est une des menaces principales pour la sécurité routière. Cette thèse s'encadre dans le projet Toucango, porté par la start-up Innov+, qui vise à construire un détecteur d'hypovigilance en temps réel basé sur la fusion d'un flux vidéo en proche infra-rouge et d'informations environnementales. L'objectif de cette thèse consiste donc à proposer des techniques d'extraction des indices pertinents ainsi que des algorithmes de fusion multimodale qui puissent être embarqués sur le système pour un fonctionnement en temps réel. Afin de travailler dans des conditions proches du terrain, une base de données en conduite réelle a été créée avec la collaboration de plusieurs sociétés de transports. Dans un premier temps, nous présentons un état de l'art scientifique et une étude des solutions disponibles sur le marché pour la détection de l'hypovigilance. Ensuite, nous proposons diverses méthodes basées sur le traitement d'images (pour la détection des indices pertinents sur la tête, yeux, bouche et visage) et de données (pour les indices environnementaux basés sur la géolocalisation). Nous réalisons une étude sur les facteurs environnementaux liés à l'hypovigilance et développons un système d'estimation du risque contextuel. Enfin, nous proposons des techniques de fusion multimodale de ces indices avec l'objectif de détecter plusieurs comportements d'hypovigilance : distraction visuelle ou cognitive, engagement dans une tâche secondaire, privation de sommeil, micro-sommeil et somnolence. / Driver hypovigilance (whether caused by distraction or drowsiness) is one of the major threats to road safety. This thesis is part of the Toucango project, hold by the start-up Innov+, which aims to build a real-time hypovigilance detector based on the fusion of near infra-red video evidence and environmental information. The objective of this thesis is therefore to propose techniques for extracting relevant indices as well as multimodal fusion algorithms that can be embedded in the system for real-time operation. In order to work near ground truth conditions, a naturalistic driving database has been created with the collaboration of several transport companies. We first present a scientific state of the art and a study of the solutions available on the market for hypovigilance detection. Then, we propose several methods based on image (for the detection of relevant indices on the head, eyes, mouth and face) and data processing (for environmental indices based on geolocation). We carry out a study on the environmental factors related to hypovigilance and develop a contextual risk estimation system. Finally, we propose multimodal fusion techniques of these indices with the objective of detecting several hypovigilance behaviors: visual or cognitive distraction, engagement in a secondary task, sleep deprivation, microsleep and drowsiness.

A device capable of continuously monitoring an individual’s levels of alertness in real-time is highly desirable for preventing drowsiness and lapse related accidents. This thesis presents the development of a non-intrusive and light-insensitive video-based system that uses computer-vision methods to localize face, eyes, and eyelids positions to measure level of eye closure within an image, which, in turn, can be used to identify visible facial signs associated with drowsiness and behavioural microsleeps. The system was developed to be non-intrusive and light-insensitive to make it practical and end-user compliant. To non-intrusively monitor the subject without constraining their movement, the video was collected by placing a camera, a near-infrared (NIR) illumination source, and an NIR-pass optical filter at an eye-to-camera distance of 60 cm from the subject. The NIR-illumination source and filter make the system insensitive to lighting conditions, allowing it to operate in both ambient light and complete darkness without visually distracting the subject. To determine the image characteristics and to quantitatively evaluate the developed methods, reference videos of nine subjects were recorded under four different lighting conditions with the subjects exhibiting several levels of eye closure, head orientations, and eye gaze. For each subject, a set of 66 frontal face reference images was selected and manually annotated with multiple face and eye features. The eye-closure measurement system was developed using a top-down passive feature-detection approach, in which the face region of interest (fROI), eye regions of interests (eROIs), eyes, and eyelid positions were sequentially localized. The fROI was localized using an existing Haar-object detection algorithm. In addition, a Kalman filter was used to stabilize and track the fROI in the video. The left and the right eROIs were localized by scaling the fROI with corresponding proportional anthropometric constants. The position of an eye within each eROI was detected by applying a template-matching method in which a pre-formed eye-template image was cross-correlated with the sub-images derived from the eROI. Once the eye position was determined, the positions of the upper and lower eyelids were detected using a vertical integral-projection of the eROI. The detected positions of the eyelids were then used to measure eye closure. The detection of fROI and eROI was very reliable for frontal-face images, which was considered sufficient for an alertness monitoring system as subjects are most likely facing straight ahead when they are drowsy or about to have microsleep. Estimation of the y- coordinates of the eye, upper eyelid, and lower eyelid positions showed average median errors of 1.7, 1.4, and 2.1 pixels and average 90th percentile (worst-case) errors of 3.2, 2.7, and 6.9 pixels, respectively (1 pixel 1.3 mm in reference images). The average height of a fully open eye in the reference database was 14.2 pixels. The average median and 90th percentile errors of the eye and eyelid detection methods were reasonably low except for the 90th percentile error of the lower eyelid detection method. Poor estimation of the lower eyelid was the primary limitation for accurate eye-closure measurement. The median error of fractional eye-closure (EC) estimation (i.e., the ratio of closed portions of an eye to average height when the eye is fully open) was 0.15, which was sufficient to distinguish between the eyes being fully open, half closed, or fully closed. However, compounding errors in the facial-feature detection methods resulted in a 90th percentile EC estimation error of 0.42, which was too high to reliably determine extent of eye-closure. The eye-closure measurement system was relatively robust to variation in facial-features except for spectacles, for which reflections can saturate much of the eye-image. Therefore, in its current state, the eye-closure measurement system requires further development before it could be used with confidence for monitoring drowsiness and detecting microsleeps.

Im unter Ruhebedingungen abgeleiteten Elektroenzephalogramm (Ruhe-EEG) können Episoden niedergespannter EEG-Aktivität sowohl mit Schläfrigkeit, als auch mit geistiger Aktivität assoziiert sein. Aus diesem Grunde stellt niedergespannte EEG-Aktivität eine potentielle Fehlerquelle bei der Interpretation des Ruhe-EEGs dar. Wird niedergespannte EEG-Aktivität jedoch von für das Einschlafen charakteristischen, langsamen Augenbewegungen (Slow horizontal eye movements, SEM) begleitet, ist eine Assoziation mit geistiger Aktivität ausgeschlossen. Ziel dieser Dissertation ist die Untersuchung der Frage, ob niedergespannte EEG-Aktivität im Ruhe-EEG, welche von SEM begleitet wird (B1+), sich von solcher ohne begleitende SEM (B1-) hinsichtlich ihrer spektralen und räumlichen Zusammensetzung unterscheidet. Hierzu wurden 35 Ruhe-EEGs gesunder Probanden analysiert, welche jeweils mindestens 10s B1-, B1+ sowie 10s niedergespannter EEG-Aktivität während der Bearbeitung einer Kopfrechenaufgabe (calc) präsentierten. Unter Verwendung der Methode der standardized low resolution brain electromagnetic tomography (sLORETA) wurden für calc, B1- und B1+ die kortikalen Stromdichteverteilungen in vier verschiedenen, individuell angepassten Frequenzbändern berechnet. Die statistische Auswertung ergab signifikante Unterschiede zwischen B1- und B1+: Es zeigte bei B1- sowohl im Delta- als auch im Theta-Band eine geringere Aktivität im Bereich des Cingulums sowie benachbarten Teilen der Frontal-, Parietal- und Okzipiallappen. Zusätzlich zeigte sich eine erhöhte Aktivität im Frequenzbereich des Beta-Bandes in den Temporallappen für B1- verglichen mit B1+. Der Vergleich von calc mit B1+ erbrachte ähnliche Resultate. Die Befunde lassen eine Zugehörigkeit von B1- zu einem, verglichen mit B1+ höheren Vigilanzniveau vermuten und liefern Evidenz für die Einteilung niedergespannter Episoden im Ruhe-EEG in solche mit und ohne begleitende SEM.

Ce travail de thèse a pour contexte la surveillance des systèmes homme-machine, où l'opérateur est le conducteur d'un système de transport ferroviaire. Notre objectif est d'améliorer la sécurité du système en prévenant et en évitant les facteurs pouvant augmenter le risque d'une erreur humaine. Deux verrous majeurs sont identifiés : l'aspect caractérisation, ou comment déterminer les phases indicatives et discernables de l'activité de conduite et l'aspect représentation, ou comment décrire et codifier les actions de conduite de l'opérateur et leurs répercussions sur le système ferroviaire dans un formalisme mathématique permettant une analyse sans équivoque. Pour solutionner ces verrous, nous proposons en premier lieu un modèle comportemental de l'opérateur humain permettant de représenter son comportement de contrôle en temps continu. Afin de tenir compte des différences inter- et intra-individuelles des opérateurs humains, ainsi des changements de situations, nous proposons une transformation du modèle comportemental initialement présenté, dans un nouveau espace de représentation. Cette transformation est basée sur la théorie des chaines cachées de Markov, et sur l'adaptation d'une technique particulière de reconnaissance de formes. Par la suite, nous définissons une modélisation comportementale en temps discret de l'opérateur humain, permettant en même temps de représenter ses actions et de tenir compte des erreurs et des évènements inattendus dans l'environnement de travail. Cette modélisation est inspirée des modèles cognitifs d’opérateur. Les deux aspects permettent d'interpréter les observables par rapport à des situations de référence. Afin de caractériser l'état global de l'opérateur humain, différentes informations sont prises en considération ; ces informations sont hétérogènes et entachées d’incertitudes de mesure, nécessitant une procédure de fusion de données robuste qui est effectuée à l'aide d'un réseau Bayésien. Au final, les méthodologies de modélisation et de fusion proposées sont exploitées pour la conception d'un système de vigilance fiable et non-intrusif. Ce système permet d'interpréter les comportements de conduite et de détecter les états à risque du conducteur (ex. l'hypovigilance). L'étude théorique a été testée en simulation pour vérifier sa validité. Puis, une étude de faisabilité a été menée sur des données expérimentales obtenues lors des expériences sur la plate-forme de conduite ferroviaire COR&GEST du laboratoire LAMIH. Ces résultats ont permis de planifier et de mettre en place les expérimentations à mener sur le futur simulateur de conduite multimodal "PSCHITT-PMR". / The scope of the thesis is the monitoring of human-machine systems, where the operator is the driver of rail-based transportation system. Our objective is to improve the security of the system preventing and avoiding factors that increase the risk of a human error. Two major problems are identified: characterization, or how to determine indicative and discernible phases of driver's activity and representation, or how to describe and codify driver's actions and its repercussions on the rail system in a mathematical formalism that will allow unequivocal analysis. In order to bring a solution to those problems, we propose, first-of-all, a behavioral model of the human operator representing his control behavior in continuous-time. To consider inter- and intra-individual differences of human operators and situation changes, we propose a transformation of the latter behavioral model in a new space of representation. This transformation is based on the theory of Hidden Markov Models, and on an adaptation of a special pattern recognition technique. Then, we propose a discrete-time behavioral modeling of the human operator, which represents his actions and takes account of errors and unexpected events in work environment. This model is inspired by cognitive models of human operators. These two aspects allow us to interpret observables with respect to reference situations in order to characterize the overall human operator state. Different information sources are considered; as a result the data are heterogeneous and subject to measuring uncertainties, needing a robust data fusion approach that is performed using a Bayesian Network. Finally, the proposed modeling and fusion methodologies are used to design a reliable and unintrusive vigilance system. This system can interpret driving behaviors and to detect driver’s risky states in order to prevent drowsiness. The theoretical study was tested in simulation to check the validity. Then, a feasibility study was conducted using data obtained during experiments on the LAMIH laboratory railroad platform “COR&GEST”. These results allowed us to plan and implement experiments to be conducted on the future multimodal driving simulator “PSCHITT-PMR”.