La recherche présentée dans cette thèse est divisée en trois parties. Notre objectif dans la première partie est l’amélioration de la compression de l’image par stéganographie. Dans cette étude, la compression de données est effectuée en deux étapes. Tout d’abord, nous profitons du compactage d’énergie en utilisant JPEG pour réduire les données redondantes. Ensuite, nous intégrons des blocs de bits dans les blocs suivants de la même image stéganographie. Les bits intégrés servent à non seulement augmenter la taille du fichier de l’image compressée, mais aussi à diminuer davantage la taille du fichier. Les résultats expérimentaux montrent que notre méthode donne de meilleurs taux de compression tout en conservant une haute qualité de l’image. Le deuxième sujet de cette thèse propose un formalisme bayésien pour la stéganalyse d’image numérique qui permet la détection d’images stego, l’identification de l’algorithme de stéganographie utilisé, l’estimation de la longueur du message et l’emplacement, et l’anticipation dans le cas de l’intégration en utilisant un algorithme de stéganographie inconnu. La détection, l’identification et l’anticipation impliquent l’apprentissage discriminant dans l’espace des fonctions. L’estimation nécessite la fusion de classificateurs permettant la discrimination entre les sous-images et une intégration entière des couvertures de tailles différentes. La validation sur des images JPEG montre que le système proposé est efficace et permet d’anticiper des algorithmes de stéganographie inconnus. Le troisième sujet de la thèse décrit une méthode d’estimation du regard de l’oeil humain pendant un mouvement normal de la tête. Dans ce procédé, la position et l’orientation de la tête sont acquises par des données de profondeur fournies par Kinect. La direction de l’oeil est obtenue à partir d’images à haute résolution. Nous nous proposons la régression logistique multinomiale pour construire une fonction de mappage du regard et de vérifier l’état de l’iris. L’efficacité de la méthode proposée est validée par une évaluation de la performance pour plusieurs personnes avec différentes distances et poses par rapport à la caméra et dans différents états de l’oeil.

La recherche présentée dans cette thèse est divisée en trois parties. Notre objectif dans la première partie est l’amélioration de la compression de l’image par stéganographie. Dans cette étude, la compression de données est effectuée en deux étapes. Tout d’abord, nous profitons du compactage d’énergie en utilisant JPEG pour réduire les données redondantes. Ensuite, nous intégrons des blocs de bits dans les blocs suivants de la même image stéganographie. Les bits intégrés servent à non seulement augmenter la taille du fichier de l’image compressée, mais aussi à diminuer davantage la taille du fichier. Les résultats expérimentaux montrent que notre méthode donne de meilleurs taux de compression tout en conservant une haute qualité de l’image. Le deuxième sujet de cette thèse propose un formalisme bayésien pour la stéganalyse d’image numérique qui permet la détection d’images stego, l’identification de l’algorithme de stéganographie utilisé, l’estimation de la longueur du message et l’emplacement, et l’anticipation dans le cas de l’intégration en utilisant un algorithme de stéganographie inconnu. La détection, l’identification et l’anticipation impliquent l’apprentissage discriminant dans l’espace des fonctions. L’estimation nécessite la fusion de classificateurs permettant la discrimination entre les sous-images et une intégration entière des couvertures de tailles différentes. La validation sur des images JPEG montre que le système proposé est efficace et permet d’anticiper des algorithmes de stéganographie inconnus. Le troisième sujet de la thèse décrit une méthode d’estimation du regard de l’oeil humain pendant un mouvement normal de la tête. Dans ce procédé, la position et l’orientation de la tête sont acquises par des données de profondeur fournies par Kinect. La direction de l’oeil est obtenue à partir d’images à haute résolution. Nous nous proposons la régression logistique multinomiale pour construire une fonction de mappage du regard et de vérifier l’état de l’iris. L’efficacité de la méthode proposée est validée par une évaluation de la performance pour plusieurs personnes avec différentes distances et poses par rapport à la caméra et dans différents états de l’oeil.

An objective methodology to assess visual acuity (VA) in infants was developed. The methodology is based on the analysis of visual scanning parameters when visual stimuli consisting of homogeneous targets and a target with gratings (TG) are presented. The percentage of time on the TG best predicted the ability of the subject to discriminate between the targets. Using this parameter, the likelihood ratio test was used to test the hypothesis that the TG was discriminated. VA is estimated as the highest spatial frequency for which the probability of false positive is lower than the probability of false negative for stimuli with lower spatial frequencies. VA estimates of 9 adults had an average error of 0.06 logMAR with a testing time of 3.5 minutes. These results suggest that if the attention of infants can be consistently maintained the new methodology will enable more accurate assessment of VA in infants.

An objective methodology to assess visual acuity (VA) in infants was developed. The methodology is based on the analysis of visual scanning parameters when visual stimuli consisting of homogeneous targets and a target with gratings (TG) are presented. The percentage of time on the TG best predicted the ability of the subject to discriminate between the targets. Using this parameter, the likelihood ratio test was used to test the hypothesis that the TG was discriminated. VA is estimated as the highest spatial frequency for which the probability of false positive is lower than the probability of false negative for stimuli with lower spatial frequencies. VA estimates of 9 adults had an average error of 0.06 logMAR with a testing time of 3.5 minutes. These results suggest that if the attention of infants can be consistently maintained the new methodology will enable more accurate assessment of VA in infants.

Gaze estimation systems determine where someone is looking. Gaze is used for a wide range of applications including market research, usability studies, and gaze-based interfaces. Traditional equipment uses special hardware. To bring gaze estimation mainstream, researchers are exploring approaches that use commodity hardware alone. My work addresses two outstanding problems in this field: 1) it is hard to collect good ground truth eye images for machine learning, and 2) gaze estimation systems do not generalize well -- once they are trained with images from one scenario, they do not work in another scenario. In this dissertation I address these problems in two different ways: learning-by-synthesis and analysis-by-synthesis. Learning-by-synthesis is the process of training a machine learning system with synthetic data, i.e. data that has been rendered with graphics rather than collected by hand. Analysis-by-synthesis is a computer vision strategy that couples a generative model of image formation (synthesis) with a perceptive model of scene comparison (analysis). The goal is to synthesize an image that best matches an observed image. In this dissertation I present three main contributions. First, I present a new method for training gaze estimation systems that use machine learning: learning-by-synthesis using 3D head scans and photorealistic rendering. Second, I present a new morphable model of the eye region. I show how this model can be used to generate large amounts of varied data for learning-by-synthesis. Third, I present a new method for gaze estimation: analysis-by-synthesis. I demonstrate how analysis-by-synthesis can generalize to different scenarios, estimating gaze in a device- and person- independent manner.

Gaze tracking has already shown to be a popular technology for desktop devices. When it comes to gaze tracking for mobile devices, however, there is still a lot of progress to be made. There’s still no high accuracy gaze tracking available that works in an unconstrained setting for mobile devices. This work makes contributions in the area of appearance-based unconstrained gaze estimation. Artificial neural networks are trained on GazeCapture, a publicly available dataset for mobile gaze estimation containing over 2 million face images and corresponding gaze labels. In this work, Siamese neural networks are trained to learn linear distances between face images for different gaze points. Then, during inference, calibration points are used to estimate gaze points. This approach is shown to be an effective way of utilizing calibration points in order to improve the result of gaze estimation. / Ögonblickspårning har redan etablerat sig som en populär teknologi för stationära enheter. När det dock gäller mobila enheter så finns det framsteg att göra. Det saknas fortfarande en lösning för ögonblickspårning som fungerar i en undantagsfri miljö för mobila enheter. Detta examensarbete ämnar att bidra till en sådan lösning. Artificiella neurala nätverk tränas på GazeCapture, en allmänt tillgänglig datasamling som består av över 2 miljoner ansiktsbilder samt korresponderande etikett för ögonblickspunkt. I detta examensarbete tränas Siamesiska neurala nätverk för att lära sig det linjära avståndet mellan två ögonblickspunkter. Sedan utnyttjas en samling med kalibreringsbilder för att estimera ögonblickspunkter. Denna teknik visar sig vara ett effektivt sätt att nyttja kalibreringsbilder med målet att förbättra resultatet för ögonblicksestimering.

Since forward collision is one of the most common and dangerous types of traffic accidents, many studies and researches have been conducted to develop forward collision avoidance system. To facilitate the tradeoff between comfort and safety for forward collision avoidance, the driver's state needs to be monitored and estimated. Such support is necessary for Forward Collision Warning (FCW) system given human-involved control. Due to the advances of Driver Monitoring System (DMS), the demand for camera-based driver's state estimation has increased. This master thesis project, conducted at Zenuity AB, investigates a method to estimate driver's awareness based on DMS. The estimation of a driver's awareness is expected to help adapt FCW system based on visual attention when facing the unpredictable braking of the leading vehicle. The project consists of three tasks: gaze estimation, Gaze-to-Object Mapping (GTOM), and awareness estimation. A combined Kalman Filter was developed in gaze estimation for compensation of missing data and outliers and reducing the difference to “ground truth” data. The uncertainty matrix from gaze estimation was utilized to extract a gaze-to-object probability signal in GTOM, while the corresponding fixation duration was also obtained in GTOM. The two extracted new features were used in awareness estimation with two methods: Logistic Regression and two-Hidden Markov Model. The comparison between the two methods reveals whether a complex method is preferred or not. Based on the results of this project, Logistic Regression seems to perform better in driver's state estimation, with 92.0% accuracy and 76.3% True Negative rate. However, further research and improvements on the two-Hidden Markov Model are needed to reach a more comprehensive conclusion. The main contribution of this project is an investigation of an end-to-end method for driver's awareness estimation and thereby an identification of challenges for further studies. / Frontkollision (forward collision) är en av de vanligaste och farligaste typerna av trafikolyckor. Många studier och undersökningar har genomförts för att utveckla system för att undvika kollisioner. För att underlätta avvägningar mellan komfort och säkerhet för att undvika Frontkollision måste förarens tillstånd övervakas och skattas. Ett sådant stöd är nödvändigt för Forward Collision Warning (FCW) systemet, som involverar interaktion med människor. Efterfrågan på kamerabaserad uppskattning för föraren har ökat på grund av framsteg Driver Monitoring System (DMS). Det här examensarbete genomfördes på Zenuity AB och undersökte en metod för att skatta förarens medvetenhet baserad på Driver Monitoring System. Uppskattningen av förarens medvetenhet förväntas bidra till att anpassa FCW-systemet. Detta FCW-system är baserat på visuell uppmärksamhet om när oförutsägbar bromsning av det framförvarande fordonet sker. Examensarbetet består av tre uppgifter: blickuppskattning, Gaze-to-Object Mapping (GTOM), och medventenhetsuppskattning. Ett kombinerat Kalman-filter har utvecklats i gaze uppskattning för att kompensera saknade data och outliers samt reducera skillnaden till “ground truth” data. Osäkerhetesmatrisen från gaze uppskattningen användes för att extrahera en gaze-to-object sannolikhetssignal i GTOM. Den motsvarande fixeringsvaraktigheten erhålls också i GTOM. De två extraherade nya egenskaperna användes i medvetenhetsanalys med hjälp av två metoder: logistic regression och two-Hidden Markov Model. Jämförelsen mellan de två metoderna avslöjar om en komplex metod är att föredra eller inte. Resultatet av detta examensarbet visar att logistic regression fungerar bättre i förarens statusuppskattning med 92% noggrannhet och 76.3% True Negative rate. Vidare forskning och förbättringar av den two-hidden Markov modell behövs för att dra en mer omfattande slutsats. Det huvudsakliga bidraget av examensarbetet är en utforskning av en end-to-end metod för att uppskatta förarens medvetenhet och därmed kunna identifiera utmaningar för framtid studie.

Eye-tracking technology is used within various fields of research such as medicine, computer vision and psychology among others. Despite the many application areas and a growing interest, most eye-trackers rely on dedicated and expensive hardware to track eye movements on large monitors such as desktop displays. Eye-tracking on mobile devices using their built-in camera would be beneficial on a large scale since additional, expensive, equipment would not be needed. Because of the many smartphone users, the technology would be more available. This study aimed to explore the possibilities of using a smartphone camera and augmented reality (AR) for eye-tracking, as well as evaluate the accuracy and precision such a system could obtain. The methods used for gaze estimation were a ray-plane intersection and a system-controlled calibration using linear scaling and translation to adjust the future gaze positions. The mobile device eye-tracker was evaluated in terms of accuracy and precision by two validations using a point pattern to collect gaze data on fixations detected by the system. The result showed an accuracy and precision below optimal compared to previous studies on mobile eye- trackers and eye-trackers that use infra-red light to track the eye-movements. Several factors could have affected the result such as the environments in which the evaluations were held, eye-blinks during data collection or the implementation of the eye-tracking system including the method for calibration. Future work is recommended to evaluate the system in a controlled lab environment, including a larger number of participants and examine if the accuracy is mainly affected by external factors or if it is affected by the implementation of the system. Because of the many benefits of mobile device eye- tracking, future work within the area is encouraged. It would be interesting to investigate the ability to use a mobile device eye-tracker with unrestricted head- and hands movement for further use-cases and a more natural experience. / Teknik för ögonspårning används inom olika forskningsområden såsom medicin, datorsyn och psykologi. Trots många användningsområden och ett växande intresse förlitar sig de flesta ögonspårare på dyr hårdvara för att spåra ögonrörelser på stora bildskärmar. Ögonspårning på mobila enheter med hjälp av inbyggd kamera skulle vara fördelaktigt i stor skala eftersom ytterligare, dyr utrustning inte skulle behövas. Med tanke på de många mobiltelefonanvändare skulle tekniken vara mer tillgänglig. Denna studie syftade till att undersöka möjligheterna att använda en mobiltelefons kamera och förstärkt verklighet (AR) för ögonspårning, samt utvärdera noggrannheten och precisionen som ett sådant system skulle kunna uppnå. Metoderna som användes för att estimera blickens position var en strålplanskorsning och en systemstyrd kalibrering med linjär skalning och förskjutning för att justera framtida blickpositioner. Den mobila enhetens ögonspårare utvärderades i termer av noggrannhet och precision genom två valideringar med hjälp av ett punktmönster för att samla in blickdata från fixeringar som upptäcks av systemet. Resultatet visade en noggrannhet och precision under optimal jämfört med tidigare studier på mobila ögonspårare och ögonspårare som använder infrarött ljus. Flera faktorer kan ha påverkat resultatet, till exempel de miljöer i vilka utvärderingarna gjordes, blinkningar under datainsamlingen eller implementeringen av systemet inklusive val av kalibreringsmetod. Framtida arbete rekommenderas att utvärdera systemet i en kontrollerad laboratoriemiljö med ett större antal deltagare för att undersöka ifall noggrannheten huvudsakligen påverkas av externa faktorer eller av implementeringen av systemet. På grund av de många fördelarna med ögonspårning på mobila enheter uppmuntras framtida arbete inom området.

Eyes allow us to see and gather information about the environment. Eyes mainly act as an input organ as they collect light, but they also can be considered an output organ as they indicate the subject's gaze direction. Using the orientation of the head and the position of the eyes, it is possible to estimate the gaze path of an individual. Gaze estimation is a fast growing technology that track a person's eyes and head movements to "pin point" where the subject is looking at on a computer screen. The gaze direction is described as a person's line of sight. The gaze point, also known as the focus point, is defined as the intersection of the line of sight with the screen. Gaze tracking has an infinite number of applications such as monitoring driver alertness or helping track a person's eyes with a psychological disorder that cannot communicate his/her issues. Gaze tracking is also used as a human-machine interface for disabled people that have lost total control of their limbs. Another application of gaze estimation is marketing. Companies use the information given by the gaze estimation system from their customers to design their advertisements and products. / Electrical and Computer Engineering

Dans ce travail, nous avons abordé le problème d’estimation automatique du regard dans des environnements utilisateur sans contraintes. Ce travail s’inscrit dans la vision par ordinateur appliquée à l’analyse automatique du comportement humain. Plusieurs solutions industrielles sont aujourd’hui commercialisées et donnent des estimations précises du regard. Certaines ont des spécifications matérielles très complexes (des caméras embarquées sur un casque ou sur des lunettes qui filment le mouvement des yeux) et présentent un niveau d’intrusivité important, ces solutions sont souvent non accessible au grand public. Cette thèse vise à produire un système d’estimation automatique du regard capable d’augmenter la liberté du mouvement de l’utilisateur par rapport à la caméra (mouvement de la tête, distance utilisateur-capteur), et de réduire la complexité du système en utilisant des capteurs relativement simples et accessibles au grand public. Dans ce travail, nous avons exploré plusieurs paradigmes utilisés par les systèmes d’estimation automatique du regard. Dans un premier temps, Nous avons mis au point deux systèmes basés sur deux approches classiques: le premier basé caractéristiques et le deuxième basé semi apparence. L’inconvénient majeur de ces paradigmes réside dans la conception des systèmes d'estimation du regard qui supposent une indépendance totale entre l'image d'apparence des yeux et la pose de la tête. Pour corriger cette limitation, Nous avons convergé vers un nouveau paradigme qui unifie les deux blocs précédents en construisant un espace regard global, nous avons exploré deux directions en utilisant des données réelles et synthétiques respectivement. / In this thesis, we tackled the automatic gaze estimation problem in unconstrained user environments. This work takes place in the computer vision research field applied to the perception of humans and their behaviors. Many existing industrial solutions are commercialized and provide an acceptable accuracy in gaze estimation. These solutions often use a complex hardware such as range of infrared cameras (embedded on a head mounted or in a remote system) making them intrusive, very constrained by the user's environment and inappropriate for a large scale public use. We focus on estimating gaze using cheap low-resolution and non-intrusive devices like the Kinect sensor. We develop new methods to address some challenging conditions such as head pose changes, illumination conditions and user-sensor large distance. In this work we investigated different gaze estimation paradigms. We first developed two automatic gaze estimation systems following two classical approaches: feature and semi appearance-based approaches. The major limitation of such paradigms lies in their way of designing gaze systems which assume a total independence between eye appearance and head pose blocks. To overcome this limitation, we converged to a novel paradigm which aims at unifying the two previous components and building a global gaze manifold, we explored two global approaches across the experiments by using synthetic and real RGB-D gaze samples.