This report discusses the accuracy of blink detection in eye tracking, using machine learningalgorithms. Blink detection is used in a wide variety of medicinal and psychological applica-tions such as a controller for motor impaired individuals. Image classification has recentlybeen used in eye tracking and blink detection applications. The blink detection is appliedon data captured from the Pupil Invisible head-mounted eye tracker. The aim is that givenan image, the classifier can accurately determine the state of which the eye is in, blink oropen.These tests will be conducted on two SVM (support vector machine) models using differenttraining data, one trained on data from controlled environments, the other model also trainedon uncontrolled environments. For this project, data was captured in infrared disturbedenvironments to see how it affects the models performance. These models are evaluatedaccording to their accuracy using multiple different metrics. This rapport will discuss theresults of both classifiers in both tests, in addition to describing training methodology withan aim to find if blink detection is viable in infrared disturbed environments.

This master thesis deals with the issues of the eye blink recognition from video. The main task is to analyse algorithms dealing with a detection of persons and make a program that could recognize the eye blink. Analysis of these algorithms and their problems are in the first part of this thesis. In the second part design and properties of my program are described. The realization of the program is based on the method of move detection using the accumulated difference frame, which helps to identify the eye areas. The eye blink detection algorithm tests a match between a tresholded pattern of the eye area taken from the actual frame and the frame before. The resolution whether the eye blink happened or not, is based on the level of the match. The algorithm is designed for watching a sitting man, which is slightly moving. The background can be a little dynamic as well. An average quality video with a moderator and dynamic backround was used as a tested subject.

Σκοπός της παρούσας Διπλωματικής Εργασίας είναι η ανάπτυξη και εφαρμογή τεχνικών ψηφιακής επεξεργασίας εικόνων για τον εντοπισμό του οφθαλμού και τον υπολογισμό συγκεκριμένων παραμέτρων που συνδέονται με την κατάσταση του χρήστη. Συγκεκριμένα, χρησιμοποιήθηκε ένα ολοκληρωμένο Σύστημα Εντοπισμού Οφθαλμού που περιλαμβάνει τα υποσυστήματα της CMOS κάμερα, της μεταφοράς δεδομένων – εικόνων, της ψηφιοποίησης των δεδομένων, και τέλος το υποσύστημα της επεξεργασίας εικόνων οφθαλμού και του υπολογισμού παραμέτρων. Στα πλαίσια του τελευταίου αυτού υποσυστήματος αναπτύχθηκαν δύο μεθοδολογίες που βασίστηκαν στην εφαρμογή αλγορίθμων ψηφιακής επεξεργασίας εικόνων. Η πρώτη μεθοδολογία βασίστηκε στον υπολογισμό της μέσης φωτεινότητας για την άνω και την κάτω περιοχή του οφθαλμού. Η χρονική μεταβολή των δύο τιμών της φωτεινότητας χρησιμοποιήθηκε για την εξαγωγή πληροφοριών για την κατάσταση του οφθαλμού (ανοιχτός ή κλειστός). Η δεύτερη μεθοδολογία στηρίχτηκε σε ένα συνδυασμό τεχνικών ψηφιακής επεξεργασίας εικόνων. Η επεξεργασία κάθε εικόνας της ακολουθίας video περιλαμβάνει τέσσερα βασικά βήματα: (α) ευθυγράμμιση της εικόνας σε σχέση με ένα κοινό σύστημα αναφοράς, (β) εφαρμογή δύο φίλτρων για την ανίχνευση των κορυφών και των κοιλάδων της εικόνας, (γ) σύντηξη των δύο φιλτραρισμένων εικόνων που προκύπτουν και (δ) μετατροπή της εικόνας σύντηξης σε δυαδική με εφαρμογή κατάλληλου κατωφλίου. Η καταμέτρηση των λευκών εικονοστοιχείων της δυαδικής εικόνας στην περιοχή του οφθαλμού καθορίζει την κατάσταση του οφθαλμού (ανοικτός ή κλειστός). Τέλος, και μέσω του λογισμικού, υπολογίζονται οι σχετικές παράμετροι της κατάστασης του οφθαλμού όπως ο αριθμός ανοιγο-κλεισίματος οφθαλμού, η διάρκεια κάθε ανοιγο-κλεισίματος οφθαλμού και οι χρονικές αποστάσεις μεταξύ των προσδιορισμένων ανοιγο-κλεισιμάτων σε μια αλληλουχία συλλεγμένων εικόνων. / The scope of the thesis was the development and application of digital image processing techniques in order to detect human eye in video sequences and determine parameters related to the user’s state. Specifically, an integrated Eye-Tracking System was used in order to obtain the necessary image frames for further processing. The System consists of four modules, the CMOS camera module, the transfer module, the digitization module and the software module. The software module was based on the application of image processing techniques to detect the eye and calculate specific parameters. Two image processing techniques were developed and tested throughout this thesis. The first method was based on the calculations of the mean brightness of the upper and lower eye region for each frame of the video sequence. The temporal variation of this mean value provided useful information for the eye state (open/closed). The second method was based on a combination of various image processing techniques. The processing of each video frame comprises of four basic steps: a) registration of the image in relation to the first frame of the video sequence, b) filtering in order to detect the peaks and valleys of the image being processed, c) fusion of the filtered images, and d) binarization of the fused image by thresholding. The calculation of the number of white pixels in the eye region of the binary image indicates the state of the eye (open/closed) and allows the determination of the blink parameters related to the user’s state (vigilance/somnolence). The parameters being measured throughout this thesis were the number of eye blinks, the blink duration and the blink interval.

The thesis deals with eye blink detection, which is part of complex topic of face detection and recognition. The work intents on digital image processing. There is analyse of the topic and description of image databases for testing. Two main chapters describe design of eye blink detection with digital image processing with IR technology and without IR technology.