Vision is an important tool for us humans and significant effort has been put into creating solutions that let us measure how we use it. Most common among the techniques to measure gaze direction is to use specialised hardware such as infrared eye trackers. Recently, several Convolutional Neural Network (CNN) based architectures have been suggested yielding impressive results on single Red Green Blue (RGB) images. However, limited research has been done around whether using several sequential images can lead to improved tracking performance. Expanding this research to include low frequency and low quality RGB images can further open up the possibility to improve tracking performance for models using off-the-shelf hardware such as web cameras or smart phone cameras. GazeCapture is a well known dataset used for training RGB based CNN models but it lacks sequences of images and natural eye movements. In this thesis, a geometric gaze estimation model is introduced and synthetic data is generated using Unity to create sequences of images with both RGB input data as well as ground Point of Gaze (POG). To make these images more natural appearing domain adaptation is done using a CycleGAN. The data is then used to train several different models to evaluate whether temporal information can increase accuracy. Even though the improvement when using a Gated Recurrent Unit (GRU) based temporal model is limited over simple sequence averaging, the network achieves smoother tracking than a single image model while still offering faster updates over a saccade (eye movement) compared to averaging. This indicates that temporal features could improve accuracy. There are several promising future areas of related research that could further improve performance such as using real sequential data or further improving the domain adaptation of synthetic data. / Synen är ett viktigt sinne för oss människor och avsevärd energi har lagts ner på att skapa lösningar som låter oss mäta hur vi använder den. Det vanligaste sättet att göra detta idag är att använda specialiserad hårdvara baserad på infrarött ljus för ögonspårning. På senare tid har maskininlärning och modeller baserade på CNN uppnått imponerande resultat för enskilda RGB-bilder men endast begränsad forskning har gjorts kring huruvida användandet av en sekvens av högupplösta bilder kan öka prestandan för dessa modeller ytterligare. Genom att uttöka denna till bildserier med lägre frekvens och kvalitet kan det finnas möjligheter att förbättra prestandan för sekventiella modeller som kan använda data från standard-hårdvara såsom en webbkamera eller kameran i en vanlig telefon. GazeCapture är ett välkänt dataset som kan användas för att träna RGB-baserade CNN-modeller för enskilda bilder. Dock innehåller det inte bildsekvenser eller bilder som fångar naturliga ögonrörelser. För att hantera detta tränades de sekventiella modellerna i denna uppsats med data som skapats från 3D-modeller i Unity. För att den syntetiska datan skulle vara jämförbar med riktiga bilder anpassades den med hjälp av ett CycleGAN. Även om förbättringen som uppnåddes med sekventiella GRU-baserade modeller var begränsad jämfört med en modell som använde medelvärdet för sekvensen så uppnådde den tränade sekventiella modellen jämnare spårning jämfört med enbildsmodeller samtidigt som den uppdateras snabbare vid en sackad (ögonrörelse) än medelvärdesmodellen. Detta indikerar att den tidsmässiga information kan förbättra ögonspårning även för lågfrekventa bildserier med lägre kvalitet. Det finns ett antal intressanta områden att fortsätta undersöka för att ytterligare öka prestandan i liknande system som till exempel användandet av större mängder riktig sekventiell data eller en förbättrad domänanpassning av syntetisk data.

Self-calibrating eye tracker using image saliency. / Självkalibrerande ögonspårare med hjälp av image saliency.

Reading and mathematics are two essential subjects for academic success and cognitive development. Several studies show a correlation between the reading ability and mathematical ability of pupils (Korpershoek et al., 2015; Ní Ríordáin & O’Donoghue, 2009; Reikerås, 2006; Walker et al., 2008). The didactical part of this thesis presents a study investigating a correlation between reading ability and mathematical ability among pupils in upper secondary schools in Sweden. This study collaborated with Lexplore AB to use machine learning and eye-tracking to measure reading ability. Mathematical ability was measured with Mathematics 1c grades and Stockholmsprovet, which is a diagnostic mathematics test. Although no correlation was found, there are several insights about selection and measures following the result that may improve future studies on the subject. This thesis finds that the result could have been affected by a biased selection of the participants. This thesis also suggests that the measure through machine learning and eye-tracking used in the study may not fully capture the concept of reading ability as defined in previous studies. The technological aspect of this thesis focuses on modifying and improving the model used to calculate users’ reading ability scores. As the model’s estimation tends to plateau after the fifth year of compulsory school, the study aims to maintain the same level of progression observed before this point. Previous research indicates that silent reading, being unconstrained by vocalization, is faster than reading aloud. To address this progression flattening, a grid search algorithm was employed to adjust hyperparameters and assign appropriate weight to silent and aloud reading. The findings emphasize that reading aloud should be prioritized in the weighted average and the corresponding hyperparameters adjusted accordingly. Furthermore, gathering more data for older pupils can improve the machine learning model by accounting for individual reading strategies. Introducing different word complexity factors can also enhance the model’s performance. / Läsning och matematik är två avgörande ämnen för akademisk framgång och kognitiv utveckling. Flera studier visar på ett samband mellan elevers läsförmåga och matematiska förmåga (Korpershoek et al., 2015; Ní Ríordáin & O’Donoghue, 2009; Reikerås, 2006; Walker et al., 2008). Den didaktiska delen av denna rapport presenterar en studie som undersöker sambandet mellan läsförmåga och matematisk förmåga hos elever på gymnasiet i Sverige. Studien samarbetade med Lexplore AB för att använda maskininlärning och ögonspårning för att mäta läsförmåga. Matematisk förmåga mättes genom matematikbetyg och Stockholms provet, som är ett diagnostiskt matematiktest. Trotsatt inget samband hittades uppges insikter om urvalet och åtgärder som kan förbättra framtida studier i ämnet. Rapporten konstaterar att resultatet kan ha påverkats avett sned vridet urval av deltagare. Dessutom föreslår rapporten att mätningen genom maskininlärning och ögonspårning som användes i studien kanske inte helt fångar upp begreppet läsförmåga som används i tidigare studier. Teknikdelen av denna rapport fokuserar på att modifiera och förbättra modellen som används för att beräkna användarnas läsförmågepoäng. Eftersom modellens uppskattning tenderar att avplattas efter femte året i grundskola, syftar studien till att bibehålla samma nivå av progression som observerats före denna punkt. Tidigare forskning indikerar att tyst läsning, som inte begränsas av att uttala orden, är snabbare än högläsning. För att adressera denna avplattning av progression användes en rutnätssöknings-algoritm för att justera hyperparametrar och tilldela rätt viktning åt tyst läsning. Resultaten betonar att högläsning bör prioriteras i viktade medelvärdet och att motsvarande justeringar av hyperparametrar bör implementeras. Dessutom kan insamling av mer data för äldre elever förbättra maskininlärningsmodellen genom att ta hänsyn till individuella lässtrategier. Införandet av olika faktorer för textkomplexitet kan också förbättra modellens prestanda.