Most models of auditory word recognition describe the activation of lexical items in a continuous and graded manner. Much evidence in favor of these models comes from the visual-world paradigm, using either eye fixations or computer cursor trajectories as dependent measures. In particular, Spivey, Grosjean and Knoblich (2005) relied on their observation of unimodality in the distribution of cursor trajectories to argue in favor of a single cognitive process consistent with a continuous model of lexical activation. The present study addresses two questions: (1) whether the logic of inferring the number of cognitive processes from distributional analyses can be extended to a different dependent variable – reaction times, and (2) how robust the distribution of cursor trajectories is to changes in cursor speed (mouse gain). In Experiment 1, eye movements and reaction times were recorded in a visual-world paradigm and reaction times were modeled using ex-Gaussian curve-fitting. Participants responded slower to trials with a phonological competitor presented alongside the target than to trials with a control image presented alongside the target. Crucially, this difference was manifested as a shifting of the distribution rather than as a skewing of the distribution and lends additional support for a continuous model of lexical activation. Experiment 2 measured eye and mouse movements concurrently in a similar visual-world task to investigate the relationship between these two dependent measures at the level of the individual trial. In addition, Experiment 2 manipulated the speed of the cursor (mouse gain) between subjects. The low mouse gain served to reduce the effect of phonological competition. Moreover, the shape of the distribution of cursor trajectories across phonological competitor and control conditions was indistinct with low mouse gain, while the shape of the distributions across the two conditions differed with high mouse gain. This effect of mouse gain shows that the distribution of cursor trajectories is not robust to changes in mouse gain. Moreover, it raises questions about the strength of the linking hypothesis necessary to interpret the distribution of cursor trajectories.

Smooth pursuit is the movement that occurs when the eyes meticulously follow an object in motion. While smooth pursuit can be achieved with a stationary head, it generally relies on the head following the visual target as well. During smooth pursuit, a coordinating vestibular mechanism, shared by both the head and the eyes, is used. Therefore, smooth pursuit can reveal much about where a person is looking based on only the direction of the head. To investigate the interplay between the eyes and the head, an application was made for the augmented reality head-mounted display Magic Leap. The application gathered data of the head and eyes respective movements. The data was analyzed using visualizations to find relationships within the eye-head coordination. User studies were conducted and the eyes proved to be incredibly accurate and the head direction was close to the target at all times. The results point towards the possibility of using head direction as a model for visual attention in the shape of a cone. The users’ head direction was a good indicator of where they put their attention, making it a valuable tool for developing augmented reality applications for head-mounted displays and smart glasses. By only using head direction, a software developer can measure where most of the users’ attention is put and hence optimize the application according to this information. / Följerörelser är det som sker när ögonen noggrant följer ett objekt i rörelse. Följerörelser kan uppnås med ett stationärt huvud, men generellt används även huvudet för att följa det visuella målet. Ögonen och huvudet delar en vestibulär koordineringsmekanism som är aktiv under följerörelser och därför kan enbart huvudrörelser avslöja mycket om var en person har sin uppmärksamhet.För att undersöka samspelet mellan ögonen och huvudet gjordes en applikation för ett augmented reality headsetet Magic Leap. Applikationen samlade in data på ögonrespektive huvudrörelser. Den insamlade datan analyserades med hjälp av visualiseringar för att hitta förhållanden inom ögon-huvud koordinationen.Användarstudier utfördes och ögonen visade sig vara väldigt exakta och huvudets riktning var hela tiden i närheten av målet. Resultatet pekar mot möjligheten att använda huvudriktning som en modell för visuell uppmärksamhet i formen av en kon. Användarnas huvudriktning var en bra indikator på var de hade sin uppmärksamhet, vilket gör den till ett användbart verktyg för utveckling av augmented reality applikationer för headsets och smartglasögon. En mjukvaruutvecklare kan mäta var användarnas uppmärksamhet dras genom att använda huvudriktningen och kan därmed optimera applikationen utefter den informationen.

Recent leaps in eye tracking technology have made it possible to enable eye tracking as a cheap, reliable and efficient addition to the human computer interaction technologies. This thesis looks into the possibility of utilizing it for client aware video streaming. Increasingly people are consuming high quality video content on wireless network devices, thus there is need to optimize bandwidth consumption for efficient delivery of such high resolution content, both for 2D and 360°videos.This work proposes SEEN (Smart Eye-tracking Enabled Networking), a novel approach to streaming video content using real time eye tracking information. This uses HEVC video tiling techniques to display high and low qualities in the same video frame depending on where the user is looking. The viability of proposed approach is validated using extensive user testing conducted on a Quality of Experience (QoE) testbed which was also developed as part of this thesis. Test results show significant bandwidth savings of up to 71% for 2D videos on standard 4K screens, and up to 83% for 360°videos on Virtual Reality (VR) headsets for acceptable QoE ratings. A comparative study on viewport tracking and eye tracking for VR headsets is also included in the thesis in order to further advocate the necessity of eye tracking.This research was conducted in collaboration with Ericsson, Tobii and KTH under the umbrella project SEEN: Smart Eye-tracking Enabled Networking. / Nya framsteg inom ögonstyrningsteknologi har möjliggjort att betrakta ögonstyrning (o.k.s. eyetracking) som ett billigt, pålitligt och effektivt tillägg till teknologier för människa-dator interaktion. Det här examensarbetet utforskar möjligheten att använda ögonstyrning för klientmedveten videoströmning. Allt fler personer förbrukar videoinnehåll av hög kvalitet genom trådlösa nätverk, därmed finns det ett behov av att optimera bandbreddskonsumtionen för effektiv leverans av ett sådant högkvalitativt innehåll, både för 2Doch 360°-videor.Det här arbetet introducerar SEEN (Smart Eye-tracking Enabled Networking), en ny approach för att strömma videoinnehåll, som bygger på realtidsinformation från ögonstyrning. Den använder HEVC-metoder för rutindelning av video för att visa högkvalitativt och lågkvalitativt innehåll i samma videoram, beroende på vart användaren tittar. Lönsamheten av den föreslagna approachen validerades med hjälp av omfattande användartester utförda på en testbädd för upplevelsekvalité (Quality of Experience, QoE) som också utvecklades som en del av det här examensarbetet. Testresultaten visar betydande bandbreddsbesparingar på upp till 71% för 2D-videor på vanliga 4K-skärmar samt upp till 83% för 360°-videor på VR-headset för acceptabla QoE-betyg. En komparativ studie om viewport tracking och ögonstyrning i VR-headset är också inkluderad i det här examensarbetet för att ytterligare förespråka behovet av ögonstyrning.Denna forskning genomfördes i samarbete med Ericsson, Tobii och KTH under paraplyprojektet SEEN: Smart Eye-tracking Enabled Networking.

With the spread of virtual reality, eye tracker embedded VR headset gradually becomes a trend. A company such as Fove has already released its eye-tracking VR headset. However, the relatively low frame rate of eye tracker in VR HMD (e.g. 90 fps) makes tracking unstable with consumption of computing power. Understanding relations between gaze direction and head direction would be helpful, for example, to predict and compensate eye tracking with head tracking. In this research, a unity project consisted of a moving object with variable parameters was created to examine if there’s correlation exists between players’ head direction and gaze direction in eye’s smooth pursuit movement. Furthermore, object parameters, shape, color, distance, speed and horizontal moving degree were tested to explore whether they can elicit statistically significant differences in gaze prediction. Results revealed that while smoothly pursuing a moving object with the gaze, people’s horizontal and vertical component of head direction and gaze direction are separately linearly correlated. Moreover, formulas were calculated via linear regression to express their relations. As for object parameters, significant impacts were detected for all five parameters and interaction effect of speed and horizontal moving degree with various effect size, partial eta squared. / Med spridningen av den virtuella verkligheten blir Eye Tracking-inbyggd VR-headset gradvis en trend. Ett företag som Fove har redan släppt sitt Eye Tracking VR-headset. Emellertid gör den relativt låga bildhastigheten för ögonspårare i VR HMD (t.ex. 90 fps) spårning ostabil med förbrukning av datorkraft. Att förstå relationer mellan blickriktning och huvudriktning skulle vara till hjälp, till exempel för att förutsäga och kompensera ögonspårning med huvudspårning. I den här undersökningen, var ett Unity-projekt bestående av ett rörligt objekt med varierande parametrar skapad för att undersöka om det finns korrelation mellan spelarens huvudriktning och blickriktning i ögonens följerörelse. Dessutom testades objektparametrar; form, färg, avstånd, hastighet och horisontell rörelsegrad för att undersöka huruvida de kan framkalla statistiskt signifikanta skillnader i blickprediktionen. Resultaten avslöjade att medan man rör sig smidigt med ett rörligt föremål med blicken, är människornas horisontella och vertikala komponent i huvudriktning och blickriktning separat linjärt korrelerad. Dessutom beräknades formler via linjär regression för att uttrycka deras relationer. När det gäller objektparametrar detekterades signifikanta effekter för alla fem parametrarna och interaktionseffekten av hastighets-och horisontell rörelsegrad med olika effektstorlek, partiell Eta-kvadrat.

This paper reports preliminary investigations into gaze teleportation, a locomotion interaction inside virtual reality in which the user can push a button and teleport to the point at which they are looking. The results could help future application creators design intuitive locomotion interfaces to allow users to more easily scale virtual worlds larger than their play space. In a study consisting of 12 participants, gaze teleportation was compared to the conventional hand-tracked controller. Participants played a portion of Valve’s The Lab with an HTC Vive and a Tobii Eyetracker; half of the participants completed the set tasks with gaze teleportation, and the other half used hand-tracking. Using Likert questions, they then rated their experiences in terms of enjoyment, frustration, effort, distance, occlusion, immersion, and motion sickness. After answering the questions, the participants got to try both methods and were interviewed on their preferences and opinions. Our results suggest that gaze teleportation is an enjoyable, fast, intuitive, and natural locomotion method that performs similarly to hand-tracked teleportation but is preferred by users when they are given a choice. We conclude that gaze teleportation is a good fit for applications in which users are expected to locomote in their direction of focus without too many distractions. / I det här dokumentet rapporteras preliminära resultat av blickteleportation, en rörelseinteraktion för virtuella verkligheter där användaren kan trycka på en knapp och teleportera till den punkt som de tittar på. Resultaten kan hjälpa framtida applikationsskapare att designa intuitiva rörelsegränssnitt så att användarna lättare kan röra sig i virtuella världar som är större än deras spelrum. I en studie med 12 deltagare jämfördes blick med teleportation med den konventionella handkontroll metoden. Deltagarna spelade en del av Valve’s The Lab med en HTC Vive och en Tobii Eyetracker; Hälften av deltagarna slutförde de uppsatta uppgifterna med blickteleportation, och den andra hälften använde handmetoden. Med Likert-frågor bedömde de sedan sina erfarenheter när det gällde njutning, frustration, ansträngning, avstånd, ocklusion och rörelsesjuka. Efter att ha besvarat frågorna fick deltagarna prova båda metoderna och intervjuades om sina preferenser och åsikter. Våra resultat tyder på att blickteleportation är en trevlig, snabb, intuitiv och naturlig rörelseinteraktion som presterar likt handmetoden, men föredras av användarna när de får välja. Vi drar slutsatsen att blickteleportation passar bra för applikationer där användarna förväntas förflytta sig i samma riktning som deras fokus.

Eye trackers have enabled users to interact with computers for a long time. Yet, there are still many challenges left to be solved to make the interaction easy for users with development disabilities. Especially, when it comes to setup eye tracking where calibration of the eye tracker is important to get accurate estimation of where users are looking. This paper presents a study in which three modified versions of a calibration interface for eye trackers has been designed and evaluated by nine participants with development disabilities. These calibration interfaces used regions that were aware of when a user gazed at them, gaze-aware regions, and varied in the speed of which a stimulus moved during the calibration and how quickly the regions around the stimulus grew. Data was collected for each interface about interaction with the gaze-aware regions, time to complete a calibration, how many calibration points that were completed and gaze offset from the stimulus. No statistically significance was found between the modified interfaces for its efficiency, effectiveness and accuracy. However, a stimulus moving quicker and a gaze-aware region growing faster indicated a more effective and efficient calibration method without loss in accuracy. Also, if only screen engagement is involved using smooth-pursuit calibration could improve the calibration process. / Ögonstyrning har under en längre tid möjliggjort interaktion för användare. Dock är det fortfarande många utmaningar för att göra interaktionen lätt för användare med intellektuella funktionsnedsättningar. Framförallt när det kommer till inställningar för ögonstyrning, där kalibrering har visat sig vara viktigt för att ge en noggrann uppskattning vart användarna fokuserar. Denna rapport presenterar en studie där tre modifierade versioner av ett kalibreringsgränsnitt för ögonstyrning har blivit designat och utvärderat av nio deltagare med låg fokuseringsförmåga. Dessa gränssnitt använde regioner som var medvetna när en användare tittade inom dom, så kallade blickmedvetna regioner, och varierade i vilken hastighet ett stimuli rörde sig och hur snabbt regionerna runt ett stimuli växte. Data samlades in för varje gränssnitt om interaktionen med de blickmedvetna regionerna, tiden för att genomföra kalibreringen, antal avklarade kalibreringspunkter och avståndet mellan användarnas blick och stimuli. Ingen statistisk signifikans hittades mellan de modifierade gränssnitten mellan tidseffektivitet, effektivitet och noggrannhet. Däremot indikerades en mer tidseffektiv och effektiv kalibreringsmetod, utan minskad noggrannhet, genom användningen av ett stimuli som rör sig snabbare med blickmedvetna regioner som växer. Dessutom skulle kalibreringsprocessen kunna förbättras om enbart engagemang med skärmen används genom smooth-pursuit kalibrering

This thesis empirically studies transfer learning as a calibration framework for Convolutional Neural Network (CNN) based appearance-based gaze estimation models. A dataset of approximately 1,900,000 eyestripe images distributed over 1682 subjects is used to train and evaluate several gaze estimation models. Each model is initially trained on the training data resulting in generic gaze models. The models are subsequently calibrated for each test subject, using the subject's calibration data, by applying transfer learning through network fine-tuning on the final layers of the network. Transfer learning is observed to reduce the Euclidean distance error of the generic models within the range of 12-21%, which is in line with current state-of-the-art. The best performing calibrated model shows a mean error of 29.53mm and a median error of 22.77mm. However, calibrating heatmap output-based gaze estimation models decreases the performance over the generic models. It is concluded that transfer learning is a viable calibration framework for improving the performance of CNN-based appearance based gaze estimation models. / Detta examensarbete är en empirisk studie på överföringsträning som ramverk för kalibrering av neurala faltningsnätverks (CNN)-baserade bildbaserad blickapproximationsmodeller. En datamängd på omkring 1 900 000 ögonrandsbilder fördelat över 1682 personer används för att träna och bedöma flertalet blickapproximationsmodeller. Varje modell tränas inledningsvis på all träningsdata, vilket resulterar i generiska modeller. Modellerna kalibreras därefter för vardera testperson med testpersonens kalibreringsdata via överföringsträning genom anpassning av de sista lagren av nätverket. Med överföringsträning observeras en minskning av felet mätt som eukilidskt avstånd för de generiska modellerna inom 12-21%, vilket motsvarar de bästa nuvarande modellerna. För den bäst presterande kalibrerade modellen uppmäts medelfelet 29,53mm och medianfelet 22,77mm. Dock leder kalibrering av regionella sannolikhetsbaserade blickapproximationsmodeller till en försämring av prestanda jämfört med de generiska modellerna. Slutsatsen är att överföringsträning är en legitim kalibreringsansats för att förbättra prestanda hos CNN-baserade bildbaserad blickapproximationsmodeller.

This thesis aims to investigate an eye tracking calibration method in virtual reality where users’ visual attention from eye-hand coordination is used when interacting with in-game items. This could potentially allow eye tracking calibration without interrupting the virtual experience, in comparison with traditional eye tracking calibration which is cumbersome, disruptive, and requires the user’s full attention. A user study was conducted with 15 participants in which they were tasked to complete three different interactions. The interactions tested were a knob, a slider and a liftable cube. Where in the virtual environment the participants were looking during the interactions was recorded and processed to enable comparison. The processed data was analysed to find factors that influenced the calibration method. Additionally, the results was analysed to find at what point during the interactions that has the most consistent eye tracking fixations on the interacted item, and therefore most potential for eye tracking calibration. The results showed that when the participant is interacting with the item and the interacted item is stationary, we received a fixation for around 60% of all trials at any time. When the interacted item was moving the results indicated a lower percentage. To increase this number, the gaze data should be filtered instead of using raw gaze data in order to avoid flickering from the eye tracker. Regarding factors that influence the calibration method, the choice of interaction has a big impact on the method’s success where interactions in which the interacted item is stationary has more potential. Additionally, interactions that take longer time and requires precision in order to complete the interaction positively influences the potential of the calibration method. The surrounding virtual environment also has an influence, as a more distracting environment can negatively impact the calibration method. / Denna avhandling ämnar att att undersöka en kalibreringsmetod för ögonspårning i virtuell verklighet där användarnas visuella uppmärksamhet från ögon och hand koordination används när man interagerar med objekt i den virtuella verkligheten. Detta kan möjliggöra kalibrering av ögonspårning utan att avbryta den virtuella upplevelsen, i jämförelse med traditionell kalibrering som är besvärlig, störande och kräver användarens fulla uppmärksamhet. En användarstudie genomfördes med 15 deltagare där de hade till uppgift att slutföra tre olika interaktioner. De testade interaktionerna var en knopp, en slider och en lyftbar kub. Deltagarnas blick spelades in under interaktionerna och analyserades för att möjliggöra jämförelse. Den bearbetade data analyserades för att hitta faktorer som påverkar kalibreringsmetoden. Dessutom analyserades resultaten för att hitta vid vilken tidpunkt under interaktionerna som hade de mest konsekventa ögonfixeringarna på objektet de interagerade med och därmed störst potential för kalibrering av ögonspårning. Resultaten visade att när deltagaren interagerar med objektet och det interaktiva objektet är stillastående, fick vi en fixering för omkring 60% av alla försök under godtycklig tidpunkt. När det interaktiva objektet rörde sig, visade resultaten en lägre procentandel. För att öka antalet, ska blickdatan filtreras i stället för att använda rå blickdata för att undvika att flicker från ögonspåraren. När det gäller faktorer som påverkar kalibreringsmetoden har valet av interaktion stor inverkan på metodens framgång, där interaktioner där det interaktiva objektet är stationärt har större potential. Dessutom påverkar interaktioner som tar längre tid och kräver precision för att slutföra interaktionen kalibreringsmetodens potential positivt. Den omgivande virtuella miljön har också inflytande, eftersom en mer distraherande miljö kan negativt påverka kalibreringsmetoden.

Testing of eye tracking devices is done by humans looking at well defined stimuli. This way of testing eye trackers is not accurate enough because of human errors. The goal of this thesis is to design and construct reliable robotic eyes that can mimic the behaviour of human eyes. After a pre-study where human eyes, eye tracking and previous robotic eyes were studied, system requirements and specifications were formulated. Based on the re-quirements important design decisions were taken such as the use of RC servo motors, push rods, microcontrollers and a Raspberry Pi. Later the inverse kinematics of the movements and a saccade’s path planing were modelled. Additional mechanical de-sign features are rotation of the head and adjustment of the interpupillary distance. The robot is controlled using two types of application programming interfaces (APIs.) The first API is used to control the motors and the second API builds on top of the first API but is used to design paths of different eye movements between fixation points. All eye movement calculations are computed on the Raspberry Pi before the movements are communicated in real time to the microcontroller which directly performs the control signal. The robot was tested using the integrated lasers in the eyes and a video cam-era with slow motion capabilities to capture the projected laser dot on a wall. The properties tested are saccade, smooth pursuit, head rotation and eye tracking device compatibility. The results show high precision but not enough accuracy. The robot needs a few mechanical improvements such as removing the backlash in the rotat-ing joints on the eyes, decreasing the flexibility of some of the 3D printed parts and assuring symmetry in the design. The robot is a powerful testing platform capa-ble of performing all eye movement types with high-resolution control of both eyes independently through an API. / Eyetracking utrustning testas av människor som tittar på väldefinierade stimuli. Att testa eyetracking på det här sättet är inte tillräckligt noggrant på grund av mänskligt fel. Malet med detta examensarbete är att designa och bygga en pålitlig ögonrobot som kan härma beteendet hos mänskliga ögon. Efter en förstudie om mänskliga ögon, eyetracking och existerade robotögon formulerades system-krav och -specikationer. Baserat på dessa krav togs en del betydande designbeslut som att använda RC servomotorer, tryckstånger, mikrokontrollers och en Raspberry Pi. Senare modellerades den inverterade kinematiken av rörelserna och saccaders banor. Ytterligare mekaniska funktioner är rotation av huvudet och justering av avståndet mellan pupillerna. Roboten styrs med hjälp av två applikationsprogrammeringsgränssnitt (API). Det första API:et används för att styra motorerna och det andra API:et bygger på det första men används för att bygga rörelsevanor av olika ögonrörelser mellan fixationspunkter. Alla ögonrörelseberåkningar görs på Raspberry Pin innan rörelsen kommuniceras i realtid till mikrokontrollen som på direkten exekverar styrsignalen. Roboten testades med integrerade lasrar i ögonen och en kamera med slow motion funktionalitet för att fånga laser prickens projektion på en vägg. Funktioner som testades är saccader, smooth pursuit, huvudrotation och eyetracking kompatibilitet. Resultat visade en hög precision men inte tillräckligt hög noggrannhet. Roboten behöver några få mekaniska förbättringar som att få bort glappet i de roterande lederna på ögat, minska flexibiliteten i några av de 3D-utskrivna delarna och garantera symmetri i designen. Roboten är en kraftfull testplatform kapabel till att utföra alla typer av ögonrörelser med högupplöst kontroll av båda ögonen var för sig genom ett API.

The visual content represented on information displays used in training environments prescribe display attributes as brightness, color, contrast, and motion blur, but considerations regarding cognitive processes corresponding to these visual features require further attention in order to optimize the display for training applications. This dissertation describes an empirical study with which information display features, specifically color and motion blur reduction, were investigated to assess their impact in a training scenario involving visual search and threat detection. Presented in this document is a review of the theory and literature describing display technology, its applications to training, and how eye-tracking systems can be used to objectively measure cognitive activity. The experiment required participants to complete a threat identification task, while altering the displays settings beforehand, to assess the utility of the display capabilities. The data obtained led to the conclusion that motion blur had a stronger impact on perceptual load than the addition of color. The increased perceptual load resulted in approximately 8- 10% longer fixation durations for all display conditions and a similar decrease in the number of saccades, but only when motion blur reduction was used. No differences were found in terms of threat location or threat identification accuracy, so it was concluded that the effects of perceptual load were independent of germane cognitive load.