Gaze tracking is the estimation of the point in space a person is “looking at”. This is widely used in both diagnostic and interactive applications, such as visual attention studies and human-computer interaction. The most common commercial solution used to track gaze today uses a combination of infrared illumination and one or more cameras. These commercial solutions are reliable and accurate, but often expensive. The aim of this thesis is to construct a simple single-camera gaze tracker from off-the-shelf components. The method used for gaze tracking is based on infrared illumination and a schematic model of the human eye. Based on images of reflections of specific light sources in the surfaces of the eye the user’s gaze point will be estimated. Evaluation is also performed on both the software and hardware components separately, and on the system as a whole. Accuracy is measured in spatial and angular deviation and the result is an average accuracy of approximately one degree on synthetic data and 0.24 to 1.5 degrees on real images at a range of 600 mm.

Indiana University-Purdue University Indianapolis (IUPUI) / One of the biggest hurdles to the development of an effective driver state monitor is the that there is no real-time eye-gaze detection. This is primarily due to the fact that such systems require calibration. In this thesis the various aspects that comprise an eye gaze tracker are investigated. From that we developed an eye gaze tracker for automobiles that does not require calibration. We used a monocular camera system with IR light sources placed in each of the three mirrors. The camera system created the bright-pupil effect for robust pupil detection and tracking. We developed an SVM based algorithm for initial eye candidate detection; after that the eyes were tracked using a hybrid Kalman/Mean-shift algorithm. From the tracked pupils, various features such as the location of the glints (reflections in the pupil from the IR light sources) were extracted. This information is then fed into a Generalized Regression Neural Network (GRNN). The GRNN then maps this information into one of thirteen gaze regions in the vehicle.

No description available.

Gaze tracking is a field within computer vision that has a large number of possible areas of application. However, much of the software available for gaze tracking is locked to licenses and/or certain equipment that can be expensive, hard to get a hold of, intrusive for the user, or simply impractical. The research within gaze tracking typically focuses on the theoretical models used to perform the tracking, rather than the software implementation of it. The purpose of this report is to make real-time gaze tracking systems more easily available to the common user and developer. Hence, this thesis explores a possible implementation of gaze tracking using C# in Visual Studio, with the help of a number of different libraries, only using a simple web camera as hardware. Further, the system is analyzed and evaluated by the precision of the subject’s eye movements which is projected on the screen. The resulting system is heavily inaccurate and imprecise but changing and adding a few key software components such as estimating the user’s head pose could vastly improve the accuracy and precision of the system. / Blickspårning är ett fält inom datorseende som har ett stort antal möjliga tilläpmningsområden. Däremot så är mycket av den tillgängliga mjukvaran låst till licenser och/eller viss utrustning som kan vara dyr, svår att få tag på, påträngande, eller helt enkelt opraktisk. Forskningen inom blickspårning fokuserar typiskt sett på den teoretiska modellen som beskriver hur spårningen går till, snarare än hur det implementeras i mjukvara. Syftet med den här rapporten är att skapa ett blickspårningsprogram som körs i realtid för att underlätta och göra det mer tillgängligt för andra användare och utvecklare. Därför utforskar den här uppsatsen ett sätt att implementera blickspårning med C# i Visual Studio, med hjälp av ett antal olika kodbibliotek, och endast en enkel webbkamera som hårdvara. Systemet kommer även att bli analyserat och evaluerat med hänseende till träffsäkerheten i testpersoners ögonrörelse som projiceras på skärmen. Det resulterande systemet har en oerhört låg träffsäkerhet och exakthet, men genom att ändra några nyckelkomponenter i mjukvaran, så som att uppskatta hur användarens huvud är riktat, så kan systemets träffsäkerhet och precision ökas dramatiskt.

Smarta enheter blir allt vanligare och teknologierna de använder blir allt mer avancerade. Som en följd av detta uppstår bekväma och effektiva lösningar till vardagliga problem. En stor mängd sammankopplade smarta enheter leder dock till system som är svåra att förstå och att använda. Detta ställer krav på lösningar som hjälper användare att interagera med enheter på ett intuitivt och effektivt sätt. En teknik som under de senaste åren blivit allt mer kommersiellt brukbar och som kan användas i detta syfte är augmented reality. Vidare så är spårning av ögonpositioner ett lovande tillvägagångssätt för att navigera virtuella menyer.Denna uppsats har som syfte att utvärdera hur ögon- och huvudrörelser kan kombineras för att låta användare på ett intuitivt sätt interagera med ett gränssnitt i augmented reality. För att uppnå detta tas två interaktionsmetoder fram som använder ögon- och huvudrörelser på något olika sätt. För att utvärdera deras prestanda och användbarhet så utförs ett experiment där deltagarna navigerar en uppsättning menyer både med hjälp av de framtagna metoderna och en beprövad referensmetod.Resultaten från experimentet visar att referensmetoden både är den snabbaste och den minst felbenägna ut av de tre utvärderade metoderna. Trots detta så föredrar deltagarna en av de framtagna metoderna, och båda dessa metoder uppnår adekvata resultat. Vidare så visar den kvantitativa datan inte på några mätbara skillnader mellan de framtagna metoderna. Däremot så uppnår en av dem högre resultat i de subjektiva utvärderingarna. / Smart devices are becoming increasingly common and technologically advanced. As aresult, convenient and effective approaches to everyday problems are emerging. However,a large amount of interconnected devices result in systems that are difficult to understandand use. This necessitates solutions that help users interact with their devices in anintuitive and effective way. One such possible solution is augmented reality, which hasbecome a viable commercial technology in recent years. Furthermore, tracking the positionof users’ eyes to navigate virtual menus is a promising approach that allows for interestinginteraction techniques.In this thesis, we explore how eye and head movements can be combined in an effortto provide intuitive input to an augmented reality user interface. Two novel interactiontechniques that combine these modalities slightly differently are developed. To evaluatetheir performance and usability, an experiment is conducted in which the participantsnavigate a set of menus using both our proposed techniques and a baseline technique.The results of the experiment show that out of the three evaluated techniques, thebaseline is both the fastest and the least error-prone. However, participants prefer oneof the proposed techniques over the baseline, and both of these techniques perform adequately.Furthermore, the quantitative data shows no measurable differences betweenthe proposed techniques, although one of them receives a higher score in the subjectiveevaluations.

A percepção de presença (PP), evolução do conceito de telepresença, pode ser definida como ilusão perceptiva de não mediação e/ou a percepção ilusória da realidade. O método mais utilizado para a avaliação da PP faz uso de questionários aplicados aos sujeitos, após sua participação numa experiência. Além de não fornecer informações em tempo real esse método sofre muitas interferências advindas tanto dos sujeitos submetidos ao experimento como dos avaliadores dos questionários. Os métodos que poderiam ser mais efetivos para a avaliação da PP, em tempo real, fazem uso de sinais fisiológicos que variam independentemente da vontade dos sujeitos, como batimento cardíaco, eletrocardiograma, eletroencefalograma, resistividade e umidade da pele. Os sinais fisiológicos, no entanto, só variam de forma significativa em situações de estresse, inviabilizando sua utilização em atividades normais, sem estresse. Outra forma de avaliar a PP é utilizar sistemas de rastreamento do olhar. Estudados e desenvolvidos desde o século 19, os sistemas de rastreamento do olhar fornecem um mapeamento do movimento dos olhos. Além de indicar para onde os sujeitos estão olhando, podem também monitorar a dilatação da pupila e as piscadas. Atualmente existem sistemas de rastreamento do olhar comerciais de baixo custo, que apesar de terem menos precisão e frequência que os equipamentos de alto custo são mais práticos e possuem software de plataforma aberta. No futuro serão tão comuns e simples de usar como são hoje as câmeras em dispositivos móveis e computadores, o que viabilizará a aplicação das técnicas e métodos aqui propostos em larga escala, principalmente para monitorar a atenção e envolvimento de atividades mediadas por vídeo. É apresentada uma ferramenta que faz uso do rastreamento do olhar para avaliar a percepção de presença em atividades mediadas por vídeo (com estímulos sonoros). Dois experimentos foram realizados para validar as hipóteses da pesquisa e a ferramenta. Um terceiro experimento foi executado para verificar a capacidade da ferramenta em avaliar a percepção de presença em atividades não estressantes mediadas por vídeo. / The presence perception (PP), evolution of the concept of telepresence, could be defined as the perceptual illusion of nonmediation and/or the ilusional perception of reality. The most utilized method for PP evaluation make uses questionnaires applied for the subjects, after your participation in an experience. Besides it does not provide real-time information this method suffers with many interferences in the results that come from the subjects undergoing and form the reviewers of the of the questionnaires. The methods could be more effective for PP evaluation, in real time, make uses of physiologic signals that vary independently of the request of the subjects, e.g. heart rate, electrocardiogram, electroencephalogram, skin resistivity and skin humidity. However, meaningful physiologic signals occurs only in stress situations, unfeasible Its use in normal environments, whit no stress. Another way to evaluate the PP is using eye gaze tracking systems. Studied and developed since the 19th century, eye gaze tracking systems provide an eye movements mapping. Moreover it indicate where the subjects are viewing, these systems can follow up pupil dilatation and blinks. Currently there are commercial gaze tracking systems inexpensive, despite having less precision and frequency that expensive-equipments are more practical and open software platform is available. In the future these technologies will be common and simple to use as today are cameras on mobile devices and computers, which will enable the implementation of the techniques and methods here proposed on a large scale, mainly to monitor the attention and involvement during activities mediated by video. A tool that makes use of gaze tracking to evaluate presence perception in activities video mediated (with sound stimuli) is displayed. Two experiments were conducted to validate the hypotheses of the research and the tool. A third experiment was performed to verify the tool\'s ability to assess presence perception in non-stressful activities video mediated.

A crescente capacidade do poder computacional e a proliferação de dispositivos ao nosso redor vem permitindo o desenvolvimento de novas e sofisticadas interfaces para interação humano-computador que reagem à presença e ao estado de seus usuários. Como o olhar tem a capacidade de transmitir muitas informações sobre o usuário, rastreadores de olhar, dispositivos que estimam a direção para onde uma pessoa olha, tem papel importante no desenvolvimento de tais interfaces. Entre suas aplicações temos o auxílio a pessoas com dificuldades motoras, que podem utilizar um rastreador de olhar como substituto ao mouse, aplicações de diagnóstico, que estudam evidências do comportamento humano, ou ainda o desenvolvimento de interfaces que utilizem a informação sobre o olhar como um canal a mais de comunicação com o usuário para perceber suas intenções. Muitas técnicas para atingir tal objetivo foram desenvolvidas mas as tradicionais ainda oferecem certas dificuldades de uso para seus usuários como a intolerância a movimentos de cabeça e a necessidade de calibração por sessão de uso. Neste trabalho fizemos um levantamento de uma série de técnicas de rastreamento de olhar, indo das mais tradicionais até algumas mais recentes que visam melhorar a facilidade de uso destes sistemas. Uma das técnicas mais promissoras utiliza múltiplas fontes de luz fixadas nos cantos do monitor do computador. Através da análise da posição dos reflexos gerados por essas fontes de luz sobre a córnea, juntamente com a informação da posição da pupila, presentes em imagens capturadas do olho, é possível estimar o ponto observado no monitor. Devido às suas vantagens ela foi escolhida para estudo mais detalhado e implementação. Extensos testes utilizando simulações foram realizados para avaliar seu desempenho. Foi também desenvolvida uma extensão dessa técnica, utilizando um modelo mais preciso do olho, visando melhorar sua precisão. Ao final apresentamos nossa implementação, baseada nessa extensão da técnica original, que é tolerante a movimentação da face e mostramos os resultados obtidos em testes realizados com um grupo de usuários. / Recent advances in computing power and the proliferation of computing devices around us allowed the development of new computer interfaces which can react to the presence and state of its users. Since gaze can transmit a lot of information about the user, gaze trackers, devices that can estimate the direction which a person is looking at, have an important role in the development of such interfaces. Among gaze tracking applications, we have aid for people with limited motor skills, human behavior studies, and the development of interfaces that can take gaze information as an additional communication channel with the user. Lots of techniques have been developed to reach this goal, but they have some problems that make them hard to be widely used. These problems are the need of calibration for each use session and the need to keep the user\'s head still. In this work we studied some of the existing gaze tracking techniques, from the more traditional ones to more recent ones. One of the most interesting techniques makes use of multiple light sources fixed at the monitor\'s corners. By analyzing the positions of corneal reflections and the pupil present in captured images of the eye, it is possible to estimate the gaze point on the monitor screen. Due to its advantages this technique was chosen for a deeper study and implementation. Lots of experiments using simulated data have been carried out to validate the technique. Using a more accurate model of the eye, an extension for this technique was also developed to increase its precision. Finally, we present our implementation, that allows for large head movement, as well as test results obtained from real users.

A percepção de presença (PP), evolução do conceito de telepresença, pode ser definida como ilusão perceptiva de não mediação e/ou a percepção ilusória da realidade. O método mais utilizado para a avaliação da PP faz uso de questionários aplicados aos sujeitos, após sua participação numa experiência. Além de não fornecer informações em tempo real esse método sofre muitas interferências advindas tanto dos sujeitos submetidos ao experimento como dos avaliadores dos questionários. Os métodos que poderiam ser mais efetivos para a avaliação da PP, em tempo real, fazem uso de sinais fisiológicos que variam independentemente da vontade dos sujeitos, como batimento cardíaco, eletrocardiograma, eletroencefalograma, resistividade e umidade da pele. Os sinais fisiológicos, no entanto, só variam de forma significativa em situações de estresse, inviabilizando sua utilização em atividades normais, sem estresse. Outra forma de avaliar a PP é utilizar sistemas de rastreamento do olhar. Estudados e desenvolvidos desde o século 19, os sistemas de rastreamento do olhar fornecem um mapeamento do movimento dos olhos. Além de indicar para onde os sujeitos estão olhando, podem também monitorar a dilatação da pupila e as piscadas. Atualmente existem sistemas de rastreamento do olhar comerciais de baixo custo, que apesar de terem menos precisão e frequência que os equipamentos de alto custo são mais práticos e possuem software de plataforma aberta. No futuro serão tão comuns e simples de usar como são hoje as câmeras em dispositivos móveis e computadores, o que viabilizará a aplicação das técnicas e métodos aqui propostos em larga escala, principalmente para monitorar a atenção e envolvimento de atividades mediadas por vídeo. É apresentada uma ferramenta que faz uso do rastreamento do olhar para avaliar a percepção de presença em atividades mediadas por vídeo (com estímulos sonoros). Dois experimentos foram realizados para validar as hipóteses da pesquisa e a ferramenta. Um terceiro experimento foi executado para verificar a capacidade da ferramenta em avaliar a percepção de presença em atividades não estressantes mediadas por vídeo. / The presence perception (PP), evolution of the concept of telepresence, could be defined as the perceptual illusion of nonmediation and/or the ilusional perception of reality. The most utilized method for PP evaluation make uses questionnaires applied for the subjects, after your participation in an experience. Besides it does not provide real-time information this method suffers with many interferences in the results that come from the subjects undergoing and form the reviewers of the of the questionnaires. The methods could be more effective for PP evaluation, in real time, make uses of physiologic signals that vary independently of the request of the subjects, e.g. heart rate, electrocardiogram, electroencephalogram, skin resistivity and skin humidity. However, meaningful physiologic signals occurs only in stress situations, unfeasible Its use in normal environments, whit no stress. Another way to evaluate the PP is using eye gaze tracking systems. Studied and developed since the 19th century, eye gaze tracking systems provide an eye movements mapping. Moreover it indicate where the subjects are viewing, these systems can follow up pupil dilatation and blinks. Currently there are commercial gaze tracking systems inexpensive, despite having less precision and frequency that expensive-equipments are more practical and open software platform is available. In the future these technologies will be common and simple to use as today are cameras on mobile devices and computers, which will enable the implementation of the techniques and methods here proposed on a large scale, mainly to monitor the attention and involvement during activities mediated by video. A tool that makes use of gaze tracking to evaluate presence perception in activities video mediated (with sound stimuli) is displayed. Two experiments were conducted to validate the hypotheses of the research and the tool. A third experiment was performed to verify the tool\'s ability to assess presence perception in non-stressful activities video mediated.

Gaze tracking means to detect and follow the direction in which a person looks. This can be used in for instance human-computer interaction. Most existing systems illuminate the eye with IR-light, possibly damaging the eye. The motivation of this thesis is to develop a truly non-intrusive gaze tracking system, using only a digital camera, e.g. a web camera. The approach is to detect and track different facial features, using varying image analysis techniques. These features will serve as inputs to a neural net, which will be trained with a set of predetermined gaze tracking series. The output is coordinates on the screen. The evaluation is done with a measure of accuracy and the result is an average angular deviation of two to four degrees, depending on the quality of the image sequence. To get better and more robust results, a higher image quality from the digital camera is needed.

A crescente capacidade do poder computacional e a proliferação de dispositivos ao nosso redor vem permitindo o desenvolvimento de novas e sofisticadas interfaces para interação humano-computador que reagem à presença e ao estado de seus usuários. Como o olhar tem a capacidade de transmitir muitas informações sobre o usuário, rastreadores de olhar, dispositivos que estimam a direção para onde uma pessoa olha, tem papel importante no desenvolvimento de tais interfaces. Entre suas aplicações temos o auxílio a pessoas com dificuldades motoras, que podem utilizar um rastreador de olhar como substituto ao mouse, aplicações de diagnóstico, que estudam evidências do comportamento humano, ou ainda o desenvolvimento de interfaces que utilizem a informação sobre o olhar como um canal a mais de comunicação com o usuário para perceber suas intenções. Muitas técnicas para atingir tal objetivo foram desenvolvidas mas as tradicionais ainda oferecem certas dificuldades de uso para seus usuários como a intolerância a movimentos de cabeça e a necessidade de calibração por sessão de uso. Neste trabalho fizemos um levantamento de uma série de técnicas de rastreamento de olhar, indo das mais tradicionais até algumas mais recentes que visam melhorar a facilidade de uso destes sistemas. Uma das técnicas mais promissoras utiliza múltiplas fontes de luz fixadas nos cantos do monitor do computador. Através da análise da posição dos reflexos gerados por essas fontes de luz sobre a córnea, juntamente com a informação da posição da pupila, presentes em imagens capturadas do olho, é possível estimar o ponto observado no monitor. Devido às suas vantagens ela foi escolhida para estudo mais detalhado e implementação. Extensos testes utilizando simulações foram realizados para avaliar seu desempenho. Foi também desenvolvida uma extensão dessa técnica, utilizando um modelo mais preciso do olho, visando melhorar sua precisão. Ao final apresentamos nossa implementação, baseada nessa extensão da técnica original, que é tolerante a movimentação da face e mostramos os resultados obtidos em testes realizados com um grupo de usuários. / Recent advances in computing power and the proliferation of computing devices around us allowed the development of new computer interfaces which can react to the presence and state of its users. Since gaze can transmit a lot of information about the user, gaze trackers, devices that can estimate the direction which a person is looking at, have an important role in the development of such interfaces. Among gaze tracking applications, we have aid for people with limited motor skills, human behavior studies, and the development of interfaces that can take gaze information as an additional communication channel with the user. Lots of techniques have been developed to reach this goal, but they have some problems that make them hard to be widely used. These problems are the need of calibration for each use session and the need to keep the user\'s head still. In this work we studied some of the existing gaze tracking techniques, from the more traditional ones to more recent ones. One of the most interesting techniques makes use of multiple light sources fixed at the monitor\'s corners. By analyzing the positions of corneal reflections and the pupil present in captured images of the eye, it is possible to estimate the gaze point on the monitor screen. Due to its advantages this technique was chosen for a deeper study and implementation. Lots of experiments using simulated data have been carried out to validate the technique. Using a more accurate model of the eye, an extension for this technique was also developed to increase its precision. Finally, we present our implementation, that allows for large head movement, as well as test results obtained from real users.