A lack of alarm management for industrial control rooms has led to frequent alarm floods that have the potential to overwhelm operators within minutes. One approach to managing alarm floods would be altering the salience of alarms that operators might already notice, thereby reducing the disruption on workflow and attention for managing uninformative alarms. This research investigated the central hypothesis that eye fixations could supply passive input to acknowledge alarms anticipated by the operators and thereby improve their overall task performance. A dual-task experiment recruiting 24 participants was conducted to compare three gaze-based alarm acknowledgement methods –Proximity, Prediction, and Entropy- against no acknowledgement across three types of scenarios – Near-threshold, Trending, and Fluctuation. The gaze-based acknowledgement methods reduced visual and auditory salience of alarms as a function of the number of fixations on parameters as well as characteristics of the parameter known to influence operator monitoring behaviors. The participants performed an alarm monitoring task while controlling a continuous parameter within an acceptable range. While participants showed a preference for all of three gaze-based acknowledgment methods, performance of the parameter control task did not improve with gaze-based acknowledgement. Scenario types, as defined by the behavior of the parameters, exhibited a significant effect on the performance of the parameter control task, suggesting a greater influence on participant attention than the reduced salience associated with the gaze-based acknowledgments. Additional analysis revealed that gaze-acknowledgements are higher in scenarios with the most suitable for the gaze-based acknowledgement methods, although the participants did not show any gaze-based acknowledgements and did not make a prediction of an alarm for a significant portion of the trials, suggesting a lack of resource allocation to the alarm monitoring task. This result suggests that the effectiveness of gaze-based acknowledgement may depend on the combination of on-going tasks. Taken together, the experimental results showed some utility of user gaze in managing alarms given how acknowledgement occurred more often when the acknowledgement methods and parameters matched; however, further design research is necessary to translate the utility into clear performance or productivity benefits. / Master of Science / Industrial control rooms are notorious for having too many alarms triggered within minutes and operators are hindered by responding to these alarms as opposed to the actual process faults. Existing alarm management research and applications have already reduced nuisance alarms by filtering out those correlated to one another according to historical data or plant models. However, existing approaches have not eliminated the process parameters that operators already expect to reach alarm thresholds. In other words, current alarm management has not adapted for operator awareness of impending alarms. This study explored how eye-tracking might be used to acknowledge alarms anticipated by operators, thereby reducing uninformative alarms and interruption to operator work. The participants performed an alarm monitoring task while trying to maintain a fluctuating parameter within an acceptable range. While participants liked the gaze-based acknowledgement methods, their performance on the parameter control task did not improve over conditions without any alarm acknowledgement. The alarm monitoring task may not have received sufficient attention to induce an observable benefit. The characteristics of the parameter seemed to have a larger effect on participants' attention than the muted alarm presentation associated with the gaze-based acknowledgment. Further research is necessary to refine the current design to induce the postulated attention and performance benefits with gaze-based acknowledgement.

In this paper, an investigation of the impact of menu design and input device for gaze-based menu selection tasks is reported. The study investigates the usability, measured by effectiveness, efficiency, and user satisfaction, for gaze-based interaction in realistic, complex menu selection tasks. The study includes three different menu designs, a linear drop-down menu (L1), a radial dynamic menu (R1), and a semi-radial menu (R2), along with two different input devices, a unimodal input device using dwell-time (DT) and a multimodal input device using a combination of gaze and a manual switch (GMS). In a user study with nine test participants, the impact of menu design, input device, and navigation complexity on task completion time, accuracy rate, cognitive load, and quality of use ratings for menu selection tasks were investigated. The usability results confirmed the expectations of the advantages of radial menu designs, with the radial dynamic menu (R1) being better suited for gaze- based interaction than either the linear drop-down menu (L1) or semi-radial menu (R2). The usability results also confirmed the expectations regarding the input device, namely, the multimodal GMS input device was superior to the unimodal DT input device for gaze-based interaction. / I den här studien rapporteras en undersökning av effekterna av menydesign och inmatningsenhet för blickbaserade menyvalsuppgifter. Studien undersöker användbarheten, mätt av verkningsgrad, effektivitet, och användarnöjdhet, för blickbaserad interaktion i realistiska, komplexa menyvalsuppgifter. Studien innefattar tre olika menydesigner, en linjär rullgardinsmeny (L1), en radiell dynamisk meny (R1) och en halvradiell meny (R2), tillsammans med två olika inmatningsenheter, en unimodal inmatningsenhet som använder dwell-time (DT) och en multimodal inmatningsenhet som använder en kombination av blick och en manuell knapp (GMS). I en användarstudie med nio testdeltagare undersöktes effekterna av menydesign, inmatningsenhet och navigeringskomplexitet på tiden för uppgifts slutförandet, noggrannhet, kognitiv belastning och kvalitet på användningsbetyg för menyvalsuppgifter. Användbarhetsresultaten bekräftade förväntningarna om fördelarna med radiella menydesigner, varvid den radiella dynamiska menyn (R1) passar bättre för blickbaserad interaktion än både den linjära rullgardinsmenyn (L1) eller halvradialmenyn (R2). Användbarhetsresultaten bekräftade också förväntningarna avseende inmatningsenheten, nämligen att multimodal GMS-inmatningsenheten var överlägsen den unimodala DT-inmatningsenheten för blickbaserad interaktion.

A presente tese de doutorado insere-se na área de interação pelo olhar. A interação pelo olhar é uma forma de comunicação com o computador utilizando os movimentos oculares do usuário. Pessoas com deficiência física, que não conseguem usar dispositivos convencionais como um teclado e um mouse de computador, podem se beneficiar da interação pelo olhar para se comunicarem e se inserirem na sociedade. Para isso a entrada de texto ou digitação pelo olhar é um recurso importante e assunto principal dessa tese. O instrumento mais comum para entrada de texto pelo olhar consiste de um teclado virtual onde os caracteres são selecionados por tempo de latência. Essa forma de interação, embora simples, sofre de seleções involuntárias (problema conhecido como toque de Midas) se o tempo de latência for curto (menos de 500 ms). Já para tempos de latência mais longos, a interação se torna lenta. Alternativas para entrada de texto pelo olhar são os gestos discretos ou contínuos do olhar. O uso de gestos discretos permite reduzir o toque de Midas, porém o desempenho é inferior ao tempo de latência. Já nos métodos baseados em gestos contínuos, o olhar está sempre preso ao controle da interface. Uma técnica de interação proposta recentemente, chamada de \"alternância entre contextos\", permite reduzir o efeito do toque de Midas, utilizando apenas uma sacada para cada seleção. Além disso, essa técnica permite aos usuários manterem o ritmo de interação sem ajustar nenhum parâmetro na interface. A presente tese de doutorado visa melhorar a usabilidade e experiência dos usuários na interação pelo olhar com teclados virtuais. Os objetivos específicos são: investigar a relação entre a manipulação do contraste dos estímulos visuais e o tempo de reação sacádico para facilitar os movimentos oculares e tornar a interação mais rápida e agradável; propor e investigar novas extensões e aplicações da alternância entre contextos, visando reduzir o toque de Midas e ao mesmo tempo generalizar o método para outras tarefas de navegação e seleção de objetos pelo olhar; e desenvolver novos métodos de entrada de texto pelo olhar para melhorar a velocidade de digitação dos usuários, sem incrementar a carga de trabalho e mantendo a interação simples e fácil de aprender. A avaliação dos novos métodos e modelos propostos foi feita por meio de vários estudos com usuários. Os dados coletados nos estudos, tanto quantitativos quanto qualitativos, foram analisados com métodos estatísticos utilizados na área de interação homem-computador. As contribuições originais apresentadas na presente tese são: a proposta e a avaliação do efeito gap gradiente como feedback visual para facilitar a execução de movimentos sacádicos durante a interação pelo olhar; a proposta e investigação de contextos dinâmicos como extensão da alternância entre contextos, para permitir um melhor aproveitamento da área útil do monitor com uma baixa taxa de erros de seleção, assim como de meta-keys para navegação e execução de comandos de forma geral; e a proposta e a avaliação de AugFix, um novo modelo de feedback visual que melhora a velocidade e a experiência dos usuários na entrada de texto pelo olhar, com aplicação em teclados virtuais baseados nos paradigmas do tempo de latência e a alternância entre contextos. / This PhD thesis lays in the context of gaze-based interaction. Gaze-based interfaces allows the user to control a computer using his/her eye movements. Gaze interaction is specially useful for people with physical disabilities who cannot use conventional devices (such as a keyboard and/or mouse) to communicate. Entering text by gaze (also known as eye typing) is a very important activity and the main focus of this dissertation. The most common eye typing technique uses a virtual keyboard, where the letters are selected by dwell time. Though simple, this interaction technique suffers from involuntary activations (known as the Midas\' touch problem) for short dwell times (shorter than 500 ms). On the other hand, with longer dwell times the interaction becomes slow. Alternatives to dwell time are discrete and continuous gaze gestures. The use of discrete gaze gestures reduces the Midas\' touch problem, but its performance is slower compared to dwell time. When using continuous gaze gestures, the user gaze is always controlling the interface. A recently proposed technique called \"context switching\" avoids the Midas touch problem by mapping selection to a single saccade. Furthermore, with this technique the users can keep their rhythm of interaction without adjusting any parameter of the interface. This PhD thesis aims at improving the usability and user experience in gaze interaction with virtual keyboards. The objectives are: to investigate the relationship between contrast manipulation of visual stimuli and saccadic reaction time, to facilitate eye movements and make the interaction faster and more comfortable; to propose and investigate new extensions and applications of the context switching paradigm, in order to reduce the Midas touch problem and generalize the extensions to other tasks such as browsing and selection; and to develop new methods of eye typing that can improve typing performance without increasing the user workload, while keeping the interaction simple and easy to learn. Several user studies were designed and conducted to evaluate the methods and models proposed in this thesis. The data (both quantitative and qualitative) collected in the experiments is rigorously analysed using statistical methods. The original contributions of this thesis are: the proposal and investigation of the gradient gap effect as a visual feedback to facilitate the execution of saccadic movements during gaze interaction; the proposal and investigation of two extensions to the context switching paradigm: dynamic contexts that improve the utilization of the screen space while keeping a low selection error rate, and meta-keys for browsing and executing general-purpose commands; and the proposal and evaluation of AugFix, a new method that improves eye typing speed and user experience without increasing the cognitive load, that can be used with virtual keyboards controlled by both dwell time and context switching.

A presente tese de doutorado insere-se na área de interação pelo olhar. A interação pelo olhar é uma forma de comunicação com o computador utilizando os movimentos oculares do usuário. Pessoas com deficiência física, que não conseguem usar dispositivos convencionais como um teclado e um mouse de computador, podem se beneficiar da interação pelo olhar para se comunicarem e se inserirem na sociedade. Para isso a entrada de texto ou digitação pelo olhar é um recurso importante e assunto principal dessa tese. O instrumento mais comum para entrada de texto pelo olhar consiste de um teclado virtual onde os caracteres são selecionados por tempo de latência. Essa forma de interação, embora simples, sofre de seleções involuntárias (problema conhecido como toque de Midas) se o tempo de latência for curto (menos de 500 ms). Já para tempos de latência mais longos, a interação se torna lenta. Alternativas para entrada de texto pelo olhar são os gestos discretos ou contínuos do olhar. O uso de gestos discretos permite reduzir o toque de Midas, porém o desempenho é inferior ao tempo de latência. Já nos métodos baseados em gestos contínuos, o olhar está sempre preso ao controle da interface. Uma técnica de interação proposta recentemente, chamada de \"alternância entre contextos\", permite reduzir o efeito do toque de Midas, utilizando apenas uma sacada para cada seleção. Além disso, essa técnica permite aos usuários manterem o ritmo de interação sem ajustar nenhum parâmetro na interface. A presente tese de doutorado visa melhorar a usabilidade e experiência dos usuários na interação pelo olhar com teclados virtuais. Os objetivos específicos são: investigar a relação entre a manipulação do contraste dos estímulos visuais e o tempo de reação sacádico para facilitar os movimentos oculares e tornar a interação mais rápida e agradável; propor e investigar novas extensões e aplicações da alternância entre contextos, visando reduzir o toque de Midas e ao mesmo tempo generalizar o método para outras tarefas de navegação e seleção de objetos pelo olhar; e desenvolver novos métodos de entrada de texto pelo olhar para melhorar a velocidade de digitação dos usuários, sem incrementar a carga de trabalho e mantendo a interação simples e fácil de aprender. A avaliação dos novos métodos e modelos propostos foi feita por meio de vários estudos com usuários. Os dados coletados nos estudos, tanto quantitativos quanto qualitativos, foram analisados com métodos estatísticos utilizados na área de interação homem-computador. As contribuições originais apresentadas na presente tese são: a proposta e a avaliação do efeito gap gradiente como feedback visual para facilitar a execução de movimentos sacádicos durante a interação pelo olhar; a proposta e investigação de contextos dinâmicos como extensão da alternância entre contextos, para permitir um melhor aproveitamento da área útil do monitor com uma baixa taxa de erros de seleção, assim como de meta-keys para navegação e execução de comandos de forma geral; e a proposta e a avaliação de AugFix, um novo modelo de feedback visual que melhora a velocidade e a experiência dos usuários na entrada de texto pelo olhar, com aplicação em teclados virtuais baseados nos paradigmas do tempo de latência e a alternância entre contextos. / This PhD thesis lays in the context of gaze-based interaction. Gaze-based interfaces allows the user to control a computer using his/her eye movements. Gaze interaction is specially useful for people with physical disabilities who cannot use conventional devices (such as a keyboard and/or mouse) to communicate. Entering text by gaze (also known as eye typing) is a very important activity and the main focus of this dissertation. The most common eye typing technique uses a virtual keyboard, where the letters are selected by dwell time. Though simple, this interaction technique suffers from involuntary activations (known as the Midas\' touch problem) for short dwell times (shorter than 500 ms). On the other hand, with longer dwell times the interaction becomes slow. Alternatives to dwell time are discrete and continuous gaze gestures. The use of discrete gaze gestures reduces the Midas\' touch problem, but its performance is slower compared to dwell time. When using continuous gaze gestures, the user gaze is always controlling the interface. A recently proposed technique called \"context switching\" avoids the Midas touch problem by mapping selection to a single saccade. Furthermore, with this technique the users can keep their rhythm of interaction without adjusting any parameter of the interface. This PhD thesis aims at improving the usability and user experience in gaze interaction with virtual keyboards. The objectives are: to investigate the relationship between contrast manipulation of visual stimuli and saccadic reaction time, to facilitate eye movements and make the interaction faster and more comfortable; to propose and investigate new extensions and applications of the context switching paradigm, in order to reduce the Midas touch problem and generalize the extensions to other tasks such as browsing and selection; and to develop new methods of eye typing that can improve typing performance without increasing the user workload, while keeping the interaction simple and easy to learn. Several user studies were designed and conducted to evaluate the methods and models proposed in this thesis. The data (both quantitative and qualitative) collected in the experiments is rigorously analysed using statistical methods. The original contributions of this thesis are: the proposal and investigation of the gradient gap effect as a visual feedback to facilitate the execution of saccadic movements during gaze interaction; the proposal and investigation of two extensions to the context switching paradigm: dynamic contexts that improve the utilization of the screen space while keeping a low selection error rate, and meta-keys for browsing and executing general-purpose commands; and the proposal and evaluation of AugFix, a new method that improves eye typing speed and user experience without increasing the cognitive load, that can be used with virtual keyboards controlled by both dwell time and context switching.