As technology evolves, new devices and interaction techniques are developed. These transformations create several challenges in terms of usability and user experience. Our research faces some challenges for data input or content exploration in scenarios with restrictions. It is not our intention to investigate all possible scenarios, but we deeply explore a broad range of devices and restrictions. We start with a discussion about the use of an interactive coffee table for exploration of personal photos and videos, also considering a TV set as an additional screen. In a second scenario, we present an architecture that offers to interactive digital TV (iDTV) applications the possibility of receiving multimodal data from multiple devices. Our third scenario concentrates on supporting text input for iDTV applications using a remote control, and presents an interface model based on multiple input modes as a solution. In the last two scenarios, we continued investigating better ways to provide text entry; however, our restriction becomes not using the hands, which is the kind of challenge faced by severely motor-disabled individuals. First, we present a text entry method based on two input symbols and an interaction technique based on detecting internal and external heel rotations using an accelerometer, for those who keep at least a partial movement of a leg and a foot. In the following scenario, only the eyes are required. We present an eye-typing technique that recognizes the intended word by weighting length and frequency of all possible words formed by filtering extra letters from the sequence of letters gazed by the user. The exploration of each scenario in depth was important to achieve the relevant results and contributions. On the other hand, the wide scope of this dissertation allowed the student to learn about several technologies and techniques. / Com a evolução da tecnologia, novos dispositivos e técnicas de interação são desenvolvidas. Essas transformações criam desafios em termos de usabilidade e experiência do usuário. Essa pesquisa enfrenta alguns desafios para a entrada de dados e exploração de conteúdo em cenários com restrições. Não foi intenção da pesquisa investigar todos os possíveis cenários, mas sim a exploração em profundidade de uma ampla gama de dispositivos e restrições. Ao todo cinco cenários são investigados. Primeiramente é apresentada uma discussão sobre o uso de uma mesa de centro interativa para a exploração de fotos e vídeos pessoais, a qual também considera um aparelho de TV como tela adicional. Com base no segundo cenário, uma arquitetura que oferece a aplicações de TV digital interativa (TVDI) a possibilidade de receber dados multimodais de múltiplos dispositivos é apresentada. O terceiro cenário se concentra no suporte a entrada de texto para aplicações de TVDI usando o controle remoto, resultando na apresentação de um modelo de interface baseado em múltiplos modos de entrada como solução. Os dois últimos cenários permitem continuar a investigação por melhores formas de entrada de texto, porém, a restrição se torna a impossibilidade de usar as mãos, um dos desafios enfrentados por indivíduos com deficiência motora severa. No primeiro deles, são apresentados um método de entrada de texto baseado em dois símbolos de entrada e uma técnica de interação baseada na detecção de rotações do pé apoiado sobre o calcanhar usando acelerômetro, para aqueles que mantêm pelo menos um movimento parcial de uma perna e um pé. No senário seguinte, apenas os movimentos dos olhos são exigidos. Foi apresentada uma técnica de escrita com o olho que reconhece a palavra desejada ponderando o comprimento de a frequência de ocorrência de todas as palavras que podem ser formadas filtrando letras excedentes da lista de letras olhadas pelo usuário. A exploração de cada cenário em profundidade foi importante para a obtenção de resultados e contribuições relevantes. Por outro lado, o amplo escopo da dissertação permitiu ao estudante o aprendizado de diversas técnicas e tecnologias.

A presente tese de doutorado insere-se na área de interação pelo olhar. A interação pelo olhar é uma forma de comunicação com o computador utilizando os movimentos oculares do usuário. Pessoas com deficiência física, que não conseguem usar dispositivos convencionais como um teclado e um mouse de computador, podem se beneficiar da interação pelo olhar para se comunicarem e se inserirem na sociedade. Para isso a entrada de texto ou digitação pelo olhar é um recurso importante e assunto principal dessa tese. O instrumento mais comum para entrada de texto pelo olhar consiste de um teclado virtual onde os caracteres são selecionados por tempo de latência. Essa forma de interação, embora simples, sofre de seleções involuntárias (problema conhecido como toque de Midas) se o tempo de latência for curto (menos de 500 ms). Já para tempos de latência mais longos, a interação se torna lenta. Alternativas para entrada de texto pelo olhar são os gestos discretos ou contínuos do olhar. O uso de gestos discretos permite reduzir o toque de Midas, porém o desempenho é inferior ao tempo de latência. Já nos métodos baseados em gestos contínuos, o olhar está sempre preso ao controle da interface. Uma técnica de interação proposta recentemente, chamada de \"alternância entre contextos\", permite reduzir o efeito do toque de Midas, utilizando apenas uma sacada para cada seleção. Além disso, essa técnica permite aos usuários manterem o ritmo de interação sem ajustar nenhum parâmetro na interface. A presente tese de doutorado visa melhorar a usabilidade e experiência dos usuários na interação pelo olhar com teclados virtuais. Os objetivos específicos são: investigar a relação entre a manipulação do contraste dos estímulos visuais e o tempo de reação sacádico para facilitar os movimentos oculares e tornar a interação mais rápida e agradável; propor e investigar novas extensões e aplicações da alternância entre contextos, visando reduzir o toque de Midas e ao mesmo tempo generalizar o método para outras tarefas de navegação e seleção de objetos pelo olhar; e desenvolver novos métodos de entrada de texto pelo olhar para melhorar a velocidade de digitação dos usuários, sem incrementar a carga de trabalho e mantendo a interação simples e fácil de aprender. A avaliação dos novos métodos e modelos propostos foi feita por meio de vários estudos com usuários. Os dados coletados nos estudos, tanto quantitativos quanto qualitativos, foram analisados com métodos estatísticos utilizados na área de interação homem-computador. As contribuições originais apresentadas na presente tese são: a proposta e a avaliação do efeito gap gradiente como feedback visual para facilitar a execução de movimentos sacádicos durante a interação pelo olhar; a proposta e investigação de contextos dinâmicos como extensão da alternância entre contextos, para permitir um melhor aproveitamento da área útil do monitor com uma baixa taxa de erros de seleção, assim como de meta-keys para navegação e execução de comandos de forma geral; e a proposta e a avaliação de AugFix, um novo modelo de feedback visual que melhora a velocidade e a experiência dos usuários na entrada de texto pelo olhar, com aplicação em teclados virtuais baseados nos paradigmas do tempo de latência e a alternância entre contextos. / This PhD thesis lays in the context of gaze-based interaction. Gaze-based interfaces allows the user to control a computer using his/her eye movements. Gaze interaction is specially useful for people with physical disabilities who cannot use conventional devices (such as a keyboard and/or mouse) to communicate. Entering text by gaze (also known as eye typing) is a very important activity and the main focus of this dissertation. The most common eye typing technique uses a virtual keyboard, where the letters are selected by dwell time. Though simple, this interaction technique suffers from involuntary activations (known as the Midas\' touch problem) for short dwell times (shorter than 500 ms). On the other hand, with longer dwell times the interaction becomes slow. Alternatives to dwell time are discrete and continuous gaze gestures. The use of discrete gaze gestures reduces the Midas\' touch problem, but its performance is slower compared to dwell time. When using continuous gaze gestures, the user gaze is always controlling the interface. A recently proposed technique called \"context switching\" avoids the Midas touch problem by mapping selection to a single saccade. Furthermore, with this technique the users can keep their rhythm of interaction without adjusting any parameter of the interface. This PhD thesis aims at improving the usability and user experience in gaze interaction with virtual keyboards. The objectives are: to investigate the relationship between contrast manipulation of visual stimuli and saccadic reaction time, to facilitate eye movements and make the interaction faster and more comfortable; to propose and investigate new extensions and applications of the context switching paradigm, in order to reduce the Midas touch problem and generalize the extensions to other tasks such as browsing and selection; and to develop new methods of eye typing that can improve typing performance without increasing the user workload, while keeping the interaction simple and easy to learn. Several user studies were designed and conducted to evaluate the methods and models proposed in this thesis. The data (both quantitative and qualitative) collected in the experiments is rigorously analysed using statistical methods. The original contributions of this thesis are: the proposal and investigation of the gradient gap effect as a visual feedback to facilitate the execution of saccadic movements during gaze interaction; the proposal and investigation of two extensions to the context switching paradigm: dynamic contexts that improve the utilization of the screen space while keeping a low selection error rate, and meta-keys for browsing and executing general-purpose commands; and the proposal and evaluation of AugFix, a new method that improves eye typing speed and user experience without increasing the cognitive load, that can be used with virtual keyboards controlled by both dwell time and context switching.

As technology evolves, new devices and interaction techniques are developed. These transformations create several challenges in terms of usability and user experience. Our research faces some challenges for data input or content exploration in scenarios with restrictions. It is not our intention to investigate all possible scenarios, but we deeply explore a broad range of devices and restrictions. We start with a discussion about the use of an interactive coffee table for exploration of personal photos and videos, also considering a TV set as an additional screen. In a second scenario, we present an architecture that offers to interactive digital TV (iDTV) applications the possibility of receiving multimodal data from multiple devices. Our third scenario concentrates on supporting text input for iDTV applications using a remote control, and presents an interface model based on multiple input modes as a solution. In the last two scenarios, we continued investigating better ways to provide text entry; however, our restriction becomes not using the hands, which is the kind of challenge faced by severely motor-disabled individuals. First, we present a text entry method based on two input symbols and an interaction technique based on detecting internal and external heel rotations using an accelerometer, for those who keep at least a partial movement of a leg and a foot. In the following scenario, only the eyes are required. We present an eye-typing technique that recognizes the intended word by weighting length and frequency of all possible words formed by filtering extra letters from the sequence of letters gazed by the user. The exploration of each scenario in depth was important to achieve the relevant results and contributions. On the other hand, the wide scope of this dissertation allowed the student to learn about several technologies and techniques. / Com a evolução da tecnologia, novos dispositivos e técnicas de interação são desenvolvidas. Essas transformações criam desafios em termos de usabilidade e experiência do usuário. Essa pesquisa enfrenta alguns desafios para a entrada de dados e exploração de conteúdo em cenários com restrições. Não foi intenção da pesquisa investigar todos os possíveis cenários, mas sim a exploração em profundidade de uma ampla gama de dispositivos e restrições. Ao todo cinco cenários são investigados. Primeiramente é apresentada uma discussão sobre o uso de uma mesa de centro interativa para a exploração de fotos e vídeos pessoais, a qual também considera um aparelho de TV como tela adicional. Com base no segundo cenário, uma arquitetura que oferece a aplicações de TV digital interativa (TVDI) a possibilidade de receber dados multimodais de múltiplos dispositivos é apresentada. O terceiro cenário se concentra no suporte a entrada de texto para aplicações de TVDI usando o controle remoto, resultando na apresentação de um modelo de interface baseado em múltiplos modos de entrada como solução. Os dois últimos cenários permitem continuar a investigação por melhores formas de entrada de texto, porém, a restrição se torna a impossibilidade de usar as mãos, um dos desafios enfrentados por indivíduos com deficiência motora severa. No primeiro deles, são apresentados um método de entrada de texto baseado em dois símbolos de entrada e uma técnica de interação baseada na detecção de rotações do pé apoiado sobre o calcanhar usando acelerômetro, para aqueles que mantêm pelo menos um movimento parcial de uma perna e um pé. No senário seguinte, apenas os movimentos dos olhos são exigidos. Foi apresentada uma técnica de escrita com o olho que reconhece a palavra desejada ponderando o comprimento de a frequência de ocorrência de todas as palavras que podem ser formadas filtrando letras excedentes da lista de letras olhadas pelo usuário. A exploração de cada cenário em profundidade foi importante para a obtenção de resultados e contribuições relevantes. Por outro lado, o amplo escopo da dissertação permitiu ao estudante o aprendizado de diversas técnicas e tecnologias.

A presente tese de doutorado insere-se na área de interação pelo olhar. A interação pelo olhar é uma forma de comunicação com o computador utilizando os movimentos oculares do usuário. Pessoas com deficiência física, que não conseguem usar dispositivos convencionais como um teclado e um mouse de computador, podem se beneficiar da interação pelo olhar para se comunicarem e se inserirem na sociedade. Para isso a entrada de texto ou digitação pelo olhar é um recurso importante e assunto principal dessa tese. O instrumento mais comum para entrada de texto pelo olhar consiste de um teclado virtual onde os caracteres são selecionados por tempo de latência. Essa forma de interação, embora simples, sofre de seleções involuntárias (problema conhecido como toque de Midas) se o tempo de latência for curto (menos de 500 ms). Já para tempos de latência mais longos, a interação se torna lenta. Alternativas para entrada de texto pelo olhar são os gestos discretos ou contínuos do olhar. O uso de gestos discretos permite reduzir o toque de Midas, porém o desempenho é inferior ao tempo de latência. Já nos métodos baseados em gestos contínuos, o olhar está sempre preso ao controle da interface. Uma técnica de interação proposta recentemente, chamada de \"alternância entre contextos\", permite reduzir o efeito do toque de Midas, utilizando apenas uma sacada para cada seleção. Além disso, essa técnica permite aos usuários manterem o ritmo de interação sem ajustar nenhum parâmetro na interface. A presente tese de doutorado visa melhorar a usabilidade e experiência dos usuários na interação pelo olhar com teclados virtuais. Os objetivos específicos são: investigar a relação entre a manipulação do contraste dos estímulos visuais e o tempo de reação sacádico para facilitar os movimentos oculares e tornar a interação mais rápida e agradável; propor e investigar novas extensões e aplicações da alternância entre contextos, visando reduzir o toque de Midas e ao mesmo tempo generalizar o método para outras tarefas de navegação e seleção de objetos pelo olhar; e desenvolver novos métodos de entrada de texto pelo olhar para melhorar a velocidade de digitação dos usuários, sem incrementar a carga de trabalho e mantendo a interação simples e fácil de aprender. A avaliação dos novos métodos e modelos propostos foi feita por meio de vários estudos com usuários. Os dados coletados nos estudos, tanto quantitativos quanto qualitativos, foram analisados com métodos estatísticos utilizados na área de interação homem-computador. As contribuições originais apresentadas na presente tese são: a proposta e a avaliação do efeito gap gradiente como feedback visual para facilitar a execução de movimentos sacádicos durante a interação pelo olhar; a proposta e investigação de contextos dinâmicos como extensão da alternância entre contextos, para permitir um melhor aproveitamento da área útil do monitor com uma baixa taxa de erros de seleção, assim como de meta-keys para navegação e execução de comandos de forma geral; e a proposta e a avaliação de AugFix, um novo modelo de feedback visual que melhora a velocidade e a experiência dos usuários na entrada de texto pelo olhar, com aplicação em teclados virtuais baseados nos paradigmas do tempo de latência e a alternância entre contextos. / This PhD thesis lays in the context of gaze-based interaction. Gaze-based interfaces allows the user to control a computer using his/her eye movements. Gaze interaction is specially useful for people with physical disabilities who cannot use conventional devices (such as a keyboard and/or mouse) to communicate. Entering text by gaze (also known as eye typing) is a very important activity and the main focus of this dissertation. The most common eye typing technique uses a virtual keyboard, where the letters are selected by dwell time. Though simple, this interaction technique suffers from involuntary activations (known as the Midas\' touch problem) for short dwell times (shorter than 500 ms). On the other hand, with longer dwell times the interaction becomes slow. Alternatives to dwell time are discrete and continuous gaze gestures. The use of discrete gaze gestures reduces the Midas\' touch problem, but its performance is slower compared to dwell time. When using continuous gaze gestures, the user gaze is always controlling the interface. A recently proposed technique called \"context switching\" avoids the Midas touch problem by mapping selection to a single saccade. Furthermore, with this technique the users can keep their rhythm of interaction without adjusting any parameter of the interface. This PhD thesis aims at improving the usability and user experience in gaze interaction with virtual keyboards. The objectives are: to investigate the relationship between contrast manipulation of visual stimuli and saccadic reaction time, to facilitate eye movements and make the interaction faster and more comfortable; to propose and investigate new extensions and applications of the context switching paradigm, in order to reduce the Midas touch problem and generalize the extensions to other tasks such as browsing and selection; and to develop new methods of eye typing that can improve typing performance without increasing the user workload, while keeping the interaction simple and easy to learn. Several user studies were designed and conducted to evaluate the methods and models proposed in this thesis. The data (both quantitative and qualitative) collected in the experiments is rigorously analysed using statistical methods. The original contributions of this thesis are: the proposal and investigation of the gradient gap effect as a visual feedback to facilitate the execution of saccadic movements during gaze interaction; the proposal and investigation of two extensions to the context switching paradigm: dynamic contexts that improve the utilization of the screen space while keeping a low selection error rate, and meta-keys for browsing and executing general-purpose commands; and the proposal and evaluation of AugFix, a new method that improves eye typing speed and user experience without increasing the cognitive load, that can be used with virtual keyboards controlled by both dwell time and context switching.