abstract: Typically, the complete loss or severe impairment of a sense such as vision and/or hearing is compensated through sensory substitution, i.e., the use of an alternative sense for receiving the same information. For individuals who are blind or visually impaired, the alternative senses have predominantly been hearing and touch. For movies, visual content has been made accessible to visually impaired viewers through audio descriptions -- an additional narration that describes scenes, the characters involved and other pertinent details. However, as audio descriptions should not overlap with dialogue, sound effects and musical scores, there is limited time to convey information, often resulting in stunted and abridged descriptions that leave out many important visual cues and concepts. This work proposes a promising multimodal approach to sensory substitution for movies by providing complementary information through haptics, pertaining to the positions and movements of actors, in addition to a film's audio description and audio content. In a ten-minute presentation of five movie clips to ten individuals who were visually impaired or blind, the novel methodology was found to provide an almost two time increase in the perception of actors' movements in scenes. Moreover, participants appreciated and found useful the overall concept of providing a visual perspective to film through haptics. / Dissertation/Thesis / M.S. Computer Science 2011

Esta dissertação apresenta um estudo sobre linguagens táteis em interação humanocomputador e uma nova abordagem de prefixação vibrotátil. Nós pretendemos analisar como as escolhas feitas durante o processo de concepção de vocabulários táteis afetam o desempenho do usuário em uma tarefa interativa. Por isso desenvolvemos e testamos diferentes conjuntos de sinais táteis para suporte à navegação em ambientes virtuais. Isso nos levou a esboçar o conceito de Padrão Tátil Modificador para comunicação vibrotátil que foi testado por meio de experimentos com usuários. Na avaliação dos vocabulários táteis construídos com padrões modificadores foram considerados os efeitos de estimulação multisensorial, fatores relacionados ao processamento de seqüências táteis e o mascaramento causado pela exibição de múltiplos estímulos ao mesmo tempo. Resultados mostram que os participantes que usaram vocabulários construídos com padrões modificadores obtiveram desempenho melhor na tarefa de navegação. Esse e outros resultados relacionados à percepção, aprendizagem e interpretação dos nossos vocabulários atestam a validade do uso de modificadores na construção de linguagens táteis. As conclusões extraídas deste trabalho se mostram úteis no auxílio à concepção de interfaces táteis que sejam usáveis e que demandem expressividade de seus vocabulários. / This thesis presents a study about tactile languages in human-computer interaction and a novel approach for vibrotactile prefixation. We intended to analyse how the choices made during the design process of tactile vocabularies would affect the user performance on an interactive task. Therefore, we have designed and tested different sets of tactile signals for aid navigation in virtual environments. It leaded us to fashion the concept of Modifier Tactile Pattern for vibrotactile communication which was tested through user experiments. In the assessment of the modifier-based vocabularies we attempted to effects of multisensory stimulation, factors related to the processing of tactile sequences and masking caused by multiple stimuli delivered in a same time. Results show that those participants who used modifier-based vocabularies performed better the navigation task. That and others results related to perception, learning and interpretation of our tactile vocabularies show the validity of the use of modifiers on tactile languages. The statements made from this work will be useful for designing usable tactile interfaces that demand expressive vocabularies.

Esta dissertação apresenta um estudo sobre linguagens táteis em interação humanocomputador e uma nova abordagem de prefixação vibrotátil. Nós pretendemos analisar como as escolhas feitas durante o processo de concepção de vocabulários táteis afetam o desempenho do usuário em uma tarefa interativa. Por isso desenvolvemos e testamos diferentes conjuntos de sinais táteis para suporte à navegação em ambientes virtuais. Isso nos levou a esboçar o conceito de Padrão Tátil Modificador para comunicação vibrotátil que foi testado por meio de experimentos com usuários. Na avaliação dos vocabulários táteis construídos com padrões modificadores foram considerados os efeitos de estimulação multisensorial, fatores relacionados ao processamento de seqüências táteis e o mascaramento causado pela exibição de múltiplos estímulos ao mesmo tempo. Resultados mostram que os participantes que usaram vocabulários construídos com padrões modificadores obtiveram desempenho melhor na tarefa de navegação. Esse e outros resultados relacionados à percepção, aprendizagem e interpretação dos nossos vocabulários atestam a validade do uso de modificadores na construção de linguagens táteis. As conclusões extraídas deste trabalho se mostram úteis no auxílio à concepção de interfaces táteis que sejam usáveis e que demandem expressividade de seus vocabulários. / This thesis presents a study about tactile languages in human-computer interaction and a novel approach for vibrotactile prefixation. We intended to analyse how the choices made during the design process of tactile vocabularies would affect the user performance on an interactive task. Therefore, we have designed and tested different sets of tactile signals for aid navigation in virtual environments. It leaded us to fashion the concept of Modifier Tactile Pattern for vibrotactile communication which was tested through user experiments. In the assessment of the modifier-based vocabularies we attempted to effects of multisensory stimulation, factors related to the processing of tactile sequences and masking caused by multiple stimuli delivered in a same time. Results show that those participants who used modifier-based vocabularies performed better the navigation task. That and others results related to perception, learning and interpretation of our tactile vocabularies show the validity of the use of modifiers on tactile languages. The statements made from this work will be useful for designing usable tactile interfaces that demand expressive vocabularies.

Esta dissertação apresenta um estudo sobre linguagens táteis em interação humanocomputador e uma nova abordagem de prefixação vibrotátil. Nós pretendemos analisar como as escolhas feitas durante o processo de concepção de vocabulários táteis afetam o desempenho do usuário em uma tarefa interativa. Por isso desenvolvemos e testamos diferentes conjuntos de sinais táteis para suporte à navegação em ambientes virtuais. Isso nos levou a esboçar o conceito de Padrão Tátil Modificador para comunicação vibrotátil que foi testado por meio de experimentos com usuários. Na avaliação dos vocabulários táteis construídos com padrões modificadores foram considerados os efeitos de estimulação multisensorial, fatores relacionados ao processamento de seqüências táteis e o mascaramento causado pela exibição de múltiplos estímulos ao mesmo tempo. Resultados mostram que os participantes que usaram vocabulários construídos com padrões modificadores obtiveram desempenho melhor na tarefa de navegação. Esse e outros resultados relacionados à percepção, aprendizagem e interpretação dos nossos vocabulários atestam a validade do uso de modificadores na construção de linguagens táteis. As conclusões extraídas deste trabalho se mostram úteis no auxílio à concepção de interfaces táteis que sejam usáveis e que demandem expressividade de seus vocabulários. / This thesis presents a study about tactile languages in human-computer interaction and a novel approach for vibrotactile prefixation. We intended to analyse how the choices made during the design process of tactile vocabularies would affect the user performance on an interactive task. Therefore, we have designed and tested different sets of tactile signals for aid navigation in virtual environments. It leaded us to fashion the concept of Modifier Tactile Pattern for vibrotactile communication which was tested through user experiments. In the assessment of the modifier-based vocabularies we attempted to effects of multisensory stimulation, factors related to the processing of tactile sequences and masking caused by multiple stimuli delivered in a same time. Results show that those participants who used modifier-based vocabularies performed better the navigation task. That and others results related to perception, learning and interpretation of our tactile vocabularies show the validity of the use of modifiers on tactile languages. The statements made from this work will be useful for designing usable tactile interfaces that demand expressive vocabularies.

Além de um canal para adquirir informações sobre o ambiente ao nosso redor, o sentido do tato é também o nosso sentido mais social. No entanto, a interação háptica é geralmente implementada como chamariz nas interfaces modernas. Embora a comunicação multimodal seja comum em Ambientes Virtuais, as tecnologias de Realidade Virtual mais acessíveis nem sequer incluem o componente háptico como parte fundamental. Esta tese apresenta estudos sobre percepção, desempenho do usuário, e experiência do usuário com dispositivos de comunicação vibrotátil construídos para suportar diferentes tarefas interativas em ambientes virtuais e físicos. Foram avaliados diferentes atuadores hápticos, configurações de exibição tátil, locais do corpo, perfis de usuário, e métodos para se projetar uma plataforma tátil robusta. Tal plataforma foi finalmente construída como uma tela vibrotátil para ser usada ao redor da cabeça e para suportar tarefas de consciência espacial e comunicação em ambientes virtuais e físicos. Durante a pesquisa foi observado que, apesar de sua importância para a comunicação, o uso proativo de háptica para intercomunicação é surpreendentemente negligenciado. Portanto, foi dada especial atenção aos elementos presentes na articulação da fala para introduzir a articulação háptica proativa como uma nova abordagem para intercomunicação. Foi proposto que a habilidade de usar uma interface háptica como uma ferramenta para comunicação implícita pode suplementar a comunicação e suportar tarefas colaborativas próximas e remotas em diferentes contextos. Além disso, uma interface articulatória pode fornecer um modo direto e expressivo de se comunicar através de sinais táteis. Para demonstrar isso, os resultados dessa pesquisa foram aplicados ao projeto de uma tela montada na cabeça com vibração, especialmente feita para interação com ambientes virtuais imersivos. Tal aparato mostrou-se útil não apenas para orientação no espaço 3D, mas também para intercomunicação em ambientes virtuais colaborativos. Além de nossas contribuições técnicas em relação à construção de uma tela tátil totalmente testada para múltiplas tarefas e contextos, nossa principal contribuição é a concepção e demonstração de um novo paradigma de interação tátil. Tal paradigma se concentra em fornecer maneiras simples e diretas para que indivíduos se expressem através de sinais táteis em aplicações mediadas por computador para interair com seu ambiente e com outros indivíduos. Esse paradigma envolve os usuários finais e permite que eles se tornem interlocutores ao invés de meros receptores do feedback tátil. / The sense of touch not only is a channel for acquiring information about the environment around us, it is also our most social sense. However, haptic interaction is usually implemented as a gimmick feature in modern interfaces. Although multimodal communication is commonplace in Virtual Environments, the most accessible Virtual Reality technologies do not even include the haptic component as a fundamental part. This thesis presents studies on perception, user performance, and user experience with vibrotactile communication devices built to support different interactive tasks in virtual and physical environments. We have assessed different haptic actuators, tactile display configurations, body sites, user profiles and methods to design a robust tactile platform. Such platform was finally built as a vibrotactile display to be worn around the head and to support spatial awareness and communication in both virtual and physical environments. During our research, we particularly notice that the proactive use of touch for intercommunication is surprisingly neglected regardless of its importance for communication. Therefore, we have also directed our attention to elements present in speech articulation to introduce proactive haptic articulation as a novel approach for intercommunication. We propose that the ability to use a haptic interface as a tool for implicit communication can supplement communication and support near and remote collaborative tasks in different contexts. In addition, an articulatory interface can provide a direct and expressive way for communicating through tactile cues. To demonstrate that, our results were applied to the design of a vibrotactile head-mounted display especially made for interaction with immersive virtual environments. Such apparatus was shown not only to support guidance in 3D space but also to support intercommunication in collaborative virtual environments. In addition to our technical contributions regarding the construction of a fully tested tactile display for multiple tasks and contexts, our main contribution is the conception and demonstration of a new paradigm for tactile interaction. Such paradigm focuses on providing simple and direct ways for individuals to express themselves through tactile cues in computer-mediated interaction with their environment and with others. Such paradigm embraces the final users and allows them to become interlocutors rather than just receivers of the haptic feedback.

Além de um canal para adquirir informações sobre o ambiente ao nosso redor, o sentido do tato é também o nosso sentido mais social. No entanto, a interação háptica é geralmente implementada como chamariz nas interfaces modernas. Embora a comunicação multimodal seja comum em Ambientes Virtuais, as tecnologias de Realidade Virtual mais acessíveis nem sequer incluem o componente háptico como parte fundamental. Esta tese apresenta estudos sobre percepção, desempenho do usuário, e experiência do usuário com dispositivos de comunicação vibrotátil construídos para suportar diferentes tarefas interativas em ambientes virtuais e físicos. Foram avaliados diferentes atuadores hápticos, configurações de exibição tátil, locais do corpo, perfis de usuário, e métodos para se projetar uma plataforma tátil robusta. Tal plataforma foi finalmente construída como uma tela vibrotátil para ser usada ao redor da cabeça e para suportar tarefas de consciência espacial e comunicação em ambientes virtuais e físicos. Durante a pesquisa foi observado que, apesar de sua importância para a comunicação, o uso proativo de háptica para intercomunicação é surpreendentemente negligenciado. Portanto, foi dada especial atenção aos elementos presentes na articulação da fala para introduzir a articulação háptica proativa como uma nova abordagem para intercomunicação. Foi proposto que a habilidade de usar uma interface háptica como uma ferramenta para comunicação implícita pode suplementar a comunicação e suportar tarefas colaborativas próximas e remotas em diferentes contextos. Além disso, uma interface articulatória pode fornecer um modo direto e expressivo de se comunicar através de sinais táteis. Para demonstrar isso, os resultados dessa pesquisa foram aplicados ao projeto de uma tela montada na cabeça com vibração, especialmente feita para interação com ambientes virtuais imersivos. Tal aparato mostrou-se útil não apenas para orientação no espaço 3D, mas também para intercomunicação em ambientes virtuais colaborativos. Além de nossas contribuições técnicas em relação à construção de uma tela tátil totalmente testada para múltiplas tarefas e contextos, nossa principal contribuição é a concepção e demonstração de um novo paradigma de interação tátil. Tal paradigma se concentra em fornecer maneiras simples e diretas para que indivíduos se expressem através de sinais táteis em aplicações mediadas por computador para interair com seu ambiente e com outros indivíduos. Esse paradigma envolve os usuários finais e permite que eles se tornem interlocutores ao invés de meros receptores do feedback tátil. / The sense of touch not only is a channel for acquiring information about the environment around us, it is also our most social sense. However, haptic interaction is usually implemented as a gimmick feature in modern interfaces. Although multimodal communication is commonplace in Virtual Environments, the most accessible Virtual Reality technologies do not even include the haptic component as a fundamental part. This thesis presents studies on perception, user performance, and user experience with vibrotactile communication devices built to support different interactive tasks in virtual and physical environments. We have assessed different haptic actuators, tactile display configurations, body sites, user profiles and methods to design a robust tactile platform. Such platform was finally built as a vibrotactile display to be worn around the head and to support spatial awareness and communication in both virtual and physical environments. During our research, we particularly notice that the proactive use of touch for intercommunication is surprisingly neglected regardless of its importance for communication. Therefore, we have also directed our attention to elements present in speech articulation to introduce proactive haptic articulation as a novel approach for intercommunication. We propose that the ability to use a haptic interface as a tool for implicit communication can supplement communication and support near and remote collaborative tasks in different contexts. In addition, an articulatory interface can provide a direct and expressive way for communicating through tactile cues. To demonstrate that, our results were applied to the design of a vibrotactile head-mounted display especially made for interaction with immersive virtual environments. Such apparatus was shown not only to support guidance in 3D space but also to support intercommunication in collaborative virtual environments. In addition to our technical contributions regarding the construction of a fully tested tactile display for multiple tasks and contexts, our main contribution is the conception and demonstration of a new paradigm for tactile interaction. Such paradigm focuses on providing simple and direct ways for individuals to express themselves through tactile cues in computer-mediated interaction with their environment and with others. Such paradigm embraces the final users and allows them to become interlocutors rather than just receivers of the haptic feedback.

Além de um canal para adquirir informações sobre o ambiente ao nosso redor, o sentido do tato é também o nosso sentido mais social. No entanto, a interação háptica é geralmente implementada como chamariz nas interfaces modernas. Embora a comunicação multimodal seja comum em Ambientes Virtuais, as tecnologias de Realidade Virtual mais acessíveis nem sequer incluem o componente háptico como parte fundamental. Esta tese apresenta estudos sobre percepção, desempenho do usuário, e experiência do usuário com dispositivos de comunicação vibrotátil construídos para suportar diferentes tarefas interativas em ambientes virtuais e físicos. Foram avaliados diferentes atuadores hápticos, configurações de exibição tátil, locais do corpo, perfis de usuário, e métodos para se projetar uma plataforma tátil robusta. Tal plataforma foi finalmente construída como uma tela vibrotátil para ser usada ao redor da cabeça e para suportar tarefas de consciência espacial e comunicação em ambientes virtuais e físicos. Durante a pesquisa foi observado que, apesar de sua importância para a comunicação, o uso proativo de háptica para intercomunicação é surpreendentemente negligenciado. Portanto, foi dada especial atenção aos elementos presentes na articulação da fala para introduzir a articulação háptica proativa como uma nova abordagem para intercomunicação. Foi proposto que a habilidade de usar uma interface háptica como uma ferramenta para comunicação implícita pode suplementar a comunicação e suportar tarefas colaborativas próximas e remotas em diferentes contextos. Além disso, uma interface articulatória pode fornecer um modo direto e expressivo de se comunicar através de sinais táteis. Para demonstrar isso, os resultados dessa pesquisa foram aplicados ao projeto de uma tela montada na cabeça com vibração, especialmente feita para interação com ambientes virtuais imersivos. Tal aparato mostrou-se útil não apenas para orientação no espaço 3D, mas também para intercomunicação em ambientes virtuais colaborativos. Além de nossas contribuições técnicas em relação à construção de uma tela tátil totalmente testada para múltiplas tarefas e contextos, nossa principal contribuição é a concepção e demonstração de um novo paradigma de interação tátil. Tal paradigma se concentra em fornecer maneiras simples e diretas para que indivíduos se expressem através de sinais táteis em aplicações mediadas por computador para interair com seu ambiente e com outros indivíduos. Esse paradigma envolve os usuários finais e permite que eles se tornem interlocutores ao invés de meros receptores do feedback tátil. / The sense of touch not only is a channel for acquiring information about the environment around us, it is also our most social sense. However, haptic interaction is usually implemented as a gimmick feature in modern interfaces. Although multimodal communication is commonplace in Virtual Environments, the most accessible Virtual Reality technologies do not even include the haptic component as a fundamental part. This thesis presents studies on perception, user performance, and user experience with vibrotactile communication devices built to support different interactive tasks in virtual and physical environments. We have assessed different haptic actuators, tactile display configurations, body sites, user profiles and methods to design a robust tactile platform. Such platform was finally built as a vibrotactile display to be worn around the head and to support spatial awareness and communication in both virtual and physical environments. During our research, we particularly notice that the proactive use of touch for intercommunication is surprisingly neglected regardless of its importance for communication. Therefore, we have also directed our attention to elements present in speech articulation to introduce proactive haptic articulation as a novel approach for intercommunication. We propose that the ability to use a haptic interface as a tool for implicit communication can supplement communication and support near and remote collaborative tasks in different contexts. In addition, an articulatory interface can provide a direct and expressive way for communicating through tactile cues. To demonstrate that, our results were applied to the design of a vibrotactile head-mounted display especially made for interaction with immersive virtual environments. Such apparatus was shown not only to support guidance in 3D space but also to support intercommunication in collaborative virtual environments. In addition to our technical contributions regarding the construction of a fully tested tactile display for multiple tasks and contexts, our main contribution is the conception and demonstration of a new paradigm for tactile interaction. Such paradigm focuses on providing simple and direct ways for individuals to express themselves through tactile cues in computer-mediated interaction with their environment and with others. Such paradigm embraces the final users and allows them to become interlocutors rather than just receivers of the haptic feedback.