Tese de mestrado integrado. Engenharia Informática e Computação. Faculdade de Engenharia. Universidade do Porto, Microsoft Language Development Center. 2010

Tese de mestrado integrado. Engenharia Informática e Computação. Faculdade de Engenharia. Universidade do Porto, Microsoft Language Development Center. 2010

O principal objetivo do desenvolvimento de aplicações multimodais é possibilitar uma maneira mais natural dos seres humanos se comunicarem com as máquinas, por meio de interfaces mais eficientes, intuitivas, fáceis de usar e, de certa forma, mais inteligentes. No entanto, a literatura da área mostra que a reutilização, tanto de conhecimento como de código fonte, ainda apresenta problemas, dados a complexidade do código em sistemas multimodais, a falta de mecanismos eficientes de testes de usabilidade e a dificuldade em se gerenciar a captura, o armazenamento e a recuperação de conhecimento de projeto. Nesta tese argumenta-se que a utilização de uma abordagem sistemática, centrada no usuário, apoiada por uma ferramenta computacional e com um modelo bem definido que permita o desenvolvimento de interfaces multimodais com a reutilização de Design Rationale, aumenta e melhora os níveis de usabilidade, promove a identificação e utilização de padrões de projeto e o reúso de componentes. Para demonstrar esta tese, apresenta-se neste texto a abordagem para o desenvolvimento de interfaces multimodais Web, MMWA, e o seu ambiente de autoria, o MMWA-ae, ambos compostos por atividades que auxiliam a equipe de projeto durante as fases de projeto, desenvolvimento e avaliações de usabilidade. São discutidos também os resultados obtidos com a execução de três estudos de caso, realizados no ambiente acadêmico, nos quais se buscou determinar a viabilidade da abordagem e os benefícios que podem ser alcançados com a combinação de diferentes técnicas, a saber: design rationale, padrões de projeto, modelagem de tarefas, componentes de software, princípios de usabilidade, avaliações heurísticas, testes com usuários, regras de associação, entre outras. Os resultados evidenciam que a abordagem e seu ambiente de autoria podem proporcionar diferentes benefícios para organizações que desenvolvem sistemas multimodais, incluindo o aumento da usabilidade e consequentemente da qualidade do produto, bem como a diminuição de custos e da complexidade do desenvolvimento com a reutilização de código e de conhecimento capturado em projetos anteriores / The main goal of developing multimodal applications is to enable a more natural way of communication between human beings and machines through interfaces that are more efficient, intuitive, easier to use and, in a certain way, more intelligent. However, the literature shows that the reuse of both knowledge and source code still presents problems, given the complexity of the code in multimodal systems, the lack of efficient mechanisms to test the usability and the difficulty in managing the capture, the storage and the recovery of design knowledge. In this thesis it is discussed that the use of a systematic approach, usercentered, supported by a computer tool and with a well defined model that allows the development of multimodal interfaces with the reuse of DR, increases and improves the usability levels, promotes the identification and the use of design patterns and the reuse of components. To demonstrate this thesis, it is shown in this text an approach to develop Web multimodal interfaces (MMWA) and its authoring environment (MMWA-ae), both composed of activities that help the design team during the different project phases: design, development and usability evaluation. We also discuss in this thesis the results obtained with the execution of three case studies, executed in the academic environment, which aimed to determine the feasibility of the approach and the benefits that can be achieved with the combination of different techniques, such as: design rationale, design patterns, tasks model, software components, usability principles, heuristic evaluations, user testing, association rules, among others. The results show clearly that the approach and its author environment can provide different benefits to organizations that develop multimodal systems, including the usability improvement and, consequently, the quality of the product, as well as the decrease of costs and complexity since it encompasses the development with reused code and design knowledge captured in previous projects

O principal objetivo do desenvolvimento de aplicações multimodais é possibilitar uma maneira mais natural dos seres humanos se comunicarem com as máquinas, por meio de interfaces mais eficientes, intuitivas, fáceis de usar e, de certa forma, mais inteligentes. No entanto, a literatura da área mostra que a reutilização, tanto de conhecimento como de código fonte, ainda apresenta problemas, dados a complexidade do código em sistemas multimodais, a falta de mecanismos eficientes de testes de usabilidade e a dificuldade em se gerenciar a captura, o armazenamento e a recuperação de conhecimento de projeto. Nesta tese argumenta-se que a utilização de uma abordagem sistemática, centrada no usuário, apoiada por uma ferramenta computacional e com um modelo bem definido que permita o desenvolvimento de interfaces multimodais com a reutilização de Design Rationale, aumenta e melhora os níveis de usabilidade, promove a identificação e utilização de padrões de projeto e o reúso de componentes. Para demonstrar esta tese, apresenta-se neste texto a abordagem para o desenvolvimento de interfaces multimodais Web, MMWA, e o seu ambiente de autoria, o MMWA-ae, ambos compostos por atividades que auxiliam a equipe de projeto durante as fases de projeto, desenvolvimento e avaliações de usabilidade. São discutidos também os resultados obtidos com a execução de três estudos de caso, realizados no ambiente acadêmico, nos quais se buscou determinar a viabilidade da abordagem e os benefícios que podem ser alcançados com a combinação de diferentes técnicas, a saber: design rationale, padrões de projeto, modelagem de tarefas, componentes de software, princípios de usabilidade, avaliações heurísticas, testes com usuários, regras de associação, entre outras. Os resultados evidenciam que a abordagem e seu ambiente de autoria podem proporcionar diferentes benefícios para organizações que desenvolvem sistemas multimodais, incluindo o aumento da usabilidade e consequentemente da qualidade do produto, bem como a diminuição de custos e da complexidade do desenvolvimento com a reutilização de código e de conhecimento capturado em projetos anteriores / The main goal of developing multimodal applications is to enable a more natural way of communication between human beings and machines through interfaces that are more efficient, intuitive, easier to use and, in a certain way, more intelligent. However, the literature shows that the reuse of both knowledge and source code still presents problems, given the complexity of the code in multimodal systems, the lack of efficient mechanisms to test the usability and the difficulty in managing the capture, the storage and the recovery of design knowledge. In this thesis it is discussed that the use of a systematic approach, usercentered, supported by a computer tool and with a well defined model that allows the development of multimodal interfaces with the reuse of DR, increases and improves the usability levels, promotes the identification and the use of design patterns and the reuse of components. To demonstrate this thesis, it is shown in this text an approach to develop Web multimodal interfaces (MMWA) and its authoring environment (MMWA-ae), both composed of activities that help the design team during the different project phases: design, development and usability evaluation. We also discuss in this thesis the results obtained with the execution of three case studies, executed in the academic environment, which aimed to determine the feasibility of the approach and the benefits that can be achieved with the combination of different techniques, such as: design rationale, design patterns, tasks model, software components, usability principles, heuristic evaluations, user testing, association rules, among others. The results show clearly that the approach and its author environment can provide different benefits to organizations that develop multimodal systems, including the usability improvement and, consequently, the quality of the product, as well as the decrease of costs and complexity since it encompasses the development with reused code and design knowledge captured in previous projects

O objetivo do presente trabalho de pesquisa é reduzir o nível de atenção requerido para o uso do sistema Borboleta por meio de reconhecimento de fala na navegação através das funcionalidades do sistema, permitindo ao profissional dar maior atenção ao paciente. A metodologia de desenvolvimento do projeto inclui uma revisão bibliográfica para definir o estado da arte da área, uma pesquisa sobre o software disponível para reconhecimento de fala, uma coleta de dados dos comandos do sistema em português brasileiro para treinar e testar o sistema, uma etapa de projeção e desenvolvimento para definir a arquitetura de integração com o Borboleta, e uma fase de testes para medir a precisão do sistema e seus níveis de usabilidade e aceitação por parte do usuário. / The current document presents research that addresses the goal of reducing the user attention level required by Borboleta operation by providing speech recognition capabilities to augment navigation through the software functions, allowing the professional to pay more attention to the patient. The project methodology is composed of a bibliography revision to establish the state-of-the-art of the field, a review of available speech recognition software, data collection of Brazilian utterances to train and test the system, a design and development stage that defined the system architecture and integration with Borboleta and a testing process to measure the system accuracy, its usability and acceptance level.

Interfaces multimodais processam vários tipos de entrada do usuário, tais como voz, gestos e interação com caneta, de uma maneira combinada e coordenada com a saída multimídia do sistema. Aplicações que suportam a multimodalidade provêem um modo mais natural e flexível para a execução de tarefas em computadores, uma vez que permitem que usuários com diferentes níveis de habilidades escolham o modo de interação que melhor se adequa às suas necessidades. O uso de interfaces que fogem do estilo convencional de interação baseado em teclado e mouse vai de encontro ao conceito de computação ubíqua, que tem se estabelecido como uma área de pesquisa que estuda os aspectos tecnológicos e sociais decorrentes da integração de sistemas e dispositivos computacionais à ambientes. Nesse contexto, o trabalho aqui reportado visou investigar a implementação de interfaces multimodais em aplicações de computação ubíqua, por meio da construção de um framework de software para integração de modalidades de escrita e voz / Multimodal interfaces process several types of user inputs, such as voice, gestures and pen interaction, in a combined and coordinated manner with the system?s multimedia output. Applications which support multimodality provide a more natural and flexible way for executing tasks with computers, since they allow users with different levels of abilities to choose the mode of interaction that best fits their needs. The use of interfaces that run away from the conventional style of interaction, based in keyboard and mouse, comes together with the concept of ubiquitous computing, which has been established as a research area that studies the social and technological aspects decurrent from the integration os systems and devices into the environments. In this context, the work reported here aimed to investigate the implementation of multimodal interfaces in ubiquitous computing applications, by means of the building of a software framework used for integrating handwriting and speech modalities

Interfaces multimodais processam vários tipos de entrada do usuário, tais como voz, gestos e interação com caneta, de uma maneira combinada e coordenada com a saída multimídia do sistema. Aplicações que suportam a multimodalidade provêem um modo mais natural e flexível para a execução de tarefas em computadores, uma vez que permitem que usuários com diferentes níveis de habilidades escolham o modo de interação que melhor se adequa às suas necessidades. O uso de interfaces que fogem do estilo convencional de interação baseado em teclado e mouse vai de encontro ao conceito de computação ubíqua, que tem se estabelecido como uma área de pesquisa que estuda os aspectos tecnológicos e sociais decorrentes da integração de sistemas e dispositivos computacionais à ambientes. Nesse contexto, o trabalho aqui reportado visou investigar a implementação de interfaces multimodais em aplicações de computação ubíqua, por meio da construção de um framework de software para integração de modalidades de escrita e voz / Multimodal interfaces process several types of user inputs, such as voice, gestures and pen interaction, in a combined and coordinated manner with the system?s multimedia output. Applications which support multimodality provide a more natural and flexible way for executing tasks with computers, since they allow users with different levels of abilities to choose the mode of interaction that best fits their needs. The use of interfaces that run away from the conventional style of interaction, based in keyboard and mouse, comes together with the concept of ubiquitous computing, which has been established as a research area that studies the social and technological aspects decurrent from the integration os systems and devices into the environments. In this context, the work reported here aimed to investigate the implementation of multimodal interfaces in ubiquitous computing applications, by means of the building of a software framework used for integrating handwriting and speech modalities

O objetivo do presente trabalho de pesquisa é reduzir o nível de atenção requerido para o uso do sistema Borboleta por meio de reconhecimento de fala na navegação através das funcionalidades do sistema, permitindo ao profissional dar maior atenção ao paciente. A metodologia de desenvolvimento do projeto inclui uma revisão bibliográfica para definir o estado da arte da área, uma pesquisa sobre o software disponível para reconhecimento de fala, uma coleta de dados dos comandos do sistema em português brasileiro para treinar e testar o sistema, uma etapa de projeção e desenvolvimento para definir a arquitetura de integração com o Borboleta, e uma fase de testes para medir a precisão do sistema e seus níveis de usabilidade e aceitação por parte do usuário. / The current document presents research that addresses the goal of reducing the user attention level required by Borboleta operation by providing speech recognition capabilities to augment navigation through the software functions, allowing the professional to pay more attention to the patient. The project methodology is composed of a bibliography revision to establish the state-of-the-art of the field, a review of available speech recognition software, data collection of Brazilian utterances to train and test the system, a design and development stage that defined the system architecture and integration with Borboleta and a testing process to measure the system accuracy, its usability and acceptance level.

Submitted by Milena Rubi ( ri.bso@ufscar.br) on 2017-10-17T13:29:06Z No. of bitstreams: 1 BUENO_Danilo_2017.pdf: 12404601 bytes, checksum: b788f4b11bbb3fb391f608449597ae16 (MD5) / Approved for entry into archive by Milena Rubi ( ri.bso@ufscar.br) on 2017-10-17T13:29:18Z (GMT) No. of bitstreams: 1 BUENO_Danilo_2017.pdf: 12404601 bytes, checksum: b788f4b11bbb3fb391f608449597ae16 (MD5) / Approved for entry into archive by Milena Rubi ( ri.bso@ufscar.br) on 2017-10-17T13:29:26Z (GMT) No. of bitstreams: 1 BUENO_Danilo_2017.pdf: 12404601 bytes, checksum: b788f4b11bbb3fb391f608449597ae16 (MD5) / Made available in DSpace on 2017-10-17T13:29:35Z (GMT). No. of bitstreams: 1 BUENO_Danilo_2017.pdf: 12404601 bytes, checksum: b788f4b11bbb3fb391f608449597ae16 (MD5) Previous issue date: 2017-06-30 / Não recebi financiamento / The use of mobile devices to browse the Web has become increasingly popular as a consequence of easy access to the Internet. However, moving from the desktop development to the mobile platform features, requests from developers an important focus on interaction elements which fit into the interaction demands. There by, several approaches have emerged for adaptation of Web applications. One of the most adopted solution by Web developers are front-end frameworks . Nevertheless, this technique has shortcomings that directly impact in the interaction elements and user satisfaction. In this scenario, the objective of this work is to propose a hybrid adaptation approach of context-sensitive Web interfaces with multimodality support, called HyMobWeb, which aims to help developers to create solutions closer to the device’s characteristics, to the contexts of use and the needs of end-users. The approach is composed of stages of static and dynamic adaptation. Static adaptation subsidizes developers in marking elements to be adapted through a grammar that can reduce the coding effort of solutions that address aspects related to multimodality and context sensitivity. Dynamic adaptation is responsible for analyzing changes in the context of the user and performing the marked adaptations in static adaptation. The approach was outlined from a review of the literature on mobile Web interface adaptation and three exploratory studies. The first and second study dealt with end users’ difficulties regarding the use of non-mobile Web applications. The third is about gaps in traditional adaptations - made through frameworks front-end - in relation to the users needs. Aiming to evaluate the approach, two evaluations were carried out, one from the perspective of the developer and another from the end user. The first one focused on verifying the acceptance of the proposal by software developers in the use of the grammar and resources proposed from it. The second sought to identify if the adaptation, previously implemented by the developers, brought satisfaction to the end-users during its use. The findings suggested that HyMobWeb brought significant contributions to the work of the developers and that the resources explored by the approach provided positive reactions to the satisfaction of end-users. / O uso de dispositivos móveis para navegar na Web tornou-se cada vez mais popular devido à proliferação dos aparelhos e sua facilidade de acesso. No entanto, a transição da plataforma desktop para mobile inseriu um novo desafio aos desenvolvedores sobre o uso de elementos de interação e de suas funcionalidades. Com isso, surgiram diversas abordagens para adaptação das aplicações Web. Entre elas, uma das mais comuns entre Desenvolvedores Web é a utilização de frameworks front-end . Contudo, estes frameworks possuem limitantes nas funcionalidades de adaptação das interfaces com deficiências que impactam diretamente nos elementos de interação e na satisfação do usuário. Diante deste cenário, este trabalho tem como objetivo propor a HyMobWeb, uma abordagem híbrida de adaptação de interfaces Web móveis sensíveis ao contexto e com suporte a multimodalidade, que visa a auxiliar os desenvolvedores na criação de soluções mais próximas às características do dispositivo, aos contextos de utilização, e as necessidades dos usuários finais. A abordagem é composta das etapas de adaptação estática e dinâmica. A adaptação estática subsidia os desenvolvedores na marcação de elementos a serem adaptados através de uma gramática que pode reduzir o esforço de codificação de soluções que abordam aspectos relacionados à multimodalidade e à sensibilidade ao contexto. A adaptação dinâmica é a responsável por analisar as mudanças no contexto do usuário e realizar as adaptações marcadas na adaptação estática. A abordagem foi delineada a partir de uma revisão da literatura acerca da adaptação de interface Web em dispositivos móveis e três estudos exploratórios. O primeiro estudo tratou sobre as dificuldades dos usuários finais em relação à utilização de aplicações Web não adaptadas aos dispositivos móveis. O segundo sobre os impactos da adição da multimodalidade em tais ambientes. Enquanto o terceiro, sobre as lacunas existentes nas adaptações tradicionais - realizadas através de frameworks front-end - em relação às necessidades dos usuários finais. Visando avaliar a abordagem, duas avaliações foram realizadas: uma na perspectiva do desenvolvedor e outra do usuário final. A primeira focou em verificar aceitação da proposta por parte dos desenvolvedores de software no uso da gramática e recursos propostos a partir dela. A segunda buscou identificar se a adaptação, previamente implementada pelos desenvolvedores, trazia satisfação para os usuários finais durante seu uso. Os resultados encontrados sugeriram que a HyMobWeb trouxe contribuições significativas para o trabalho dos desenvolvedores e que os recursos explorados pela abordagem propiciaram reações positivas na satisfação dos usuários finais