Made available in DSpace on 2016-08-29T15:33:20Z (GMT). No. of bitstreams: 1 tese_8297_nuimod.pdf: 11133125 bytes, checksum: 04ac3604eba3934c2d186a88ecc187b5 (MD5) Previous issue date: 2014-12-05 / A utilização de sensores de movimento para aplicações diversas é uma prática crescente, potencializada pelo surgimento de novos dispositivos como o Kinect, criado inicialmente para a interação entre jogadores e jogos digitais sem a necessidade de um controle atrelado ao corpo. Atualmente, aplicações voltadas para educação, fisioterapia e medicina fazem uso de sua tecnologia; contudo, no contexto do desenvolvimento de soluções, o suporte à modelagem de gestos e utilização de interfaces naturais em ambiente web ainda é uma lacuna a ser preenchida. Este artigo apresenta o NuiMod, um ambiente para modelagem de poses e gestos cujo objetivo é facilitar a criação e utilização de Interfaces Naturais de Usuário, bem como proporcionar seu uso no ambiente web.

Submitted by Almir Azevedo (barbio1313@gmail.com) on 2014-08-08T13:19:37Z No. of bitstreams: 1 MAURICIO ALVES DA CUNHA E AGHINA_D_2012.pdf: 3967079 bytes, checksum: 4967d16b666f01de68d7c1b24d6591d4 (MD5) / Made available in DSpace on 2014-08-08T13:19:37Z (GMT). No. of bitstreams: 1 MAURICIO ALVES DA CUNHA E AGHINA_D_2012.pdf: 3967079 bytes, checksum: 4967d16b666f01de68d7c1b24d6591d4 (MD5) Previous issue date: 2012 / Devido as normas muito rígidas de segurança de operação de uma usina nuclear, os operadores, tem que ser muito bem treinados, para que possam opera-la dentro dos procedimentos de segurança necessários. Este treinamento é feito através de simuladores, que possibilitam a operação do usuário, a mais próxima possível de uma mesa de controle real, e que possam ser inseridas situações de acidentes, para que eles treinem, como voltar a usina para uma condição normal de funcionamento. Normalmente são utilizados dois tipos de simulador.: O desejado é o full scope que é um simulador computacional da dinâmica da usina usado em conjunto com a réplica física da mesa de controle, mas este tipo de simulador envolve um alto custo de construção. O segundo tipo é o que usa janelas sinópticas de varias regiões da mesa de controle original, o seu custo de construção é menor, mas tem uma fidelidade menor com a aparência da mesa original. Atualmente, com o uso da realidade virtual as mesas de controle podem ser modeladas em 3D, fazendo com que a interface do simulador seja bem parecida com a aparência da mesa de controle original e com um baixo custo de construção. Este trabalho mostra o uso de interfaces naturais para interação do operador com a mesa virtual, com o intuito que ele não use nenhum dispositivo mecânico para a visualização e atuação com a mesa virtual. Para isto foram usados procedimentos, tais como: visão computacional para reconhecimento da posição de observação do operador, de suas mãos para a atuação dos controles da mesa e reconhecimento de voz. / Due to very strict standards of safe operation of a nuclear power plant operators must be well trained so they can operate it within the necessary safety procedures. This is done through training simulators, which enable the user operation, as close as possible to the real control desk, and can be inserted accident situations, so they train, how to return the plant to a normal operating condition. Normally is used two types of simulator. Preferred is the full scope simulator, what is a computational dynamics program of the plant used in conjunction with a physical replica of the control desk, but this type of simulator involves a high construction cost. The second type is what uses synoptic windows of various regions of the original control desk, its construction cost is smaller, but it have a little fidelity to the original appearance of the table. Currently, with the use of virtual reality, control desks can be modeled in 3D, making the simulator interface is very similar to the appearance of the real control desk with a low cost construction. This work shows the use of natural interfaces for operator interaction with the virtual control desk, in order that it does not use any mechanical device for displaying and acting with it. For procedures that were used, such as: computer vision to recognize the position of the operator's and observation of their hands to the work of the desk controls and voice recognition.

Tese de mestrado integrado. Engenharia Informática e Computação. Universidade do Porto. Faculdade de Engenharia. 2011

Tese de mestrado integrado. Engenharia Informática e Computação. Faculdade de Engenharia. Universidade do Porto. 2011

Nos últimos anos o interesse por plataformas de compartilhamento de conteúdo multimídia na Web, como vídeos, tem crescido consideravelmente e atraindo usuários com diferentes perfis, incluindo pessoas com deficiência visual. Para tais usuários, diretrizes de acessibilidade e usabilidade devem ser aplicadas para que o acesso a estes conteúdos multimídias seja garantido. Apesar de iniciativas como a WCAG 2.0 (Web Content Acessibility Guidelines) definirem diretrizes sobre a acessibilidade para reprodutores de vídeos na Web, usuários com deficiência visual ainda encontram barreiras e dificuldades para acessar este tipo de conteúdo. Em muitos casos reprodutores de vídeo na Web não oferecem total suporte a acessibilidade, dificultando assim o acesso ao conteúdo por tal público, seja por meio de mouse ou de navegação por teclado via leitores de tela. Nesse sentindo, este trabalho teve como objetivo investigar se interações por meios de gestos fornecem melhoria nos níveis de acessibilidade durante o acesso a vídeos na Web realizado por usuários com deficiência visual, a fim de que as barreiras de interação fossem reduzidas ou eliminadas. Inicialmente estudou-se os diferentes tipos de sensores gestuais, bem como se estes sensores poderiam ser utilizados para atingir o objetivo proposto. A partir desses estudos, foi desenvolvido um framework para captura, representação e interpretação de gestos. Em seguida, foi desenvolvido uma aplicação Web, utilizando o framework desenvolvido para viabilizar possíveis testes com usuários. Finalmente, um estudo de caso com 38 usuários com deficiência visual foi conduzido, a fim de levantar indícios que ajudem a entender se a utilização de gestos como modo de interação entre pessoas com deficiência visual e reprodutores de vídeo oferece melhoria de acessibilidade. / Recently the interest in multimedia Web content sharing platforms, such as videos, has increased considerably attracting users with different profiles, including people with visual impairment. For such users, accessibility and usability guidelines should be applied for access guaranteed of these multimedia content. Although initiatives such as WCAG 2.0 (Web Content Acessibility Guidelines) set guidelines for video players, users with visual impairment still find barriers and difficulties to access this type of content. In many cases Web video players do not provide full accessibility support, making it difficult to access content by such a public, either through mouse or keyboard navigation by screen readers. This paper aims at investigating if gesture interactions provide improve improvement in accessibility levels during access to Web videos by visually impaired users, in order to reduce or eliminate the interactions barriers. We initially analyzed the different types of gesture sensors, as well as if these sensors could be used to achieve the proposed objective. Based on this analysis, we developed a framework for capture, representation and interpretation of gestures. Then, we developed a Web application, using the framework guidelines developed to enable users tests. Finally, we then run a study case with 38 users with visual impairment, in order to get evidence to help understand if the use of gestures as a mode of interaction between people with visual impairments and video players offers improved accessibility.

Nos últimos anos o interesse por plataformas de compartilhamento de conteúdo multimídia na Web, como vídeos, tem crescido consideravelmente e atraindo usuários com diferentes perfis, incluindo pessoas com deficiência visual. Para tais usuários, diretrizes de acessibilidade e usabilidade devem ser aplicadas para que o acesso a estes conteúdos multimídias seja garantido. Apesar de iniciativas como a WCAG 2.0 (Web Content Acessibility Guidelines) definirem diretrizes sobre a acessibilidade para reprodutores de vídeos na Web, usuários com deficiência visual ainda encontram barreiras e dificuldades para acessar este tipo de conteúdo. Em muitos casos reprodutores de vídeo na Web não oferecem total suporte a acessibilidade, dificultando assim o acesso ao conteúdo por tal público, seja por meio de mouse ou de navegação por teclado via leitores de tela. Nesse sentindo, este trabalho teve como objetivo investigar se interações por meios de gestos fornecem melhoria nos níveis de acessibilidade durante o acesso a vídeos na Web realizado por usuários com deficiência visual, a fim de que as barreiras de interação fossem reduzidas ou eliminadas. Inicialmente estudou-se os diferentes tipos de sensores gestuais, bem como se estes sensores poderiam ser utilizados para atingir o objetivo proposto. A partir desses estudos, foi desenvolvido um framework para captura, representação e interpretação de gestos. Em seguida, foi desenvolvido uma aplicação Web, utilizando o framework desenvolvido para viabilizar possíveis testes com usuários. Finalmente, um estudo de caso com 38 usuários com deficiência visual foi conduzido, a fim de levantar indícios que ajudem a entender se a utilização de gestos como modo de interação entre pessoas com deficiência visual e reprodutores de vídeo oferece melhoria de acessibilidade. / Recently the interest in multimedia Web content sharing platforms, such as videos, has increased considerably attracting users with different profiles, including people with visual impairment. For such users, accessibility and usability guidelines should be applied for access guaranteed of these multimedia content. Although initiatives such as WCAG 2.0 (Web Content Acessibility Guidelines) set guidelines for video players, users with visual impairment still find barriers and difficulties to access this type of content. In many cases Web video players do not provide full accessibility support, making it difficult to access content by such a public, either through mouse or keyboard navigation by screen readers. This paper aims at investigating if gesture interactions provide improve improvement in accessibility levels during access to Web videos by visually impaired users, in order to reduce or eliminate the interactions barriers. We initially analyzed the different types of gesture sensors, as well as if these sensors could be used to achieve the proposed objective. Based on this analysis, we developed a framework for capture, representation and interpretation of gestures. Then, we developed a Web application, using the framework guidelines developed to enable users tests. Finally, we then run a study case with 38 users with visual impairment, in order to get evidence to help understand if the use of gestures as a mode of interaction between people with visual impairments and video players offers improved accessibility.

O Governo Brasileiro, juntamente com outros órgãos públicos e representantes do terceiro setor, criou um grande número de projetos que tentam disseminar o uso das tecnologias e promover a inclusão digital. Esses projetos são consequência da importância dada à inclusão digital e à capacitação do cidadão como ser autônomo e crítico no uso das tecnologias e na construção do seu conhecimento. Entretanto, a escola, que deveria ser considerada a principal responsável pelo futuro cidadão, ainda não consegue acompanhar o avanço das tecnologias e da sociedade fora dos seus muros, vivendo um momento de grandes questionamentos. As tecnologias já fazem parte do cotidiano da escola, mas não provocaram mudanças significativas nos processos de ensino e aprendizado como as que se observam fora dos muros da escola. Nossos alunos vivem hoje uma realidade fora da escola muito diferente da que a escola lhes oferece, o que prejudica a relação da escola com o aluno e com a sociedade. As mídias, poderosos recursos para a produção de conteúdos educacionais, estão presentes no cotidiano desses usuários, ávidos em consumirem desenhos animados, filmes e jogos eletrônicos. Entretanto, os usuários ainda são tratados como meros espectadores, que não passam de passivos consumidores que recebem todas as informações prontas, continuando reféns de uma parcela da sociedade que possui o poder de produzir e manipular estas informações. Este trabalho apresenta um estudo sobre interfaces naturais em sistemas de autoria para filmes de animação, bem como a concepção, desenvolvimento e resultados de testes de dois protótipos de sistemas. Apresenta também considerações e subsídios para o desenvolvimento de sistemas de autoria que estimulem a produção de filmes de animação de maneira fácil e intuitiva a partir de interfaces naturais com foco no processo de produção do usuário. Em vivência, os protótipos desenvolvidos se mostraram de fácil e rápida apropriação por crianças de diferentes faixas etárias, que se mostraram interessadas em explorar e construir suas animações. Os resultados obtidos mostram a viabilidade da proposta do trabalho e fornecem subsídios para o desenvolvimento de novos sistemas. / The Brazilian Government, along with other public agencies and representatives of the third sector, has created a large number of projects that try to spread the use of technologies and promote digital inclusion. These projects are the result of the importance given to digital inclusion and empowerment of the citizen as an autonomous being and critical user of technology as well as autonomous in his knowledge construction. However, the school, which should be considered the main responsible for the citizens\' future, still can not keep pace with advancing technology and society outside its walls, living a moment of great questions, since the technologies are already part of its daily but caused no significant changes in the teaching and learning as occurring outside the school walls. Today, student\'s reality outside school is very different from what school offers them, which undermines the school\'s relationship with the student and society. The digital media, with powerful resources for content production, are present in daily lives of the users, eager to consume cartoons, movies and computer games. However, users are still treated as simple spectators who are merely passive consumers and receive all the information ready, still hostage to a portion of the society that has the power to manipulate and produce this information. This work presents a study on natural interfaces to authoring systems for animation films, as well as presents the design, development and results of tests of two prototypes. It also presents considerations and subsidies for the development of authoring systems that encourage production of animated films in an easy and intuitive way, using natural interfaces and focusing on the production process and user evolution. In preliminary experiments, the prototypes proved to be easy and quickly learned, which matches the goals of this project to attract users in different age groups who had shown interest in exploring and building their own animations. The results and contributions obtained show the feasibility of the proposed work and can also provide subsidies for the development of new systems.

A definiçãoo e o reconhecimento de gestos multi-toque s~ao dois dos maiores desafios encontrados por desenvolvedores de aplicações para tabletops. Após a escolha dos gestos, geralmente após um longo e custoso estudo de usuário, os desenvolvedores precisam selecionar ou criar um algorítimo para reconhecê-los e integrá-lo à aplicação e ao hardware. Muitas bibliotecas e arcabouços para o reconhecimento de gestos multi-toque foram propostos nos últimos anos. Cada um deles buscou endereçar um dos diversos desafios encontrados pelos desenvolvedores quando desenvolvendo protótipos e implementando novas aplicações para tabletops, como a integração entre a camada de aplicação e a interface de hardware. Em uma das etapas de nossa pesquisa, foram identificados quatorze requisitos para tais arcabouços, variando desde o suporte ao multi-toque ao suporte a gestos colaborativo não conseguiram endereçar todos os requisitos identificados. Neste trabalho, nós apresentamos o MiTable Engine: um arcabouço flexível e configurável, criado com o objetivo de atender a todos os quatorze requisitos. Esta proposta pode ser utilizada tanto para suportar aplicações em mesas interativas para diversos usuários quanto aplicações para tablets e smartphones. O MiTable Engine foi construído a partir de uma arquitetura de quatro camadas com uma nova proposta de reconhecimento de gestos baseada em pipeline. Nossa proposta é capaz de processar diversas entradas de toque simultaneamente com grande desempenho e se torna muito flexível para personalizações. O MiTable também inclui alguns dos algorítmos do estado-da-arte para reconhecimento de gestos além de um conjunto de ferramentas para criação e inclusão de novos gestos nas aplicações. Neste trabalho, nós discutimos a engine proposta em detalhes, incluindo sua arquitetura, algorítmos e como cada requisito é endereçado. Para exercitar a engine e verificar seu funcionamento, nós apresentamos duas provas de conceito e desenvolvemos diversos testes unitários automatizados. / Gestures denition and recognition are two of the major challenges for tabletop developers. After choosing the gestures, usually after a costly user study, developers must select or create an algorithm to recognize them and integrate it to the main application layer and to the hardware interface layer. Several multi-touch gestures recognition systems and frameworks were proposed in the past years. Each of them tried to address one of several challenges developers have when prototyping and implementing new tabletop applications and to provide a seamless integration between the hardware interface and the main application. During our research, we identified fourteen requirements for multi-touch frameworks, ranging from supporting multi-touch to collaborative gestures. Although current state of art multi-touch gestures frameworks addresses several of them, there is no unique solution which addresses all the developers needs. In this work, we present the MiTable Engine: a flexible and configurable multi-touch gestures engine aimed to address all these requirements. The proposed engine is suitable for both large multi-user surfaces and for small single-user tabletops, such as tablets and smartphones. The MiTable Engine is built on top of a four layers architecture and introduces a novel multi-touch gestures recognition pipeline which can process several multi-touch inputs simultaneously with high performance and flexibility for customizations. The Engine also includes some of the state-of-art multi-touch gestures recognizers and a set of tools for creating and adding custom gestures to the application. In this work, we discuss the proposed engine in deep details, including its architecture, its algorithms and how it addresses each requirement. In order to exercise the engine and verify its functionality, we present two proof of concept applications and developed several automated unit tests.

A definiçãoo e o reconhecimento de gestos multi-toque s~ao dois dos maiores desafios encontrados por desenvolvedores de aplicações para tabletops. Após a escolha dos gestos, geralmente após um longo e custoso estudo de usuário, os desenvolvedores precisam selecionar ou criar um algorítimo para reconhecê-los e integrá-lo à aplicação e ao hardware. Muitas bibliotecas e arcabouços para o reconhecimento de gestos multi-toque foram propostos nos últimos anos. Cada um deles buscou endereçar um dos diversos desafios encontrados pelos desenvolvedores quando desenvolvendo protótipos e implementando novas aplicações para tabletops, como a integração entre a camada de aplicação e a interface de hardware. Em uma das etapas de nossa pesquisa, foram identificados quatorze requisitos para tais arcabouços, variando desde o suporte ao multi-toque ao suporte a gestos colaborativo não conseguiram endereçar todos os requisitos identificados. Neste trabalho, nós apresentamos o MiTable Engine: um arcabouço flexível e configurável, criado com o objetivo de atender a todos os quatorze requisitos. Esta proposta pode ser utilizada tanto para suportar aplicações em mesas interativas para diversos usuários quanto aplicações para tablets e smartphones. O MiTable Engine foi construído a partir de uma arquitetura de quatro camadas com uma nova proposta de reconhecimento de gestos baseada em pipeline. Nossa proposta é capaz de processar diversas entradas de toque simultaneamente com grande desempenho e se torna muito flexível para personalizações. O MiTable também inclui alguns dos algorítmos do estado-da-arte para reconhecimento de gestos além de um conjunto de ferramentas para criação e inclusão de novos gestos nas aplicações. Neste trabalho, nós discutimos a engine proposta em detalhes, incluindo sua arquitetura, algorítmos e como cada requisito é endereçado. Para exercitar a engine e verificar seu funcionamento, nós apresentamos duas provas de conceito e desenvolvemos diversos testes unitários automatizados. / Gestures denition and recognition are two of the major challenges for tabletop developers. After choosing the gestures, usually after a costly user study, developers must select or create an algorithm to recognize them and integrate it to the main application layer and to the hardware interface layer. Several multi-touch gestures recognition systems and frameworks were proposed in the past years. Each of them tried to address one of several challenges developers have when prototyping and implementing new tabletop applications and to provide a seamless integration between the hardware interface and the main application. During our research, we identified fourteen requirements for multi-touch frameworks, ranging from supporting multi-touch to collaborative gestures. Although current state of art multi-touch gestures frameworks addresses several of them, there is no unique solution which addresses all the developers needs. In this work, we present the MiTable Engine: a flexible and configurable multi-touch gestures engine aimed to address all these requirements. The proposed engine is suitable for both large multi-user surfaces and for small single-user tabletops, such as tablets and smartphones. The MiTable Engine is built on top of a four layers architecture and introduces a novel multi-touch gestures recognition pipeline which can process several multi-touch inputs simultaneously with high performance and flexibility for customizations. The Engine also includes some of the state-of-art multi-touch gestures recognizers and a set of tools for creating and adding custom gestures to the application. In this work, we discuss the proposed engine in deep details, including its architecture, its algorithms and how it addresses each requirement. In order to exercise the engine and verify its functionality, we present two proof of concept applications and developed several automated unit tests.

O Governo Brasileiro, juntamente com outros órgãos públicos e representantes do terceiro setor, criou um grande número de projetos que tentam disseminar o uso das tecnologias e promover a inclusão digital. Esses projetos são consequência da importância dada à inclusão digital e à capacitação do cidadão como ser autônomo e crítico no uso das tecnologias e na construção do seu conhecimento. Entretanto, a escola, que deveria ser considerada a principal responsável pelo futuro cidadão, ainda não consegue acompanhar o avanço das tecnologias e da sociedade fora dos seus muros, vivendo um momento de grandes questionamentos. As tecnologias já fazem parte do cotidiano da escola, mas não provocaram mudanças significativas nos processos de ensino e aprendizado como as que se observam fora dos muros da escola. Nossos alunos vivem hoje uma realidade fora da escola muito diferente da que a escola lhes oferece, o que prejudica a relação da escola com o aluno e com a sociedade. As mídias, poderosos recursos para a produção de conteúdos educacionais, estão presentes no cotidiano desses usuários, ávidos em consumirem desenhos animados, filmes e jogos eletrônicos. Entretanto, os usuários ainda são tratados como meros espectadores, que não passam de passivos consumidores que recebem todas as informações prontas, continuando reféns de uma parcela da sociedade que possui o poder de produzir e manipular estas informações. Este trabalho apresenta um estudo sobre interfaces naturais em sistemas de autoria para filmes de animação, bem como a concepção, desenvolvimento e resultados de testes de dois protótipos de sistemas. Apresenta também considerações e subsídios para o desenvolvimento de sistemas de autoria que estimulem a produção de filmes de animação de maneira fácil e intuitiva a partir de interfaces naturais com foco no processo de produção do usuário. Em vivência, os protótipos desenvolvidos se mostraram de fácil e rápida apropriação por crianças de diferentes faixas etárias, que se mostraram interessadas em explorar e construir suas animações. Os resultados obtidos mostram a viabilidade da proposta do trabalho e fornecem subsídios para o desenvolvimento de novos sistemas. / The Brazilian Government, along with other public agencies and representatives of the third sector, has created a large number of projects that try to spread the use of technologies and promote digital inclusion. These projects are the result of the importance given to digital inclusion and empowerment of the citizen as an autonomous being and critical user of technology as well as autonomous in his knowledge construction. However, the school, which should be considered the main responsible for the citizens\' future, still can not keep pace with advancing technology and society outside its walls, living a moment of great questions, since the technologies are already part of its daily but caused no significant changes in the teaching and learning as occurring outside the school walls. Today, student\'s reality outside school is very different from what school offers them, which undermines the school\'s relationship with the student and society. The digital media, with powerful resources for content production, are present in daily lives of the users, eager to consume cartoons, movies and computer games. However, users are still treated as simple spectators who are merely passive consumers and receive all the information ready, still hostage to a portion of the society that has the power to manipulate and produce this information. This work presents a study on natural interfaces to authoring systems for animation films, as well as presents the design, development and results of tests of two prototypes. It also presents considerations and subsidies for the development of authoring systems that encourage production of animated films in an easy and intuitive way, using natural interfaces and focusing on the production process and user evolution. In preliminary experiments, the prototypes proved to be easy and quickly learned, which matches the goals of this project to attract users in different age groups who had shown interest in exploring and building their own animations. The results and contributions obtained show the feasibility of the proposed work and can also provide subsidies for the development of new systems.