In this research, an approach is proposed for the robust tracking of upper body movement in unconstrained environments by using a Haar- Disparity algorithm together with a novel 2D silhouette projection algorithm. A cascade of boosted Haar classifiers is used to identify human faces in video images, where a disparity map is then used to establish the 3D locations of detected faces. Based on this information, anthropometric constraints are used to define a semi-spherical interaction space for upper body poses. This constrained region serves the purpose of pruning the search space as well as validating user poses. Haar-Disparity improves on the traditional skin manifold tracking by relaxing constraints on clothing, background and illumination. The 2D silhouette projection algorithm provides three orthogonal views of the 3D objects. This allows tracking of upper limbs to be performed in the 2D space as opposed to manipulating 3D noisy data directly. This thesis also proposes a complete optimal set of interactions for very large interactive displays. Experimental evaluation includes the performance of alternative camera positions and orientations, accuracy of pointing, direct manipulative gestures, flag semaphore emulation, and principal axes. As a minor part of this research interest, the usability of interacting using only arm gestures is also evaluated based on ISO 9241-9 standard. The results suggest that the proposed algorithm and optimal set of interactions are useful for interacting with large displays.

In this research, an approach is proposed for the robust tracking of upper body movement in unconstrained environments by using a Haar- Disparity algorithm together with a novel 2D silhouette projection algorithm. A cascade of boosted Haar classifiers is used to identify human faces in video images, where a disparity map is then used to establish the 3D locations of detected faces. Based on this information, anthropometric constraints are used to define a semi-spherical interaction space for upper body poses. This constrained region serves the purpose of pruning the search space as well as validating user poses. Haar-Disparity improves on the traditional skin manifold tracking by relaxing constraints on clothing, background and illumination. The 2D silhouette projection algorithm provides three orthogonal views of the 3D objects. This allows tracking of upper limbs to be performed in the 2D space as opposed to manipulating 3D noisy data directly. This thesis also proposes a complete optimal set of interactions for very large interactive displays. Experimental evaluation includes the performance of alternative camera positions and orientations, accuracy of pointing, direct manipulative gestures, flag semaphore emulation, and principal axes. As a minor part of this research interest, the usability of interacting using only arm gestures is also evaluated based on ISO 9241-9 standard. The results suggest that the proposed algorithm and optimal set of interactions are useful for interacting with large displays.

published_or_final_version / Mechanical Engineering / Doctoral / Doctor of Philosophy

Orientador: Marcos Américo / Banca: Vicente Gosciola / Banca: Denis Porto Reno / Resumo: A presente dissertação contém uma proposta de objeto de aprendizagem, em que um caso da Física, Movimento Retilíneo Uniforme, exemplificado em uma situação hipotética de uma prova do atletismo - 100 metros rasos, para se constituir em uma aplicação dos conceitos do Conectivismo e do Edutretenimento. As reflexões trazidas pela observação do comportamento dos alunos em sala de aula, o crescente acesso às novas tecnologias, as inquietações deste pesquisador, leituras e aplicações em sala de aula, constata a presença destas tecnologias móveis no cotidiano dos alunos, dentro e fora das salas de aula, sem a devida potencialização destes, em prol do aprendizado. A disseminação de aplicativos, programas e sistemas, em uma gama de facilidade de uso, disponibiliza recursos voltados ao bem-estar dos usuários. Constitui-se como objeto de estudo, uma proposta de aplicativo, aportado dos princípios do Conectivismo e do Edutretenimento, que propõe a construção do conhecimento na Escola. Utiliza-se a metodologia do V de Gowin para a definição da pergunta-chave e da linha de condução do pensamento da presente dissertação. Espera-se constribuir efetivamente para o desenvolvimento de ferramentas, que ao serem disponibilizadas aos professores e alunos da rede brasileira de ensino, incrementem a facilidade de uso, a aplicabilidade e a eficiência na relação professor-aluno, fortalecendo o ensino e o interesse pelo estudo das Ciências / Abstract: This thesis contains a Learning Object proposal in a case of physics, Rectilinear Motion Uniform, exemplified in a in a hypothetical situation of a proof of athletics - 100 meters, to constitute an application of the concepts of Connectivism and Edutretenimento. The reflections brought by observing the behavior of students in the classroom, increasing access to new technologies, the concerns of this research, readings and applications in the classroom, notes the presnece of these mobile technologies in the daily lives of students, in and out of rooms class without proper empowerment of these, for the sake of learning. The spread of applications, programs and systems in a range of ease of use, offers resources focused on the user's well-being. It serves as an object of study, an application proposal, contributed the principles of Connectivism and Edutretenimento, which proposes the construction of knowledge in school. It is used to Gowin V methodology to the key question of the definition and the driving line of the present dissertation thinking. It is expected to contribute effectivelly to the development of tools, which when made available to teachers and students of the Brazilian education system, boost European esse of use, applicability and efficiency in teacher-student relationship, strengthening education and interest in the study of Sciences / Mestre

A definiçãoo e o reconhecimento de gestos multi-toque s~ao dois dos maiores desafios encontrados por desenvolvedores de aplicações para tabletops. Após a escolha dos gestos, geralmente após um longo e custoso estudo de usuário, os desenvolvedores precisam selecionar ou criar um algorítimo para reconhecê-los e integrá-lo à aplicação e ao hardware. Muitas bibliotecas e arcabouços para o reconhecimento de gestos multi-toque foram propostos nos últimos anos. Cada um deles buscou endereçar um dos diversos desafios encontrados pelos desenvolvedores quando desenvolvendo protótipos e implementando novas aplicações para tabletops, como a integração entre a camada de aplicação e a interface de hardware. Em uma das etapas de nossa pesquisa, foram identificados quatorze requisitos para tais arcabouços, variando desde o suporte ao multi-toque ao suporte a gestos colaborativo não conseguiram endereçar todos os requisitos identificados. Neste trabalho, nós apresentamos o MiTable Engine: um arcabouço flexível e configurável, criado com o objetivo de atender a todos os quatorze requisitos. Esta proposta pode ser utilizada tanto para suportar aplicações em mesas interativas para diversos usuários quanto aplicações para tablets e smartphones. O MiTable Engine foi construído a partir de uma arquitetura de quatro camadas com uma nova proposta de reconhecimento de gestos baseada em pipeline. Nossa proposta é capaz de processar diversas entradas de toque simultaneamente com grande desempenho e se torna muito flexível para personalizações. O MiTable também inclui alguns dos algorítmos do estado-da-arte para reconhecimento de gestos além de um conjunto de ferramentas para criação e inclusão de novos gestos nas aplicações. Neste trabalho, nós discutimos a engine proposta em detalhes, incluindo sua arquitetura, algorítmos e como cada requisito é endereçado. Para exercitar a engine e verificar seu funcionamento, nós apresentamos duas provas de conceito e desenvolvemos diversos testes unitários automatizados. / Gestures denition and recognition are two of the major challenges for tabletop developers. After choosing the gestures, usually after a costly user study, developers must select or create an algorithm to recognize them and integrate it to the main application layer and to the hardware interface layer. Several multi-touch gestures recognition systems and frameworks were proposed in the past years. Each of them tried to address one of several challenges developers have when prototyping and implementing new tabletop applications and to provide a seamless integration between the hardware interface and the main application. During our research, we identified fourteen requirements for multi-touch frameworks, ranging from supporting multi-touch to collaborative gestures. Although current state of art multi-touch gestures frameworks addresses several of them, there is no unique solution which addresses all the developers needs. In this work, we present the MiTable Engine: a flexible and configurable multi-touch gestures engine aimed to address all these requirements. The proposed engine is suitable for both large multi-user surfaces and for small single-user tabletops, such as tablets and smartphones. The MiTable Engine is built on top of a four layers architecture and introduces a novel multi-touch gestures recognition pipeline which can process several multi-touch inputs simultaneously with high performance and flexibility for customizations. The Engine also includes some of the state-of-art multi-touch gestures recognizers and a set of tools for creating and adding custom gestures to the application. In this work, we discuss the proposed engine in deep details, including its architecture, its algorithms and how it addresses each requirement. In order to exercise the engine and verify its functionality, we present two proof of concept applications and developed several automated unit tests.

A definiçãoo e o reconhecimento de gestos multi-toque s~ao dois dos maiores desafios encontrados por desenvolvedores de aplicações para tabletops. Após a escolha dos gestos, geralmente após um longo e custoso estudo de usuário, os desenvolvedores precisam selecionar ou criar um algorítimo para reconhecê-los e integrá-lo à aplicação e ao hardware. Muitas bibliotecas e arcabouços para o reconhecimento de gestos multi-toque foram propostos nos últimos anos. Cada um deles buscou endereçar um dos diversos desafios encontrados pelos desenvolvedores quando desenvolvendo protótipos e implementando novas aplicações para tabletops, como a integração entre a camada de aplicação e a interface de hardware. Em uma das etapas de nossa pesquisa, foram identificados quatorze requisitos para tais arcabouços, variando desde o suporte ao multi-toque ao suporte a gestos colaborativo não conseguiram endereçar todos os requisitos identificados. Neste trabalho, nós apresentamos o MiTable Engine: um arcabouço flexível e configurável, criado com o objetivo de atender a todos os quatorze requisitos. Esta proposta pode ser utilizada tanto para suportar aplicações em mesas interativas para diversos usuários quanto aplicações para tablets e smartphones. O MiTable Engine foi construído a partir de uma arquitetura de quatro camadas com uma nova proposta de reconhecimento de gestos baseada em pipeline. Nossa proposta é capaz de processar diversas entradas de toque simultaneamente com grande desempenho e se torna muito flexível para personalizações. O MiTable também inclui alguns dos algorítmos do estado-da-arte para reconhecimento de gestos além de um conjunto de ferramentas para criação e inclusão de novos gestos nas aplicações. Neste trabalho, nós discutimos a engine proposta em detalhes, incluindo sua arquitetura, algorítmos e como cada requisito é endereçado. Para exercitar a engine e verificar seu funcionamento, nós apresentamos duas provas de conceito e desenvolvemos diversos testes unitários automatizados. / Gestures denition and recognition are two of the major challenges for tabletop developers. After choosing the gestures, usually after a costly user study, developers must select or create an algorithm to recognize them and integrate it to the main application layer and to the hardware interface layer. Several multi-touch gestures recognition systems and frameworks were proposed in the past years. Each of them tried to address one of several challenges developers have when prototyping and implementing new tabletop applications and to provide a seamless integration between the hardware interface and the main application. During our research, we identified fourteen requirements for multi-touch frameworks, ranging from supporting multi-touch to collaborative gestures. Although current state of art multi-touch gestures frameworks addresses several of them, there is no unique solution which addresses all the developers needs. In this work, we present the MiTable Engine: a flexible and configurable multi-touch gestures engine aimed to address all these requirements. The proposed engine is suitable for both large multi-user surfaces and for small single-user tabletops, such as tablets and smartphones. The MiTable Engine is built on top of a four layers architecture and introduces a novel multi-touch gestures recognition pipeline which can process several multi-touch inputs simultaneously with high performance and flexibility for customizations. The Engine also includes some of the state-of-art multi-touch gestures recognizers and a set of tools for creating and adding custom gestures to the application. In this work, we discuss the proposed engine in deep details, including its architecture, its algorithms and how it addresses each requirement. In order to exercise the engine and verify its functionality, we present two proof of concept applications and developed several automated unit tests.

Submitted by Filipe dos Santos (fsantos@pucsp.br) on 2017-12-05T13:17:55Z No. of bitstreams: 1 Leonardo Antonio Lins.pdf: 2767772 bytes, checksum: 2bba9ae19e56f8b81a46bab33a681412 (MD5) / Made available in DSpace on 2017-12-05T13:17:55Z (GMT). No. of bitstreams: 1 Leonardo Antonio Lins.pdf: 2767772 bytes, checksum: 2bba9ae19e56f8b81a46bab33a681412 (MD5) Previous issue date: 2017-11-10 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / This work investigates information technologies applied to objects and seeks to comprehend how computer distribution in domestic environments can affect an interacting individual attention to objects that offer computational capabilities earlier applied only to computers. The research is set off from the presentation of a technological panorama where the possibility of pulverization of small computers integrated in domestic objects is enabled by the application of the concept of Internet of Things through the possibility of a wireless connection and the use of sensors and actuators. Based on the contribution of authors such as Marc Weiser, Amber Case and Claire Rowland, the concepts of computing dispersed through a domestic environment are analysed. Later on, the study fundamentals where attention is explored are presented, as well as the impact of technological changes expressed during industrialization, period when the attention issue is manifested in Jonathan Crary’s text. After discussions on attention matters, Weiser’s formulation regarding rudiments of a Calm Technology that is capable of offering interactions without demanding the constant of the individual’s attention is presented. Finally, with the intent of raising from interaction design and interface fundamentals, elements that constitute the approach of user’s experience are studied, in order to facilitate the presentation and discussion of examples of connected and interactive objects from an interaction between individuals and connected objects perspective. The application of concepts from interaction design with distributed technology is contemporary and still experimental, enabled by technological development, however, the discussion of these applications exposes the need for comprehension that objects become interactive, as well as computers and mobile devices / O presente trabalho investiga as tecnologias da informação aplicadas a objetos e busca compreender como a distribuição da computação em ambientes domésticos pode afetar a atenção de indivíduos de interação com objetos que oferecem capacidades computacionais antes aplicadas somente aos computadores. A pesquisa parte da apresentação de um panorama tecnológico onde a possibilidade da pulverização de pequenos computadores integrados em objetos domésticos se torna capaz pela aplicação do conceito da internet das coisas através das capacidades de conexão a uma rede sem fio e uso de sensores e atuadores. Fundamentando-se nas contribuições de autores como Marc Weiser, Amber Case e Claire Rowland, os conceitos de uma computação distribuída em um ambiente doméstico são analisados. Em momento posterior, os fundamentos de estudos, onde a atenção é explorada, são apresentados, assim como o impacto das mudanças tecnológicas, manifestado durante a industrialização, momento em que o problema da atenção se manifesta no texto de Jonathan Crary. Após discussão sobre questões da atenção, a formulação de Weiser sobre os rudimentos de uma Tecnologia Calma, que seja capaz de oferecer interações sem exigir a constante da atenção do indivíduo, é apresentada. Por fim, com a intenção de levantar os fundamentos do design de interação e interface, elementos que constituem a abordagem da experiência do usuário são estudados, assim, a apresentação e discussão de exemplos de objetos conectados e interativos se torna possível do ponto de vista da interação entre indivíduo e objetos conectados. A aplicação de conceitos do design de interação com a tecnologia distribuída é algo contemporâneo e ainda experimental, sendo possível pelo desenvolvimento tecnológico, mas, a discussão dessas aplicações expõe a necessidade da compreensão que objetos se tornam interativos, bem como computadores e dispositivos móveis

Este trabalho em como objetivo mostrar que a Teoria Crítica da Tecnologia de Andrew Feenberg pode servir para uma reflexão sobre a história e epistemologia da IHC, especialmente as relação criadas pela introdução do termo "Terceira Onda da IHC". Além disso, ainda sob domínio da CTS, entender como os conceitos de participação, usuário, design e arte podem articular as práticas nesta área de conhecimento. Para tanto, foi recorrido a um levantamento de textos (em formato de rede de citações) sobre "Terceira Onda da IHC" presentes na base de dados da ACM (Association for Computing Machinery). Por fim, é feito um comparativo com conceitos e teorias (participação e parangolé) presentes no trabalho de Helio Oiticica a fim de contribuir com a discussão sobre participação, design e arte. / This work aims to show that Andrew's Feenberg Critical Theory can be used as basis to a reflection about the history and epistemology of CHI, especially the relations forged by the introduction of the term "Third Wave CHI". Besides, still using STS, we also aim to understand how concepts like participation, user, design and art can endorse practices in this field of knowledge. To accomplish this, we created a citation network about the "Third Wave CHI" gathering texts from the ACM (Association for Computing Machinery) database. At last, compare concepts that exists in the work of Helio Oiticica aiming to contribute with the discussion about participation, design and art.

Partindo da perspectiva de tecnologia de Álvaro Vieira Pinto esta dissertação explora possibilidade de aproximação do seu conceito de ‘amanualidade’ aos fundamentos em Design de Interação. Este trabalho busca contribuir para a compreensão da transformação social e tecnológica a partir do manuseio de artefatos, e apresenta considerações para fundamentos em Design de Interação tomando por base o pensamento de Vieira Pinto, especialmente a partir do seu conceito de amanualidade, que trata das relações entre o ser humano e os objetos ao seu redor, disponóveis ‘a mão’. Proveniente da filosofia fenomenológico-existencial, esse conceito já é debatido noDesign de Interação Humano-Computador, principalmente pela aproximação realizada por Terry Winograd e Fernando flores, no qual a amanualidade (readness-to-hand) é utilizada para compreender a dimensão existencial da ação humano no uso dos artefatos no cotidiano. A conceitualização da amanualidade realizada por Vieira Pinto permite compreender dimensões da relação entre pessoas e artefatos, considerando o caráter ativo dos sujeitos no desenvolvimento tecnológico e a ampla faceta sócio histórica da existência humana, pelo uso e pela produção de artefatos a partir do trabalho realizado com esses. Para tal, realizamos um resgate histórico do conceito de amanualidade e dos fundamentos em Design de Interação, analisamos como o conceito é caracterizado por Vieira Pinto e propomos um contraponto entre sua caracterização e a forma como é proposta por Winogard e Flores, assim como considerações para o Design de Interação a partir da amanualidade de Álvaro vieira Pinto. / This dissertation explores the possibility of using the concept of ‘amanialidade’ (handiness) to understand the fundations of Interaction Design. Developed by Álvaro Vieira Pinto, this concept seeks to grasp social and technological transformation from the handling of artifacts. In thes work we present considerations dor fundations in Interaction Design building on the thought of Vieira Pinto, especially from your handinnes concept, whick dels with the relationship between human beings and the objects aroud, available ‘at hand’. Coming from existencial -phenomenogical philosophy, this concept is already discussed in Interaction Design and Human Computer, Interaction, Mainly by the interpretation made by Terry Winograd and Fernando Flores, in which readinees-to-hand (handiness) is used to understand the existencial dimension of action human use of artifacts in everyday life. The conceptualization of handiness by Vieira Pinto allows the understanding of dimensions of the relationship between people and artifacts, considering the active of individuals in technological development and the widespread socio-historical facet of human existence, by the use and production of artfacts from the work with them. With this aim, we corried out a historical review of the concept of handiness and the foundations in Interaction Design, we analyze how the concept is characterized by Vieira Pinto and we propose a counterpoint between their characterization and how it is proposed by Winograd an Flores, an examples in Interaction Design from the handinees by Álvaro Vieira Pinto.

Partindo da perspectiva de tecnologia de Álvaro Vieira Pinto esta dissertação explora possibilidade de aproximação do seu conceito de ‘amanualidade’ aos fundamentos em Design de Interação. Este trabalho busca contribuir para a compreensão da transformação social e tecnológica a partir do manuseio de artefatos, e apresenta considerações para fundamentos em Design de Interação tomando por base o pensamento de Vieira Pinto, especialmente a partir do seu conceito de amanualidade, que trata das relações entre o ser humano e os objetos ao seu redor, disponóveis ‘a mão’. Proveniente da filosofia fenomenológico-existencial, esse conceito já é debatido noDesign de Interação Humano-Computador, principalmente pela aproximação realizada por Terry Winograd e Fernando flores, no qual a amanualidade (readness-to-hand) é utilizada para compreender a dimensão existencial da ação humano no uso dos artefatos no cotidiano. A conceitualização da amanualidade realizada por Vieira Pinto permite compreender dimensões da relação entre pessoas e artefatos, considerando o caráter ativo dos sujeitos no desenvolvimento tecnológico e a ampla faceta sócio histórica da existência humana, pelo uso e pela produção de artefatos a partir do trabalho realizado com esses. Para tal, realizamos um resgate histórico do conceito de amanualidade e dos fundamentos em Design de Interação, analisamos como o conceito é caracterizado por Vieira Pinto e propomos um contraponto entre sua caracterização e a forma como é proposta por Winogard e Flores, assim como considerações para o Design de Interação a partir da amanualidade de Álvaro vieira Pinto. / This dissertation explores the possibility of using the concept of ‘amanialidade’ (handiness) to understand the fundations of Interaction Design. Developed by Álvaro Vieira Pinto, this concept seeks to grasp social and technological transformation from the handling of artifacts. In thes work we present considerations dor fundations in Interaction Design building on the thought of Vieira Pinto, especially from your handinnes concept, whick dels with the relationship between human beings and the objects aroud, available ‘at hand’. Coming from existencial -phenomenogical philosophy, this concept is already discussed in Interaction Design and Human Computer, Interaction, Mainly by the interpretation made by Terry Winograd and Fernando Flores, in which readinees-to-hand (handiness) is used to understand the existencial dimension of action human use of artifacts in everyday life. The conceptualization of handiness by Vieira Pinto allows the understanding of dimensions of the relationship between people and artifacts, considering the active of individuals in technological development and the widespread socio-historical facet of human existence, by the use and production of artfacts from the work with them. With this aim, we corried out a historical review of the concept of handiness and the foundations in Interaction Design, we analyze how the concept is characterized by Vieira Pinto and we propose a counterpoint between their characterization and how it is proposed by Winograd an Flores, an examples in Interaction Design from the handinees by Álvaro Vieira Pinto.