La montée en puissance des écrans tactiles offre de nouvelles possibilités d'interactions gestuelles de plus en plus riches. De nos jours, les utilisateurs se contentent souvent de gestes mono-point ou multipoints simples pour exécuter des manipulations telles que la rotation, le déplacement ou la mise à l'échelle d'objets graphiques, la plupart du temps dans un contexte mono-utilisateur. Le travail décrit ici concerne l'utilisation avancée des gestes multipoints, comportant à la fois plus de commandes de raccourci (appelées commandes indirect es) et de commandes de manipulation (appelées commandes directes) dans un contexte d'utilisateurs multiples sur le même écran. Pour cela, nous analysons la forme des trajectoires composant le geste multipoints et les relations temporelles et spatiales entre ces trajectoires afin de caractériser ce geste. Nous proposons une modélisation par graphes et développons un système complet d'analyse et de reconnaissance. Pour résoudre le conflit entre la reconnaissance des gestes de manipulation et ceux de commande (directes versus indirectes), nous proposons une stratégie de reconnaissance précoce pour les gestes multipoints basée sur une option de rejet combinant plusieurs classifieurs pour reconnaître ces gestes au plus tôt. Pour valider nos approches, nous avons construit la base MTGSet composée de 7 938 gestes isolés multi points de 41 classes différentes et MUMTDB une base de gestes collectés dans un contexte réel d'interaction multiutilisateurs pour l'édition de diagrammes. Les résultats expérimentaux attestent que nos approches peuvent reconnaître les gestes multipoints dans ces différentes situations. / Due to the popularization of the touch screen devices, nowadays people are used to conduct the human-computer interactions with touch gestures. However, limited by current studies, users can use only simple multi-touch gestures to execute only simple manipulations such as rotation, translation, scaling, with most of time one user even if adapted devices are now available. The work reported here concerns the expanding usage of multi-touch gestures, that make them available at the same time for more shortcut commands (called indirect commands, as copy, past, ... ), more manipulation commands (called direct commands like zoom or rotation) and in the context of multiple users on the same screen. For this purpose, we analyze the shape of the gesture's motion trajectories and the temporal and spatial relations between trajectories in order to characterize a multi-touch gesture. We propose a graph modeling to characterize these motion features and develop a graph based analysis and recognition system. To resolve the conflict between interface manipulation and shortcut command inputs, we study and validate an early recognition strategy for multi-touch gesture. We built a reject option based multi-classifier early recognition system to recognize multi-touch gestures in early stage. To set-up, train and validate our systems, we built MTGSet, a multi-touch gesture dataset formed by 7938 gestures from 41 different classes collected in isolated contexts and MUMTDB a dataset of gestures collected in a real multi-user usage case of diagram drawing. The experimental results prove that our system can well recognize multi-touch gestures in these different situations.

A detecção de gestos é uma etapa importante em aplicações de interação humanocomputador. Se a mão do usuário é detectada com precisão, tanto a análise quanto o reconhecimento do gesto de mão se tornam mais simples e confiáveis. Neste trabalho, descrevemos um novo método para detecção de pele humana, destinada a ser empregada como uma etapa de pré-processamento para segmentação de gestos de mão em sistemas que visam o seu reconhecimento. Primeiramente, treinamos os modelos de cor e textura de pele (material a ser identificado) a partir de um conjunto de treinamento formado por imagens de pele. Nessa etapa, construímos um modelo de mistura de Gaussianas (GMM), para determinar os tons de cor da pele e um dicionário de textons, para textura de pele. Em seguida, introduzimos um estratégia de fusão estocástica de regiões de texturas, para determinar todos os segmentos de diferentes materiais presentes na imagem (cada um associado a uma textura). Tendo obtido todas as regiões, cada segmento encontrado é classificado com base nos modelos de cor de pele (GMM) e textura de pele (dicionário de textons). Para testar o desempenho do algoritmo desenvolvido realizamos experimentos com o conjunto de imagens SDC, projetado especialmente para esse tipo de avaliação (detecção de pele humana). Comparado com outras técnicas do estado-daarte em segmentação de pele humana disponíveis na literatura, os resultados obtidos em nossos experimentos mostram que a abordagem aqui proposta é resistente às variações de cor e iluminação decorrentes de diferentes tons de pele (etnia do usuário), assim como de mudanças de pose da mão, mantendo sua capacidade de discriminar pele humana de outros materiais altamente texturizados presentes na imagem. / Gesture detection is an important task in human-computer interaction applications. If the hand of the user is precisely detected, both analysis and recognition of hand gesture become more simple and reliable. This work describes a new method for human skin detection, used as a pre-processing stage for hand gesture segmentation in recognition systems. First, we obtain the models of color and texture of human skin (material to be identified) from a training set consisting of skin images. At this stage, we build a Gaussian mixture model (GMM) for identifying skin color tones and a dictionary of textons for skin texture. Then, we introduce a stochastic region merging strategy, to determine all segments of different materials present in the image (each associated with a texture). Once the texture regions are obtained, each segment is classified based on skin color (GMM) and skin texture (dictionary of textons) model. To verify the performance of the developed algorithm, we perform experiments on the SDC database, specially designed for this kind of evaluation (human skin detection). Also, compared with other state-ofthe- art skin segmentation techniques, the results obtained in our experiments show that the proposed approach is robust to color and illumination variations arising from different skin tones (ethnicity of the user) as well as changes of pose, while keeping its ability for discriminating human skin from other highly textured background materials.

Sistemas de Interação Humano-Computador baseados em toque são uma tecnologia disseminada em tablets, smartphones e notebooks. Trata-se de um grande avanço que aumenta a facilidade de comunicação e, ao mesmo tempo, diminui a necessidade de interfaces como mouse e teclado. Entretanto, a superfície de interação utilizada por esses sistemas normalmente é equipada com sensores para a captação dos movimentos realizados pelo usuário, o que impossibilita transformar uma superfície planar qualquer (uma mesa, por exemplo) em uma superfície de interação. Por outro lado, a popularização de sensores de profundidade a partir do lançamento do Microsoft Kinect propiciou o desenvolvimento de sistemas que adotam objetos do dia a dia como superfícies de interação. Nesta dissertação é proposta uma interface natural para interação com superfícies planares utilizando uma câmera RGB-D em posição descendente. Inicialmente, o plano de interação é localizado na nuvem de pontos 3D através de uma variação do algoritmo RANSAC com coerência temporal. Objetos acima do plano são segmentados a partir da transformada watershed baseada em uma função de energia que combina cor, profundidade e informação de confiança. A cor de pele é utilizada para isolar as mãos, e os dedos que interagem com o plano são identificados por um novo processo de esqueletonização 2D. Finalmente, as pontas dos dedos são rastreadas com o uso do algoritmo Húngaro, e o filtro de Kalman é usado para produzir trajetórias mais suaves. Para demonstrar a utilidade da técnica, foi desenvolvido um protótipo que permite ao usuário desenhar em uma superfície de forma natural e intuitiva. / Touch-based Human-Computer Interfaces (HCIs) are a widespread technology present in tablets, smartphones, and notebooks. This is a breakthrough which increases the ease of communication and at the same time reduces the need for interfaces such as mouse and keyboard. However, the interaction surface used by these systems is usually equipped with sensors to capture the movements made by the user, making it impossible to substitute this surface by any other such as a table, for example. On the other hand, the progress of commercial 3D depth sensing technologies in the past five years, having as a keystone Microsoft’s Kinect sensor, has increased the interest in 3D hand gesture recognition using depth data. In this dissertation, we present a natural Human-Computer Interface (HCI) for interaction with planar surfaces using a topdown RGB-D camera. Initially, the interaction plane is located in the 3D point cloud by using a variation of RANSAC with temporal coherence. Off-plane objects are segmented using the watershed transform based on an energy function that combines color, depth and confidence information. Skin color information is used to isolate the hand(s), and a novel 2D skeletonization process identifies the interaction fingers. Finally, the fingertips are tracked using the Hungarian algorithm, and a Kalman filter is applied to produce smoother trajectories. To demonstrate the usefulness of the technique, we also developed a prototype in which the user can draw on the surface using lines and sprays in a natural way.

xv, 256 p. : ill. / This dissertation stages a reciprocal critique between traditional and marginal philosophical approaches to language on the one hand and interdisciplinary studies of speech-accompanying hand gestures on the other. Gesturing with the hands while speaking is a ubiquitous, cross-cultural human practice. Yet this practice is complex, varied, conventional, nonconventional, and above all under-theorized. In light of the theoretical and empirical treatments of language and gesture that I engage in, I argue that the hand gestures that spontaneously accompany speech are a part of language; more specifically, they are enactments of linguistic meaning. They are simultaneously (acts of) cognition and communication. Human communication and cognition are what they are in part because of this practice of gesturing. This argument has profound implications for philosophy, for gesture studies, and for interdisciplinary work to come. As further, strong proof of the pervasively embodied way that humans make meaning in language, reflection on gestural phenomena calls for a complete re-orientation in traditional analytic philosophy of language. Yet philosophical awareness of intersubjectivity and normativity as conditions of meaning achievement is well-deployed in elaborating and refining the minimal theoretical apparatus of present-day gesture studies. Triangulating between the most social, communicative philosophies of meaning and the most nuanced, reflective treatments of co-speech hand gesture, I articulate a new construal of language as embodied, world-embedded, intersubjectively normative, dynamic, multi-modal enacting of appropriative disclosure. Spontaneous co-speech gestures, while being indeed spontaneous, are nonetheless informed in various ways by conventions that they appropriate and deploy. Through this appropriation and deployment speakers enact, rather than represent, meaning, and they do so in various linguistic modalities. Seen thusly, gestures provide philosophers with a unique new perspective on the paradoxical determined-yet-free nature of all human meaning. / Committee in charge: Mark Johnson, Chairperson; Ted Toadvine, Member; Naomi Zack, Member; Eric Pederson, Outside Member

Esta pesquisa teve como objetivo investigar o processo de aprendizagem de um novo repertório, a partir de uma abordagem centrada no gesto, por meio do estudo de caso de uma aluna de piano do primeiro ano do curso de Licenciatura em Música da Universidade Estadual de Londrina. Para a metodologia da pesquisa, empregamos três técnicas complementares de coleta de dados: a gravação em vídeo, a entrevista semiestruturada e a observação participante. Considerando o caráter holístico e multimodal do gesto e sua definição como movimento portador de significado e intenção expressiva (GODØY; LEMAN, 2010), a abordagem do texto musical a partir do gesto demanda a integração de conhecimentos musicais na prática instrumental, bem como a consciência corporal. Dessa forma, investigamos como os gestos foram construídos ao longo de oito semanas de aulas de piano, de que forma conceitos teóricos foram integrados à prática instrumental e quais mudanças foram observadas na prática da aluna. A aplicação da abordagem gestual na preparação de um novo repertório contribuiu para desenvolver a fluência, a expressividade, a compreensão musical e a consciência corporal. As estratégias utilizadas ao longo das oito semanas de aulas objetivaram a compreensão e a expressão musical por meio da construção do gesto em um processo centrado no corpo. Essas estratégias contribuíram, também, para a organização do próprio processo de aprendizagem, fornecendo ferramentas para a estruturação da prática. / This research consist of a case study of a first-year Music Education major at the State University of Londrina that investigate the process of learning a new piano repertoire through a gestural approach. The methodology employed comprised three complementary techniques of data collection: video recording, semi-structured interviews, and participant observation. Considering the holistic and multimodal character of gesture (GODØY; LEMAN, 2010), a gestural approach to learning a new piece music demands the integration of musical knowledge in instrumental practice, as well as body consciousness. In this way, we investigated how gestures were constructed during eight weeks of piano lessons, how music theory concepts were integrated in instrumental practice and the changes observed in student's practice. The application of a gestural approach in the preparation of a new repertoire has contributed to develop fluency, expressiveness, musical understanding of musical structure and music theory, and body awareness. The strategies used during the eight weeks of classes aimed at understanding and expressing music through the perspective of gesture in a learning process centered on the body. These strategies also contributed to the organization of the learning process itself by providing tools for structuring the student's practice.

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Pele como tinta: o corpo entre gesto e vinco discute o gesto como meio sem finalidade, dentro da ideia de processo artístico, diante da relação envolvendo a prática artística do vídeo e da intervenção com experiências desenvolvidas durante o mestrado na linha de Processos Artísticos Contemporâneos, em trabalhos como Auto-retrato, Tarja, Peles institucionais e Onde fica o Galpão? Dentre os gestos trabalhados está o gesto desterritorializante, no qual a instituição de ensino é convocada como espaço onde suas fronteiras são tratadas como forma de se pensar o fazer artístico, assim como o conceito de instituição. Além desse, outro trabalho proposto é o que relaciona o vídeo e o frame em texturas temporais dinâmicas. O gesto de tinta registrado em vídeo é condicionado a uma volta da pintura fixa da tela. Em Peles a estrutura do vinco é requisitada para compor os afetos e as construções que norteiam a escrita do e no corpo / Skin as ink: the body between crease and gesture discusses the gesture as a purposeless means within the concept of the artistic process, given the relationship of artistic practice involving video and intervention experiments carried out during the author's Masters course in Contemporary Art in works such as Auto-retrato, Tarja,Peles institucionais e Onde fica o Galpão? Among the gestures discussed here is the deterritorializing gesture in which the educationall institution is evoked as a space whose borders are treated as a way of thinking about the artistic process as well as the institution as a concept. Furthermore, the other work proposed here correlates video and frame in dynamic temporal textures. The ink gesture recorded on video is conditioned to a return of the fixed painting on the screen. In Skins, the structure of the crease is required to compose the affects and constructions that guide the writing on and of the body

No description available.

Submitted by Clebson Anjos (clebson.leandro54@gmail.com) on 2016-02-16T22:01:14Z No. of bitstreams: 1 arquivototal.pdf: 4433829 bytes, checksum: 4713f292d2686f95f4ec248322aee517 (MD5) / Made available in DSpace on 2016-02-16T22:01:14Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 4433829 bytes, checksum: 4713f292d2686f95f4ec248322aee517 (MD5) Previous issue date: 2015-05-26 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / The use of our body language to communicate with computer systems is an increas-ingly possible and applicable feature in the real world. This fact is potentiated by the evolution of gesture recognition based commercial solutions. A gesture interface complements or replaces navigation in a conventional interface, it is up to each developer to choose the most appropriate option for their application. Therefore when opting for gesture usage, the gestures will be re-sponsible to activate the systems functions. This work presents a gesture development process that can be used to be used to aid the construction of gesture interfaces. The proposed process should help interface designers to incorporate gesture based natural interaction into their appli-cations in a more systematic way. In order to illustrate the Process, gestures for the actions "Select", "Rotate", "Translate", "Scale" and "Stop" were developed. / A utilização da nossa linguagem corporal para nos comunicarmos com sistemas computacionais é uma característica cada vez mais possível e aplicável no mundo real. Esse fato é potencializado pela evolução das soluções comerciais baseadas em reconhecimentos de gestos. Uma interface de gestos complementa ou substitui a forma de navegação de uma interface convencional, neste cenário cabe ao desenvolvedor escolher a opção mais adequada para a sua aplicação. Assim, quando se opta pelo uso de gestos, esses serão responsáveis por acionar as funções oferecidas pelos sistemas. O presente trabalho apresenta um processo de desenvolvimento de gestos que tem potencial para ser aplicado em qualquer interface em desenvolvimento que deseje agregar interação gestual. O processo proposto deve auxiliar designers de interfaces a integrarem interação natural por gestos em suas aplicações de forma mais sistemática. Como caso de uso foram gerados gestos para as funções: “Selecionar”, “Rotacionar”, “Transladar”, “Escalonar” e “Parar”.

Made available in DSpace on 2016-12-08T16:52:02Z (GMT). No. of bitstreams: 1 122482.pdf: 2208128 bytes, checksum: fdbec15e851ede26063c859cf1431462 (MD5) Previous issue date: 2015-03-20 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Há um saber que desvela a poesia dos acontecimentos. Aprende-se esse saber vivendo a continuidade de ser. A presente dissertação surge a partir desse saber, desse viver, desse ser, experimentados pela pesquisadora ao longo do seu estudo sobre a Compagnie Dos à Deux, dos diretores e atores-dançarinos André Curti e Artur Ribeiro. Esse saber, que é o saber poético, orquestra esta pesquisa por meio de um arranjo: o dos afetos. Tal composição apresenta um pouco da história da companhia franco-brasileira de teatro gestual ao longo dos seus dezessete anos de existência: fundação, espetáculos e premiações. Os laços que uniram os diretores e as vivências da pesquisadora são contados para o leitor por meio de duas memórias: as evocadas e as prospectivas. Estas possibilitam algumas articulações e reflexões sobre a questão que orienta o desenvolvimento desta dissertação: o que é o gesto para Curti e Ribeiro? A partir de tais reflexões, a pesquisadora apresenta três princípios que sustentam a metodologia do treinamento da companhia: a escuta , a tonicidade do microgesto e o contato .

Made available in DSpace on 2016-12-08T16:52:05Z (GMT). No. of bitstreams: 1 Melize.pdf: 2987208 bytes, checksum: 1c8ba2cc8b82ebc6c79bd2dd9d9f8536 (MD5) Previous issue date: 2008-06-10 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / This research investigates in which dimension the formalization of the procedures from solo theater of physical line, in which the scene determines the spoken text, offers concrete ways to a specific problem in the performing arts: the gesture-speech relation. To check the hypothesis and problems of the theme of this research two works presented by Brazilian groups that have as base for their dramaturgy the monologues written by the Italian actor and dramaturg Dario Fo were analyzed: A descoberta das Américas, presented by Julio Adrião, directed by Alessandra Vannucci and produced by the production team Leões de Circo Pequenos empreendimentos from Rio de Janeiro and Il Primo Miracolo, presented and directed by Roberto Birindelli, of the Cia do Bebê from Porto Alegre. The research focuses on the analysis of some elements that constitute gestural score of these spectacles and their relation to the text, such as: repetition, fragmentation, breaks, description, sense creation, textual embodiment and its intertextual relations / Esta pesquisa investiga em que dimensão a formalização de procedimentos provenientes do teatro-solo de linha física, no qual a cena é determinante do texto falado, oferece caminhos concretos para um problema específico da arte teatral: a relação gestualidade - palavra. Para a verificação das hipóteses e problematização do tema desta pesquisa, foram analisados dois trabalhos apresentados por grupos brasileiros que possuem como base para sua dramaturgia os monólogos escritos pelo ator e dramaturgo italiano Dario Fo: A descoberta das Américas, representado por Julio Adrião, dirigido por Alessandra Vannucci e produzido pelo Núcleo de Produção Leões de Circo Pequenos Empreendimentos do Rio de Janeiro, e Il Primo Miracolo, representado e dirigido por Roberto Birindelli, da Cia do Bebê de Porto Alegre. A pesquisa está centrada na análise de alguns elementos que constituem as partituras gestuais destes espetáculos e sua relação com o texto, tais como: repetição, fragmentação, quebras, descrição, criação de sentido, corporificação do texto e suas relações intertextuais