Tese de mestrado. Multimédia. Faculdade de Engenharia. Universidade do Porto. 2012

Submitted by Pedro Henrique Rodrigues (pedro.henriquer@ufpe.br) on 2015-03-05T18:36:32Z No. of bitstreams: 2 Dissertação de Mestrado - Avaliando Interfaces Gestuais Para a Prática de Instrumentos Virtuais d.pdf: 3053367 bytes, checksum: c1af17684917b2948b8bfe3f833f6217 (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) / Made available in DSpace on 2015-03-05T18:36:33Z (GMT). No. of bitstreams: 2 Dissertação de Mestrado - Avaliando Interfaces Gestuais Para a Prática de Instrumentos Virtuais d.pdf: 3053367 bytes, checksum: c1af17684917b2948b8bfe3f833f6217 (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Previous issue date: 2012-08-31 / Música e tecnologia possuem um relacionamento antigo, constante e indissociável. Desde o início da história da humanidade a música vem nos acompanhando e o seu crescimento foi paralelo ao desenvolvimento do homem. À medida que a tecnologia modificava a cultura social, novas formas de modelar instrumentos e de compor músicas eram criadas, modificando também a interação e a performance musical. A evolução dos computadores e o aumento da capacidade de processamento de dados proporcionou maior interesse em pesquisas e no desenvolvimento de dispositivos eletrônicos, mais conhecidos como “Digital Musical Instruments” (DMIs). Baseados em interfaces gestuais, os DMIs pretendem oferecer novas formas de interagir com o instrumento, aumentando possibilidades e preservando a qualidade sonora; porém, não é com frequência que vemos músicos profissionais se utilizando dessa tecnologia. Este trabalho analisa e avalia a interação de algumas interfaces gestuais, oferecida aos músicos, especificamente os percussionistas, em busca de identificar limitações técnicas existentes e de que forma, estas, explicam a baixa adoção destas tecnologias na prática. Os resultados foram alcançados através de duas etapas: a primeira foi, uma pesquisa bibliográfica sobre anatomia, buscando entender gestos comuns humanos e limitações de algumas interfaces; e a segunda, foi um experimento onde percussionistas de perfis distintos avaliaram a interação oferecida por duas interfaces: o Sensor Microsoft Kinect e o Nintendo Wii remote.

Recentemente, tem se percebido um interesse maior da área de computação pela pesquisa em análise de gestos. Parte dessas pesquisas visa dar suporte aos pesquisadores da área de \"estudos dos gestos\", que estuda o uso de partes do corpo para fins comunicativos. Pesquisadores dessa área analisam gestos a partir de transcrições de conversas ou discursos gravados em vídeo. Para a transcrição dos gestos, geralmente realiza-se a sua segmentação em unidades gestuais e fases. O presente trabalho tem por objetivo desenvolver estratégias para segmentação automatizada das unidades gestuais e das fases dos gestos contidos em um vídeo no contexto de contação de histórias, formulando o problema como uma tarefa de classificação supervisionada. As Máquinas de Vetores Suporte foram escolhidas como método de classificação, devido à sua capacidade de generalização e aos bons resultados obtidos para diversos problemas complexos. Máquinas de Vetores Suporte, porém, não consideram os aspectos temporais dos dados, características que são importantes na análise dos gestos. Por esse motivo, este trabalho investiga métodos de representação temporal e variações das Máquinas de Vetores Suporte que consideram raciocínio temporal. Vários experimentos foram executados neste contexto para segmentação de unidades gestuais. Os melhores resultados foram obtidos com Máquinas de Vetores Suporte tradicionais aplicadas a dados janelados. Além disso, três estratégias de classificação multiclasse foram aplicadas ao problema de segmentação das fases dos gestos. Os resultados indicam que um bom desempenho para a segmentação de gestos pode ser obtido ao realizar o treinamento da estratégia com um trecho inicial do vídeo para obter uma segmentação automatizada do restante do vídeo. Assim, os pesquisadores da área de \"estudos dos gestos\" poderiam segmentar manualmente apenas um trecho do vídeo, reduzindo o tempo necessário para realizar a análise dos gestos presentes em gravações longas. / Recently, it has been noted an increasing interest from computer science for research on gesture analysis. Some of these researches aims at supporting researchers from \"gesture studies\", which studies the use of several body parts for communicative purposes. Researchers of \"gesture studies\" analyze gestures from transcriptions of conversations and discourses recorded in video. For gesture transcriptions, gesture unit segmentation and gesture phase segmentation are usually employed. This study aims to develop strategies for automated segmentation of gestural units and phases of gestures contained in a video in the context of storytelling, formulating the problem as a supervised classification task. Support Vector Machines were selected as classification method, because of its ability to generalize and good results obtained for many complex problems. Support Vector Machines, however, do not consider the temporal aspects of data, characteristics that are important for gesture analysis. Therefore, this paper investigates methods of temporal representation and variations of the Support Vector machines that consider temporal reasoning. Several experiments were performed in this context for gesture units segmentation. The best results were obtained with traditional Support Vector Machines applied to windowed data. In addition, three strategies of multiclass classification were applied to the problem of gesture phase segmentation. The results indicate that a good performance for gesture segmentation can be obtained by training the strategy with an initial part of the video to get an automated segmentation of the rest of the video. Thus, researchers in \"gesture studies\" could manually segment only part of the video, reducing the time needed to perform the analysis of gestures contained in long recordings.

A investigação da multimodalidade nas interações tem sido contemplada em campos de pesquisa cada vez mais diversos. No entanto, ainda é incipiente o entendimento de como os significados são construídos pela mobilização de múltiplas dimensões semióticas, atuando concomitantemente dentro do evento interacional. Esta tese busca contribuir para expandir esse entendimento, sobretudo, em episódios de desacordo. A Análise da Conversa, de base etnometodológica, e os Estudos dos Gestos são as linhas teóricas que balizam esta tese. Pelas contribuições da Análise da Conversa, pudemos observar como os próprios participantes se orientam uns em relação aos outros, revelando-nos os recursos mobilizados como práticas interacionais voltadas à realização e coordenação de suas ações durante a interação. Das contribuições dos Estudos dos Gestos, pudemos explorar as relações entre língua e ações gestuais e verificar o importante papel da gestualidade tanto para o estabelecimento de práticas interacionais quanto para o enquadramento das ações que estão em processo de formação. Os dados desta pesquisa compreendem vários tipos de interação realizados por falantes nativos de português brasileiro, perfazendo aproximadamente 15 horas de registros audiovisuais, coletados entre julho de 2012 e agosto de 2015. Desse material, selecionamos excertos para exemplificação teórica e 6 excertos para análise minuciosa, realizada dentro do programa ELAN, das sequências de desacordo. As análises mostram que os participantes se valem das ações gestuais como um recurso dinâmico e flexível que eles utilizam situadamente; que as ações faciais auxiliam os participantes a demonstrar suas posições e entendimentos a respeito das ações uns dos outros; que as ações gestuais dos coparticipantes produzidas em possíveis pontos de completude do turno do falante parecem ser tomadas como as primeiras manifestações das discordâncias que estão em processo de desenvolvimento; que o falante parece considerar essas ações do coparticipante para produzir seus enunciados subsequentes; que tal prática também parece servir ao propósito de oferecer ao falante uma oportunidade para promover ajustes interacionais antes que os desacordos verbais do coparticipante venham a ser produzidos. Algumas das contribuições desta tese são: (1) mostrar a necessidade de se estabelecer um padrão de transcrição multimodal que possa contemplar as várias dimensões semióticas envolvidas na interação, revelando toda a complexidade do que está acontecendo momento a momento; (2) mostrar como uma análise multimodal minuciosa elucida detalhes interacionais que ficam apagados na análise verbo-vocal; (3) apresentar uma mudança na compreensão das ações gestuais produzidas pelo coparticipante durante o turno do falante, mostrando como essas ações não devem ser entendidas como pré-ações antecipatórias de desacordos verbais, mas como primeiras manifestações da discordância em processo de formação; (4) mostrar como as ações gestuais emergem como parte de uma organização sequencial no desenrolar da interação, agregando informações a respeito do tipo de ação em desenvolvimento; e (5) mostrar como as ações gestuais são práticas recorrentes que podem ser definidas dentro da sequência interacional quando se analisa a sua progressão temporal. / Research on the multimodality of interaction is being carried out in increasingly diverse fields of studies. However, comprehension of how meanings are constructed through the deployment of multiple semiotic dimensions acting concomitantly within the interactional event is still in its infancy. This dissertation contributes to expanding this understanding specifically in episodes of disagreement. Conversation Analysis and Gesture Studies are the theoretical bases for this dissertation. By applying Conversation Analysis, we are able to observe how participants orient towards each other, revealing how resources are mobilized in interactional practices that help them coordinate and accomplish their actions during the interaction. By applying the findings of Gesture Studies, we are able to explore the relations between language and bodily actions and to verify the important role of bodily action both for the establishment of interactional practices and for the framing of action formation. Varied types of interaction, approximately 15 hours of audiovisual records, collected between July 2012 and August 2015, and performed by native speakers of Brazilian Portuguese compose the data of this research. From this material, using ELAN, we selected excerpts for theoretical exemplification and 6 excerpts for detailed analysis of sequences of disagreement. The analyses show that participants use bodily actions as a dynamic and flexible resource, locally performed; that facial actions help participants demonstrate their positions and understandings about one another\'s actions; that coparticipants bodily actions, produced at transitional-relevance places in the speaker\'s turn seem to be taken as first manifestations of disagreements that are in the process of developing; that the speaker appears to consider these coparticipant actions in producing his subsequent utterances. Such a practice also seems to serve the purpose of giving the speaker an opportunity to promote interactive adjustments before verbal disagreements of the co-participant would be produced. Some of the contributions of this dissertation are: (1) to show the need to establish a multimodal transcription pattern that can contemplate the multiple semiotic dimensions involved in the interaction, revealing all the complexity of what is happening moment by moment; (2) to show how a detailed multimodal analysis elucidates interactional details that are \"erased\" in the verb-vocal analysis; (3) to present a change in the understandings of the bodily actions produced by the coparticipant during the speaker\'s turn, showing how these actions should not be understood as anticipatory pre-actions of verbal disagreements, but as the first manifestations of the disagreement that is in the formation process; (4) to show how bodily actions emerge as part of a sequential organization in the course of the interaction, adding information about the type of action in development; and (5) to show how bodily actions are recurrent practices that can be defined within the interactional sequence when analyzing its temporal progression.

Recentemente, tem se percebido um interesse maior da área de computação pela pesquisa em análise de gestos. Parte dessas pesquisas visa dar suporte aos pesquisadores da área de \"estudos dos gestos\", que estuda o uso de partes do corpo para fins comunicativos. Pesquisadores dessa área analisam gestos a partir de transcrições de conversas ou discursos gravados em vídeo. Para a transcrição dos gestos, geralmente realiza-se a sua segmentação em unidades gestuais e fases. O presente trabalho tem por objetivo desenvolver estratégias para segmentação automatizada das unidades gestuais e das fases dos gestos contidos em um vídeo no contexto de contação de histórias, formulando o problema como uma tarefa de classificação supervisionada. As Máquinas de Vetores Suporte foram escolhidas como método de classificação, devido à sua capacidade de generalização e aos bons resultados obtidos para diversos problemas complexos. Máquinas de Vetores Suporte, porém, não consideram os aspectos temporais dos dados, características que são importantes na análise dos gestos. Por esse motivo, este trabalho investiga métodos de representação temporal e variações das Máquinas de Vetores Suporte que consideram raciocínio temporal. Vários experimentos foram executados neste contexto para segmentação de unidades gestuais. Os melhores resultados foram obtidos com Máquinas de Vetores Suporte tradicionais aplicadas a dados janelados. Além disso, três estratégias de classificação multiclasse foram aplicadas ao problema de segmentação das fases dos gestos. Os resultados indicam que um bom desempenho para a segmentação de gestos pode ser obtido ao realizar o treinamento da estratégia com um trecho inicial do vídeo para obter uma segmentação automatizada do restante do vídeo. Assim, os pesquisadores da área de \"estudos dos gestos\" poderiam segmentar manualmente apenas um trecho do vídeo, reduzindo o tempo necessário para realizar a análise dos gestos presentes em gravações longas. / Recently, it has been noted an increasing interest from computer science for research on gesture analysis. Some of these researches aims at supporting researchers from \"gesture studies\", which studies the use of several body parts for communicative purposes. Researchers of \"gesture studies\" analyze gestures from transcriptions of conversations and discourses recorded in video. For gesture transcriptions, gesture unit segmentation and gesture phase segmentation are usually employed. This study aims to develop strategies for automated segmentation of gestural units and phases of gestures contained in a video in the context of storytelling, formulating the problem as a supervised classification task. Support Vector Machines were selected as classification method, because of its ability to generalize and good results obtained for many complex problems. Support Vector Machines, however, do not consider the temporal aspects of data, characteristics that are important for gesture analysis. Therefore, this paper investigates methods of temporal representation and variations of the Support Vector machines that consider temporal reasoning. Several experiments were performed in this context for gesture units segmentation. The best results were obtained with traditional Support Vector Machines applied to windowed data. In addition, three strategies of multiclass classification were applied to the problem of gesture phase segmentation. The results indicate that a good performance for gesture segmentation can be obtained by training the strategy with an initial part of the video to get an automated segmentation of the rest of the video. Thus, researchers in \"gesture studies\" could manually segment only part of the video, reducing the time needed to perform the analysis of gestures contained in long recordings.

Made available in DSpace on 2015-05-14T12:43:24Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 1635919 bytes, checksum: de5111e4ceda11447df5cbe255b74d57 (MD5) Previous issue date: 2010-01-29 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / This research regards an observational, qualitative study, which involves 08 (eight) hearing children and 03 (three) deaf children, aged between 7;7 and 11;10, in spontaneous daily interactions within a 3rd year Elementary School classroom in an inclusive private school, in Arapiraca, Alagoas. Our main goal is to identify the strategies adopted by hearing children for effective communication between them and the deaf. The corpus consists basically of 08 (eight) video recordings, each including 08 (eight) 30 minute sessions, from which we selected 09 (nine) episodes for analysis. We based our research on Kinesics, Proxemics and Tacesics, as well as on some studies on gesture in the acquisition and development of oral language and in the acquisition of sign language, based on Interactional Linguistics. Our thesis is that children have the ability to adapt linguistically to their interlocutors and our main hypothesis is that when interacting with deaf children, hearing children produce gestural speech that allow them to confirm, deny, ask, describe, narrate, explain, etc. and they are developing a communicative competence in a second language Brazilian Sign Language - to the point of being able to switch between the oral and sign language in an attempt to adapt their speech to the deaf children. Our analyses confirm our thesis that the children observed have the ability to adapt linguistically to their interlocutors, and show that sign language development occurs on a gesture-to-sign continuum, where the gestures socially learned and shared by both hearing and deaf children, enable the construction of meaning and, therefore, the achievement of communication between them. / Esta pesquisa é de natureza observacional, qualitativa, e envolve 08 (oito) crianças ouvintes e 03 (três) surdas, com idades entre 7;7 e 11;10, em situações de interação rotineiras na sala de aula do 3º Ano do Ensino Fundamental, de uma escola inclusiva da rede particular, na cidade de Arapiraca, AL, buscando identificar as estratégias adotadas pelas crianças ouvintes para efetivação da comunicação entre elas e as crianças surdas. O corpus consiste, basicamente, de gravações em vídeo, totalizando 08 (oito) sessões de 30 (trinta) minutos cada, dentre as quais selecionamos 09 (nove) episódios para análise. Fundamentamos nossa investigação nos estudos sobre a cinésica, a proxêmica e a tacêsica, e em teorias, cuja abordagem linguística é interacionista, além de alguns estudos sobre o gesto na aquisição e desenvolvimento da linguagem oral e sobre a aquisição de língua de sinais. Defendemos a tese de que crianças têm a capacidade de se adaptarem linguisticamente aos seus interlocutores. Partimos da hipótese de que, na interação com crianças surdas, as crianças ouvintes produzem movimentos gestuais que lhes permitem, além de afirmar e negar, pedir, perguntar, descrever, narrar, explicar etc., desenvolver seus discursos gestuais através de retomadas, ao mesmo tempo em que estão desenvolvendo uma habilidade comunicativa em uma segunda língua a língua de sinais ao ponto de serem capazes de alternar entre a modalidade oral e a gestual, na tentativa de adaptar suas falas as das crianças surdas. Nossas análises confirmam nossa tese de que as crianças observadas têm a capacidade de se adaptarem linguisticamente aos seus interlocutores, e evidenciam que o percurso do gesto ao sinal se dá em um continuum, onde os gestos, socialmente apreendidos e compartilhados pelas crianças ouvintes e pelas crianças surdas, possibilitam a construção do sentido e, consequentemente, a concretização das interações entre elas.

A investigação da multimodalidade nas interações tem sido contemplada em campos de pesquisa cada vez mais diversos. No entanto, ainda é incipiente o entendimento de como os significados são construídos pela mobilização de múltiplas dimensões semióticas, atuando concomitantemente dentro do evento interacional. Esta tese busca contribuir para expandir esse entendimento, sobretudo, em episódios de desacordo. A Análise da Conversa, de base etnometodológica, e os Estudos dos Gestos são as linhas teóricas que balizam esta tese. Pelas contribuições da Análise da Conversa, pudemos observar como os próprios participantes se orientam uns em relação aos outros, revelando-nos os recursos mobilizados como práticas interacionais voltadas à realização e coordenação de suas ações durante a interação. Das contribuições dos Estudos dos Gestos, pudemos explorar as relações entre língua e ações gestuais e verificar o importante papel da gestualidade tanto para o estabelecimento de práticas interacionais quanto para o enquadramento das ações que estão em processo de formação. Os dados desta pesquisa compreendem vários tipos de interação realizados por falantes nativos de português brasileiro, perfazendo aproximadamente 15 horas de registros audiovisuais, coletados entre julho de 2012 e agosto de 2015. Desse material, selecionamos excertos para exemplificação teórica e 6 excertos para análise minuciosa, realizada dentro do programa ELAN, das sequências de desacordo. As análises mostram que os participantes se valem das ações gestuais como um recurso dinâmico e flexível que eles utilizam situadamente; que as ações faciais auxiliam os participantes a demonstrar suas posições e entendimentos a respeito das ações uns dos outros; que as ações gestuais dos coparticipantes produzidas em possíveis pontos de completude do turno do falante parecem ser tomadas como as primeiras manifestações das discordâncias que estão em processo de desenvolvimento; que o falante parece considerar essas ações do coparticipante para produzir seus enunciados subsequentes; que tal prática também parece servir ao propósito de oferecer ao falante uma oportunidade para promover ajustes interacionais antes que os desacordos verbais do coparticipante venham a ser produzidos. Algumas das contribuições desta tese são: (1) mostrar a necessidade de se estabelecer um padrão de transcrição multimodal que possa contemplar as várias dimensões semióticas envolvidas na interação, revelando toda a complexidade do que está acontecendo momento a momento; (2) mostrar como uma análise multimodal minuciosa elucida detalhes interacionais que ficam apagados na análise verbo-vocal; (3) apresentar uma mudança na compreensão das ações gestuais produzidas pelo coparticipante durante o turno do falante, mostrando como essas ações não devem ser entendidas como pré-ações antecipatórias de desacordos verbais, mas como primeiras manifestações da discordância em processo de formação; (4) mostrar como as ações gestuais emergem como parte de uma organização sequencial no desenrolar da interação, agregando informações a respeito do tipo de ação em desenvolvimento; e (5) mostrar como as ações gestuais são práticas recorrentes que podem ser definidas dentro da sequência interacional quando se analisa a sua progressão temporal. / Research on the multimodality of interaction is being carried out in increasingly diverse fields of studies. However, comprehension of how meanings are constructed through the deployment of multiple semiotic dimensions acting concomitantly within the interactional event is still in its infancy. This dissertation contributes to expanding this understanding specifically in episodes of disagreement. Conversation Analysis and Gesture Studies are the theoretical bases for this dissertation. By applying Conversation Analysis, we are able to observe how participants orient towards each other, revealing how resources are mobilized in interactional practices that help them coordinate and accomplish their actions during the interaction. By applying the findings of Gesture Studies, we are able to explore the relations between language and bodily actions and to verify the important role of bodily action both for the establishment of interactional practices and for the framing of action formation. Varied types of interaction, approximately 15 hours of audiovisual records, collected between July 2012 and August 2015, and performed by native speakers of Brazilian Portuguese compose the data of this research. From this material, using ELAN, we selected excerpts for theoretical exemplification and 6 excerpts for detailed analysis of sequences of disagreement. The analyses show that participants use bodily actions as a dynamic and flexible resource, locally performed; that facial actions help participants demonstrate their positions and understandings about one another\'s actions; that coparticipants bodily actions, produced at transitional-relevance places in the speaker\'s turn seem to be taken as first manifestations of disagreements that are in the process of developing; that the speaker appears to consider these coparticipant actions in producing his subsequent utterances. Such a practice also seems to serve the purpose of giving the speaker an opportunity to promote interactive adjustments before verbal disagreements of the co-participant would be produced. Some of the contributions of this dissertation are: (1) to show the need to establish a multimodal transcription pattern that can contemplate the multiple semiotic dimensions involved in the interaction, revealing all the complexity of what is happening moment by moment; (2) to show how a detailed multimodal analysis elucidates interactional details that are \"erased\" in the verb-vocal analysis; (3) to present a change in the understandings of the bodily actions produced by the coparticipant during the speaker\'s turn, showing how these actions should not be understood as anticipatory pre-actions of verbal disagreements, but as the first manifestations of the disagreement that is in the formation process; (4) to show how bodily actions emerge as part of a sequential organization in the course of the interaction, adding information about the type of action in development; and (5) to show how bodily actions are recurrent practices that can be defined within the interactional sequence when analyzing its temporal progression.

Submitted by Marta Toyoda (1144061@mackenzie.br) on 2018-02-21T21:59:22Z No. of bitstreams: 2 Leonardo Ramon Nunes de Sousa.pdf: 13170414 bytes, checksum: e9cda55f27f08db02fde78d4472ea58b (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Paola Damato (repositorio@mackenzie.br) on 2018-02-22T13:45:12Z (GMT) No. of bitstreams: 2 Leonardo Ramon Nunes de Sousa.pdf: 13170414 bytes, checksum: e9cda55f27f08db02fde78d4472ea58b (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2018-02-22T13:45:12Z (GMT). No. of bitstreams: 2 Leonardo Ramon Nunes de Sousa.pdf: 13170414 bytes, checksum: e9cda55f27f08db02fde78d4472ea58b (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2017-08-02 / Fundo Mackenzie de Pesquisa / Gestural interfaces-based computational tools can be more suitable than other kinds of interfaces during the learning of handwriting for children with Developmental Coordination Disorder (DCD). The gestural interfaces are able to reduce the difficulties of these individuals because they do not require physical contact and they dispense efforts of fine motor movements needed to perform calligraphy and also because they serve as motivation and they are more intuitive than the touch and graphical user interface. This thesis deals with concepts of Development Coordination Disorder and Human-Computer Interaction Principles and it proposes a conceptual framework with a set of specific guidelines of software for the development of gestural interfaces for calligraphy learning of children with DCD. It contains 25 guidelines in 3 stages — design, development and evaluation. This framework takes into account the characteristics of this disorder and recognition of fine movements technologies. It makes the proposed guidelines are related to each other and they can support the creation of appropriate gestural interfaces to assist these children in this school stage. With this 25 guidelines, we developed the TDCApp application for Leap motion. After, we used in 26 individuals the SAM (Motor Assessment Screening) Test for identifying children with DCD in Teresina (PI) and contacted with others 4 children with diagnostic of DCD in Jaú (SP). In this total of 30 children, only 6 participated of the interface acceptability test (TDCApp Test), that assessed whether handwriting learning was appropriate. We used the qualitative evaluation with a phenomenological approach, idiographic and nomothetic analysis for to realize that the majority of the guidelines were implemented and others did not address all the needs of this children in handwriting learning. For this, we suggested that organize and reformulate this guidelines. During the research development in 3 phases (screening of children with DCD, computer application development and test execution), we must to work with other professionals for to help in the understanding of all the characteristics of these children and compliance with the guidelines passed by the framework. / Ferramentas computacionais que se utilizam de interfaces gestuais podem ser mais adequadas na aprendizagem de caligrafia de crianças com Transtorno do Desenvolvimento da Coordenação (TDC) que os outros tipos. As interfaces gestuais são capazes de diminuir as dificuldades desses sujeitos por não necessitarem de contato físico e dispensarem maiores esforços dos movimentos motores finos necessários para a realização da caligrafia, além de servirem como fator motivacional e serem mais intuitivas que as interfaces sensíveis ao toque e as baseadas em apontamento. Esta tese aborda conceitos do TDC e de Princípios de Interação Humano-Computador para, assim, propor um framework conceitual com um conjunto de diretrizes específicas de software para a elaboração de interfaces gestuais que visam a aprendizagem de caligrafia de crianças com TDC. Contendo 25 guidelines e divididas em 3 fases — projeto (design), desenvolvimento e avaliação, este modelo leva em consideração as características deste distúrbio e das tecnologias de reconhecimento de movimentos finos, fazendo com que todas as recomendações propostas tenham relação entre si e possam apoiar a criação de interfaces gestuais adequadas para assistirem estas crianças neste período escolar de alfabetização. Baseando-se no modelo proposto com suas 25 orientações, desenvolveu-se o aplicativo TDCApp para ser usado com o dispositivo Leap motion. Em seguida, aplicou-se o Teste Screening de Avaliação Motora (SAM) em 26 crianças na cidade de Teresina (PI) para rastreamento de risco do TDC e se teve contato com outras 4 crianças diagnosticadas com TDC em Jaú (SP). Desse total de 30 indivíduos contatados, apenas 6 participaram do teste de aceitabilidade da interface (Teste TDCApp), que julgaram o quanto o aplicativo era adequado na aprendizagem de caligrafia das crianças de risco ou com TDC. Avaliando-se qualitativamente os testes realizados por meio de uma abordagem fenomenológica, percebeu-se mediante análises ideográfica e nomotética, que a maioria das diretrizes sugeridas foram implementadas no aplicativo. Algumas, porém, não contemplaram as especificidades destas crianças em fase de aprendizagem de caligrafia, necessitando-se de adaptações e/ou reformulações. Compreendeu-se também durante o desenvolvimento da pesquisa que, nas fases de rastreamento das crianças com TDC, desenvolvimento da aplicação computacional e execução dos testes, devem estar presentes um conjunto de profissionais para ajudar no entendimento de todas as características destes sujeitos e cumprimento das diretrizes passadas pelo framework conceitual.

Submitted by João Arthur Martins (joao.arthur@ufpe.br) on 2015-03-10T18:31:31Z No. of bitstreams: 2 Dissertação Filipe Carlos De Albuquerque Calegario.pdf: 5927675 bytes, checksum: 052e513854d4c99d80c0dd6f9fd70177 (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) / Made available in DSpace on 2015-03-11T17:43:47Z (GMT). No. of bitstreams: 2 Dissertação Filipe Carlos De Albuquerque Calegario.pdf: 5927675 bytes, checksum: 052e513854d4c99d80c0dd6f9fd70177 (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Previous issue date: 2013-02-22 / Novas interfaces estão mudando a forma como interagimos com as máquinas e isto é particularmente importante para o campo da música. Estas novas tecnologias abrem um grande leque de possibilidades para a criação de Instrumentos Musicais Digitais (DMIs), que são sistemas compostos por módulo de entrada, módulo de saída e uma estratégia de mapeamento conectando tais módulos. Ao contrário dos instrumentos acústicos, que impõem restrições físicas à sua fabricação, os DMIs permitem uma maior liberdade na sua construção. Paradoxalmente, esta vantagem pode se tornar um problema, pois não existem métodos ou ferramentas para guiar o designer ou luthier na definição de qual mapeamento é mais adequado entre entradas e saídas de um DMI. Seguindo a definição que o usuário é a força motriz da inovação e que a tendência do Movimento Maker mostra que, atualmente, tal usuário não é apenas um consumidor passivo de produtos, por que não fornecer aos músicos e artistas o poder de definir suas próprias estratégias de mapeamento e assim construir seu DMI? Neste contexto, a prototipação, conceito bastante importante no Design, se mostra como uma possível solução para o problema do mapeamento, permitindo que os usuários possam experimentar a adequação de entradas, saídas e mapeamentos diversos na criação de seu próprio DMI. Alguns sistemas musicais já permitem prototipação de DMIs (ex.: Pure Data, Max/MSP, Chuck, SuperCollider etc.), porém a maioria ainda precisa de um alto nível técnico para se chegar a um resultado não trivial. Este Projeto apresenta o Sketchument, um ambiente de experimentação de fácil utilização, voltado para o público não técnico, que permite que o usuário prototipe e crie DMIs, usando múltiplas entradas, saídas e mapeamentos. De protótipos de baixa fidelidade a protótipos funcionais, passando por avaliações por questionário e entrevista, o Sketchument tem sido desenvolvido seguindo a mesma filosofia de prototipação que ele se propõe a prover. O processo cíclico de concepção, implementação e avaliação tem produzido importantes resultados a partir dos potenciais usuários, que são bastante úteis para dar suporte às decisões de projeto e, assim, permitir modificações e melhoramentos.