Submitted by Luciana Ferreira (lucgeral@gmail.com) on 2016-02-18T08:08:52Z No. of bitstreams: 2 Dissertação - Thyago Peres Carvalho - 2015.pdf: 7596482 bytes, checksum: ecea89258dff2ed3c5eb4038bb4f3967 (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2016-02-18T08:10:31Z (GMT) No. of bitstreams: 2 Dissertação - Thyago Peres Carvalho - 2015.pdf: 7596482 bytes, checksum: ecea89258dff2ed3c5eb4038bb4f3967 (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Made available in DSpace on 2016-02-18T08:10:31Z (GMT). No. of bitstreams: 2 Dissertação - Thyago Peres Carvalho - 2015.pdf: 7596482 bytes, checksum: ecea89258dff2ed3c5eb4038bb4f3967 (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) Previous issue date: 2015-10-09 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / This paper proposes a method to support the teaching-learning fist gestures in the piano music performance, using tracking and recognition of fist movements in executions of musical piano excerpts. For this, a system was built by means of computer vision techniques, aiming to present to the student videos produced to verify the execution of the exercise by the learner and aims to provide data related to performance. The system also uses the same computer vision techniques for the generation of the proposed exercises to class by the tutor in order to support the production of educational material as well. To recognize gestures, the system uses a regular low cost webcam, and from a colored marker on the back of the musician’s hand, the wrist movements are detected and tracked. A multidimensional dynamic time warping algorithm (MD-DTW) was used in order to develop this tool, which is an n-dimensional version of Dynamic Time Warping (DTW). In the work sequence, three rounds of experiments were performed, being the first of which to adjust the system parameters from video excerpts performed by an expert trainer. The second and third step assessed, respectively, the learning gain of piano students to the proposed method and system usability. The experiments were performed on volunteers with musical reading skills, however, without requiring minimum technical domain while playing the piano. The results of these tests showed that in addition to the method being able to detect and recognize successful gestures, the volunteers presented learning gain within middle range, which shows that this is a very promising method. In addition, usability testing revealed that the implemented interface, is well suited and has reached good satisfaction results among the volunteers. As a result, it can be said that the method and the proposed prototype demonstrate the potential of these tools in transferring techniques, such as musical performance gestures in a piano teachinglearning environment. / Este trabalho propõe um método de apoio ao ensino-aprendizagem de gestos de punho na execução musical ao piano, utilizando o rastreamento e reconhecimento de movimentos de punho na execução de excertos musicais ao piano. Para isso, um sistema foi construído, por meio de técnicas de visão computacional, visando apresentar ao aluno vídeos produzidos para verificar a execução do exercício pelo aprendiz, bem como visa fornecer dados relacionados ao desempenho. O sistema também utiliza as mesmas técnicas de visão computacional para a geração, pelo tutor, dos exercícios propostos para a aula, de modo a apoiar também na produção de material didático. Para reconhecer gestos, o sistema utiliza uma câmera regular de baixo custo, webcam, e, a partir de um marcador colorido no dorso da mão do músico, os movimentos de punho são detectados e rastreados. Para desenvolver essa ferramenta, foi utilizado o algoritmo Multidimensional Dynamic Time Warping (MD-DTW), que é uma versão n-dimensional do Dynamic Time Warping (DTW). Na sequência do trabalho, foram realizadas três etapas de experimentos, sendo que a primeira foi para ajustar os parâmetros do sistema a partir de vídeos dos excertos realizados por um instrutor especialista. A segunda e terceira etapa avaliam, respectivamente, o ganho de aprendizagem dos estudantes de piano com o método proposto e a usabilidade do sistema. Os experimentos foram realizados com voluntários com conhecimentos de leitura musical, porém, sem exigir limite mínimo de domínio de técnica ao tocar o piano. Os resultados desses testes mostraram que, além de o método ser capaz de detectar e reconhecer gestos com sucesso, os voluntários apresentaram ganho de aprendizagem na faixa média, o que demonstra ser esse um método bastante promissor. Além disso, o teste de usabilidade revelou que a interface implementada, é adequada e obteve bons resultados de satisfação entre os voluntários. Em virtude disso, pode-se afirmar que o método e o protótipo propostos demonstram o potencial dessas ferramentas no repasse de técnicas, como as de gestos de execução musical, em um ambiente de ensino-aprendizagem de piano.