Submitted by Luciana Ferreira (lucgeral@gmail.com) on 2016-02-18T08:08:52Z
No. of bitstreams: 2
Dissertação - Thyago Peres Carvalho - 2015.pdf: 7596482 bytes, checksum: ecea89258dff2ed3c5eb4038bb4f3967 (MD5)
license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2016-02-18T08:10:31Z (GMT) No. of bitstreams: 2
Dissertação - Thyago Peres Carvalho - 2015.pdf: 7596482 bytes, checksum: ecea89258dff2ed3c5eb4038bb4f3967 (MD5)
license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Made available in DSpace on 2016-02-18T08:10:31Z (GMT). No. of bitstreams: 2
Dissertação - Thyago Peres Carvalho - 2015.pdf: 7596482 bytes, checksum: ecea89258dff2ed3c5eb4038bb4f3967 (MD5)
license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5)
Previous issue date: 2015-10-09 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / This paper proposes a method to support the teaching-learning fist gestures in the piano
music performance, using tracking and recognition of fist movements in executions
of musical piano excerpts. For this, a system was built by means of computer vision
techniques, aiming to present to the student videos produced to verify the execution
of the exercise by the learner and aims to provide data related to performance. The
system also uses the same computer vision techniques for the generation of the proposed
exercises to class by the tutor in order to support the production of educational material
as well. To recognize gestures, the system uses a regular low cost webcam, and from a
colored marker on the back of the musician’s hand, the wrist movements are detected and
tracked. A multidimensional dynamic time warping algorithm (MD-DTW) was used in
order to develop this tool, which is an n-dimensional version of Dynamic Time Warping
(DTW). In the work sequence, three rounds of experiments were performed, being the
first of which to adjust the system parameters from video excerpts performed by an
expert trainer. The second and third step assessed, respectively, the learning gain of piano
students to the proposed method and system usability. The experiments were performed
on volunteers with musical reading skills, however, without requiring minimum technical
domain while playing the piano. The results of these tests showed that in addition to the
method being able to detect and recognize successful gestures, the volunteers presented
learning gain within middle range, which shows that this is a very promising method.
In addition, usability testing revealed that the implemented interface, is well suited and
has reached good satisfaction results among the volunteers. As a result, it can be said
that the method and the proposed prototype demonstrate the potential of these tools
in transferring techniques, such as musical performance gestures in a piano teachinglearning
environment. / Este trabalho propõe um método de apoio ao ensino-aprendizagem de gestos de punho na
execução musical ao piano, utilizando o rastreamento e reconhecimento de movimentos
de punho na execução de excertos musicais ao piano. Para isso, um sistema foi construído,
por meio de técnicas de visão computacional, visando apresentar ao aluno vídeos produzidos
para verificar a execução do exercício pelo aprendiz, bem como visa fornecer dados
relacionados ao desempenho. O sistema também utiliza as mesmas técnicas de visão
computacional para a geração, pelo tutor, dos exercícios propostos para a aula, de modo a
apoiar também na produção de material didático. Para reconhecer gestos, o sistema utiliza
uma câmera regular de baixo custo, webcam, e, a partir de um marcador colorido no dorso
da mão do músico, os movimentos de punho são detectados e rastreados. Para desenvolver
essa ferramenta, foi utilizado o algoritmo Multidimensional Dynamic Time Warping
(MD-DTW), que é uma versão n-dimensional do Dynamic Time Warping (DTW). Na
sequência do trabalho, foram realizadas três etapas de experimentos, sendo que a primeira
foi para ajustar os parâmetros do sistema a partir de vídeos dos excertos realizados
por um instrutor especialista. A segunda e terceira etapa avaliam, respectivamente, o ganho
de aprendizagem dos estudantes de piano com o método proposto e a usabilidade do
sistema. Os experimentos foram realizados com voluntários com conhecimentos de leitura
musical, porém, sem exigir limite mínimo de domínio de técnica ao tocar o piano. Os
resultados desses testes mostraram que, além de o método ser capaz de detectar e reconhecer
gestos com sucesso, os voluntários apresentaram ganho de aprendizagem na faixa
média, o que demonstra ser esse um método bastante promissor. Além disso, o teste de
usabilidade revelou que a interface implementada, é adequada e obteve bons resultados de
satisfação entre os voluntários. Em virtude disso, pode-se afirmar que o método e o protótipo
propostos demonstram o potencial dessas ferramentas no repasse de técnicas, como
as de gestos de execução musical, em um ambiente de ensino-aprendizagem de piano.
| Identifer | oai:union.ndltd.org:IBICT/oai:repositorio.bc.ufg.br:tede/5234 |
| Date | 09 October 2015 |
| Creators | Carvalho, Thyago Peres |
| Contributors | Soares, Fabrízzio Alphonsus Alves de Melo Nunes, Costa, Carlos H. C. R., Soares, Fabrízzio Alphonsus Alves de Melo Nunes, Costa, Carlos H. C. R., Laureano, Gustavo Teodoro, Fleury, Cláudio Afonso |
| Publisher | Universidade Federal de Goiás, Programa de Pós-graduação em Ciência da Computação (INF), UFG, Brasil, Instituto de Informática - INF (RG) |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Format | application/pdf |
| Source | reponame:Biblioteca Digital de Teses e Dissertações da UFG, instname:Universidade Federal de Goiás, instacron:UFG |
| Rights | http://creativecommons.org/licenses/by-nc-nd/4.0/, info:eu-repo/semantics/openAccess |
| Relation | -3303550325223384799, 600, 600, 600, 600, -7712266734633644768, 3671711205811204509, 2075167498588264571 |
Page generated in 0.0033 seconds