Submitted by Marcelo Machado (marcelo.chamy@icomp.ufam.edu.br) on 2018-09-28T19:34:42Z
No. of bitstreams: 3
license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5)
_dissertacao_MarceloChamy_2018_versao_final.pdf: 6880495 bytes, checksum: 5006699b235a438f9ffef67b4013e2fa (MD5)
Folha_de_Aprovacao.pdf: 329467 bytes, checksum: a5d4697348f9714ffcbcab61af88f22c (MD5) / Approved for entry into archive by Secretaria PPGI (secretariappgi@icomp.ufam.edu.br) on 2018-10-01T17:46:07Z (GMT) No. of bitstreams: 3
license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5)
_dissertacao_MarceloChamy_2018_versao_final.pdf: 6880495 bytes, checksum: 5006699b235a438f9ffef67b4013e2fa (MD5)
Folha_de_Aprovacao.pdf: 329467 bytes, checksum: a5d4697348f9714ffcbcab61af88f22c (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2018-10-01T19:23:04Z (GMT) No. of bitstreams: 3
license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5)
_dissertacao_MarceloChamy_2018_versao_final.pdf: 6880495 bytes, checksum: 5006699b235a438f9ffef67b4013e2fa (MD5)
Folha_de_Aprovacao.pdf: 329467 bytes, checksum: a5d4697348f9714ffcbcab61af88f22c (MD5) / Made available in DSpace on 2018-10-01T19:23:04Z (GMT). No. of bitstreams: 3
license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5)
_dissertacao_MarceloChamy_2018_versao_final.pdf: 6880495 bytes, checksum: 5006699b235a438f9ffef67b4013e2fa (MD5)
Folha_de_Aprovacao.pdf: 329467 bytes, checksum: a5d4697348f9714ffcbcab61af88f22c (MD5)
Previous issue date: 2018-08-27 / The automatic translation of the Brasilian Sign Languagem (LIBRAS) into Portuguese is
a very complex problem, due to the peculiarities and characteristics of this sign language.
Several researches have already been carried out and important results have been obtained.
However, most of the proposed methods recognize only letters and numbers, or a reduced
number of words. In addition, due to such limitations, the results of these researches
are still insufficient to enable communication with deaf people without the dependency
of interpreters, and basic services such as education and health need these professionals
to meet the demand for care of the hearing impaired. Another problem faced on trying
to envision solutions is the lack of a public database containing a significant number
of signals, labeled by experts in this area. Finally, deep learning techniques have been
used to solve many computer vision problems, but we have not found any work directly
related to the automatic classification of LIBRAS. In light of these observations, this work
uses a method based on deep convolutional 3D neural network, extracted spatiotemporal
characteristics, strategy of transfer learning and depth data associated with RGB, to
perform the classification of the most common LIBRAS signs used in the literacy of deaf
people. In addition, another important contribution is the generated labeled database,
composed of 510 instances, all representing dynamic signals, given that there is no LIBRAS
database available with such an amount of samples. / A tradução automática da Língua Brasileira de Sinais (LIBRAS) para o português é um
problema bastante complexo, devido às particularidades e características desta linguagem
de sinais. Diversas pesquisas já foram realizadas e resultados importantes foram obtidos.
Porém, a maioria dos métodos propostos reconhece somente letras e números, ou uma
quantidade reduzida de palavras. Além disso, devido a essas limitações, os resultados
dessas pesquisas ainda não são suficientes para tornar possível a comunicação com os
surdos sem a dependência de intérpretes, e os serviços básicos como educação e saúde
necessitam desses profissionais para suprirem a demanda de atendimento a deficientes
auditivos. Outro problema enfrentado ao tentar vislumbrar soluções é a inexistência de
uma base de dados pública que contenha um número significativo de sinais rotulados por
especialistas desta área. Por fim, técnicas de aprendizado profundo têm sido utilizadas para
resolver muitos problemas de visão computacional, mas não foram encontrados trabalhos
diretamente relacionados à classificação automática da LIBRAS utilizando tais técnicas.
Diante dessas observações, este trabalho utiliza um método baseado em rede neural
profunda convolutiva em 3 dimensões (3D), características espaços-temporais extraídas,
estratégia de transferência de aprendizado e dados de profundidade associados aos do tipo
Red, Green, Blue (RGB), para realizar a classificação dos sinais da LIBRAS mais comuns
empregados na alfabetização de surdos. Além disso, outra contribuição importante é a
base de dados gerada e rotulada, composta por 510 instâncias, todas representando sinais
dinâmicos, dada a inexistência de bases de vídeos da LIBRAS com essa quantidade de
amostras.
| Identifer | oai:union.ndltd.org:IBICT/oai:http://localhost:tede/6645 |
| Date | 27 August 2018 |
| Creators | Machado, Marcelo Chamy, 92 98112-4545 |
| Contributors | emsantos@icomp.ufam.edu.br, Santos, Eulanda Miranda dos, Carvalho, José Reginaldo Hughes, Souto, Eduardo James Pereira, Pio, José Luiz de Souza |
| Publisher | Universidade Federal do Amazonas, Programa de Pós-graduação em Informática, UFAM, Brasil, Instituto de Computação |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | English |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Format | application/pdf |
| Source | reponame:Biblioteca Digital de Teses e Dissertações da UFAM, instname:Universidade Federal do Amazonas, instacron:UFAM |
| Rights | http://creativecommons.org/licenses/by-nc-sa/4.0/, info:eu-repo/semantics/openAccess |
| Relation | 1052477850274827528, 500 |
Page generated in 0.0029 seconds