Submitted by Marcelo Machado (marcelo.chamy@icomp.ufam.edu.br) on 2018-09-28T19:34:42Z No. of bitstreams: 3 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) _dissertacao_MarceloChamy_2018_versao_final.pdf: 6880495 bytes, checksum: 5006699b235a438f9ffef67b4013e2fa (MD5) Folha_de_Aprovacao.pdf: 329467 bytes, checksum: a5d4697348f9714ffcbcab61af88f22c (MD5) / Approved for entry into archive by Secretaria PPGI (secretariappgi@icomp.ufam.edu.br) on 2018-10-01T17:46:07Z (GMT) No. of bitstreams: 3 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) _dissertacao_MarceloChamy_2018_versao_final.pdf: 6880495 bytes, checksum: 5006699b235a438f9ffef67b4013e2fa (MD5) Folha_de_Aprovacao.pdf: 329467 bytes, checksum: a5d4697348f9714ffcbcab61af88f22c (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2018-10-01T19:23:04Z (GMT) No. of bitstreams: 3 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) _dissertacao_MarceloChamy_2018_versao_final.pdf: 6880495 bytes, checksum: 5006699b235a438f9ffef67b4013e2fa (MD5) Folha_de_Aprovacao.pdf: 329467 bytes, checksum: a5d4697348f9714ffcbcab61af88f22c (MD5) / Made available in DSpace on 2018-10-01T19:23:04Z (GMT). No. of bitstreams: 3 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) _dissertacao_MarceloChamy_2018_versao_final.pdf: 6880495 bytes, checksum: 5006699b235a438f9ffef67b4013e2fa (MD5) Folha_de_Aprovacao.pdf: 329467 bytes, checksum: a5d4697348f9714ffcbcab61af88f22c (MD5) Previous issue date: 2018-08-27 / The automatic translation of the Brasilian Sign Languagem (LIBRAS) into Portuguese is a very complex problem, due to the peculiarities and characteristics of this sign language. Several researches have already been carried out and important results have been obtained. However, most of the proposed methods recognize only letters and numbers, or a reduced number of words. In addition, due to such limitations, the results of these researches are still insufficient to enable communication with deaf people without the dependency of interpreters, and basic services such as education and health need these professionals to meet the demand for care of the hearing impaired. Another problem faced on trying to envision solutions is the lack of a public database containing a significant number of signals, labeled by experts in this area. Finally, deep learning techniques have been used to solve many computer vision problems, but we have not found any work directly related to the automatic classification of LIBRAS. In light of these observations, this work uses a method based on deep convolutional 3D neural network, extracted spatiotemporal characteristics, strategy of transfer learning and depth data associated with RGB, to perform the classification of the most common LIBRAS signs used in the literacy of deaf people. In addition, another important contribution is the generated labeled database, composed of 510 instances, all representing dynamic signals, given that there is no LIBRAS database available with such an amount of samples. / A tradução automática da Língua Brasileira de Sinais (LIBRAS) para o português é um problema bastante complexo, devido às particularidades e características desta linguagem de sinais. Diversas pesquisas já foram realizadas e resultados importantes foram obtidos. Porém, a maioria dos métodos propostos reconhece somente letras e números, ou uma quantidade reduzida de palavras. Além disso, devido a essas limitações, os resultados dessas pesquisas ainda não são suficientes para tornar possível a comunicação com os surdos sem a dependência de intérpretes, e os serviços básicos como educação e saúde necessitam desses profissionais para suprirem a demanda de atendimento a deficientes auditivos. Outro problema enfrentado ao tentar vislumbrar soluções é a inexistência de uma base de dados pública que contenha um número significativo de sinais rotulados por especialistas desta área. Por fim, técnicas de aprendizado profundo têm sido utilizadas para resolver muitos problemas de visão computacional, mas não foram encontrados trabalhos diretamente relacionados à classificação automática da LIBRAS utilizando tais técnicas. Diante dessas observações, este trabalho utiliza um método baseado em rede neural profunda convolutiva em 3 dimensões (3D), características espaços-temporais extraídas, estratégia de transferência de aprendizado e dados de profundidade associados aos do tipo Red, Green, Blue (RGB), para realizar a classificação dos sinais da LIBRAS mais comuns empregados na alfabetização de surdos. Além disso, outra contribuição importante é a base de dados gerada e rotulada, composta por 510 instâncias, todas representando sinais dinâmicos, dada a inexistência de bases de vídeos da LIBRAS com essa quantidade de amostras.