Submitted by Isaac Francisco de Souza Dias (isaac.souzadias@ufpe.br) on 2016-04-22T19:16:44Z
No. of bitstreams: 2
license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5)
DISSERTAÇÃO Davi Hirafuji Neiva.pdf: 3977130 bytes, checksum: 14ac8dc4d1aa0a77593793c86b5e14c6 (MD5) / Made available in DSpace on 2016-04-22T19:16:44Z (GMT). No. of bitstreams: 2
license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5)
DISSERTAÇÃO Davi Hirafuji Neiva.pdf: 3977130 bytes, checksum: 14ac8dc4d1aa0a77593793c86b5e14c6 (MD5)
Previous issue date: 2015-08-28 / Na sociedade contemporânea existe uma forte campanha pela acessibilidade e pela inclusão de pessoas com deficiências. No Brasil há em torno de 9 milhões de surdos que usam a Linguagem Brasileira de Sinais (LIBRAS) e enfrentam diversas barreiras de comunicação. Várias iniciativas de aplicativos móveis proveem tradução entre LIBRAS e Português, porém a comunicação entre surdos de diferentes nacionalidades permanece um desafio. Este trabalho tem como objetivo propor um sistema que permita a pessoas surdas de diferentes nacionalidades se comunicarem através de sinais. Para isso, um aplicativo móvel captura gestos pela câmera e se comunica com um servidor web, que identifica o sinal através de uma rede neural artificial ELM (Extreme Learning Machine). O pré-processamento das imagens, para permitir que o sinal realizado pela mão seja isolado, combina técnicas de visão computacional como detecção de bordas, algoritmo de balde e uso de máscara para remoção do plano de fundo. O sistema também provê uma interface web para cadastro de sinais pelos usuários, permitindo a construção colaborativa da base de sinais internacional. Assim, o presente trabalho propõe uma abordagem inovadora para comunicação entre surdos de diferentes nacionalidades, aliada a uma plataforma colaborativa para construção da base de sinais, que pode também ajudar os surdos a aprenderem outras linguagens de sinais diferentes da sua. / Nowadays much has been done for accessibility and inclusion of people with disabilities using technology. In Brazil, there are approximately 9 million of deaf people that uses the Brazilian Sign Language (LIBRAS) e go through various communication barriers. There are some applications that provide a translation between LIBRAS and Portuguese, but communication between deaf people among different nationalities, using different sign languages, is still a great challenge. This research aims to provide a system that allows deaf people from different nationalities communicate with each other using their own sign language. In order to accomplish this, a mobile application captures gestures through the use of its camera and communicates with a web server, who identifies o sign using an artificial neural network ELM – Extreme Learning Machine. Images are processed in order to isolate the hand by combining computer vision technics like edge detection, bucket fill algorithm and masks to remove the background information. The system also provides a web interface to register new gestures as well as upload new images for a specific gesture, thus creating a collaborative gesture database. The present work purposes a novel approach for communication between deaf people with different nationalities combined with a collaborative platform to create the gestures database that can not only translate between different sign languages, but motivate deaf people to learn a different sign language.
| Identifer | oai:union.ndltd.org:IBICT/oai:repositorio.ufpe.br:123456789/16778 |
| Date | 28 August 2015 |
| Creators | NEIVA, Davi Hirafuji |
| Contributors | ZANCHETTIN, Cleber |
| Publisher | Universidade Federal de Pernambuco, Programa de Pos Graduacao em Ciencia da Computacao, UFPE, Brasil |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | English |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Source | reponame:Repositório Institucional da UFPE, instname:Universidade Federal de Pernambuco, instacron:UFPE |
| Rights | Attribution-NonCommercial-NoDerivs 3.0 Brazil, http://creativecommons.org/licenses/by-nc-nd/3.0/br/, info:eu-repo/semantics/openAccess |
Page generated in 0.0021 seconds