Submitted by Fabio Sobreira Campos da Costa (fabio.sobreira@ufpe.br) on 2017-08-31T14:14:14Z No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) Dissertação-Mariana-Gonçalves.pdf: 2227483 bytes, checksum: b7d8c5a2d8b5413ba4b7deb0487b279f (MD5) / Made available in DSpace on 2017-08-31T14:14:14Z (GMT). No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) Dissertação-Mariana-Gonçalves.pdf: 2227483 bytes, checksum: b7d8c5a2d8b5413ba4b7deb0487b279f (MD5) Previous issue date: 2016-02-26 / CNPQ / Gesture is a form of non-verbal communication using various body parts, mostly hand and face. It is the oldest method of communication used by humans becoming essential. By existing for a long time, the use of gestures is natural in interaction between humans, which means that its use does not cause awkwardness between people. Since the rise of technologies such as the computer, scientists have been looking for the best ways to enable the interaction of man with these machines. The gestures are presented as an valuable option because they are common to human beings and simple to be realized. Several devices began to be developed in order to be able to identify sets of gestures made by people and enabling, thus, new interactions. These sets of gestures tend to be generated by scientists themselves, by test users or even movies, are sometimes used as a means to inspire researchers. However, it is important to note that do not necessarily gestures are the best alternative to human-computer interaction. Science fiction movies (sci-fi) are one of the sources from which researchers extract ideas for new ways of interaction. The fact that they are being presented and followed around the world makes interactions found in sci-fi movies more accessible and easy to be accepted by the final public. Movies like Minority Report (1995) inspired and inspire many researchers in the search for a perfect interaction system, as the one shown in the film. Movies are a tool used by film producers to predict their own future visions that are harvested by researchers to be tested and, if produce good results, introduced in the market. By owning several sources of appearance, the hand gestures used in human-machine interactions, generally do not have a certain pattern. Each researcher and film producer gives the gesture interpretation what they believe to be the most appropriate. Thus, it is not difficult to find identical hand gestures generating distinct interactions. In this context, the work presented in this dissertation aims to collect and expose aspects to hand gestures found in science fiction films and papers published in scientific databases. For this, questions such as "Where does the gesture come from?", "What does it mean?", "How is it done?" and “What is it good for?” are answered through mappings that were performed using found hand gestures and sorting them into categories able to respond how hand gestures are being used either by researchers or by film producers. / O gesto é uma forma de comunicação não verbal utilizando várias partes do corpo, principalmente mãos e face. É o método mais antigo de comunicação utilizado pelos seres humanos tornando-se imprescindível. Por existir há muito tempo, o uso de gestos é natural na interação entre humanos, o que quer dizer que seu uso não provoca estranheza entre as pessoas. Desde o surgimento de tecnologias como o computador, cientistas têm procurado as melhores maneiras de possibilitar a interação do homem com essas máquinas. Os gestos se apresentaram como uma opção valiosa, pois são comuns aos seres humanos e simples de serem realizados. Diversos dispositivos começaram a ser desenvolvidos no intuito de conseguir identificar conjuntos de gestos realizados pelas pessoas e viabilizar, assim, novas interações. Esses conjuntos de gestos tendem a ser gerados pelos próprios cientistas, por usuários de teste ou até mesmo por filmes, utilizados por vezes como meio de inspirar os pesquisadores. No entanto, é importante salientar que não necessariamente gestos são a melhor alternativa na interação homem-computador. Filmes de ficção científica (sci-fi) são uma das fontes de onde pesquisadores extraem ideias para novos modos de interação. O fato de estarem sendo apresentadas e acompanhadas por todo o mundo torna as interações encontradas em filmes de sci-fi mais acessíveis e fáceis de serem aceitas pelo público final. Filmes como Minority Report (1995) inspiraram e inspiram muitos pesquisadores na busca de um sistema de perfeita interação, como mostrado no filme. O cinema é uma ferramenta utilizada pelos produtores de filmes para predizer suas próprias visões de futuro que são colhidas por pesquisadores para serem testadas e, se produzirem bons resultados, introduzidas no mercado. Por possuir diversas fontes de surgimento, os gestos de mão utilizados nas interações humano-máquina, geralmente, não possuem um padrão determinado. Cada pesquisador ou produtor de filme dá ao gesto a interpretação que acredita ser a mais adequada. Assim, não é difícil encontrar gestos de mão idênticos gerando interações distintas. Neste contexto, o trabalho apresentado nesta dissertação tem por objetivo coletar e expor aspectos relacionados a gestos de mão encontrados em filmes de ficção científica e em trabalhos publicados em bases de dados científicas. Para isso, perguntas como “de onde o gesto vem?”, “o que o gesto significa?”, “como o gesto é realizado?” e “para que o gesto é bom?” são respondidas através de mapeamentos que foram realizados utilizando os gestos de mão encontrados e classificando-os em categorias capazes de responder como os gestos de mão estão sendo utilizados seja por pesquisadores ou por produtores de cinema.

O objetivo deste trabalho é criar uma metodologia capaz de reconhecer gestos de mãos, a partir de imagens dinâmicas, para interagir com sistemas. Após a captação da imagem, a segmentação ocorre nos pixels pertencentes às mãos que são separados do fundo pela segmentação pela subtração do fundo e filtragem de cor de pele. O algoritmo de reconhecimento é baseado somente em contornos, possibilitando velocidade para se trabalhar em tempo real. A maior área da imagem segmentada é considerada como região da mão. As regiões detectadas são analisadas para determinar a posição e a orientação da mão. A posição e outros atributos das mãos são rastreados quadro a quadro para distinguir um movimento da mão em relação ao fundo e de outros objetos em movimento, e para extrair a informação do movimento para o reconhecimento de gestos. Baseado na posição coletada, movimento e indícios de postura são calculados para reconhecimento um gesto significativo. / The purpose of this paper is to develop a methodology able to recognize hand gestures from dynamic images to interact with systems. After the image capture segmentation takes place where pixels belonging to the hands are separated from the background based on skin-color segmentation and background extraction. The image preprocessing can be applied before the edge detection. The recognition algorithm uses edges only; therefore it is quick enough for real time. The largest blob from the segmented image will be considered as the hand region. The detected regions are analyzed to determine position and orientation of the hand for each frame. The position and other attributes of the hands are tracked per frame to distinguish a movement from the hand in relation to the background and from other objects in movement, and to extract the information of the movement for the recognition of dynamic gestures. Based in the collected position, movement and indications of position are calculated to recognize a significant gesture.

O objetivo deste trabalho é criar uma metodologia capaz de reconhecer gestos de mãos, a partir de imagens dinâmicas, para interagir com sistemas. Após a captação da imagem, a segmentação ocorre nos pixels pertencentes às mãos que são separados do fundo pela segmentação pela subtração do fundo e filtragem de cor de pele. O algoritmo de reconhecimento é baseado somente em contornos, possibilitando velocidade para se trabalhar em tempo real. A maior área da imagem segmentada é considerada como região da mão. As regiões detectadas são analisadas para determinar a posição e a orientação da mão. A posição e outros atributos das mãos são rastreados quadro a quadro para distinguir um movimento da mão em relação ao fundo e de outros objetos em movimento, e para extrair a informação do movimento para o reconhecimento de gestos. Baseado na posição coletada, movimento e indícios de postura são calculados para reconhecimento um gesto significativo. / The purpose of this paper is to develop a methodology able to recognize hand gestures from dynamic images to interact with systems. After the image capture segmentation takes place where pixels belonging to the hands are separated from the background based on skin-color segmentation and background extraction. The image preprocessing can be applied before the edge detection. The recognition algorithm uses edges only; therefore it is quick enough for real time. The largest blob from the segmented image will be considered as the hand region. The detected regions are analyzed to determine position and orientation of the hand for each frame. The position and other attributes of the hands are tracked per frame to distinguish a movement from the hand in relation to the background and from other objects in movement, and to extract the information of the movement for the recognition of dynamic gestures. Based in the collected position, movement and indications of position are calculated to recognize a significant gesture.