• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 16
  • 1
  • 1
  • Tagged with
  • 18
  • 18
  • 14
  • 12
  • 11
  • 10
  • 9
  • 9
  • 8
  • 7
  • 6
  • 6
  • 6
  • 4
  • 4
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
1

A gesture recognition library for the therapy domain and its applications

CHAVES, Thiago de Menezes 11 March 2016 (has links)
Submitted by Pedro Barros (pedro.silvabarros@ufpe.br) on 2018-09-24T22:38:54Z No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO Thiago de Menezes Chaves.pdf: 8950056 bytes, checksum: d71486339c8fdddafbd8f55d482f1d70 (MD5) / Approved for entry into archive by Alice Araujo (alice.caraujo@ufpe.br) on 2018-09-27T21:36:19Z (GMT) No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO Thiago de Menezes Chaves.pdf: 8950056 bytes, checksum: d71486339c8fdddafbd8f55d482f1d70 (MD5) / Made available in DSpace on 2018-09-27T21:36:20Z (GMT). No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO Thiago de Menezes Chaves.pdf: 8950056 bytes, checksum: d71486339c8fdddafbd8f55d482f1d70 (MD5) Previous issue date: 2016-03-11 / The computational implementation of human body gestures recognition has been a challenge for several years. Nowadays, thanks to the development of RGB-D cameras it is possible to acquire a set of data that represents a human position in space. Despite that, these cameras provide raw data, still being a problem to identify in real-time a specific pre-defined user movement continuously which can then be applied in applications as, for example, the tracking of physiotherapeutic movements or exercises. This work presents two new techniques to identify gestures, both having physiotherapeutic concerns about the performed exercise; one is based on physiotherapeutic standards, the biomechanical planes, while the other aims to recognize the functional exercises and is based on a concept called checkpoints. Both these techniques were tested and validated by physiotherapists from the Physiotherapy Department at the Federal University of Pernambuco. The techniques were also integrated in a library which was then used in two case studies and two general applications where their applicability was tested in physiotherapeutic and non-physiotherapeutic domains obtaining good results and showing that they can be used on general applications as well. / Implementar um algoritmo computacional de reconhecimento de gesto tem sido um desafio por muitos anos. Hoje em dia, com o desenvolvimento das câmeras RGB-D, é possível adquirir um conjunto de dados que representa a posição de uma pessoa no espaço. Apesar disso, os dados adquiridos por estas câmeras ainda não são suficientes para identificar, em tempo real e de forma contínua, movimentos predefinidos dos usuários, os quais podem ser usados em aplicações como, por exemplo, a análise de movimentos ou exercícios fisioterapêuticos. Este trabalho apresenta duas novas técnicas de reconhecimento de gestos, ambas voltadas ao domínio de fisioterapia; a primeira é baseada em padrões da fisioterapia, chamados de planos biomecânicos, e a segunda tem como propósito reconhecer os gestos realizados durante os exercícios funcionais e é baseada num conceito chamado de checkpoints. Ambas técnicas foram testadas e validadas por fisioterapeutas do Departamento de Fisioterapia da Universidade Federal de Pernambuco. Essas técnicas foram integradas em uma biblioteca, a qual então foi utilizada para desenvolver dois estudos de caso e duas aplicações de propósito gerais, onde suas aplicabilidades foram testadas tanto no domínio fisioterapêutico como fora dele, obtendo bons resultados e mostrando que tais técnicas também podem ser usadas em aplicações gerais.
2

Reconhecimento de sinais da libras utilizando descritores de forma e redes neurais artificiais

Bastos, Igor Leonardo Oliveira 15 May 2015 (has links)
Submitted by Mayara Nascimento (mayara.nascimento@ufba.br) on 2016-05-31T14:15:01Z No. of bitstreams: 1 Igor Bastos - Dissertação VFinal.pdf: 3703212 bytes, checksum: a00013910865dacb8025d56659076abb (MD5) / Approved for entry into archive by Alda Lima da Silva (sivalda@ufba.br) on 2016-06-03T23:17:29Z (GMT) No. of bitstreams: 1 Igor Bastos - Dissertação VFinal.pdf: 3703212 bytes, checksum: a00013910865dacb8025d56659076abb (MD5) / Made available in DSpace on 2016-06-03T23:17:29Z (GMT). No. of bitstreams: 1 Igor Bastos - Dissertação VFinal.pdf: 3703212 bytes, checksum: a00013910865dacb8025d56659076abb (MD5) / Gestos são ações corporais não-verbais voltadas para a expressão de algum significado. Estes incluem movimentos de mãos, face, braços, dedos, entre outros, sendo abordados por trabalhos que visam reconhecê-los para promover interações humanas com sistemas computacionais. Devido à grande aplicabilidade do reconhecimento de gestos, tem-se notado que estes trabalhos estão se tornando mais comuns, utilizando técnicas e metodologias mais elaboradas e capazes de prover resultados cada vez melhores. A opção por quais técnicas aplicar para o reconhecimento de gestos varia de acordo com a estratégia empregada em cada trabalho e quais aspectos são utilizados para este reconhecimento. Tem-se, por exemplo, trabalhos baseados no uso de modelos estatísticos. Outros optam pela aquisição de características geométricas de mãos e partes do corpo, enquanto outros, dentre os quais se enquadra o presente trabalho, optam pelo uso de descritores e classificadores, responsáveis por extrair características das imagens relevantes para o seu reconhecimento e; por realizar a classificação efetiva dos gestos baseado nestas informações. Neste âmbito, o presente trabalho visa elaborar, aplicar e apresentar uma abordagem para o reconhecimento de gestos, embasando-se em uma revisão da literatura a respeito das principais técnicas e metodologias empregadas para este fim e escolhendo como campo prático, a Língua Brasileira de Sinais (Libras). Para a extração de informações das imagens, optou-se pelo uso de um vetor de características resultante da aplicação dos descritores Histograma de Gradientes Orientados (HOG) e Momentos Invariantes de Zernike (MIZ), os quais voltam-se para as formas e contornos presentes nas imagens. Para o reconhecimento, foi utilizado o classificador Perceptron Multicamada, sendo este disposto em uma arquitetura onde o processo de classificação é dividido em 2 estágios. Devido à inexistência de datasets públicos da Libras, fez-se necessária, com o auxílio de especialistas da língua e alunos surdos, a criação de um dataset de 9600 imagens, as quais referem-se a 40 sinais da Libras. Isso fez com que a presente abordagem partisse desta criação do dataset até a etapa final de classificação dos sinais. Por fim, testes foram realizados e obteve-se 96,77% de taxa de acerto, evidenciando um alto índice de acerto. Este resultado foi validado considerando possíveis ameaças à abordagem, como a realização de testes considerando um indivíduo não-presente no conjunto de treinamento do classificador e a aplicação da abordagem em um dataset público de gestos.
3

Classificador de gestos das mãos baseado em imagens para aplicação em interfaces.

Thiago Ramos Trigo 01 December 2010 (has links)
A atual interação entre homens e computadores ocorre por meio de dispositivos físicos como mouses, teclados, trackballs, entre outros. Claramente, essa forma de comunicação difere daquela com que os homens se comunicam entre si, que se baseiam na fala; em expressões faciais e corporais; em gestos das mãos, etc, não sendo, portanto, naturais. Considerando-se que boa parte da interação envolve a manipulação de objetos, por exemplo, arrastar uma pasta, pressionar um botão ou controlar um personagem em um jogo, tem-se a interação baseada em gestos das mãos como uma candidata a tornar o processo mais natural. Os mecanismos mais populares que permitem a interação baseada em gestos são luvas repletas de sensores que captam os gestos executados e os transmitem para o sistema. Essa abordagem apresenta várias desvantagens em termos de uso casual por terem um alto custo financeiro, por esconderem a naturalidade do movimento da mão e por requererem um complexo processo de calibração para permitir medições precisas. Nesse contexto, a Visão Computacional surge como uma alternativa interessante, visto que pode ser implementada com simples câmeras web. O presente trabalho investiga algumas das etapas comuns em sistemas de visão computacional, direcionando-se no sentido de encontrar um conjunto de procedimentos que compostos possam permitir a identificação dos gestos produzidos pelas mãos.
4

Navegação, reconhecimento de gestos e controle de interface no sistema ITV utilizando o dispositivo kinect

MOREIRA, Caio Carvalho 10 May 2013 (has links)
Submitted by Edisangela Bastos (edisangela@ufpa.br) on 2014-01-13T19:19:39Z No. of bitstreams: 2 license_rdf: 23898 bytes, checksum: e363e809996cf46ada20da1accfcd9c7 (MD5) Dissertacao_NavegacaoReconhecimentoGestos.pdf: 2944175 bytes, checksum: 79fda19e8f76407196d3a1ae41df6def (MD5) / Approved for entry into archive by Ana Rosa Silva(arosa@ufpa.br) on 2014-01-15T15:48:55Z (GMT) No. of bitstreams: 2 license_rdf: 23898 bytes, checksum: e363e809996cf46ada20da1accfcd9c7 (MD5) Dissertacao_NavegacaoReconhecimentoGestos.pdf: 2944175 bytes, checksum: 79fda19e8f76407196d3a1ae41df6def (MD5) / Made available in DSpace on 2014-01-15T15:48:55Z (GMT). No. of bitstreams: 2 license_rdf: 23898 bytes, checksum: e363e809996cf46ada20da1accfcd9c7 (MD5) Dissertacao_NavegacaoReconhecimentoGestos.pdf: 2944175 bytes, checksum: 79fda19e8f76407196d3a1ae41df6def (MD5) Previous issue date: 2013 / Esta dissertação apresenta a implementação de navegação no ambiente virtual, reconhecimento de gestos e controle de interface, feitos através do dispositivo Kinect, no Sistema ITV: um sistema de treinamento de operadores e mantenedores de usinas hidrelétricas e subestações elétricas. São mostrados, também, determinados aperfeiçoamentos recentes, como conversão em vídeo, telas de alarmes sonoros e visuais, ambientação sonora em três dimensões e narração do processo. Além da apresentação do Sistema ITV, são expostos o dispositivo Kinect e o algoritmo utilizado na comparação dos padrões de movimento, o DTW. Em seguida, são abordados em detalhes o projeto e a implementação da navegação, do reconhecimento de gestos e do controle de interface. Como estudo de caso, é exibida uma Instrução Técnica Virtual (ITV), elaborada especialmente para testar e avaliar a nova interface proposta. Posteriormente, são apresentados os resultados, considerados satisfatórios, obtidos através da análise de questionários qualitativos aplicados a estudantes da Universidade Federal do Pará. Por fim, são realizadas as considerações referentes a este trabalho e expostas idéias de trabalhos futuros. / This work presents the implementation of navigation in the virtual environment, gesture recognition and interface control, able through the Kinect device, in the ITV System: a system for training operators and maintainers of hydroelectrics and electrical substations. In addition, it shows some recent improvements, such as conversion of a ITV on a video file, audio and visual alarms, ambience sound in three dimensions and narration of the process. Besides presenting the ITV System, are exposed to the Kinect device and the algorithm used to compare patterns of movement, the DTW. Then, this work explains in detail the design and the implementation of the navigation, the interface control and the gesture recognition. As a case study, it displays a Virtual Technical Instruction (ITV), designed especially to test and evaluate the new proposed interface. Subsequently, this work presents satisfactory results, obtained through the analysis of qualitative questionnaires applied to the students of the Federal University of Pará. Finally, considerations for this study and ideas for future work are made.
5

[en] A STUDY OF NAVIGATION AND SELECTION TECHNIQUES IN VIRTUAL ENVIRONMENTS USING MICROSOFT KINECT / [pt] UM ESTUDO SOBRE TÉCNICAS DE NAVEGAÇÃO E SELEÇÃO EM AMBIENTES VIRTUAIS USANDO O MICROSOFT KINECT

PETER FURTADO DAM 25 February 2014 (has links)
[pt] O avanço das tecnologias de realidade virtual tem viabilizado melhor acesso a essas tecnologias e a menores custos, desonerando os estudos nesta linha. Este trabalho propõe e estuda diversas técnicas de navegação e seleção em ambientes virtuais usando o Microsoft Kinect. Este dispositivo foi escolhido pois, além de ter custo acessível, permite que o usuário interaja com o sistema sem precisar estar com um dispositivo em mãos ou acoplado ao corpo. Com isto procura-se aumentar o grau de imersão e, possivelmente, criar formas de interação mais familiares aos usuários, ou seja, diminuir a distância do mundo virtual para o real. Através dessas técnicas busca-se que o usuário possa se locomover e interagir com objetos em um ambiente virtual de forma mais próxima ao que faria em um ambiente físico real. Para este trabalho foram implementadas três técnicas de navegação e três de seleção. Uma série de testes foram feitos avaliando pontos como facilidade de uso, esforço cognitivo, tempo de realização de tarefas, fluidez da navegação, entre outros fatores, para cada técnica proposta e para a combinação delas. / [en] The improvement of virtual reality technologies has enabled increased access to these technologies and at lower prices, allowing more studies in this line. This work proposes and studies several navigation and selection techniques in virtual environments using Microsoft Kinect. This device was chosen because, besides having an accessible price, it allows the user to interact with the system without need of hand-held devices or having a device attached to the body. This way we intend to increase the degree of virtual presence and, possibly, create more familiar interactions, in other words, reduce the distance between the virtual world and the real world. Through these techniques we strive to allow the user to move and interact with objects in the virtual world in a way similar to how he would do so in the real physical world. For this work three navigation and three selection techniques were implemented. A series of tests were undertaken to evaluate aspects such as ease of use, mental effort, time spent to complete tasks, fluidity of navigation, amongst other factors for each proposed technique and the combination of them.
6

Um estudo sobre o mapeamento de gestos do Leap motion para a língua brasileira de sinais- (Libras)

MELO, Alain Rosemberg Lívio Linhares de 06 August 2015 (has links)
Submitted by Fabio Sobreira Campos da Costa (fabio.sobreira@ufpe.br) on 2016-03-15T13:17:52Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertacao_AlainRosemberg_Mestrado.pdf: 2190332 bytes, checksum: 646eab9f3f8199a8f7b003398354b6ea (MD5) / Made available in DSpace on 2016-03-15T13:17:52Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertacao_AlainRosemberg_Mestrado.pdf: 2190332 bytes, checksum: 646eab9f3f8199a8f7b003398354b6ea (MD5) Previous issue date: 2015-08-06 / A interação com computadores através de gestos há algum tempo vem sendo explorada pelos pesquisadores. Os gestos, no que se refere ao processo de compreensão, não sofre interferência de ruído ocasionado por um determinado ambiente e faz uso de um canal distinto do utilizado na comunicação verbal. Porém, as principais desvantagens se resumem na dificuldade em manipular e interpretar as informações referentes ao processamento e mapeamento de gestos. Além disso, as várias soluções existentes, voltadas para a língua de sinais, ou são de cunho proprietário ou de nível acadêmico. E ainda são limitadas a um pequeno e restrito conjunto de gestos. Os gestos presentes nestas soluções, ora são apenas estáticos ou ora apenas dinâmicos, o que poderá afetar diretamente no nível de dificuldade de uso por parte dos usuários. O aperfeiçoamento acelerado das tecnologias vem melhorando o acesso a dispositivos de captura e processamento de imagens, mais robustos. Os avanços permitiram o uso livre das mãos, sem que haja a necessidade de equipamentos diretamente interligados aos usuários. Com o intuito de contribuir no estreitamento da barreira comunicacional através do uso da tecnologia, este trabalho tem por principal objetivo identificar e estudar a viabilidade de uma tecnologia específica de reconhecimento de gestos, o Leap Motion. Que a partir do desenvolvimento de uma solução desenvolvida especificamente para essa tecnologia, seja possível propor uma abordagem que possibilite implementar, mapear e testar gestos. Com isso possibilitar a validação e interação com a solução comercial denominada ProDeaf. Isto voltado para as pessoas surdas, especificamente no contexto da Língua Brasileira de Sinais (Libras). / The interaction with computers through gestures has been explored by researchers for some time. The gestures, as in regards of the process to understanding, do not suffer noise interference caused by a given environment, and use a different channel from verbal communication. However, the main disadvantages are summarized in the difficulty of manipulating and interpreting the information regarding processing and mapping of the gestures. In addition, various existing solutions are in the owner level or academic level, and are still limited to a small and restricted set of gestures. The gestures presented by these solutions, sometimes are just static or sometimes are just dynamic, which may directly affect the level of difficulty of use. The technology evolution improves the access to more robust capture devices and image processors. The advances allowed free use of hands, without requiring an equipment directly connected to users. In order to contribute to the narrowing of the communication barrier through the use of technology, this work has the main objective to identify and study the feasibility of a specific technology of gesture recognition, the Leap Motion. And from the development of a solution specific for that technology show that it could be possible to propose an approach that allows coding, testing and mapping gestures. With this, allow the validation and interaction with the commercial solution called ProDeaf. Specially to the deaf people, specifically in the context of Brazilian Sign Language (Libras).
7

Segmentação e reconhecimento de gestos em tempo real com câmeras e aceleração gráfica / Real-time segmentation and gesture recognition with cameras and graphical acceleration

Daniel Oliveira Dantas 15 March 2010 (has links)
O objetivo deste trabalho é reconhecer gestos em tempo real apenas com o uso de câmeras, sem marcadores, roupas ou qualquer outro tipo de sensor. A montagem do ambiente de captura é simples, com apenas duas câmeras e um computador. O fundo deve ser estático, e contrastar com o usuário. A ausência de marcadores ou roupas especiais dificulta a tarefa de localizar os membros. A motivação desta tese é criar um ambiente de realidade virtual para treino de goleiros, que possibilite corrigir erros de movimentação, posicionamento e de escolha do método de defesa. A técnica desenvolvida pode ser aplicada para qualquer atividade que envolva gestos ou movimentos do corpo. O reconhecimento de gestos começa com a detecção da região da imagem onde se encontra o usuário. Nessa região, localizamos as regiões mais salientes como candidatas a extremidades do corpo, ou seja, mãos, pés e cabeça. As extremidades encontradas recebem um rótulo que indica a parte do corpo que deve representar. Um vetor com as coordenadas das extremidades é gerado. Para descobrir qual a pose do usuário, o vetor com as coordenadas das suas extremidades é classificado. O passo final é a classificação temporal, ou seja, o reconhecimento do gesto. A técnica desenvolvida é robusta, funcionando bem mesmo quando o sistema foi treinado com um usuário e aplicado a dados de outro. / Our aim in this work is to recognize gestures in real time with cameras, without markers or special clothes. The capture environment setup is simple, uses just two cameras and a computer. The background must be static, and its colors must be different the users. The absence of markers or special clothes difficults the location of the users limbs. The motivation of this thesis is to create a virtual reality environment for goalkeeper training, but the technique can be applied in any activity that involves gestures or body movements. The recognition of gestures starts with the background subtraction. From the foreground, we locate the more proeminent regions as candidates to body extremities, that is, hands, feet and head. The found extremities receive a label that indicates the body part it may represent. To classify the users pose, the vector with the coordinates of his extremities is compared to keyposes and the best match is selected. The final step is the temporal classification, that is, the gesture recognition. The developed technique is robust, working well even when the system was trained with an user and applied to another users data.
8

Modelo abrangente e reconhecimento de gestos com as mãos livres para ambientes 3D. / Comprehensive model and gesture recognition with free hands for 3d environments.

João Luiz Bernardes Júnior 18 November 2010 (has links)
O principal objetivo deste trabalho é possibilitar o reconhecimento de gestos com as mãos livres, para uso em interação em ambientes 3D, permitindo que gestos sejam selecionados, para cada contexto de interação, dentre um grande conjunto de gestos possíveis. Esse grande conjunto deve aumentar a probabilidade de que se possa selecionar gestos já existentes no domínio de cada aplicação ou com associações lógicas claras com as ações que comandam e, assim, facilitar o aprendizado, memorização e uso dos gestos. Estes são requisitos importantes para aplicações em entretenimento e educação, que são os principais alvos deste trabalho. Propõe-se um modelo de gestos que, baseado em uma abordagem linguística, os divide em três componentes: postura e movimento da mão e local onde se inicia. Combinando números pequenos de cada um destes componentes, este modelo permite a definição de dezenas de milhares de gestos, de diferentes tipos. O reconhecimento de gestos assim modelados é implementado por uma máquina de estados finitos com regras explícitas que combina o reconhecimento de cada um de seus componentes. Essa máquina só utiliza a hipótese que os gestos são segmentados no tempo por posturas conhecidas e nenhuma outra relacionada à forma como cada componente é reconhecido, permitindo seu uso com diferentes algoritmos e em diferentes contextos. Enquanto este modelo e esta máquina de estados são as principais contribuições do trabalho, ele inclui também o desenvolvimento de algoritmos simples mas inéditos para reconhecimento de doze movimentos básicos e de uma grande variedade de posturas usando equipamento bastante acessível e pouca preparação. Inclui ainda um framework modular para reconhecimento de gestos manuais em geral, que também pode ser aplicado a outros domínios e com outros algoritmos. Além disso, testes realizados com usuários levantam diversas questões relativas a essa forma de interação. Mostram também que o sistema satisfaz os requisitos estabelecidos. / This work\'s main goal is to make possible the recognition of free hand gestures, for use in interaction in 3D environments, allowing the gestures to be selected, for each interaction context, from a large set of possible gestures. This large set must increase the probability of selecting a gesture which already exists in the application\'s domain or with clear logic association with the actions they command and, thus, to facilitate the learning, memorization and use of these gestures. These requirements are important to entertainment and education applications, this work\'s main targets. A gesture model is proposed that, based on a linguistic approach, divides them in three components: hand posture and movement and the location where it starts. Combining small numbers for each of these components, this model allows the definition of tens of thousands of gestures, of different types. The recognition of gestures so modeled is implemented by a finite state machine with explicit rules which combines the recognition of each of its components. This machine only uses the hypothesis that gestures are segmented in time by known posture, and no other related to the way in which each component is recognized, allowing its use with different algorithms and in different contexts. While this model and this finite state machine are this work\'s main contributions, it also includes the development of simple but novel algorithms for the recognition of twelve basic movements and a large variety of postures requiring highly accessible equipment and little setup. It likewise includes the development of a modular framework for the recognition of hand gestures in general, that may also be applied to other domains and algorithms. Beyond that, tests with users raise several questions about this form of interaction. They also show that the system satisfies the requirements set for it.
9

Modelo abrangente e reconhecimento de gestos com as mãos livres para ambientes 3D. / Comprehensive model and gesture recognition with free hands for 3d environments.

Bernardes Júnior, João Luiz 18 November 2010 (has links)
O principal objetivo deste trabalho é possibilitar o reconhecimento de gestos com as mãos livres, para uso em interação em ambientes 3D, permitindo que gestos sejam selecionados, para cada contexto de interação, dentre um grande conjunto de gestos possíveis. Esse grande conjunto deve aumentar a probabilidade de que se possa selecionar gestos já existentes no domínio de cada aplicação ou com associações lógicas claras com as ações que comandam e, assim, facilitar o aprendizado, memorização e uso dos gestos. Estes são requisitos importantes para aplicações em entretenimento e educação, que são os principais alvos deste trabalho. Propõe-se um modelo de gestos que, baseado em uma abordagem linguística, os divide em três componentes: postura e movimento da mão e local onde se inicia. Combinando números pequenos de cada um destes componentes, este modelo permite a definição de dezenas de milhares de gestos, de diferentes tipos. O reconhecimento de gestos assim modelados é implementado por uma máquina de estados finitos com regras explícitas que combina o reconhecimento de cada um de seus componentes. Essa máquina só utiliza a hipótese que os gestos são segmentados no tempo por posturas conhecidas e nenhuma outra relacionada à forma como cada componente é reconhecido, permitindo seu uso com diferentes algoritmos e em diferentes contextos. Enquanto este modelo e esta máquina de estados são as principais contribuições do trabalho, ele inclui também o desenvolvimento de algoritmos simples mas inéditos para reconhecimento de doze movimentos básicos e de uma grande variedade de posturas usando equipamento bastante acessível e pouca preparação. Inclui ainda um framework modular para reconhecimento de gestos manuais em geral, que também pode ser aplicado a outros domínios e com outros algoritmos. Além disso, testes realizados com usuários levantam diversas questões relativas a essa forma de interação. Mostram também que o sistema satisfaz os requisitos estabelecidos. / This work\'s main goal is to make possible the recognition of free hand gestures, for use in interaction in 3D environments, allowing the gestures to be selected, for each interaction context, from a large set of possible gestures. This large set must increase the probability of selecting a gesture which already exists in the application\'s domain or with clear logic association with the actions they command and, thus, to facilitate the learning, memorization and use of these gestures. These requirements are important to entertainment and education applications, this work\'s main targets. A gesture model is proposed that, based on a linguistic approach, divides them in three components: hand posture and movement and the location where it starts. Combining small numbers for each of these components, this model allows the definition of tens of thousands of gestures, of different types. The recognition of gestures so modeled is implemented by a finite state machine with explicit rules which combines the recognition of each of its components. This machine only uses the hypothesis that gestures are segmented in time by known posture, and no other related to the way in which each component is recognized, allowing its use with different algorithms and in different contexts. While this model and this finite state machine are this work\'s main contributions, it also includes the development of simple but novel algorithms for the recognition of twelve basic movements and a large variety of postures requiring highly accessible equipment and little setup. It likewise includes the development of a modular framework for the recognition of hand gestures in general, that may also be applied to other domains and algorithms. Beyond that, tests with users raise several questions about this form of interaction. They also show that the system satisfies the requirements set for it.
10

Avaliação das técnicas de segmentação, modelagem e classificação para o reconhecimento automático de gestos e proposta de uma solução para classificar gestos da libras em tempo real

Anjo, Mauro dos Santos 22 October 2013 (has links)
Made available in DSpace on 2016-06-02T19:06:03Z (GMT). No. of bitstreams: 1 4988.pdf: 3663610 bytes, checksum: 1eb03927c23747c4a6420de5624f8571 (MD5) Previous issue date: 2013-10-22 / Universidade Federal de Sao Carlos / Multimodal interfaces are becoming popular and trying to enhance user experience through the use of natural forms of interaction. Among these forms we have speech and gestures inputs. Speech recognition is already a common feature in our daily basis but gesture recognition has just now being widely used as a new form of interaction. The Brazilian Sign Language (Libras) was recently recognized as a legal way of communication since the Brazilian Government enacted the law N˚10.436 on 04/24/2002, and also has recently became an obligatory subject in teachers education and an elective subject in undergraduate courses through the enactment N˚5.626 on 12/22/2005. In this context, this dissertation presents a study of all the steps that are necessary to achieve a complete system to recognize Static and Dynamic gestures of Libras, being these steps: Segmentation; Modeling and Interpretation; and Classification. Results and proposed solutions will be presented for each one of these steps, and the system will be evaluated in the task of real-time recognition of static and dyamic gestures within a finite set of Libras gestures. All the solutions presented in this dissertation were embedded in the software GestureUI, in which the main goal is to simplify the research in the field of gesture recognition allowing the communication with multimodal interfaces through a TCP/IP protocol. / Interfaces multimodais estão cada vez mais populares e buscam a interação natural como recurso para enriquecer a experiência do usuário. Dentre as formas de interação natural, estão a fala e os gestos. O reconhecimento de fala já está presente em nosso dia a dia em variadas aplicações, porém o reconhecimento de gestos apareceu recentemente como uma nova forma de interação. A Linguagem Brasileira de Sinais (Libras) foi recentemente reconhecida como meio de comunicação e expressão através da Lei N˚10.436 de 24/04/2002, e também foi incluída como disciplina obrigatória em cursos de formação de professores e optativa em cursos de graduação através do Decreto N˚5.626 de 22/12/2005. Neste contexto, esta dissertação apresenta um estudo sobre todas as etapas necessárias para a construção de um sistema para reconhecimento de Gestos Estáticos e Dinâmicos da Libras, sendo estas: Segmentação; Modelagem e Identificação; e Reconhecimento. Resultados e soluções propostas serão apresentados para cada uma destas etapas, e o sistema será avaliado no reconhecimento em tempo real utilizando um conjunto finito de gestos estáticos e dinâmicos. Todas as soluções apresentadas nesta dissertação foram encapsuladas no Software GestureUI, que tem por objetivo simplificar as pesquisas na área de reconhecimento de gestos permitindo a comunicação com interfaces multimodais através de um protocolo TCP/IP.

Page generated in 0.1061 seconds