• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 124
  • 11
  • 10
  • 2
  • 2
  • 2
  • 2
  • 2
  • 2
  • 1
  • 1
  • Tagged with
  • 152
  • 51
  • 44
  • 25
  • 25
  • 23
  • 22
  • 21
  • 18
  • 17
  • 14
  • 14
  • 14
  • 14
  • 13
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
81

[pt] O GESTO PARALINGUÍSTICO COMO REFORÇO PRAGMÁTICO NA AQUISIÇÃO DE PRONOMES / [en] PARALINGUISTIC GESTURE AS PRAGMATIC REINFORCEMENT IN PRONOUN ACQUISITION

CAMILA VASCONCELOS SAMPAIO 24 April 2023 (has links)
[pt] Investigações, em diferentes línguas, demonstram que crianças em aquisição apresentam dificuldades no estabelecimento de correferência com pronomes dêiticos, refletindo possível atraso na aquisição de princípios da pragmática que regulam referência pronominal (Chien e Wexler, 1990, 2009; Grolla, 2005). Pesquisas recentes sugerem que gestos paralinguísticos (ie., gesto co-fala) podem funcionar como reforço pragmático, realçando aspectos implícitos do significado (Schlenker, 2018). Na presente pesquisa, investiga-se se, na aquisição do português brasileiro, gestos co-fala aliviam dificuldades de correferência pronominal, com violação de Principio B. Foram realizados dois estudos experimentais de julgamento de valor de verdade com crianças em processo de aquisição (grupo alvo – 10 participantes) e adultos(grupo controle – 10 participantes). Os estímulos experimentais foram compostos por sentenças coordenadas, apresentadas oralmente, com pronome (nulo ou pleno) na posição de objeto da segunda oração e dois possíveis antecedentes: um na posição de sujeito da segunda oração (antecedente local) e outro na posição de objeto da primeira oração (antecedente não-local). No primeiro experimento, não houve acoplagem de gesto, tanto pronomes quanto antecedentes foram apresentados sem acompanhamento de gesto. No segundo experimento, manipulou-se acoplagem de gesto, os pronomes e possíveis antecedentes foram acompanhados de apontamento manual para localização-espacial do referente (loci-espacial). Os resultados obtidos indicam que: (a) em contextos estruturais envolvendo pronome nulo, não há diferença significativa entre os grupos alvo e controle, ambos rejeitam correfêrencia local – sem violação do Princípio B; (b) em contextos estruturais envolvendo pronome pleno, há diferença significativa entre os grupos alvo e controle, com maior aceitação de correfêrencia local no grupo alvo - violação do Princípio B. No entanto, no segundo experimento, não houve diferença significativa entre os dois grupos. Concluímos, portanto, que, durante a aquisição, o gesto co-fala de loci-espacial é computado durante a construção da correferência pronominal, neutralizando leitura de correferência com antecedente local. / [en] Researches in different languages show that children in acquisition have difficulties in establishing coreference with deictic pronouns, reflecting a possible delay in the acquisition of pragmatic principles that constraint pronominal reference (Chien and Wexler, 1990, 2009; Grolla, 2006). Recent research suggests that co-speech gestures can function as pragmatic reinforcement, reinforcing implicit aspects of meaning (Schlenker, 2018). In the present research, it is investigated whether, in the acquisition of Brazilian Portuguese, these gestures alleviate difficulties of pronominal coreference, violation of Principle B. Two experimental studies, truth value judgment tasks, were carried out with children (target group – 10 participants) and adults (control group – 10 participants). In both experiments, the experimental stimuli were composed of coordinated sentences, presented orally, with the target pronoun (null or full) in the second clause object position and two possible antecedents: one in the second clause subject position (local antecedent) and the other in the first clause object position (non-local antecedent). In the first experiment, there was no co-speech gesture, both pronouns and antecedents were presented orally only. In the second experiment, co-speech gestures (manual pointing for spatial location of the referent (spatial-loci) were added to pronouns and possible antecedents were accompanie. Obtained results indicate that: (a) in structural contexts involving null pronouns, there is no significant difference between target and control groups, both reject local coreference – without violating Principle B; (b) in structural contexts involving full pronouns, there was a significant difference between the target and control groups, with greater acceptance of local coreference in the target group - violation of Principle B. However, in the second experiment, there was no significant difference between the two groups. We conclude, therefore, that, during acquisition, the co-speech gestures of spatial-loci is computed in pronominal coreference, neutralizing readings with coreference with local antecedents.
82

Aplicaciones de visión artificial para ayuda a personas con dificultades visuales

Alashhab, Samer 01 July 2022 (has links)
La discapacidad visual es considerada la mayor discapacidad sensorial, la cual determina en gran medida la vida de una persona tanto en la interacción con su entorno como con la sociedad. La Organización Mundial de la Salud (OMS) informa de que al menos 2.200 millones de personas en todo el mundo padecen deficiencia visual o ceguera, lo cual convierte en una cuestión prioritaria la investigación en soluciones que sirvan de ayuda para que estas personas superen los retos con los que se enfrentan en su día a día. Existen ayudas para las personas ciegas o con dificultades visuales, como los perros guía, los bastones, el sistema braille, etc. Sin embargo, aún así, hay multitud de tareas que les resultan difíciles o incluso imposibles, como por ejemplo orientarse en entornos desconocidos o leer textos no adaptados, entre otros. Para estas tareas también podemos encontrar herramientas basadas en la tecnología, como por ejemplo aplicaciones de teléfonos móviles de ayuda a la lectura o a la orientación, aunque habitualmente estas aplicaciones resultan muy básicas y están desarrolladas para un solo propósito, por ejemplo, ampliar un texto, detectar un color, etc. Los recientes avances producidos en el campo de la Inteligencia Artificial y, más concretamente, en el Deep Learning, han creado nuevas posibilidades para el desarrollo de aplicaciones avanzadas de ayuda en tareas en las que antes no era posible. Estos avances se han unido al incremento en la capacidad hardware de los teléfonos móviles, los cuales han pasado de ser simples medios de comunicación a tener una potencia de cálculo casi equivalente a la de un ordenador. Todo esto ha producido que estos dispositivos constituyan en la actualidad una herramienta muy importante para la ayuda a este colectivo. La cuestión central que se aborda en esta tesis doctoral es la investigación en métodos de visión artificial que permitan el reconocimiento de gestos realizados con las manos y, en función del gesto, facilitar diferentes tipos de información. El objetivo es el desarrollo de un sistema eficiente y de bajo coste destinado a dispositivos móviles que permita interactuar mediante gestos con el dispositivo y sea capaz de realizar múltiples acciones de ayuda a personas con discapacidad visual. Se busca con ello un método de interacción humano-máquina que resulte natural, rápido, intuitivo y accesible, y que integre diferentes acciones sin necesidad de utilizar la pantalla táctil para activarlas o cambiar de aplicación. Para ello se define un conjunto de gestos con los que interactuar con la aplicación, cada uno de los cuales desencadena una acción diferente, por ejemplo apuntar a un objeto para obtener una descripción del mismo, apuntar con dos dedos para centrar y arrastrar a la posición señalada, hacer la forma de una lupa con la mano para obtener la descripción de la escena, o hacer un gesto de tipo "Pellizco" para hacer zoom. En este último caso tendríamos un gesto dinámico, ya que abriendo y cerrando los dedos podremos ajustar el nivel de zoom, mientras que los otros casos son ejemplos de gestos estáticos. Para gestionar todas estas acciones se propone un método eficiente que realiza de forma conjunta tanto la clasificación y la localización de gestos como las acciones asociadas a cada gesto. Este método se basa en una red multi-head compuesta por un backbone común al que se conectan diferentes cabezas (heads) para realizar las tareas especializadas (como por ejemplo la descripción del objeto o la escena, el control de los niveles de zoom, etc.). Las cabezas aprovechan las características comunes extraídas por el backbone y además solo se activan si se detecta su correspondiente gesto, lo que resulta en una arquitectura altamente eficiente. Además, para la tarea de la localización de los gestos se propone un nuevo enfoque débilmente supervisado que permite transformar una red de clasificación en un método para la localización de objetos, resultando también en una solución eficiente al no requerir una nueva arquitectura. Para evaluar la metodología propuesta se han creado tres conjuntos de datos diferentes con un total de unas 44 mil imágenes, incluyendo imágenes reales y sintéticas de gestos, y un conjunto de datos que contiene descripciones de las escenas. Todas estas imágenes se han etiquetado a varios niveles, indicando la categoría de toda la imagen, la posición de la mano y de la punta del dedo índice, y la posición y descripción de los objetos señalados. Para cada uno de los pasos del método propuesto se ha realizado un conjunto de experimentos, tanto para ajustar sus parámetros como para compararlo con alternativas del estado del arte, incluyendo redes neuronales convolucionales, redes de detección de objetos, redes de segmentación, así como la evaluación de diferentes tamaños de entrada, técnicas de inicialización y de aumentado de datos. La experimentación realizada muestra buenos resultados tanto a nivel de precisión como de eficiencia del método. Al comparar los resultados de cada una de las cabezas especializadas con otros enfoques del estado del arte, incluyendo opciones específicas para esas mismas tareas, los mejores resultados (o casi los mejores) se obtienen en todos los casos mediante la arquitectura propuesta. Además, este método también ha mostrado un buen desempeño en los dispositivos móviles actuales reportando tiempos de procesamiento promedio de entre 3-4 FPS en pruebas realizadas en dispositivos Samsung A51 y Huawei P30 lite.
83

Reconhecimento de gestos usando segmentação de imagens dinâmicas de mãos baseada no modelo de mistura de gaussianas e cor de pele / Gesture recognizing using segmentation of dynamic hand image based on the mixture of Gaussians model and skin color

Hebert Luchetti Ribeiro 01 September 2006 (has links)
O objetivo deste trabalho é criar uma metodologia capaz de reconhecer gestos de mãos, a partir de imagens dinâmicas, para interagir com sistemas. Após a captação da imagem, a segmentação ocorre nos pixels pertencentes às mãos que são separados do fundo pela segmentação pela subtração do fundo e filtragem de cor de pele. O algoritmo de reconhecimento é baseado somente em contornos, possibilitando velocidade para se trabalhar em tempo real. A maior área da imagem segmentada é considerada como região da mão. As regiões detectadas são analisadas para determinar a posição e a orientação da mão. A posição e outros atributos das mãos são rastreados quadro a quadro para distinguir um movimento da mão em relação ao fundo e de outros objetos em movimento, e para extrair a informação do movimento para o reconhecimento de gestos. Baseado na posição coletada, movimento e indícios de postura são calculados para reconhecimento um gesto significativo. / The purpose of this paper is to develop a methodology able to recognize hand gestures from dynamic images to interact with systems. After the image capture segmentation takes place where pixels belonging to the hands are separated from the background based on skin-color segmentation and background extraction. The image preprocessing can be applied before the edge detection. The recognition algorithm uses edges only; therefore it is quick enough for real time. The largest blob from the segmented image will be considered as the hand region. The detected regions are analyzed to determine position and orientation of the hand for each frame. The position and other attributes of the hands are tracked per frame to distinguish a movement from the hand in relation to the background and from other objects in movement, and to extract the information of the movement for the recognition of dynamic gestures. Based in the collected position, movement and indications of position are calculated to recognize a significant gesture.
84

Reconhecimento de gestos usando segmentação de imagens dinâmicas de mãos baseada no modelo de mistura de gaussianas e cor de pele / Gesture recognizing using segmentation of dynamic hand image based on the mixture of Gaussians model and skin color

Ribeiro, Hebert Luchetti 01 September 2006 (has links)
O objetivo deste trabalho é criar uma metodologia capaz de reconhecer gestos de mãos, a partir de imagens dinâmicas, para interagir com sistemas. Após a captação da imagem, a segmentação ocorre nos pixels pertencentes às mãos que são separados do fundo pela segmentação pela subtração do fundo e filtragem de cor de pele. O algoritmo de reconhecimento é baseado somente em contornos, possibilitando velocidade para se trabalhar em tempo real. A maior área da imagem segmentada é considerada como região da mão. As regiões detectadas são analisadas para determinar a posição e a orientação da mão. A posição e outros atributos das mãos são rastreados quadro a quadro para distinguir um movimento da mão em relação ao fundo e de outros objetos em movimento, e para extrair a informação do movimento para o reconhecimento de gestos. Baseado na posição coletada, movimento e indícios de postura são calculados para reconhecimento um gesto significativo. / The purpose of this paper is to develop a methodology able to recognize hand gestures from dynamic images to interact with systems. After the image capture segmentation takes place where pixels belonging to the hands are separated from the background based on skin-color segmentation and background extraction. The image preprocessing can be applied before the edge detection. The recognition algorithm uses edges only; therefore it is quick enough for real time. The largest blob from the segmented image will be considered as the hand region. The detected regions are analyzed to determine position and orientation of the hand for each frame. The position and other attributes of the hands are tracked per frame to distinguish a movement from the hand in relation to the background and from other objects in movement, and to extract the information of the movement for the recognition of dynamic gestures. Based in the collected position, movement and indications of position are calculated to recognize a significant gesture.
85

[en] A COMPUTER VISION APPLICATION FOR HAND-GESTURES HUMAN COMPUTER INTERACTION / [pt] UMA APLICAÇÃO DE VISÃO COMPUTACIONAL QUE UTILIZA GESTOS DA MÃO PARA INTERAGIR COM O COMPUTADOR

MICHEL ALAIN QUINTANA TRUYENQUE 15 June 2005 (has links)
[pt] A Visão Computacional pode ser utilizada para capturar gestos e criar dispositivos de interação com computadores mais intuitivos e rápidos. Os dispositivos comerciais atuais de interação baseados em gestos utilizam equipamentos caros (dispositivos de seguimento, luvas, câmeras especiais, etc.) e ambientes especiais que dificultam a difusão para o público em geral. Este trabalho apresenta um estudo sobre a viabilidade de utilizarmos câmeras Web como dispositivo de interação baseado em gestos da Mão. Em nosso estudo consideramos que a mão humana está limpa, isto é, sem nenhum dispositivo (mecânico, magnético ou óptico) colocado nela. Consideramos ainda que o ambiente onde ocorre a interação tem as características de um ambiente de trabalho normal, ou seja, sem luzes ou panos de fundo especiais. Para avaliar a viabilidade deste mecanismo de interação, desenvolvemos alguns protótipos. Neles os gestos da mão e as posições dos dedos são utilizados para simular algumas funções presentes em mouses e teclados, tais como selecionar estados e objetos e definir direções e posições. Com base nestes protótipos apresentamos algumas conclusões e sugestões para trabalhos futuros. / [en] Computer Vision can be used to capture gestures and create more intuitive and faster devices to interact with computers. Current commercial gesture-based interaction devices make use of expensive equipment (tracking devices, gloves, special cameras, etc.) and special environments that make the dissemination of such devices to the general public difficult. This work presents a study on the feasibility of using Web cameras as interaction devices based on hand-gestures. In our study, we consider that the hand is clean, that is, it has no (mechanical, magnetic or optical) device. We also consider that the environment where the interaction takes place has the characteristics of a normal working place, that is, without special lights or backgrounds. In order to evaluate the feasibility of such interaction mechanism, we have developed some prototypes of interaction devices. In these prototypes, hand gestures and the position of fingers were used to simulate some mouse and keyboard functions, such as selecting states and objects, and defining directions and positions. Based on these prototypes, we present some conclusions and suggestions for future works.
86

Modelo abrangente e reconhecimento de gestos com as mãos livres para ambientes 3D. / Comprehensive model and gesture recognition with free hands for 3d environments.

Bernardes Júnior, João Luiz 18 November 2010 (has links)
O principal objetivo deste trabalho é possibilitar o reconhecimento de gestos com as mãos livres, para uso em interação em ambientes 3D, permitindo que gestos sejam selecionados, para cada contexto de interação, dentre um grande conjunto de gestos possíveis. Esse grande conjunto deve aumentar a probabilidade de que se possa selecionar gestos já existentes no domínio de cada aplicação ou com associações lógicas claras com as ações que comandam e, assim, facilitar o aprendizado, memorização e uso dos gestos. Estes são requisitos importantes para aplicações em entretenimento e educação, que são os principais alvos deste trabalho. Propõe-se um modelo de gestos que, baseado em uma abordagem linguística, os divide em três componentes: postura e movimento da mão e local onde se inicia. Combinando números pequenos de cada um destes componentes, este modelo permite a definição de dezenas de milhares de gestos, de diferentes tipos. O reconhecimento de gestos assim modelados é implementado por uma máquina de estados finitos com regras explícitas que combina o reconhecimento de cada um de seus componentes. Essa máquina só utiliza a hipótese que os gestos são segmentados no tempo por posturas conhecidas e nenhuma outra relacionada à forma como cada componente é reconhecido, permitindo seu uso com diferentes algoritmos e em diferentes contextos. Enquanto este modelo e esta máquina de estados são as principais contribuições do trabalho, ele inclui também o desenvolvimento de algoritmos simples mas inéditos para reconhecimento de doze movimentos básicos e de uma grande variedade de posturas usando equipamento bastante acessível e pouca preparação. Inclui ainda um framework modular para reconhecimento de gestos manuais em geral, que também pode ser aplicado a outros domínios e com outros algoritmos. Além disso, testes realizados com usuários levantam diversas questões relativas a essa forma de interação. Mostram também que o sistema satisfaz os requisitos estabelecidos. / This work\'s main goal is to make possible the recognition of free hand gestures, for use in interaction in 3D environments, allowing the gestures to be selected, for each interaction context, from a large set of possible gestures. This large set must increase the probability of selecting a gesture which already exists in the application\'s domain or with clear logic association with the actions they command and, thus, to facilitate the learning, memorization and use of these gestures. These requirements are important to entertainment and education applications, this work\'s main targets. A gesture model is proposed that, based on a linguistic approach, divides them in three components: hand posture and movement and the location where it starts. Combining small numbers for each of these components, this model allows the definition of tens of thousands of gestures, of different types. The recognition of gestures so modeled is implemented by a finite state machine with explicit rules which combines the recognition of each of its components. This machine only uses the hypothesis that gestures are segmented in time by known posture, and no other related to the way in which each component is recognized, allowing its use with different algorithms and in different contexts. While this model and this finite state machine are this work\'s main contributions, it also includes the development of simple but novel algorithms for the recognition of twelve basic movements and a large variety of postures requiring highly accessible equipment and little setup. It likewise includes the development of a modular framework for the recognition of hand gestures in general, that may also be applied to other domains and algorithms. Beyond that, tests with users raise several questions about this form of interaction. They also show that the system satisfies the requirements set for it.
87

Aplicação de wavelets na análise de gestos musicais em timbres de instrumentos acústicos tradicionais. / Wavelets application on the analysis of musical gestures in timbres of traditional acoustic instruments.

Faria, Regis Rossi Alves 11 September 1997 (has links)
A expressividade é um elemento chave para o transporte de emoções em música, e seu modelamento, vital para a concepção de sistemas de síntese mais realistas. Gestos musicais executados durante a interpretação usualmente portam a informação responsável pela expressividade percebida, e podem ser rastreados por meio de padrões sônicos a eles associados em diversas escalas de resolução. Um conjunto relevante de gestos musicais expressivos foi estudado através de uma análise em multiresolução utilizando-se a transformada wavelet. A escolha deve-se principalmente à capacidade natural desta ferramenta em realizar análises de tempo-escala/frequência, e suas semelhanças com o processamento dos estágios primários do sistema auditivo. Vinte e sete eventos musicais foram capturados em interpretações de violino e flauta, e analisados com o objetivo de avaliar a aplicabilidade desta ferramenta na identificação e segregação de padrões sônicos associados a gestos musicais expressivos. Os algoritmos wavelet foram implementados na plataforma MATLAB utilizando-se bancos de filtros organizados em esquema piramidal. Rotinas para análises gráfica e sônica e uma interface ao usuário foram também implementadas. Verificou-se que as wavelets permitem a identificação de padrões sônicos associados a gestos expressivos exibindo diferentes propriedades em níveis diferentes da análise. A técnica mostrou-se útil para isolar ruídos oriundos de fontes diversas, extrair transientes associados a gestos súbitos e/ou intensos, e para segregar a estrutura harmônica de tons musicais, entre outras potencialidades não menos importantes. Particularidades da técnica e efeitos secundários observados são discutidos, e os padrões sônicos observados nos níveis wavelets são correlacionados com os gestos musicais que lhes deram origem. São propostos trabalhos futuros objetivando a investigação de certos eventos musicais e fenômenos verificados, bem como o estudo de implementações alternativas. / Expressiveness is a key element for emotion transportation in music, and its modeling necessary to conceive more realistic synthesis systems. Musical gestures executed during a performance carry the information answering for expressiveness, and may be tracked by means of sonic patterns associated to them within several resolution scales. A relevant set of musical gestures was studied through a multiresolution analysis using the wavelet transform. The choice for this tool is mainly due to its natural ability to perform time-scale/frequency analysis, and for its similarities with early auditory processing stages. Twenty seven musical events were captured from violin and flute performances, and analyzed in order to evaluate the applicability of this tool for identification and segregation of sonic patterns associated with expressive musical gestures. The wavelet algorithms were implemented on the MATLAB platform, employing filter banks organized in a pyramidal scheme. Graphical and sonic analysis routines and a user interface were carried out over the same platform. It was verified that wavelets enable the identification of sonic patterns associated to musical gestures revealing different properties on different levels of the analysis. The technique showed up useful to isolate noise from different sources, extract transients associated to sudden and/or intense gestures, and segregate the tonal harmonic structure, among other important features. Particularities of the technique and secondary effects observed are discussed, and sonic patterns on wavelet levels are correlated with the musical gestures which produced them. Future works are proposed addressing further investigation of certain musical events and phenomena observed, as well as the study of alternative implementations.
88

O engine MiTable para aplicações tabletop multi-touch e multi-usuários. / The MiTable engine for multi-touch and multi-user tabletop applications.

Cirelli, Mauricio 13 April 2015 (has links)
A definiçãoo e o reconhecimento de gestos multi-toque s~ao dois dos maiores desafios encontrados por desenvolvedores de aplicações para tabletops. Após a escolha dos gestos, geralmente após um longo e custoso estudo de usuário, os desenvolvedores precisam selecionar ou criar um algorítimo para reconhecê-los e integrá-lo à aplicação e ao hardware. Muitas bibliotecas e arcabouços para o reconhecimento de gestos multi-toque foram propostos nos últimos anos. Cada um deles buscou endereçar um dos diversos desafios encontrados pelos desenvolvedores quando desenvolvendo protótipos e implementando novas aplicações para tabletops, como a integração entre a camada de aplicação e a interface de hardware. Em uma das etapas de nossa pesquisa, foram identificados quatorze requisitos para tais arcabouços, variando desde o suporte ao multi-toque ao suporte a gestos colaborativo não conseguiram endereçar todos os requisitos identificados. Neste trabalho, nós apresentamos o MiTable Engine: um arcabouço flexível e configurável, criado com o objetivo de atender a todos os quatorze requisitos. Esta proposta pode ser utilizada tanto para suportar aplicações em mesas interativas para diversos usuários quanto aplicações para tablets e smartphones. O MiTable Engine foi construído a partir de uma arquitetura de quatro camadas com uma nova proposta de reconhecimento de gestos baseada em pipeline. Nossa proposta é capaz de processar diversas entradas de toque simultaneamente com grande desempenho e se torna muito flexível para personalizações. O MiTable também inclui alguns dos algorítmos do estado-da-arte para reconhecimento de gestos além de um conjunto de ferramentas para criação e inclusão de novos gestos nas aplicações. Neste trabalho, nós discutimos a engine proposta em detalhes, incluindo sua arquitetura, algorítmos e como cada requisito é endereçado. Para exercitar a engine e verificar seu funcionamento, nós apresentamos duas provas de conceito e desenvolvemos diversos testes unitários automatizados. / Gestures denition and recognition are two of the major challenges for tabletop developers. After choosing the gestures, usually after a costly user study, developers must select or create an algorithm to recognize them and integrate it to the main application layer and to the hardware interface layer. Several multi-touch gestures recognition systems and frameworks were proposed in the past years. Each of them tried to address one of several challenges developers have when prototyping and implementing new tabletop applications and to provide a seamless integration between the hardware interface and the main application. During our research, we identified fourteen requirements for multi-touch frameworks, ranging from supporting multi-touch to collaborative gestures. Although current state of art multi-touch gestures frameworks addresses several of them, there is no unique solution which addresses all the developers needs. In this work, we present the MiTable Engine: a flexible and configurable multi-touch gestures engine aimed to address all these requirements. The proposed engine is suitable for both large multi-user surfaces and for small single-user tabletops, such as tablets and smartphones. The MiTable Engine is built on top of a four layers architecture and introduces a novel multi-touch gestures recognition pipeline which can process several multi-touch inputs simultaneously with high performance and flexibility for customizations. The Engine also includes some of the state-of-art multi-touch gestures recognizers and a set of tools for creating and adding custom gestures to the application. In this work, we discuss the proposed engine in deep details, including its architecture, its algorithms and how it addresses each requirement. In order to exercise the engine and verify its functionality, we present two proof of concept applications and developed several automated unit tests.
89

Segmentação e reconhecimento de gestos em tempo real com câmeras e aceleração gráfica / Real-time segmentation and gesture recognition with cameras and graphical acceleration

Dantas, Daniel Oliveira 15 March 2010 (has links)
O objetivo deste trabalho é reconhecer gestos em tempo real apenas com o uso de câmeras, sem marcadores, roupas ou qualquer outro tipo de sensor. A montagem do ambiente de captura é simples, com apenas duas câmeras e um computador. O fundo deve ser estático, e contrastar com o usuário. A ausência de marcadores ou roupas especiais dificulta a tarefa de localizar os membros. A motivação desta tese é criar um ambiente de realidade virtual para treino de goleiros, que possibilite corrigir erros de movimentação, posicionamento e de escolha do método de defesa. A técnica desenvolvida pode ser aplicada para qualquer atividade que envolva gestos ou movimentos do corpo. O reconhecimento de gestos começa com a detecção da região da imagem onde se encontra o usuário. Nessa região, localizamos as regiões mais salientes como candidatas a extremidades do corpo, ou seja, mãos, pés e cabeça. As extremidades encontradas recebem um rótulo que indica a parte do corpo que deve representar. Um vetor com as coordenadas das extremidades é gerado. Para descobrir qual a pose do usuário, o vetor com as coordenadas das suas extremidades é classificado. O passo final é a classificação temporal, ou seja, o reconhecimento do gesto. A técnica desenvolvida é robusta, funcionando bem mesmo quando o sistema foi treinado com um usuário e aplicado a dados de outro. / Our aim in this work is to recognize gestures in real time with cameras, without markers or special clothes. The capture environment setup is simple, uses just two cameras and a computer. The background must be static, and its colors must be different the users. The absence of markers or special clothes difficults the location of the users limbs. The motivation of this thesis is to create a virtual reality environment for goalkeeper training, but the technique can be applied in any activity that involves gestures or body movements. The recognition of gestures starts with the background subtraction. From the foreground, we locate the more proeminent regions as candidates to body extremities, that is, hands, feet and head. The found extremities receive a label that indicates the body part it may represent. To classify the users pose, the vector with the coordinates of his extremities is compared to keyposes and the best match is selected. The final step is the temporal classification, that is, the gesture recognition. The developed technique is robust, working well even when the system was trained with an user and applied to another users data.
90

Detecção de gestos manuais utilizando câmeras de profundidade / Detection of hand gestures using depth cameras

Prado Neto, Elias Ximenes do 28 May 2014 (has links)
É descrito o projeto de um sistema baseado em visão computacional, para o reconhecimento de poses manuais distintas, além da discriminação e rastreamento de seus membros. Entre os requisitos prioritários deste software estão a eficácia e a eficiência para essas tarefas, de forma a possibilitar o controle em tempo real de sistemas computacionais, por meio de gestos de mãos. Além desses fatores, a portabilidade para outros dispositivos e plataformas computacionais, e a possibilidade de extensão da quantidade de poses iniciais, também consiste em condições importantes para a sua funcionalidade. Essas características tendem a promover a popularização da interface proposta, possibilitando a sua aplicação para diversas finalidades e situações; contribuindo dessa forma para a difusão deste tipo de tecnologia e o desenvolvimento das áreas de interfaces gestuais e visão computacional. Vários métodos foram desenvolvidos e pesquisados com base na metodologia de extração de características, utilizando algoritmos de processamento de imagens, análise de vídeo, e visão computacional, além de softwares de aprendizado de máquina para classificação de imagens. Como dispositivo de captura, foi selecionada uma câmera de profundidade, visando obter informações auxiliares aos vários processos associados, reduzindo assim os custos computacionais inerentes e possibilitando a manipulação de sistemas eletrônicos em espaços virtuais tridimensionais. Por meio desse dispositivo, foram filmados alguns voluntários, realizando as poses manuais propostas, de forma a validar os algoritmos desenvolvidos e possibilitar o treinamento dos classificadores utilizados. Esse registro foi necessário, já que não foram encontradas bases de dados disponíveis contendo imagens com informações adequadas para os métodos pesquisados. Por fim, foi desenvolvido um conjunto de métodos capaz de atingir esses objetivos, através de sua combinação para adequação a diferentes dispositivos e tarefas, abrangendo assim todos os requisitos identificados inicialmente. Além do sistema implementado, a publicação da base de imagens de poses de mãos produzida também consiste em uma contribuição para as áreas do conhecimento associadas a este trabalho. Uma vez que as pesquisas realizadas indicam que esta base corresponde ao primeiro conjunto de dados disponibilizado, compatíveis com vários métodos de detecção de gestos manuais por visão computacional, acredita-se que esta venha a auxiliar ao desenvolvimento de softwares com finalidades semelhantes, além possibilitar uma comparação adequada entre o desempenho desses, por meio de sua utilização. / A project of a computer vision based system is described here, for the recognition of different kinds of hand poses, in addition to the discrimination and tracking of its members. Among the software requirements priority, were the efficiency and effectiveness in these tasks, in order to enable the real time control of computer systems by hand gestures. Besides these features, the portability to various devices and computational platforms, and the extension possibility of initial pose number, are also importants conditions for its functionality. Several methods have been developed and researched, based on the methodology of feature extraction, using image processing, video analysis, and computer vision algorithms; in addition to machine learning software for image classification. As capture device, was selected a depth camera, in order to obtain helper information to several associated processes, so reducing the computational costs involved, and enabling handling electronic systems in three-dimensional virtual spaces. Through this device, some volunteers were recorded, performing the proposed hand poses, in order to validate the developed algorithms and to allow the used classifiers training. This record was required, since available databases containing images with relevant information for researched methods was not found. Finally, were developed a set of methods able to achieve these goals, through its combination for adaptation to different devices and tasks, thus covering all requirements initially identified. Besides the developed system, the publication of the hand poses image database produced, is also an contribution to the field of knowledge related with this work. Since the researches carried out indicated that this database is the first set of available data, compatible with different computer vision detection methods for hand gestures, it\'s believed that this will assist in developing software with similar purposes, besides permit a proper comparison of the performances, by means of its use.

Page generated in 0.0395 seconds