Return to search

[en] TOWARDS DIRECT SPATIAL MANIPULATION OF VIRTUAL 3D OBJECTS USING VISUAL TRACKING AND GESTURE RECOGNITION OF UNMARKED HANDS / [pt] RUMO À MANIPULAÇÃO DIRETA ESPACIAL DE OBJETOS VIRTUAIS 3D USANDO RASTREAMENTO BASEADO EM VISÃO E NO RECONHECIMENTO DE GESTOS DE MÃOS SEM MARCADORES

[pt] A necessidade de executar manipulações espaciais (como
seleção, deslocamento, rotação, e escalamento) de objetos
virtuais 3D é comum a muitos tipos de aplicações do
software, inclusive aplicações de computer-aided design
(CAD), computer-aided modeling (CAM) e aplicações de
visualização científica e de engenharia. Neste trabalho é
apresentado um protótipo de aplicação para manipulação de
objetos virtuais 3D utilizando movimentos livres de mãos e
sem o uso de marcadores, podendo-se fazer gestos com uma ou
duas mãos. O usuário move as mãos no volume de trabalho
situado imediatamente acima da mesa, e o sistema integra
ambas as mãos (seus centróides) no ambiente virtual que
corresponde a este volume de trabalho. As mãos são
detectadas e seus gestos reconhecidos usando o método
de detecção de Viola-Jones. Tal reconhecimento de gestos é
assim usado para ligar e desligar modalidades da
manipulação. O rastreamento 3D de até duas mãos é então
obtido por uma combinação de rastreamento 2D chamado flocks-
of-KLT-features e reconstrução 3D baseada em triangulação
estéreo. / [en] The need to perform spatial manipulations (like selection,
translation, rotation, and scaling) of virtual 3D objects
is common to many types of software applications, including
computer-aided design (CAD), computer-aided
modeling (CAM) and scientific and engineering visualization
applications. In this work, a prototype application for
manipulation of 3D virtual objects using free-hand 3D
movements of bare (that is, unmarked, uninstrumented)
hands, as well as using one-handed and two-handed
manipulation gestures, is demonstrated. The user moves his
hands in the work volume situated immediately above the
desktop, and the system effectively integrates both
hands (their centroids) into the virtual environment
corresponding to this work volume. The hands are being
detected and their posture recognized using the Viola-Jones
detection method, and the hand posture recognition
thus obtained is then used for switching between
manipulation modes. Full 3D tracking of up to two hands is
obtained by a combination of 2D flocksof-KLT-features
tracking and 3D reconstruction based on stereo riangulation.

Identiferoai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:12443
Date03 November 2008
CreatorsSINISA KOLARIC
ContributorsMARCELO GATTASS
PublisherMAXWELL
Source SetsPUC Rio
LanguageEnglish
Detected LanguagePortuguese
TypeTEXTO

Page generated in 0.0018 seconds