Thesis (MEng)--Stellenbosch University, 2014. / ENGLISH ABSTRACT: The fairly recent introduction of low-cost depth sensors such as Microsoft’s Xbox Kinect
has encouraged a large amount of research on the use of depth sensors for many
common Computer Vision problems. Depth images are advantageous over normal
colour images because of how easily objects in a scene can be segregated in real-time.
Microsoft used the depth images from the Kinect to successfully separate multiple
users and track various larger body joints, but has difficulty tracking smaller joints
such as those of the fingers. This is a result of the low resolution and noisy nature of
the depth images produced by the Kinect.
The objective of this project is to use the depth images produced by the Kinect to
remotely track the user’s hands and to recognise the static hand poses in real-time.
Such a system would make it possible to control an electronic device from a distance
without the use of a remote control. It can be used to control computer systems during
computer aided presentations, translate sign language and to provide more hygienic
control devices in clean rooms such as operating theatres and electronic laboratories.
The proposed system uses the open-source OpenNI framework to retrieve the depth
images from the Kinect and to track the user’s hands. Random Decision Forests are
trained using computer generated depth images of various hand poses and used to
classify the hand regions from a depth image. The region images are processed using
a Mean-Shift based joint estimator to find the 3D joint coordinates. These coordinates
are finally used to classify the static hand pose using a Support Vector Machine trained
using the libSVM library. The system achieves a final accuracy of 95.61% when tested
against synthetic data and 81.35% when tested against real world data. / AFRIKAANSE OPSOMMING: Die onlangse bekendstelling van lae-koste diepte sensors soos Microsoft se Xbox Kinect
het groot belangstelling opgewek in navorsing oor die gebruik van die diepte sensors
vir algemene Rekenaarvisie probleme. Diepte beelde maak dit baie eenvoudig om
intyds verskillende voorwerpe in ’n toneel van mekaar te skei. Microsoft het diepte
beelde van die Kinect gebruik om verskeie persone en hul ledemate suksesvol te volg.
Dit kan egter nie kleiner ledemate soos die vingers volg nie as gevolg van die lae resolusie
en voorkoms van geraas in die beelde.
Die doel van hierdie projek is om die diepte beelde (verkry vanaf die Kinect) te gebruik
om intyds ’n gebruiker se hande te volg oor ’n afstand en die statiese handgebare
te herken. So ’n stelsel sal dit moontlik maak om elektroniese toestelle oor ’n afstand
te kan beheer sonder die gebruik van ’n afstandsbeheerder. Dit kan gebruik word om
rekenaarstelsels te beheer gedurende rekenaargesteunde aanbiedings, vir die vertaling
van vingertaal en kan ook gebruik word as higiëniese, tasvrye beheer toestelle in
skoonkamers soos operasieteaters en elektroniese laboratoriums. Die voorgestelde stelsel maak gebruik van die oopbron OpenNI raamwerk om die
diepte beelde vanaf die Kinect te lees en die gebruiker se hande te volg. Lukrake
Besluitnemingswoude ("Random Decision Forests") is opgelei met behulp van rekenaar
gegenereerde diepte beelde van verskeie handgebare en word gebruik om die
verskeie handdele vanaf ’n diepte beeld te klassifiseer. Die 3D koördinate van die hand
ledemate word dan verkry deur gebruik te maak van ’n Gemiddelde-Afset gebaseerde
ledemaat herkenner. Hierdie koördinate word dan gebruik om die statiese handgebaar
te klassifiseer met behulp van ’n Steun-Vektor Masjien ("Support Vector Machine"),
opgelei met behulp van die libSVM biblioteek. Die stelsel behaal ’n finale akkuraatheid
van 95.61% wanneer dit getoets word teen sintetiese data en 81.35% wanneer getoets
word teen werklike data.
| Identifer | oai:union.ndltd.org:netd.ac.za/oai:union.ndltd.org:sun/oai:scholar.sun.ac.za:10019.1/86442 |
| Date | 04 1900 |
| Creators | Alberts, Stefan Francois |
| Contributors | Engelbrecht, H. A., Stellenbosch University. Faculty of Engineering. Dept. of Electrical and Electronic Engineering. |
| Publisher | Stellenbosch : Stellenbosch University |
| Source Sets | South African National ETD Portal |
| Language | en_ZA |
| Detected Language | Unknown |
| Type | Thesis |
| Format | xxiv, 178 p. : ill. |
| Rights | Stellenbosch University |
Page generated in 0.0023 seconds