Return to search

Computer facial animation for sign language visualization

Thesis (MSc)--University of Stellenbosch, 2005. / ENGLISH ABSTRACT: Sign Language is a fully-fledged natural language possessing its own syntax and grammar; a fact
which implies that the problem of machine translation from a spoken source language to Sign
Language is at least as difficult as machine translation between two spoken languages. Sign
Language, however, is communicated in a modality fundamentally different from all spoken
languages. Machine translation to Sign Language is therefore burdened not only by a mapping
from one syntax and grammar to another, but also, by a non-trivial transformation from one
communicational modality to another.
With regards to the computer visualization of Sign Language; what is required is a three
dimensional, temporally accurate, visualization of signs including both the manual and nonmanual
components which can be viewed from arbitrary perspectives making accurate understanding
and imitation more feasible. Moreover, given that facial expressions and movements
represent a fundamental basis for the majority of non-manual signs, any system concerned with
the accurate visualization of Sign Language must rely heavily on a facial animation component
capable of representing a well-defined set of emotional expressions as well as a set of arbitrary
facial movements.
This thesis investigates the development of such a computer facial animation system. We address
the problem of delivering coordinated, temporally constrained, facial animation sequences
in an online environment using VRML. Furthermore, we investigate the animation, using a muscle
model process, of arbitrary three-dimensional facial models consisting of multiple aligned
NURBS surfaces of varying refinement.
Our results showed that this approach is capable of representing and manipulating high
fidelity three-dimensional facial models in such a manner that localized distortions of the models
result in the recognizable and realistic display of human facial expressions and that these facial
expressions can be displayed in a coordinated, synchronous manner. / AFRIKAANSE OPSOMMING: Gebaretaal is 'n volwaardige natuurlike taal wat oor sy eie sintaks en grammatika beskik.
Hierdie feit impliseer dat die probleem rakende masjienvertaling vanuit 'n gesproke taal na
Gebaretaal net so moeilik is as masjienvertaling tussen twee gesproke tale. Gebaretaal word
egter in 'n modaliteit gekommunikeer wat in wese van alle gesproke tale verskil. Masjienvertaling
in Gebaretaal word daarom nie net belas deur 'n afbeelding van een sintaks en grammatika op 'n
ander nie, maar ook deur beduidende omvorming van een kommunikasiemodaliteit na 'n ander.
Wat die gerekenariseerde visualisering van Gebaretaal betref, vereis dit 'n driedimensionele,
tyds-akkurate visualisering van gebare, insluitend komponente wat met en sonder die gebruik
van die hande uitgevoer word, en wat vanuit arbitrêre perspektiewe beskou kan word ten
einde die uitvoerbaarheid van akkurate begrip en nabootsing te verhoog. Aangesien gesigsuitdrukkings
en -bewegings die fundamentele grondslag van die meeste gebare wat nie met die
hand gemaak word nie, verteenwoordig, moet enige stelsel wat te make het met die akkurate
visualisering van Gebaretaal boonop sterk steun op 'n gesigsanimasiekomponent wat daartoe in
staat is om 'n goed gedefinieerde stel emosionele uitdrukkings sowel as 'n stel arbitrre gesigbewegings
voor te stel.
Hierdie tesis ondersoek die ontwikkeling van so 'n gerekenariseerde gesigsanimasiestelsel. Die
probleem rakende die lewering van gekordineerde, tydsbegrensde gesigsanimasiesekwensies in 'n
intydse omgewing, wat gebruik maak van VRML, word aangeroer. Voorts word ondersoek
ingestel na die animasie (hier word van 'n spiermodelproses gebruik gemaak) van arbitrre driedimensionele
gesigsmodelle bestaande uit veelvoudige, opgestelde NURBS-oppervlakke waarvan
die verfyning wissel.
Die resultate toon dat hierdie benadering daartoe in staat is om hoë kwaliteit driedimensionele
gesigsmodelle só voor te stel en te manipuleer dat gelokaliseerde vervormings van die
modelle die herkenbare en realistiese tentoonstelling van menslike gesigsuitdrukkings tot gevolg het en dat hierdie gesigsuitdrukkings op 'n gekordineerde, sinchroniese wyse uitgebeeld kan
word.

Identiferoai:union.ndltd.org:netd.ac.za/oai:union.ndltd.org:sun/oai:scholar.sun.ac.za:10019.1/50300
Date04 1900
CreatorsBarker, Dean
ContributorsVan Zijl, L., Stellenbosch University. Faculty of Science. Dept. of Mathematical Sciences.
PublisherStellenbosch : Stellenbosch University
Source SetsSouth African National ETD Portal
Languageen_ZA
Detected LanguageUnknown
TypeThesis
Format87 p. : ill.
RightsStellenbosch University

Page generated in 0.0027 seconds