[pt] Esta tese apresenta um sistema para geração de expressões faciais dinâmicas sincronizadas com a fala em uma face realista tridimensional. Entende-se por expressões faciais dinâmicas aquelas que variam ao longo do tempo e que semanticamente estão relacionadas às emoções, à fala e a fenômenos afetivos que podem modificar o comportamento de uma face em uma animação. A tese define um modelo de emoção para personagens virtuais falantes, de- nominado VeeM (Virtual emotion-to-expression Model ), proposto a partir de uma releitura e uma reestruturação do modelo do círculo emocional de Plutchik. O VeeM introduz o conceito de um hipercubo emocional no espaço canônico do R4 para combinar emoções básicas, dando origem a emoções derivadas. Para validação do VeeM é desenvolvida uma ferramenta de autoria e apresentação de animações faciais denominada DynaFeX (Dynamic Facial eXpression), onde um processamento de fala é realizado para permitir o sincronismo entre fonemas e visemas. A ferramenta permite a definição e o refinamento de emoções para cada quadro ou grupo de quadros de uma animação facial. O subsistema de autoria permite também, alternativamente, uma manipulação em alto-nível, através de scripts de animação. O subsistema de apresentação controla de modo sincronizado a fala da personagem e os aspectos emocionais editados. A DynaFeX faz uso de uma malha poligonal tridimensional baseada no padrão MPEG-4 de animação facial, favorecendo a interoperabilidade da ferramenta com outros sistemas de animação facial. / [en] This thesis presents a system for generating dynamic facial expressions synchronized with speech, rendered using a tridimensional realistic face. Dynamic facial expressions are those temporal-based facial expressions semanti- cally related with emotions, speech and affective inputs that can modify a facial animation behavior. The thesis defines an emotion model for speech virtual actors, named VeeM (Virtual emotion-to-expression Model ), which is based on a revision of the emotional wheel of Plutchik model. The VeeM introduces the emotional hypercube concept in the R4 canonical space to combine pure emotions and create new derived emotions. In order to validate VeeM, it has been developed an authoring and player facial animation tool, named DynaFeX (Dynamic Facial eXpression), where a speech processing is realized to allow the phoneme and viseme synchronization. The tool allows either the definition and refinement of emotions for each frame, or group of frames, as the facial animation edition using a high-level approach based on animation scripts. The tool player controls the animation presentation synchronizing the speech and emotional features with the virtual character performance. DynaFeX is built over a tridimensional polygonal mesh, compliant with MPEG-4 facial animation standard, what favors tool interoperability with other facial animation systems.

[pt] A abordagem orientada a objetos do padrão MPEG-4, para a codificação de conteúdo audiovisual, é similar às utilizadas em vários modelos e linguagens de especificação de documentos multimídia/hipermídia. Entre essas linguagens, a NCL (Nested Context Language), utilizada no sistema HyperProp, introduz uma série de novos conceitos que podem ser integrados ao padrão, com vantagens. Esta dissertação propõe, inicialmente, a conversão de documentos especificados em NCL para MPEG-4 (XMT-O) e vice-versa, permitindo que ferramentas de autoria e formatação possam ser utilizadas na especificação e exibição de documentos de ambas as linguagens. Este trabalho também propõe a incorporação de cenas MPEG-4 tanto como objetos de mídia quanto composições da linguagem NCL, permitindo o estabelecimento de relacionamentos entre cenas. Para permitir a exibição desses novos objetos NCL, é incorporado ao Formatador HyperProp um exibidor MPEG-4 capaz de reportar ao controlador a ocorrência de eventos que, entre outras coisas, permite o sincronismo entre cenas MPEG-4 e outros objetos NCL, incluindo outras cenas MPEG-4. Por fim, explorando o conceito de templates introduzido pela linguagem NCL, a capacidade de autoria no MPEG-4 é estendida, através da definição de novas semânticas para as composições da linguagem XMT-O e da concepção de compiladores para essa linguagem. / [en] The MPEG-4 standard object-oriented approach, employed to the encoding of audiovisual content, is similar to those used on many models and languages for multimedia/hypermedia document specification. Among those languages, the NCL (Nested Context Language), used in the HyperProp system, introduces a series of new concepts that can be integrated to the standard, with advantages. Initially, the proposal of this work is to convert NCL to MPEG-4 (XMT-O) documents and vice versa, allowing authoring and formatting tools to be used in the specification and presentation of documents in both languages. This work also proposes both the placing of MPEG-4 scenes as media objects and NCL language compositions, allowing the establishment of relationships among scenes. In order to allow displaying these new NCL objects, an MPEG-4 player is incorporated to the HyperProp Formatter. The MPEG-4 player is able to report to the controller the occurrence of events that, among other things, allows the synchronization between MPEG-4 scenes and othe r NCL objects, including other MPEG-4 scenes. Finally, exploring the concept of templates, introduced by the NCL language, the authoring in the MPEG-4 is improved, by means of the definition of new semantics for XMT-O language compositions and the design of compilers for this language.