[pt] Esta tese apresenta um sistema para geração de expressões faciais dinâmicas sincronizadas com a fala em uma face realista tridimensional. Entende-se por expressões faciais dinâmicas aquelas que variam ao longo do tempo e que semanticamente estão relacionadas às emoções, à fala e a fenômenos afetivos que podem modificar o comportamento de uma face em uma animação. A tese define um modelo de emoção para personagens virtuais falantes, de- nominado VeeM (Virtual emotion-to-expression Model ), proposto a partir de uma releitura e uma reestruturação do modelo do círculo emocional de Plutchik. O VeeM introduz o conceito de um hipercubo emocional no espaço canônico do R4 para combinar emoções básicas, dando origem a emoções derivadas. Para validação do VeeM é desenvolvida uma ferramenta de autoria e apresentação de animações faciais denominada DynaFeX (Dynamic Facial eXpression), onde um processamento de fala é realizado para permitir o sincronismo entre fonemas e visemas. A ferramenta permite a definição e o refinamento de emoções para cada quadro ou grupo de quadros de uma animação facial. O subsistema de autoria permite também, alternativamente, uma manipulação em alto-nível, através de scripts de animação. O subsistema de apresentação controla de modo sincronizado a fala da personagem e os aspectos emocionais editados. A DynaFeX faz uso de uma malha poligonal tridimensional baseada no padrão MPEG-4 de animação facial, favorecendo a interoperabilidade da ferramenta com outros sistemas de animação facial. / [en] This thesis presents a system for generating dynamic facial expressions synchronized with speech, rendered using a tridimensional realistic face. Dynamic facial expressions are those temporal-based facial expressions semanti- cally related with emotions, speech and affective inputs that can modify a facial animation behavior. The thesis defines an emotion model for speech virtual actors, named VeeM (Virtual emotion-to-expression Model ), which is based on a revision of the emotional wheel of Plutchik model. The VeeM introduces the emotional hypercube concept in the R4 canonical space to combine pure emotions and create new derived emotions. In order to validate VeeM, it has been developed an authoring and player facial animation tool, named DynaFeX (Dynamic Facial eXpression), where a speech processing is realized to allow the phoneme and viseme synchronization. The tool allows either the definition and refinement of emotions for each frame, or group of frames, as the facial animation edition using a high-level approach based on animation scripts. The tool player controls the animation presentation synchronizing the speech and emotional features with the virtual character performance. DynaFeX is built over a tridimensional polygonal mesh, compliant with MPEG-4 facial animation standard, what favors tool interoperability with other facial animation systems.

[pt] Ao contar uma história, o narrador usa toda sua habilidade para entreter a audiência. Esta tarefa não define apenas o ato de contar uma história, mas também a capacidade de compreender as reações do público durante a narração da história. Não é muito difícil adaptar uma história para um único individuo baseando-se em suas preferências e escolhas anteriores, porém, a tarefa de escolher o que é melhor para um grupo torna-se bastante complicada. A seleção por votação de uma maioria pode não ser eficiente pois descarta alternativas que foram consideradas secundárias por alguns indivíduos, mas que funcionariam melhor para o grupo em questão. Desta forma, a seleção descuidada dos eventos em uma história poderia causar a ruptura do grupo, fazendo com que algumas pessoas desistam de continuar assistindo pois não foram agradadas. Esta tese propõe uma metodologia para criar histórias adaptadas para a audiência com base em traços de personalidade e preferências de cada indivíduo. Como uma audiência pode ser composta de indivíduos com preferências semelhantes ou mistas, é necessário considerar uma solução de meio-termo com base nas opções individuais. Além disso, os indivíduos podem ter algum tipo de relação com os outros que influenciam suas decisões. O modelo proposto aborda todas as etapas da missão de agradar ao público. Deve inferir quais são as preferências, calcular a recompensa das cenas para todos os indivíduos, estimar as escolhas de forma independente e em grupo, e permitir sistemas de Storytelling Interativos encontrar a história que maximiza a recompensa esperada da audiência. O modelo proposto pode ser facilmente estendido a outras áreas que envolvem usuários interagindo com ambientes digitais. / [en] To tell a story, the storyteller uses all his/her skills to entertain an audience. This task not only relies on the act of telling a story, but also on the ability to understand reactions of the audience during the telling of the story. It is not so difficult to adapt a story for a single individual based on his/her preferences and previous choices. However, the task of choosing what is best for a group becomes quite complicated. The selection by majority voting cannot be effective because it can discard alternatives that are secondary for some individuals, but that would work better for the group in question. Thus, the careless selection of events in a story could cause audience splitting, causing some people to give up keep watching because they were not pleased. This thesis proposes a new methodology to create tailored stories for an audience based on personality traits and preferences of each individual. As an audience may be composed of individuals with similar or mixed preferences, it is necessary to consider a middle ground solution based on the individual options. In addition, individuals may have some kind of relationship with others who influence their decisions. The proposed model addresses all steps in the quest to please the audience. It infers what the preferences are, computes the scenes reward for all individuals, estimates their choices independently and in group, and allows Interactive Storytelling systems to find the story that maximizes the expected audience reward. The proposed model can easily be extended to other areas that involve users interacting with digital environments.