[pt] A face humana é interessante e desafiadora acima de tudo pela sua familiaridade. Essencialmente, é a parte do corpo utilizada para reconhecer indivíduos. Assim como a face, a fala é um importante instrumento na forma de comunicação do ser humano. Através da fala é possível externar pensamentos e, muitas vezes, ela indica o estado de ânimo em que uma pessoa se encontra. Juntos, fala e face são os principais elementos de interatividade entre os seres humanos. Contudo, reproduzir com naturalidade e fidelidade as peculiaridades destes dois elementos no universo computacional não é uma tarefa simples, constituindo-se em tópicos de pesquisa em diversas áreas, em particular na animação facial. Entre os diversos tipos de sistemas de animação facial, destacam-se como diretamente relacionados a este trabalho aqueles que envolvem a sincronização da fala de um personagem com a animação da sua face. Sistemas desse tipo são conhecidos como talking head ou talking face. Para o desenvolvimento de um sistema talking head, é necessário identificar as possíveis abordagens para a modelagem dos dois elementos básicos: fala e face. Os modelos utilizados irão influenciar não apenas a maneira como a animação é conduzida, mas a própria forma de interatividade do sistema. Uma contribuição importante deste trabalho é o estudo das possíveis abordagens e a proposta de uma taxonomia para a classificação de sistemas talking head. A partir da taxonomia proposta e fazendo uso de uma determinada abordagem para cada parâmetro analisado, foi desenvolvida uma aplicação que recebe como entrada um texto contendo a fala e anotações de expressividade e gera como saída, em tempo real, a animação de um personagem virtual enunciando o texto de entrada com o áudio e os movimentos faciais sincronizados. O sistema desenvolvido, denominado Expressive Talking Heads, explora a naturalidade da animação facial e ao mesmo tempo busca oferecer ao usuário uma interface com interatividade em tempo real. O Expressive Talking Heads pode ser executado tanto no modo isolado (stand alone) como acoplado a navegadores para a web, tendo sido projetado e desenvolvido com a preocupação de oferecer uma solução independente da plataforma e do sistema operacional utilizados. / [en] The human face is interesting and challenging mainly because of its familiarity. Essentially, it is the part of the human body that is used to recognize individuals. As well as the face, the speech is an important instrument for human communication, allowing the exteriorization of thoughts and the definition of emotions. Together, speech and face are the main elements of interactivity among human beings. However, the natural and faithful reproductions of the pecularities of these elements in the computational universe is not a simple task, constituting topics of the research in the diverse areas, particularly in facial animation. Among the diverse types of facial animation systems developed, those that involve the facial animation of the virtual character combined with speech synchronization are distinguished as directly related to this work. These kinds of systems are known as talking head or talking face. Fot the development of a talking head system, it is necessary to identify the possible approaches for the speech and face modeling. The models used will influence not only the way that the animation is performed, but it will also affect the system´s interactivity. An important contribution of the present master thesis is the study of several possible approaches for the main elements and the proposal of taxonomy for the classification of the talking head systems. From the proposed taxonomy and making use of one approach for each analyzed paramenter, an application was developed that receives as input a text composed by the character s speech and genus, language and emotion parameters, and it generates as output, in real time, the animation of a virtual character uttering the input text with speech synchronization and expressiveness. The system developed, called Expressive Talking Heads, explores the naturalness of facial animation and it seeks to offer the user a real- time interactivity interface. The Expressive Talking Heads system can run as a stand-alone applicattion or connected to web browsers. It was designed and developed to provide a platform and operating system independent solution.

Submitted by MAÍRA CASTILHOS COELHO null (mcastilhos@gmail.com) on 2017-09-18T18:49:59Z No. of bitstreams: 1 MairaCastilhosCoelho_Tese_2017.pdf: 9546799 bytes, checksum: 1f56dee4e10ca12bc631066c68236a64 (MD5) / Approved for entry into archive by Monique Sasaki (sayumi_sasaki@hotmail.com) on 2017-09-19T20:17:19Z (GMT) No. of bitstreams: 1 coelho_mc_dr_ia.pdf: 9546799 bytes, checksum: 1f56dee4e10ca12bc631066c68236a64 (MD5) / Made available in DSpace on 2017-09-19T20:17:19Z (GMT). No. of bitstreams: 1 coelho_mc_dr_ia.pdf: 9546799 bytes, checksum: 1f56dee4e10ca12bc631066c68236a64 (MD5) Previous issue date: 2017-07-24 / Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) / A pesquisa aqui proposta pretende refletir sobre as formas de presença do ator existentes no teatro a partir da fusão com a linguagem cinematográfica. Sob o ponto de vista do ator, foi pesquisada a nova dimensão da sua presença no palco, caracterizada pela utilização da câmara e do microfone. Para tanto, introduzimos uma breve história do teatro durante o surgimento do cinema visando contextualizar os estudos e reflexões contidos nos capítulos seguintes, nos quais serão aprofundados os avanços tecnológicos que culminaram no momento presente. Ao estudar as possibilidades do uso de recursos digitais no teatro, o foco é direcionado para as relações entre ator, câmera e projeção, visando investigar as possíveis formas de presença que vem sendo exploradas no teatro. Assim, o estudo é desenvolvido a partir das encenações: "E se elas fossem para Moscou?", de Christiane Jatahy; "King of War", de Ivo Van Hove; " Le Projet Andersen", de Robert Lepage; "The Tempest", de 4DArt; "Eraritjaritjaka", de Heiner Goebbels. A escolha dos espetáculos se deu devido a diferentes formas de captação e projeção das imagens em vídeo, que possibilitam, formas distintas de presença e de convívio entre ator-câmera-espectador. Por fim, é esperado, também, que o estudo propicie subsídios analíticos para a investigação das novas possibilidades deste “teatrodigital” e das tendências que se desanuviam em um futuro próximo de evolução tecnológica e diversificação técnica. / The present research intends to reflect on actor’s types of presence in theatre from the fusion with the cinematographic language. Under the actor’s point of view, it was researched a new dimension of his presence on stage, characterized by the use of camera and microphone. To this end, the study begins with a short history of theatre during the rise of cinema so as to contextualize the studies and reflections contained in future chapters, which present technological advances culminating in the present day. In studying the possibilities of this “theatre-cinema”, the research focuses on relationships between actors, cameras, and projections, as well as investigating possible forms of presence that both cinema and theatre explore, and that enable new relations between actors and spectators to be formed. The study examines the following scenic productions: "E se elas fossem para Moscou?" by Christiane Jatahy; "King of War", by Ivo Van Hove; "Le Projet Andersen", by Robert Lepage; "The Tempest", by 4DArt; and "Eraritjaritjaka", by Heiner Goebbels. The choice of productions is based on different forms of capturing and projecting video images, which allow for distinct modes of presence and of interaction between actors, cameras, and spectators. Finally, the research also aims to supply analytic tools toward the investigation of new possibilities of this “theatre-cinema” and of tendencies that will arise in the near future, based on technological evolution and technical diversification. / FAPESP: 2013/06541-3 / FAPESP: 2015/06139-6