[pt] A geração de representações visuais envolventes para storytelling interativo é um dos desafios-chave para a evolução e popularização das narrativas interativas. Usualmente, sistemas de storytelling interativo utilizam computação gráfica para representar os mundos virtuais das histórias, o que facilita a geração dinâmica de conteúdos visuais. Embora animação tridimensional seja um poderoso meio para contar histórias, filmes com atores reais continuam atraindo mais atenção do público em geral. Além disso, apesar dos recentes progressos em renderização gráfica e da ampla aceitação de animação 3D em filmes, a qualidade visual do vídeo continua sendo muito superior aos gráficos gerados computacionalmente em tempo real. Na presente tese propomos uma nova abordagem para criar narrativas interativas mais envolventes, denominada Storytelling Interativo Baseado em Vídeo, onde os personagens e ambientes virtuais são substituídos por atores e cenários reais, sem perder a estrutura lógica da narrativa. Este trabalho apresenta um modelo geral para sistemas de storytelling interativo baseados em vídeo, incluindo os aspectos autorais das fases de produção e os aspectos técnicos dos algoritmos responsáveis pela geração em tempo real de narrativas interativas usando técnicas de composição de vídeo. / [en] The generation of engaging visual representations for interactive storytelling represents a key challenge for the evolution and popularization of interactive narratives. Usually, interactive storytelling systems adopt computer graphics to represent the virtual story worlds, which facilitates the dynamic generation of visual content. Although animation is a powerful storytelling medium, live-action films still attract more attention from the general public. In addition, despite the recent progress in graphics rendering and the wide-scale acceptance of 3D animation in films, the visual quality of video is still far superior to that of real-time generated computer graphics. In the present thesis, we propose a new approach to create more engaging interactive narratives, denominated Video-Based Interactive Storytelling, where characters and virtual environments are replaced by real actors and settings, without losing the logical structure of the narrative. This work presents a general model for interactive storytelling systems that are based on video, including the authorial aspects of the production phases, and the technical aspects of the algorithms responsible for the real-time generation of interactive narratives using video compositing techniques.

[pt] Nesta tese é apresentada uma arquitetura altamente escalável para storytelling interativo em massa baseado em streams de vídeo. A arquitetura proposta pode suportar diferentes demandas para interatividade, geração e visualização de histórias em ambientes de televisão digital, que inclui set-top boxes de TV, tablets, smartphones e computadores. Nesta arquitetura, a mesma história se adapta ao aparelho do espectador em termos de renderização e processo de interface automaticamente. Também é apresentado um modelo para compartilhar histórias interativas em massa. Além disso, o sistema proposto preserva a coerência lógica da história que se desenrola enquanto a mantém interativa. / [en] In this thesis we present a highly scalable architecture for massive multi-user interactive storytelling systems based on video streams. The proposed architecture can support different demands for interactivity, generation, and visualization of stories in digital television environments, which include TV set-top boxes, tablets, smartphones, and computers. In this architecture, the same story adapts itself to the spectator s device in terms of rendering and interface processes automatically. Also a model for sharing massive interactive stories is presented. Moreover, the proposed system preserves the logical coherence of the story that unfolds while keeping it interactive.

[pt] Ao contar uma história, o narrador usa toda sua habilidade para entreter a audiência. Esta tarefa não define apenas o ato de contar uma história, mas também a capacidade de compreender as reações do público durante a narração da história. Não é muito difícil adaptar uma história para um único individuo baseando-se em suas preferências e escolhas anteriores, porém, a tarefa de escolher o que é melhor para um grupo torna-se bastante complicada. A seleção por votação de uma maioria pode não ser eficiente pois descarta alternativas que foram consideradas secundárias por alguns indivíduos, mas que funcionariam melhor para o grupo em questão. Desta forma, a seleção descuidada dos eventos em uma história poderia causar a ruptura do grupo, fazendo com que algumas pessoas desistam de continuar assistindo pois não foram agradadas. Esta tese propõe uma metodologia para criar histórias adaptadas para a audiência com base em traços de personalidade e preferências de cada indivíduo. Como uma audiência pode ser composta de indivíduos com preferências semelhantes ou mistas, é necessário considerar uma solução de meio-termo com base nas opções individuais. Além disso, os indivíduos podem ter algum tipo de relação com os outros que influenciam suas decisões. O modelo proposto aborda todas as etapas da missão de agradar ao público. Deve inferir quais são as preferências, calcular a recompensa das cenas para todos os indivíduos, estimar as escolhas de forma independente e em grupo, e permitir sistemas de Storytelling Interativos encontrar a história que maximiza a recompensa esperada da audiência. O modelo proposto pode ser facilmente estendido a outras áreas que envolvem usuários interagindo com ambientes digitais. / [en] To tell a story, the storyteller uses all his/her skills to entertain an audience. This task not only relies on the act of telling a story, but also on the ability to understand reactions of the audience during the telling of the story. It is not so difficult to adapt a story for a single individual based on his/her preferences and previous choices. However, the task of choosing what is best for a group becomes quite complicated. The selection by majority voting cannot be effective because it can discard alternatives that are secondary for some individuals, but that would work better for the group in question. Thus, the careless selection of events in a story could cause audience splitting, causing some people to give up keep watching because they were not pleased. This thesis proposes a new methodology to create tailored stories for an audience based on personality traits and preferences of each individual. As an audience may be composed of individuals with similar or mixed preferences, it is necessary to consider a middle ground solution based on the individual options. In addition, individuals may have some kind of relationship with others who influence their decisions. The proposed model addresses all steps in the quest to please the audience. It infers what the preferences are, computes the scenes reward for all individuals, estimates their choices independently and in group, and allows Interactive Storytelling systems to find the story that maximizes the expected audience reward. The proposed model can easily be extended to other areas that involve users interacting with digital environments.