Este trabalho investiga a aplicação de rede de comportamentos estendidas ao domínio de jogos de computador. Redes de comportamentos estendidas (RCE) são uma classe de arquiteturas para seleção de ações capazes de selecionar bons conjuntos de ações para agentes complexos situados em ambientes contínuos e dinâmicos. Foram aplicadas com sucesso na Robocup, mas nunca foram aplicadas a jogos. PHISH-Nets, um modelo de redes de comportamentos capaz de selecionar apenas uma ação por vez, foi aplicado à modelagem de personagens, com bons resultados. Apesar de RCEs serem aplicáveis a um conjunto de domínios maior, nunca foram usadas para modelagem de personagens. Apresenta-se como projetar um agente controlado por uma rede de comportamentos para o domínio do Unreal Tournament e como integrar a rede de comportamentos a sensores nebulosos e comportamentos baseados em máquinas de estado-finito aumentadas. Investiga-se a qualidade da seleção de ações e a correção do mecanismo em uma série de experimentos. A performance é medida através da comparação das pontuações de um agente baseado em redes de comportamentos com outros dois agentes. Um dos agentes foi implementado por outro grupo e usava sensores, efetores e comportamentos diferentes. O outro agente era idêntico ao agente baseado em RCEs, exceto pelo mecanismo de controle empregado. A modelagem de personalidade é investigada através do projeto e análise de cinco estereótipos: Samurai, Veterano, Berserker, Novato e Covarde. Apresenta-se três maneiras de construir personalidades e situa-se este trabalho dentro de outras abordagems de projeto de personalidades. Conclui-se que a rede de comportamentos estendida é um bom mecanismo de seleção de ações para o domínio de jogos de computador e um mecanismo interessante para a construção de agentes com personalidades simples. / This work investigates the application of extended behavior networks to the computer game domain. We use as our test bed the game Unreal Tournament. Extended Behavior Networks (EBNs) are a class of action selection architectures capable of selecting a good set of actions for complex agents situated in continuous and dynamic environments. They have been successfully applied to the Robocup, but never before used in computer games. PHISH-Nets, a behavior network model capable of selecting just single actions, was applied to character modeling with promising results. Although extended behavior networks are applicable to a larger domain, they had not been used to character modeling before. We present how to design an agent with extended behavior networks, fuzzy sensors and finite-state machine based behaviors. We investigate the quality of the action selection mechanism and its correctness in a series of experiments. The performance is assessed comparing the scores of an agent using an extended behavior network against a plain reactive agent with identical sensory-motor apparatus and against a totally different agent built around finite-state machines. We investigate how EBNs fare on agent personality modeling via the design and analysis of five stereotypes in Unreal Tournament. We discuss three ways to build character personas and situate our work within other approaches. We conclude that extended behavior networks are a good action selection architecture for the computer game domain and an interesting mechanism to build agents with simple personalities.

This thesis explores the perceived enjoyability of Deep Reinforcement learning AI agents (DeepRL agent) that strives towards optimality within the First Person Shooter game Unreal Tournament 2004 (UT2004). The DeepRL agent used in the experiments was created and then trained within this game against the AI agent which comes with the UT2004 game (known here as a trivial UT2004 agent). Through testing the opinions of participants who have played UT2004 deathmatches against both the DeepRL agent and the trivial UT2004 agent, the data collected in two participant surveys shows that the DeepRL agent is more enjoyable to face than a trivial UT2004 agent. By striving towards optimality the DeepRL agent developed a behaviour which despite making the DeepRL agent a great deal worse at UT2004 than the trivial UT2004 agent was more enjoyable to face than the trivial UT2004 agent. Considering this outcome the data suggests that DeepRL agents in UT2004 which are encouraged to strive towards optimality during training are “enjoyable enough” in order to be considered by game developers to be “good enough” when developing non-trivial opponents for games similar to UT2004. If the development time of a DeepRL agent is reduced or equal in comparison with the development time of a trivial agent then the DeepRL agent could hypothetically be preferable.