Made available in DSpace on 2015-05-14T12:36:51Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 4482656 bytes, checksum: 11b85e413d691749edd8d5be0d8f56d4 (MD5) Previous issue date: 2014-03-28 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / Electronic games and, in particular, real-time strategy (RTS) games, are increasingly seen as viable and important fields for artificial intelligence research because of commonly held characteristics, like the presence of complex environments, usually dynamic and with multiple agents. In commercial RTS games, the computer behavior is mostly designed with simple ad hoc, static techniques that require manual definition of actions and leave the agent unable to adapt to the various situations it may find. This approach, besides being lengthy and error-prone, makes the game relatively predictable after some time, allowing the human player to eventually discover the strategy used by the computer and develop an optimal way of countering it. Using machine learning techniques like reinforcement learning is a way of trying to avoid this predictability, allowing the computer to evaluate the situations that occur during the games, learning with these situations and improving its behavior over time, being able to choose autonomously and dynamically the best action when needed. This work proposes a modeling for the use of SARSA, a reinforcement learning technique, applied to combat situations in RTS games, with the goal of allowing the computer to better perform in this fundamental area for achieving victory in an RTS game. Several tests were made with various game situations and the agent applying the proposed modeling, facing the game's default AI opponent, was able to improve its performance in all of them, developing knowledge about the best actions to choose for the various possible game states and using this knowledge in an efficient way to obtain better results in later games / Jogos eletrônicos e, em especial, jogos de estratégia em tempo real (RTS), são cada vez mais vistos como campos viáveis e importantes para pesquisas de inteligência artificial por possuírem características interessantes para a área, como a presença de ambientes complexos, muitas vezes dinâmicos e com múltiplos agentes. Nos jogos RTS comerciais, o comportamento do computador é geralmente definido a partir de técnicas ad hoc simples e estáticas, com a necessidade de definição manual de ações e a incapacidade de adaptação às situações encontradas. Esta abordagem, além de demorada e propícia a erros, faz com que o jogo se torne relativamente previsível após algum tempo, permitindo ao jogador eventualmente descobrir a estratégia utilizada pelo computador e desenvolver uma forma ótima de enfrentá-lo. Uma maneira de tentar combater esta previsibilidade consiste na utilização de técnicas de aprendizagem de máquina, mais especificamente do aprendizado por reforço, para permitir ao computador avaliar as situações ocorridas durante as partidas, aprendendo com estas situações e aprimorando seu conhecimento ao longo do tempo, sendo capaz de escolher de maneira autônoma e dinâmica a melhor ação quando necessário. Este trabalho propõe uma modelagem para a utilização de SARSA, uma técnica do aprendizado por reforço, aplicada a situações de combate em jogos RTS, com o objetivo de fazer com o que o computador possa se portar de maneira mais adequada nessa área, uma das mais fundamentais para a busca da vitória em um jogo RTS. Nos testes realizados em diversas situações de jogo, o agente aplicando a modelagem proposta, enfrentando o oponente padrão controlado pela IA do jogo, foi sempre capaz de melhorar seus resultados ao longo do tempo, obtendo conhecimento acerca das melhores ações a serem tomadas a cada momento decisório e aproveitando esse conhecimento nas suas partidas futuras