Fundação de Amparo a Pesquisa do Estado de Minas Gerais / Agentes que operam em ambientes onde as tomadas de decisão precisam levar em
conta, além do ambiente, a atuação minimizadora de um oponente (tal como nos jogos),
é fundamental que o agente seja dotado da habilidade de, progressivamente, traçar um
perĄl de seu adversário que o auxilie em seu processo de seleção de ações apropriadas.
Entretanto, seria improdutivo construir um agente com um sistema de tomada de decisão
baseado apenas na elaboração desse perĄl, pois isso impediria o agente de ter uma Şidentidade
própriaŤ, o que o deixaria a mercê de seu adversário. Nesta direção, este trabalho
propõe um sistema automático jogador de Damas híbrido, chamado ACE-RL-Checkers,
dotado de um mecanismo dinâmico de tomada de decisões que se adapta ao perĄl de seu
oponente no decorrer de um jogo. Em tal sistema, o processo de seleção de ações (movimentos)
é conduzido por uma composição de Rede Neural de Perceptron Multicamadas e
biblioteca de casos. No caso, a Rede Neural representa a ŞidentidadeŤ do agente, ou seja,
é um módulo tomador de decisões estático já treinado e que faz uso da técnica de Aprendizagem
por Reforço TD( ). Por outro lado, a biblioteca de casos representa o módulo
tomador de decisões dinâmico do agente que é gerada pela técnica de Elicitação Automática
de Casos (um tipo particular de Raciocínio Baseado em Casos). Essa técnica possui
um comportamento exploratório pseudo-aleatório que faz com que a tomada de decisão
dinâmica do agente seja guiada, ora pelo perĄl de jogo do adversário, ora aleatoriamente.
Contudo, ao conceber tal arquitetura, é necessário evitar o seguinte problema: devido às
características inerentes à técnica de Elicitação Automática de Casos, nas fases iniciais do
jogo Ű em que a quantidade de casos disponíveis na biblioteca é extremamente baixa em
função do exíguo conhecimento do perĄl do adversário Ű a frequência de tomadas de decisão
aleatórias seria muito elevada, o que comprometeria o desempenho do agente. Para
atacar tal problema, este trabalho também propõe incorporar à arquitetura do ACE-RLCheckers
um terceiro módulo, composto por uma base de regras de experiência extraída
a partir de jogos de especialistas humanos, utilizando uma técnica de Mineração de Padrões
Sequenciais. O objetivo de utilizar tal base é reĄnar e acelerar a adaptação do
agente ao perĄl de seu adversário nas fases iniciais dos confrontos entre eles. Resultados
experimentais conduzidos em torneio envolvendo ACE-RL-Checkers e outros agentes correlacionados
com este trabalho, conĄrmam a superioridade da arquitetura dinâmica aqui
proposta. / ake into account, in addition to the environment, the minimizing action of an opponent
(such as in games), it is fundamental that the agent has the ability to progressively trace
a proĄle of its adversary that aids it in the process of selecting appropriate actions. However,
it would be unsuitable to construct an agent with a decision-making system based
on only the elaboration of this proĄle, as this would prevent the agent from having its
Şown identityŤ, which would leave it at the mercy of its opponent. Following this direction,
this work proposes an automatic hybrid Checkers player, called ACE-RL-Checkers,
equipped with a dynamic decision-making mechanism, which adapts to the proĄle of its
opponent over the course of the game. In such a system, the action selection process
(moves) is conducted through a composition of Multi-Layer Perceptron Neural Network
and case library. In the case, Neural Network represents the ŞidentityŤ of the agent, i.e.,
it is an already trained static decision-making module and makes use of the Reinforcement
Learning TD( ) techniques. On the other hand, the case library represents the
dynamic decision-making module of the agent, which is generated by the Automatic Case
Elicitation technique (a particular type of Case-Based Reasoning). This technique has a
pseudo-random exploratory behavior, which makes the dynamic decision-making on the
part of the agent to be directed, either by the game proĄle of the opponent or randomly.
However, when devising such an architecture, it is necessary to avoid the following problem:
due to the inherent characteristics of the Automatic Case Elicitation technique, in
the game initial phases, in which the quantity of available cases in the library is extremely
low due to low knowledge content concerning the proĄle of the adversary, the decisionmaking
frequency for random decisions is extremely high, which would be detrimental
to the performance of the agent. In order to attack this problem, this work also proposes
to incorporate onto the ACE-RL-Checkers architecture a third module composed
of a base of experience rules, extracted from games played by human experts, using a
Sequential Pattern Mining technique. The objective behind using such a base is to reĄne
and accelerate the adaptation of the agent to the proĄle of its opponent in the initial
phases of their confrontations. Experimental results conducted in tournaments involving
ACE-RL-Checkers and other agents correlated with this work, conĄrm the superiority of
the dynamic architecture proposed herein. / Tese (Doutorado)
| Identifer | oai:union.ndltd.org:IBICT/urn:repox.ist.utl.pt:RI_UFU:oai:repositorio.ufu.br:123456789/18143 |
| Date | 21 November 2016 |
| Creators | Castro Neto, Henrique de |
| Contributors | Julia, Rita Maria da Silva, Hruschka Júnior, Estevam Rafael, Chaimowicz, Luiz, Lopes, Carlos Roberto, Albertini, Marcelo Keese |
| Publisher | Universidade Federal de Uberlândia, Programa de Pós-graduação em Ciência da Computação, Brasil |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/doctoralThesis |
| Source | reponame:Repositório Institucional da UFU, instname:Universidade Federal de Uberlândia, instacron:UFU |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0026 seconds