21 |
Aprendizagem por Reforço e Programação Dinâmica Aproximada para Controle Ótimo: Uma Abordagem para o Projeto Online do Regulador Linear Quadrático Discreto com Programação Dinâmica Heurística Dependente de Estado e Ação. / Reinforcement and Programming Learning Approximate Dynamics for Optimal Control: An Approach to the Linear Regulator Online Project Discrete Quadratic with Heuristic Dynamic Programming Dependent on State and Action.RÊGO, Patrícia Helena Moraes 24 July 2014 (has links)
Submitted by Maria Aparecida (cidazen@gmail.com) on 2017-08-30T15:33:12Z
No. of bitstreams: 1
Patricia Helena.pdf: 11110405 bytes, checksum: ca1f067231658f897d84b86181dbf1b9 (MD5) / Made available in DSpace on 2017-08-30T15:33:12Z (GMT). No. of bitstreams: 1
Patricia Helena.pdf: 11110405 bytes, checksum: ca1f067231658f897d84b86181dbf1b9 (MD5)
Previous issue date: 2014-07-24 / In this thesis a proposal of an uni ed approach of dynamic programming,
reinforcement learning and function approximation theories aiming at the development of methods and algorithms for design of optimal control systems is
presented. This approach is presented in the approximate dynamic programming
context that allows approximating the optimal feedback solution as to reduce the
computational complexity associated to the conventional dynamic programming
methods for optimal control of multivariable systems. Speci cally, in the state
and action dependent heuristic dynamic programming framework, this proposal
is oriented for the development of online approximated solutions, numerically
stable, of the Riccati-type Hamilton-Jacobi-Bellman equation associated to the
discrete linear quadratic regulator problem which is based on a formulation that
combines value function estimates by means of a RLS (Recursive Least-Squares)
structure, temporal di erences and policy improvements. The development of the
proposed methodologies, in this work, is focused mainly on the UDU T factorization that is inserted in this framework to improve the RLS estimation process of
optimal decision policies of the discrete linear quadratic regulator, by circumventing convergence and numerical stability problems related to the covariance matrix
ill-conditioning of the RLS approach. / Apresenta-se nesta tese uma proposta de uma abordagem uni cada de teorias
de programação dinâmica, aprendizagem por reforço e aproximação de função
que tem por objetivo o desenvolvimento de métodos e algoritmos para projeto
online de sistemas de controle ótimo. Esta abordagem é apresentada no contexto
de programação dinâmica aproximada que permite aproximar a solução de realimentação ótima de modo a reduzir a complexidade computacional associada com
métodos convencionais de programação dinâmica para controle ótimo de sistemas
multivariáveis. Especi camente, no quadro de programação dinâmica heurística e
programação dinâmica heurística dependente de ação, esta proposta é orientada
para o desenvolvimento de soluções aproximadas online, numericamente estáveis,
da equação de Hamilton-Jacobi-Bellman do tipo Riccati associada ao problema
do regulador linear quadrático discreto que tem por base uma formulação que
combina estimativas da função valor por meio de uma estrutura RLS (do inglês
Recursive Least-Squares), diferenças temporais e melhorias de política. O desenvolvimento das metodologias propostas, neste trabalho, tem seu foco principal
voltado para a fatoração UDU T que é inserida neste quadro para melhorar o processo de estimação RLS de políticas de decisão ótimas do regulador linear quadrá-
tico discreto, contornando-se problemas de convergência e estabilidade numérica
relacionados com o mal condicionamento da matriz de covariância da abordagem
RLS.
|
22 |
MP-Draughts - Um Sistema Multiagente de Aprendizagem Automática para Damas Baseado em Redes Neurais de Kohonen e Perceptron MulticamadasDuarte, Valquíria Aparecida Rosa 17 July 2009 (has links)
Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The goal of this work is to present MP-Draughts (MultiPhase- Draughts), that is
a multiagent environment for Draughts, where one agent - named IIGA- is built and
trained such as to be specialized for the initial and the intermediate phases of the games
and the remaining ones for the final phases of them. Each agent of MP-Draughts is a
neural network which learns almost without human supervision (distinctly from the world
champion agent Chinook). MP-Draughts issues from a continuous activity of research
whose previous product was the efficient agent VisionDraughts. Despite its good general
performance, VisionDraughts frequently does not succeed in final phases of a game, even
being in advantageous situation compared to its opponent (for instance, getting into
endgame loops). In order to try to reduce this misbehavior of the agent during endgames,
MP-Draughts counts on 25 agents specialized for endgame phases, each one trained such
as to be able to deal with a determined cluster of endgame boardstates. These 25 clusters
are mined by a Kohonen-SOM Network from a Data Base containing a large quantity of
endgame boardstates. After trained, MP-Draughts operates in the following way: first,
an optimized version of VisionDraughts is used as IIGA; next, the endgame agent that
represents the cluster which better fits the current endgame board-state will replace it up
to the end of the game. This work shows that such a strategy significantly improves the
general performance of the player agents. / O objetivo deste trabalho é propor um sistema de aprendizagem de Damas, o MPDraughts
(MultiPhase- Draughts): um sistema multiagentes, em que um deles - conhecido
como IIGA (Initial/Intermediate Game Agent)- é desenvolvido e treinado para ser especializado
em fases iniciais e intermediárias de jogo e os outros 25 agentes, em fases finais.
Cada um dos agentes que compõe o MP-Draughts é uma rede neural que aprende a jogar
com o mínimo possível de intervenção humana (distintamente do agente campeão do
mundo Chinook). O MP-Draughts é fruto de uma contínua atividade de pesquisa que
teve como produto anterior o VisionDraughts. Apesar de sua eficiência geral, o Vision-
Draughts, muitas vezes, tem seu bom desempenho comprometido na fase de finalização
de partidas, mesmo estando em vantagem no jogo em comparação com o seu oponente
(por exemplo, entrando em loop de final de jogo). No sentido de reduzir o comportamento
indesejado do jogador, o MP-Draughts conta com 25 agentes especializados em final de
jogo, sendo que cada um é treinado para lidar com um determinado tipo de cluster de
tabuleiros de final de jogo. Esses 25 clusters são minerados por redes de Kohonen-SOM
de uma base de dados que contém uma grande quantidade de estado de tabuleiro de final
de jogo. Depois de treinado, o MP-Draughts atua da seguinte maneira: primeiro, uma
versão aprimorada do VisionDraughts é usada como o IIGA; depois, um agente de final
de jogo que representa o cluster que mais se aproxima do estado corrente do tabuleiro do
jogo deverá substituir o IIGA e conduzir o jogo até o final. Este trabalho mostra que essa
estratégia melhorou, significativamente, o desempenho geral do agente jogador. / Mestre em Ciência da Computação
|
23 |
Uma nova abordagem de aprendizagem de máquina combinando elicitação automática de casos, aprendizagem por reforço e mineração de padrões sequenciais para agentes jogadores de damasCastro Neto, Henrique de 21 November 2016 (has links)
Fundação de Amparo a Pesquisa do Estado de Minas Gerais / Agentes que operam em ambientes onde as tomadas de decisão precisam levar em
conta, além do ambiente, a atuação minimizadora de um oponente (tal como nos jogos),
é fundamental que o agente seja dotado da habilidade de, progressivamente, traçar um
perĄl de seu adversário que o auxilie em seu processo de seleção de ações apropriadas.
Entretanto, seria improdutivo construir um agente com um sistema de tomada de decisão
baseado apenas na elaboração desse perĄl, pois isso impediria o agente de ter uma Şidentidade
própriaŤ, o que o deixaria a mercê de seu adversário. Nesta direção, este trabalho
propõe um sistema automático jogador de Damas híbrido, chamado ACE-RL-Checkers,
dotado de um mecanismo dinâmico de tomada de decisões que se adapta ao perĄl de seu
oponente no decorrer de um jogo. Em tal sistema, o processo de seleção de ações (movimentos)
é conduzido por uma composição de Rede Neural de Perceptron Multicamadas e
biblioteca de casos. No caso, a Rede Neural representa a ŞidentidadeŤ do agente, ou seja,
é um módulo tomador de decisões estático já treinado e que faz uso da técnica de Aprendizagem
por Reforço TD( ). Por outro lado, a biblioteca de casos representa o módulo
tomador de decisões dinâmico do agente que é gerada pela técnica de Elicitação Automática
de Casos (um tipo particular de Raciocínio Baseado em Casos). Essa técnica possui
um comportamento exploratório pseudo-aleatório que faz com que a tomada de decisão
dinâmica do agente seja guiada, ora pelo perĄl de jogo do adversário, ora aleatoriamente.
Contudo, ao conceber tal arquitetura, é necessário evitar o seguinte problema: devido às
características inerentes à técnica de Elicitação Automática de Casos, nas fases iniciais do
jogo Ű em que a quantidade de casos disponíveis na biblioteca é extremamente baixa em
função do exíguo conhecimento do perĄl do adversário Ű a frequência de tomadas de decisão
aleatórias seria muito elevada, o que comprometeria o desempenho do agente. Para
atacar tal problema, este trabalho também propõe incorporar à arquitetura do ACE-RLCheckers
um terceiro módulo, composto por uma base de regras de experiência extraída
a partir de jogos de especialistas humanos, utilizando uma técnica de Mineração de Padrões
Sequenciais. O objetivo de utilizar tal base é reĄnar e acelerar a adaptação do
agente ao perĄl de seu adversário nas fases iniciais dos confrontos entre eles. Resultados
experimentais conduzidos em torneio envolvendo ACE-RL-Checkers e outros agentes correlacionados
com este trabalho, conĄrmam a superioridade da arquitetura dinâmica aqui
proposta. / ake into account, in addition to the environment, the minimizing action of an opponent
(such as in games), it is fundamental that the agent has the ability to progressively trace
a proĄle of its adversary that aids it in the process of selecting appropriate actions. However,
it would be unsuitable to construct an agent with a decision-making system based
on only the elaboration of this proĄle, as this would prevent the agent from having its
Şown identityŤ, which would leave it at the mercy of its opponent. Following this direction,
this work proposes an automatic hybrid Checkers player, called ACE-RL-Checkers,
equipped with a dynamic decision-making mechanism, which adapts to the proĄle of its
opponent over the course of the game. In such a system, the action selection process
(moves) is conducted through a composition of Multi-Layer Perceptron Neural Network
and case library. In the case, Neural Network represents the ŞidentityŤ of the agent, i.e.,
it is an already trained static decision-making module and makes use of the Reinforcement
Learning TD( ) techniques. On the other hand, the case library represents the
dynamic decision-making module of the agent, which is generated by the Automatic Case
Elicitation technique (a particular type of Case-Based Reasoning). This technique has a
pseudo-random exploratory behavior, which makes the dynamic decision-making on the
part of the agent to be directed, either by the game proĄle of the opponent or randomly.
However, when devising such an architecture, it is necessary to avoid the following problem:
due to the inherent characteristics of the Automatic Case Elicitation technique, in
the game initial phases, in which the quantity of available cases in the library is extremely
low due to low knowledge content concerning the proĄle of the adversary, the decisionmaking
frequency for random decisions is extremely high, which would be detrimental
to the performance of the agent. In order to attack this problem, this work also proposes
to incorporate onto the ACE-RL-Checkers architecture a third module composed
of a base of experience rules, extracted from games played by human experts, using a
Sequential Pattern Mining technique. The objective behind using such a base is to reĄne
and accelerate the adaptation of the agent to the proĄle of its opponent in the initial
phases of their confrontations. Experimental results conducted in tournaments involving
ACE-RL-Checkers and other agents correlated with this work, conĄrm the superiority of
the dynamic architecture proposed herein. / Tese (Doutorado)
|
Page generated in 0.1081 seconds