A informação disponível para robôs em tarefas reais encontra-se amplamente distribuída tanto no espaço quanto no tempo, fazendo com que o agente busque informações relevantes. Neste trabalho, uma solução que usa conhecimento qualitativo e quantitativo da tarefa é implementada a fim de permitir que tarefas robóticas reais sejam tratáveis por algoritmos de Aprendizagem por Reforço (AR). Os passos deste procedimento incluem: 1) decompor a tarefa completa em tarefas menores, usando abstração e macro-operadores, para que um espaço de ações discreto seja atingido; 2) aplicar um modelo de representação do espaço de estados a fim de atingir discretização tanto no espaço de estados quanto no de tempo; 3) usar conhecimento quantitativo para projetar controladores capazes de resolver as subtarefas; 4) aprender a coordenação destes comportamentos usando AR, mais especificamente o algoritmo Q-learning. O método proposto foi verificado em um conjunto de tarefas de complexidade crescente por meio de um simulador para o robô Khepera. Dois modelos de discretização para o espaço de estados foram usados, um baseado em estados e outro baseado em atributos --- funções de observação do ambiente. As políticas aprendidas sobre estes dois modelos foram comparadas a uma política pré-definida. Os resultados mostraram que a política aprendida sobre o modelo de discretização baseado em estados leva mais rapidamente a resultados melhores, apesar desta não poder ser aplicada a tarefas mais complexas, onde o espaço de estados sob esta representação se torna computacionalmente inviável e onde um método de generalização deve ser aplicado. O método de generalização escolhido implementa a estrutura CMAC ( extit{Cerebellar Model Articulation Controller}) sobre o modelo de discretização baseado em estados. Os resultados mostraram que a representação compacta permite que o algoritmo de aprendizagem seja aplicado sobre este modelo, apesar de que, para este caso, a política aprendida sob o modelo de discretização baseado em atributos apresenta melhor performance.
| Identifer | oai:union.ndltd.org:IBICT/oai:agregador.ibict.br.BDTD_ITA:oai:ita.br:213 |
| Date | 13 July 2005 |
| Creators | Esther Luna Colombini |
| Contributors | Carlos Henrique Costa Ribeiro |
| Publisher | Instituto Tecnológico de Aeronáutica |
| Source Sets | IBICT Brazilian ETDs |
| Language | English |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Format | application/pdf |
| Source | reponame:Biblioteca Digital de Teses e Dissertações do ITA, instname:Instituto Tecnológico de Aeronáutica, instacron:ITA |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0053 seconds