Algoritmos de aprendizagem autônoma têm sido propostos para lidar com a questão de como um agente autônomo pode aprender a realizar uma tarefa simples apenas interagindo com o seu ambiente. Existem muitos trabalhos apresentando resultados significativos, porém, apenas em simulação, o que freqüentemente leva a críticas desfavoráveis a respeito da validade dos resultados obtidos. Aspectos inerentes ao mundo real são ignorados, dificultando a análise dos algoritmos sob condições suscetíveis ao problema. A proposta desta dissertação é analisar a sensibilidade de tais algoritmos a situações de ambigüidade de estados comumente produzidas pela baixa capacidade sensorial de robôs móveis. Tal sensibilidade é produzida pela quebra de uma condição teórica (condição de Markov) importante para garantia de convergência de tais algoritmos, mas as conseqüências práticas desta violação sobre sistemas reais não estão bem estabelecidas na literatura. Os algoritmos de aprendizagem alvos deste estudo foram: Q-learning, Sarsa e Peng-Williams. As experiências foram realizadas em simulação e em sistemas reais utilizando dois robôs: o mini-robô Khepera e o robô Magellan. Durante os experimentos com o Magellan, implementou-se um método para gerar mapas cognitivos do ambiente com resolução variável, de modo a produzir um verificador de desempenho dos algoritmos de aprendizagem. Verificou-se que os algoritmos de aprendizagem implementados apresentaram desempenho satisfatório nos sistemas reais, apesar de perder um pouco a sua eficiência devido à ambigüidade dos estados, proveniente de características inerentes ao mundo real ou introduzida artificialmente. O algoritmo Q-learning obteve o melhor desempenho geral durante os experimentos, seguido pelo Sarsa. O algoritmo Peng-Williams teve seu desempenho prejudicado pelos parâmetros da experiência. O método para aprendizagem de mapas cognitivos mostrou-se eficiente e permitiu avaliação adequada dos algoritmos.
| Identifer | oai:union.ndltd.org:IBICT/oai:agregador.ibict.br.BDTD_ITA:oai:ita.br:2487 |
| Date | 00 December 2002 |
| Creators | Sildomar Takahashi Monteiro |
| Contributors | Carlos Henrique Costa Ribeiro |
| Publisher | Instituto Tecnológico de Aeronáutica |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Format | application/pdf |
| Source | reponame:Biblioteca Digital de Teses e Dissertações do ITA, instname:Instituto Tecnológico de Aeronáutica, instacron:ITA |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0021 seconds