Made available in DSpace on 2014-12-17T14:56:04Z (GMT). No. of bitstreams: 1 DennisBA.pdf: 1210954 bytes, checksum: f42a19fb396d47e801ab673ab1f88887 (MD5) Previous issue date: 2005-10-14 / Conselho Nacional de Desenvolvimento Cient?fico e Tecnol?gico / In multi-robot systems, both control architecture and work strategy represent a challenge for researchers. It is important to have a robust architecture that can be easily adapted to requirement changes. It is also important that work strategy allows robots to complete tasks efficiently, considering that robots interact directly in environments with humans. In this context, this work explores two approaches for robot soccer team coordination for cooperative tasks development. Both approaches are based on a combination of imitation learning and reinforcement learning. Thus, in the first approach was developed a control architecture, a fuzzy inference engine for recognizing situations in robot soccer games, a software for narration of robot soccer games based on the inference engine and the implementation of learning by imitation from observation and analysis of others robotic teams. Moreover, state abstraction was efficiently implemented in reinforcement learning applied to the robot soccer standard problem. Finally, reinforcement learning was implemented in a form where actions are explored only in some states (for example, states where an specialist robot system used them) differently to the traditional form, where actions have to be tested in all states. In the second approach reinforcement learning was implemented with function approximation, for which an algorithm called RBF-Sarsa($lambda$) was created. In both approaches batch reinforcement learning algorithms were implemented and imitation learning was used as a seed for reinforcement learning. Moreover, learning from robotic teams controlled by humans was explored. The proposal in this work had revealed efficient in the robot soccer standard problem and, when implemented in other robotics systems, they will allow that these robotics systems can efficiently and effectively develop assigned tasks. These approaches will give high adaptation capabilities to requirements and environment changes. / Em sistemas multi-rob?s a arquitetura de controle e a estrat?gia de trabalho representam um desafio para os pesquisadores. ? importante que a arquitetura de controle seja robusta, de forma que se adapte naturalmente ?s mudan?as nas caracter?sticas do problema e tamb?m que a estrat?gia de trabalho permita aos rob?s desenvolver as tarefas atribu?das eficaz e eficientemente, levando em considera??o a restri??o de que os rob?s v?o interagir diretamente em ambientes povoados de seres humanos. Neste contexto, este trabalho explora duas abordagens para a coordena??o de uma frota de rob?s desenvolvendo tarefas cooperativas. Ambas as abordagens s?o baseadas em uma mistura de aprendizado por imita??o e por experi?ncia. Assim, na primeira abordagem desenvolveu-se uma arquitetura de controle, uma m?quina de infer?ncia difusa para reconhecimento de fatos em jogos de futebol, um software narrador de jogos baseado na m?quina de infer?ncia difusa, e a implementa??o de aprendizado por imita??o a partir de observa??o e an?lise de outros times rob?ticos. Al?m disso, aplicou-se eficientemente abstra??o de estados em aprendizado por refor?o no problema padr?o de futebol de rob?s. Finalmente, o aprendizado por refor?o foi implementado de forma que as a??es somente s?o executadas em certos estados (por exemplo os estados onde algum sistema rob?tico especialista j? as utilizou) diferentemente da forma tradicional onde as a??es no banco de conhecimento t?m que ser testadas em todos os estados. No caso da segunda abordagem, implementou-se aprendizado por refor?o com aproxima??o de fun??es, para o que foi criado um algoritmo chamado RBF-Sarsa($lambda$). Em ambas as abordagens implementou-se o aprendizado por refor?o em lotes e o aprendizado por imita??o como semente para aprendizado por refor?o. Al?m disso, explorou-se o aprendizado com times de rob?s controlados por seres humanos. As propostas deste trabalho mostraram-se eficientes no problema padr?o de futebol de rob?s, e ao serem implementadas em outros sistemas rob?ticos permitir?o que os mesmos sejam eficazes e eficientes no desenvolvimento das tarefas atribu?das com um alto grau de adapta??o ?s mudan?as dos requerimentos e do ambiente.