Doctor en Ingeniería Eléctrica / El paradigma del aprendizaje reforzado (RL \footnote{Por sus siglas en inglés: Reinforcement Learning}) está siendo recurrentemente utilizado para aprender tareas complejas en
contextos aplicativos como la robótica. No obstante, muchas aplicaciones en el mundo real manejan un espacio de acciones multi-dimensional, en donde las
acciones individuales trabajan juntas para que el agente ejecute un comportamiento deseado. En tales aplicaciones, el RL presenta de una explosión en la
complejidad computacional, que ocurre cuando se usan esquemas con RL Centralizado (CRL). Esto genera problemas como el consumo excesivo de memoria o de tiempo
de entrenamiento, sin embargo, el uso del RL Descentralizado (DRL) ayuda a solucionar tales problemas. En esta tesis, se usará el termino DRL para referirse a
aquellos métodos descentralizados usados para el aprendizaje de tareas ejecutadas por una entidad individual, por ejemplo, un robot.
En esta tesis, se propone una metodología para modelar el DRL de comportamientos individuales en problemas con espacios de acciones multi-dimensionales. Cada
sub-problema (ej., las acciones de un efector o actuador) es aprendido por agentes independientes que trabajan en paralelo.
Dado que la mayoría de los estudios reportados sobre Sistemas Multi-Agente (MAS) no validan los métodos propuestos en problemas estocásticos-multiestado y
del mundo real, uno de los objetivos de la presente tesis es demostrar empíricamente que los beneficios de los MAS son extensibles a problemas complejos como
son las plataformas robóticas, si estos son modelados e implementados con sistemas DRL. Para ello, varios esquemas de DRL basados en algoritmos multi-agente y métodos de transferencia de conocimiento son presentados, validados y analizados, a través de un extenso estudio experimental, en donde diferentes problemas son modelados e implementados, siguiendo la metodología propuesta. Los resultados
de la validación empírica muestran que las implementaciones con DRL mejoran el desempeño de su análogo CRL, usando además menos recursos computacionales. Además,
aquellos esquemas de DRL implementados con mecanismos de coordinación, muestran mejores desempeños y/o tiempos de entrenamiento que los esquemas de DRL que no
usan coordinación directa.
| Identifer | oai:union.ndltd.org:UCHILE/oai:repositorio.uchile.cl:2250/164407 |
| Date | January 2018 |
| Creators | Leottau Forero, David Leonardo |
| Contributors | Ruiz del Solar, Javier, Silva Sánchez, Jorge, Morales Manzanares, Eduardo, Da Costa Bianchi, Reinaldo |
| Publisher | Universidad de Chile |
| Source Sets | Universidad de Chile |
| Language | English |
| Detected Language | Spanish |
| Type | Tesis |
| Rights | Attribution-NonCommercial-NoDerivs 3.0 Chile, http://creativecommons.org/licenses/by-nc-nd/3.0/cl/ |
Page generated in 0.0019 seconds