En el contexto del futbol robótico la toma de decisiones es un problema interesante y complejo de resolver. El objetivo del presente trabajo es desarrollar un algoritmo que permita al robot tomar la decisión de qué hacer cuando está en posesión de la pelota, de modo de mejorar los resultados finales de cada partido. Para esto, se propone un algoritmo de aprendizaje reforzado, el cual mediante la experimentación del mundo, representado por estados, ajuste los parámetros del sistema de modo de maximizar cierta entrada o recompensa. El problema se modela con un espacio de estados reducido de modo de conseguir una generalización más amplia. Se implementa un algoritmo basado en Q-Learning y otro basado en SARSA, acercamientos levemente distintos de aprendizaje reforzado. Los experimentos consisten en partidos de diez minutos con cuatro jugadores por lado en donde uno de los dos equipos juega utilizando el algoritmo propuesto y el otro utiliza una estrategia estándar. Tanto para Q-Learning como para SARSA se alternan períodos en los que se juega utilizando el algoritmo “puro”, con otros en donde se eligen algunas acciones al azar. Analizando la diferencia de goles correspondiente a cada período y a cada algoritmo, se puede observar en ambos casos una leve tendencia creciente en la diferencia de goles, sin embargo, esta no es categórica debido a la alta dispersión de los datos. Además, es posible observar como SARSA presenta mejores resultados si se considera los resultados globales, mientras que Q-Learning presenta una tendencia creciente más pronunciada para las pruebas que involucran al algoritmo puro. Los objetivos no se satisfacen completamente, pues después de más de 90 horas de entrenamiento ninguno de los dos algoritmos es capaz de superar a la estrategia estándar.

La tesis propone un marco de trabajo para el soporte de la toma de decisiones adecuado para soportar la ejecución distribuida de acciones cooperativas en entornos multi-agente dinámicos y complejos. Soporte para la toma de decisiones es un proceso que intenta mejorar la ejecución de la toma de decisiones en escenarios cooperativos. Este proceso ocurre continuamente en la vida diaria. Los humanos, por ejemplo, deben tomar decisiones acerca de que ropa usar, que comida comer, etc. En este sentido, un agente es definido como cualquier cosa que está situada en un entorno y que actúa, basado en su observación, su interpretación y su conocimiento acerca de su situación en tal entorno para lograr una acción en particular.Por lo tanto, para tomar decisiones, los agentes deben considerar el conocimiento que les permita ser consientes en que acciones pueden o no ejecutar. Aquí, tal proceso toma en cuenta tres parámetros de información con la intención de personificar a un agente en un entorno típicamente físico. Así, el mencionado conjunto de información es conocido como ejes de decisión, los cuales deben ser tomados por los agentes para decidir si pueden ejecutar correctamente una tarea propuesta por otro agente o humano. Los agentes, por lo tanto, pueden hacer mejores decisiones considerando y representando apropiadamente tal información. Los ejes de decisión, principalmente basados en: las condiciones ambientales, el conocimiento físico y el valor de confianza del agente, provee a los sistemas multi-agente un confiable razonamiento para alcanzar un factible y exitoso rendimiento cooperativo.Actualmente, muchos investigadores tienden a generar nuevos avances en la tecnología agente para incrementar la inteligencia, autonomía, comunicación y auto-adaptación en escenarios agentes típicamente abierto y distribuidos. En este sentido, esta investigación intenta contribuir en el desarrollo de un nuevo método que impacte tanto en las decisiones individuales como colectivas de los sistemas multi-agente. Por lo tanto, el marco de trabajo propuesto ha sido utilizado para implementar las acciones concretas involucradas en el campo de pruebas del fútbol robótico. Este campo emula los juegos de fútbol real, donde los agentes deben coordinarse, interactuar y cooperar entre ellos para solucionar tareas complejas dentro de un escenario dinámicamente cambiante y competitivo, tanto para manejar el diseño de los requerimientos involucrados en las tareas como para demostrar su efectividad en trabajos colectivos. Es así que los resultados obtenidos tanto en el simulador como en el campo real de experimentación, muestran que el marco de trabajo para el soporte de decisiones propuesto para agentes situados es capaz de mejorar la interacción y la comunicación, reflejando en un adecuad y confiable trabajo en equipo dentro de entornos impredecibles, dinámicos y competitivos. Además, los experimentos y resultados también muestran que la información seleccionada para generar los ejes de decisión para situar a los agentes, es útil cuando tales agentes deben ejecutar una acción o hacer un compromiso en cada momento con la intención de cumplir exitosamente un objetivo colectivo. Finalmente, algunas conclusiones enfatizando las ventajas y utilidades del trabajo propuesto en la mejora del rendimiento colectivo de los sistemas multi-agente en situaciones tales como tareas coordinadas y asignación de tareas son presentadas. / This thesis proposes a framework to decision support suitable for supporting the distributed performing of cooperative actions in dynamic and complex multi-agent environments. Decision support is a process aiming to improve the decision-making performance in cooperative scenarios. Simply stated, decision-making is the process of selecting a specific action out of multiple alternatives. This process occurs continuously in daily life. Humans, for instance, have to take decisions about what cloths to wear, what food to eat, etc. In this sense, an agent is defined as anything that is situated in an environment and acts, based on its observation, its interpretation and its knowledge about its situation on such environment to fulfil a particular action. Therefore, to take decisions, agents must get knowledge that allow them to be aware on what actions can or cannot perform. Here, such process takes three information parameters trying to embody an agent in a typically physical world. This set of information is known as decision axes, which it any agent must take into account to decide if it can perform correctly the task proposed by other agent or human. Agents can make better decision by considering and representing properly such information. Decision axes, mainly based on the agents' environmental condition, the agents' physical knowledge and the agents' trust value, provide multi-agent systems a reliable reasoning for achieving feasible and successful cooperative performance. Currently, many researches tend to generate news advances in agent technology to increase the intelligence, autonomy, communication and self-adaptation in open and distributed agent scenarios. In this sense, this research aims to contribute to the development of a new path to impact on both individual and cooperative decisions in multi-agent environments In this light, the thesis was used to implement the concrete actions involved in the robot soccer both in simulated as in real scenarios. It emulates a soccer game where agents must communicate; interact and cooperate among them to perform complex actions within a dynamic and competitive scenario, both to drive the design of the involved actions' requirements as to demonstrate its effectiveness in cooperative jobs. Therefore, the thesis has obtained results, both on simulation and on real experimentations, showing that the framework to decision support for situated agents presented is capable to improve the interaction and the communication, reflect in a suitable and reliable agent's team-work within an unpredictable, dynamic and competitive environment. The experimentation also showed that the selected information to generate the decision axes to situate agents are useful when these agents must perform the proper action or made sure commitments at each moment in order to reach successfully a goal. Conclusions emphasizing the advantages and usefulness of the introduced approach, in the improvement of multi-agent performance in coordinated task and task allocation problems are presented.