This paper analyzes the suitability of reinforcement learning (RL) for both programming and adapting situated agents. We discuss two RL algorithms: Q-learning and the Bucket Brigade. We introduce a special case of the Bucket Brigade, and analyze and compare its performance to Q in a number of experiments. Next we discuss the key problems of RL: time and space complexity, input generalization, sensitivity to parameter values, and selection of the reinforcement function. We address the tradeoffs between the built-in and learned knowledge and the number of training examples required by a learning algorithm. Finally, we suggest directions for future research.

We introduce basic behaviors as primitives for control and learning in situated, embodied agents interacting in complex domains. We propose methods for selecting, formally specifying, algorithmically implementing, empirically evaluating, and combining behaviors from a basic set. We also introduce a general methodology for automatically constructing higher--level behaviors by learning to select from this set. Based on a formulation of reinforcement learning using conditions, behaviors, and shaped reinforcement, out approach makes behavior selection learnable in noisy, uncertain environments with stochastic dynamics. All described ideas are validated with groups of up to 20 mobile robots performing safe--wandering, following, aggregation, dispersion, homing, flocking, foraging, and learning to forage.

La tesis propone un marco de trabajo para el soporte de la toma de decisiones adecuado para soportar la ejecución distribuida de acciones cooperativas en entornos multi-agente dinámicos y complejos. Soporte para la toma de decisiones es un proceso que intenta mejorar la ejecución de la toma de decisiones en escenarios cooperativos. Este proceso ocurre continuamente en la vida diaria. Los humanos, por ejemplo, deben tomar decisiones acerca de que ropa usar, que comida comer, etc. En este sentido, un agente es definido como cualquier cosa que está situada en un entorno y que actúa, basado en su observación, su interpretación y su conocimiento acerca de su situación en tal entorno para lograr una acción en particular.Por lo tanto, para tomar decisiones, los agentes deben considerar el conocimiento que les permita ser consientes en que acciones pueden o no ejecutar. Aquí, tal proceso toma en cuenta tres parámetros de información con la intención de personificar a un agente en un entorno típicamente físico. Así, el mencionado conjunto de información es conocido como ejes de decisión, los cuales deben ser tomados por los agentes para decidir si pueden ejecutar correctamente una tarea propuesta por otro agente o humano. Los agentes, por lo tanto, pueden hacer mejores decisiones considerando y representando apropiadamente tal información. Los ejes de decisión, principalmente basados en: las condiciones ambientales, el conocimiento físico y el valor de confianza del agente, provee a los sistemas multi-agente un confiable razonamiento para alcanzar un factible y exitoso rendimiento cooperativo.Actualmente, muchos investigadores tienden a generar nuevos avances en la tecnología agente para incrementar la inteligencia, autonomía, comunicación y auto-adaptación en escenarios agentes típicamente abierto y distribuidos. En este sentido, esta investigación intenta contribuir en el desarrollo de un nuevo método que impacte tanto en las decisiones individuales como colectivas de los sistemas multi-agente. Por lo tanto, el marco de trabajo propuesto ha sido utilizado para implementar las acciones concretas involucradas en el campo de pruebas del fútbol robótico. Este campo emula los juegos de fútbol real, donde los agentes deben coordinarse, interactuar y cooperar entre ellos para solucionar tareas complejas dentro de un escenario dinámicamente cambiante y competitivo, tanto para manejar el diseño de los requerimientos involucrados en las tareas como para demostrar su efectividad en trabajos colectivos. Es así que los resultados obtenidos tanto en el simulador como en el campo real de experimentación, muestran que el marco de trabajo para el soporte de decisiones propuesto para agentes situados es capaz de mejorar la interacción y la comunicación, reflejando en un adecuad y confiable trabajo en equipo dentro de entornos impredecibles, dinámicos y competitivos. Además, los experimentos y resultados también muestran que la información seleccionada para generar los ejes de decisión para situar a los agentes, es útil cuando tales agentes deben ejecutar una acción o hacer un compromiso en cada momento con la intención de cumplir exitosamente un objetivo colectivo. Finalmente, algunas conclusiones enfatizando las ventajas y utilidades del trabajo propuesto en la mejora del rendimiento colectivo de los sistemas multi-agente en situaciones tales como tareas coordinadas y asignación de tareas son presentadas. / This thesis proposes a framework to decision support suitable for supporting the distributed performing of cooperative actions in dynamic and complex multi-agent environments. Decision support is a process aiming to improve the decision-making performance in cooperative scenarios. Simply stated, decision-making is the process of selecting a specific action out of multiple alternatives. This process occurs continuously in daily life. Humans, for instance, have to take decisions about what cloths to wear, what food to eat, etc. In this sense, an agent is defined as anything that is situated in an environment and acts, based on its observation, its interpretation and its knowledge about its situation on such environment to fulfil a particular action. Therefore, to take decisions, agents must get knowledge that allow them to be aware on what actions can or cannot perform. Here, such process takes three information parameters trying to embody an agent in a typically physical world. This set of information is known as decision axes, which it any agent must take into account to decide if it can perform correctly the task proposed by other agent or human. Agents can make better decision by considering and representing properly such information. Decision axes, mainly based on the agents' environmental condition, the agents' physical knowledge and the agents' trust value, provide multi-agent systems a reliable reasoning for achieving feasible and successful cooperative performance. Currently, many researches tend to generate news advances in agent technology to increase the intelligence, autonomy, communication and self-adaptation in open and distributed agent scenarios. In this sense, this research aims to contribute to the development of a new path to impact on both individual and cooperative decisions in multi-agent environments In this light, the thesis was used to implement the concrete actions involved in the robot soccer both in simulated as in real scenarios. It emulates a soccer game where agents must communicate; interact and cooperate among them to perform complex actions within a dynamic and competitive scenario, both to drive the design of the involved actions' requirements as to demonstrate its effectiveness in cooperative jobs. Therefore, the thesis has obtained results, both on simulation and on real experimentations, showing that the framework to decision support for situated agents presented is capable to improve the interaction and the communication, reflect in a suitable and reliable agent's team-work within an unpredictable, dynamic and competitive environment. The experimentation also showed that the selected information to generate the decision axes to situate agents are useful when these agents must perform the proper action or made sure commitments at each moment in order to reach successfully a goal. Conclusions emphasizing the advantages and usefulness of the introduced approach, in the improvement of multi-agent performance in coordinated task and task allocation problems are presented.