This thesis addresses the problem of learning in physical heterogeneous multi-agent systems(MAS) and the analysis of the benefits of using heterogeneous MAS with respect tohomogeneous ones. An algorithm is developed for this task; building on a previous work on stability in distributed systems by Tad Hogg and Bernardo Huberman, and combining two phenomena observed in natural systems, task partition and hierarchical dominance. This algorithm is devised for allowing agents to learn which are the best tasks to perform on the basis of each agent's skills and the contribution to the team global performance. Agents learn by interacting with the environment and other teammates, and get rewards from the result of the actions they perform. This algorithm is specially designed for problems where all robots have to co-operate and work simultaneously towards the same goal. One example of such a problem is role distribution in a team of heterogeneous robots that form a soccer team, where all members take decisions and co-operate simultaneously. Soccer offers the possibility of conducting research in MAS, where co-operation plays a very important role in a dynamical and changing environment. For these reasons and the experience of the University of Girona in this domain, soccer has been selected as the test-bed for this research. In the case of soccer, tasks are grouped by means of roles.One of the most interesting features of this algorithm is that it endows MAS with a highadaptability to changes in the environment. It allows the team to perform their tasks, whileadapting to the environment. This is studied in several cases, for changes in the environment and in the robot's body. Other features are also analysed, especially a parameter that defines the fitness (biological concept) of each agent in the system, which contributes to performance and team adaptability.The algorithm is applied later to allow agents to learn in teams of homogeneous andheterogeneous robots which roles they have to select, in order to maximise team performance. The teams are compared and the performance is evaluated in the games against three hand-coded teams and against the different homogeneous and heterogeneous teams built in this thesis. This section focuses on the analysis of performance and task partition, in order to study the benefits of heterogeneity in physical MAS.In order to study heterogeneity from a rigorous point of view, a diversity measure is developed building on the hierarchic social entropy defined by Tucker Balch. This is adapted to quantify physical diversity in robot teams. This tool presents very interesting features, as it can be used in the future to design heterogeneous teams on the basis of the knowledge on other teams.

Hoy en día los avances en la miniaturización de sistemas electrónicos han impulsado el desarrollo de dispositivos o artefactos que incorporan capacidades computacionales y de comunicación. Estos dispositivos pueden proveer de una serie de servicios en diferentes entornos gracias a su tecnología empotrada, como por ejemplo: reconocimiento de personas, localización de usuarios en un entorno, ajuste automático de la temperatura e iluminación de un entorno, etc. Este potencial de procesamiento y comunicación, está permitiendo crear nuevas aplicaciones distribuidas, donde el rol principal no lo tiene el computador personal, sino los diferentes dispositivos empotrados en el entorno: sensores, interfaces, actuadores, teléfonos móviles, etc., Esto ha generado novedosas áreas de aplicación como: Internet de Cosas (Internet of Things), Computación Móvil, Redes de Sensores, Sistemas Ubícuos, Inteligencia Ambiental, etc. Estos avances han conducido al desarrollo de un nuevo paradigma, computación orientada a la interacción, es decir, la computación ocurre a través de los actos de comunicación entre las entidades. Por lo tanto, es lógico pensar que este paradigma requiere, desde un punto de vista de diseño, el desarrollo de aplicaciones en diferentes plataformas de software y de hardware, debido a lo heterogeneo de los sistemas de computación, lenguajes, sistemas operativos, y objetos (dispositivos físicos: sensores, actuadores, interfaces, etc.) dispersos en el entorno. Dicha heterogeneidad presente en los sistemas ubícuos, representa todo un reto a la hora de diseñarlos. La ingeniería de software basada en sistemas multi-agente, en particular, los sistemas multi-agente abiertos (como las Organizaciones Virtuales), tiene la capacidad de abordar los retos al diseñar sistemas ubícuos. A ello hay que unir, que varias metodologías de desarrollo de software han adoptado el enfoque “dirigido por modelos” (model-driven) para realizar el análisis y el diseño del software. Dicho enfoque puede ser adoptado en los sistemas multi-agente, para mejorar el proceso de desarrollo y la calidad del software basado en agentes. Así mismo, el desarrollo dirigido por modelos proporciona un soporte apropiado para abordar este tipo de sistemas, ya que nos permite el uso de modelos como principal elemento abstracto para el diseño del sistema, por medio de la interconexión de un conjunto de componentes visuales. En este trabajo proponemos el desarrollo de sistemas ubícuos utilizando una organización virtual, creando una Organización Virtual Ubícua, la cual es diseñada usando el enfoque de desarrollo dirigido por modelos. De forma más detallada, este trabajo presenta tres propuestas. La primera, presenta un conjunto de meta-modelos para diseñar una Organización Virtual Ubícua, llamado πVOM, que utiliza conceptos generales que se abstraen de las metodologías y de las plataformas de agentes, lo permite diseñar aplicaciones utilizando abstracciones generales de alto nivel, evitando los detalles de implementación de bajo nivel. Así mismo, se presentan dos modelos de transformaciones, que permiten obtener el modelo de implantación de la organización (con los agentes, entidades y dispositivos), por medio de transformaciones semi-automáticas dadas por la metodología model-driven, reduciendo la brecha entre las fases de diseño y de implementación para este tipo de sistema. La segunda propuesta presenta una arquitectura de implantación que define una estructura de capas funcionales basada en servicios, que soporta la interacción de las entidades de la organización virtual. La arquitectura de implantación permite la interoperabilidad de diferentes entidades, plataformas de software y hardware, proporcionando a los miembros de la organización virtual la capacidad de administrar y controlar los dispositivos del entorno (del sistema ubícuo). La tercera propuesta presenta una plataforma de ejecución de agentes empotrados llamada Andromeda, que permite ejecutar agentes empotrados sobre sistema operativo Android que cumplen con el modelo de agente de πVOM. Los agentes en Andromeda pueden acceder a los dispositivos del entorno, tal y como sucede en los sistemas ubícuos. Las propuestas presentadas fueron evaluadas empíricamente con dos ejemplos, que permiten mostrar sus bondades. / Aguero Medina, J. (2015). Diseño de organizaciones virtuales ubícuas utilizando desarrollo dirigido por modelos [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/52597 / TESIS

El agua es un recurso escaso que, como tal, debe ser gestionado de manera eficiente. Así, uno de los propósitos de dicha gestión debiera ser la reducción de pérdidas de agua y la mejora del funcionamiento del abastecimiento. Para ello, es necesario crear un marco de trabajo basado en un conocimiento profundo de la redes de distribución. En los casos reales, llegar a este conocimiento es una tarea compleja debido a que estos sistemas pueden estar formados por miles de nodos de consumo, interconectados entre sí también por miles de tuberías y sus correspondientes elementos de alimentación. La mayoría de las veces, esas redes no son el producto de un solo proceso de diseño, sino la consecuencia de años de historia que han dado respuesta a demandas de agua continuamente crecientes con el tiempo. La división de la red en lo que denominaremos clusters de abastecimiento, permite la obtención del conocimiento hidráulico adecuado para planificar y operar las tareas de gestión oportunas, que garanticen el abastecimiento al consumidor final. Esta partición divide las redes de distribución en pequeñas sub-redes, que son virtualmente independientes y están alimentadas por un número prefijado de fuentes. Esta tesis propone un marco de trabajo adecuado en el establecimiento de vías eficientes tanto para dividir la red de abastecimiento en sectores, como para desarrollar nuevas actividades de gestión, aprovechando esta estructura dividida. La propuesta de desarrollo de cada una de estas tareas será mediante el uso de métodos kernel y sistemas multi-agente. El spectral clustering y el aprendizaje semi-supervisado se mostrarán como métodos con buen comportamiento en el paradigma de encontrar una red sectorizada que necesite usar el número mínimo de válvulas de corte. No obstante, sus algoritmos se vuelven lentos (a veces infactibles) dividiendo una red de abastecimiento grande. / Herrera Fernández, AM. (2011). Improving water network management by efficient division into supply clusters [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/11233 / Palancia

[EN] Coordination architectures in multi-agent systems represent an important topic, due to the agents must be organized in order to get a specific objective. In these kinds of systems, robot soccer is shown as an environment with a common frame for research in team coordination. The importance of these kinds of architectures is that the application in other kinds of systems which require coordination. An islanded micro-grid corresponds to a system which can be modeled as multi-agent system, where the distributed energy resources are modeled as agents are coordinated in order to protect the batteries of the energy storage systems, maintaining the common bus regulation. One way to do this throughout coordination strategies, which allow assigning roles and behaviors to the agents, depending on the system conditions. Likewise, the agents must show collaborative behaviors such as making passes in robot soccer, or the equalization of the state of charge for distributed energy storage systems, in order to obtain better results. Multi-agent systems such as robot soccer, that show uncertainties in a hostile environment, require team coordination in order to reach a common goal. One way to achieve this goal is by coordination strategies, which allow role assignment and behavior selection to the players depending on the game conditions. These strategies can present cooperative behaviors among players such as ball passes, in order to obtain better scores against an opponent team. One alternative is the design of hierarchical coordination strategies for an adequate tactic selection, roles assignment and subsequently behavior selection to the players. To this end, one possibility is to use Hierarchical Finite States Machines, due to those allow more flexible and adaptable programming, with a possibility to make changes or modifications. This allows the design of team strategies by an intuitive way according to the control architecture and the rules and specifications of the league where the team plays, in turn performing collaborative behaviors among the players. In this doctoral dissertation are proposed coordination strategies to robot soccer teams, based on tactics, dynamical role assignment and behaviors selection through the use of Finite States Machines, oriented to team architectures with centralized control and global perception. These strategies must allow an intuitive design depending on the team specifications and the rules of the league. These strategies must allow flexibility and adaptability to the necessary changes, such as the number of players, dimensions of the playing field or other changes in the league`s rules. The strategies must be show an adequate response to the failures and allow cooperative behaviors among their players. Lastly, this dissertation presents a structured architecture based on tactics, roles and behaviors for the coordinated operation of islanded microgrids. This grid architecture takes the form of a multi-agent system, and the energy storage and generation units are the team agents. The control strategy is based on the robot soccer strategies presented in this dissertation, which are designed for systems with global perception and centralized control, and in turn determines the changes among operation modes for the distributed energy resources in an islanded microgrid. / [ES] Arquitecturas de coordinación en sistemas multi-agente representa un tópico importante, ya que en este tipo de sistemas los agentes deben ser organizados con el fin de obtener un objetivo específico. Dentro de este tipo de sistemas el fútbol de robots se presenta como un entorno que ofrece un marco común para realizar investigaciones en temas relacionados con temas de coordinación de equipo. La importancia de este tipo de arquitecturas radica en su aplicación en otro tipo de ambientes que requieran coordinación. Un sistema que permite este tipo de aplicaciones consiste en una micro-red eléctrica aislada, donde se modelan las fuentes de energía distribuida como agentes que deben ser coordinados con el fin de proteger las baterías de los sistemas de almacenamiento de energía, manteniendo la regulación del bus común. Una forma de conseguir esto es a través de estrategias de coordinación, las cuales permiten asignar roles y comportamientos a los agentes de la forma más adecuada, dependiendo de las condiciones del sistema. Así mismo, también deben presentar comportamientos colaborativos entre los agentes como la realización de pases en el fútbol de robots o la ecualización del estado de carga de las baterías, con el fin de obtener mejores resultados. Una posibilidad para llevar a cabo esta colaboración entre agentes es el diseño de estrategias de coordinación a través de sistemas jerárquicos para la selección de una adecuada táctica. Adicionalmente se debe permitir la asignación de roles y posteriormente la selección de comportamientos de los agentes. Para esto, una alternativa es el uso de Máquinas Jerárquicas de Estado Finito, ya que presentan flexibilidad y adaptabilidad en su programación, siendo fácilmente expandibles a cambios y modificaciones, permitiendo con esto el diseño de estrategias de coordinación de equipo de manera intuitiva acorde con la arquitectura del equipo y los reglamentos de las ligas donde se compita, y a su vez, que permita también el diseño de comportamientos colaborativos entre sus jugadores. En esta tesis doctoral se proponen estrategias de coordinación para fútbol de robots, mediante la selección de tácticas, la asignación dinámica de roles y la selección de comportamientos, usando Máquinas de Estado Finito, enfocándose en el diseño de arquitecturas de equipo que presentan percepción global y control centralizado, y que permitan un diseño intuitivo dependiendo de las especificaciones de los equipos y de la liga en la que se compite. Estas estrategias deben permitir mayor flexibilidad y adaptabilidad frente a posibles cambios, como por ejemplo en el número de jugadores por equipo, en las dimensiones del campo de juego, o en el reglamento de la correspondiente liga. Igualmente deben poseer robustez ante posibles fallos o perturbaciones, permitiendo también comportamientos colaborativos entre sus integrantes. Finalmente se presenta una propuesta para el control del modo de operación de una micro-red aislada, presentando una arquitectura de red como sistema multi-agente, donde las unidades de almacenamiento y generación de energía son los agentes del equipo, y proponiendo una estrategia de control basada en tácticas, roles y comportamientos. Esta arquitectura está basada en las estrategias de fútbol de robots aportadas en esta tesis y las cuales son diseñadas para sistemas con percepción global y control centralizado, que determina los cambios en el modo de operación para las fuentes distribuidas de energía en la micro-red. / [CAT] Arquitectures de coordinació en sistemes multi-agent representa un tòpic important, perquè en aquest tipus de sistemes els agents deuen organitzar-se per a obtindre un objectiu específic. Dins d'aquest tipus de sistemes, el futbol de robots es presenta com un entorn que ofereix un marc comú per a realitzar investigacions en temes relacionats amb la coordinació d'equips. La importància d'aquest tipus d'arquitectures radica en la seua aplicació en altre tipus d'entorns que requereixin coordinació. Un sistema que permet aquest tipus d'aplicació consisteix en una micro-xarxa elèctrica aïllada, a on es modelitzen les diferents fonts d'energia distribuïdes com agents que deuen ser coordinats per a protegir les bateries dels sistemes de acumulació de energia, mantenint la regulació del bus comú. Una manera d'aconseguir això es mitjançant estratègies de coordinació, que permeten assignar papers i comportaments als agents de la millor forma, en funció de las condicions del sistema. Així mateix, també deuen presentar comportaments col·laboratius entre els agents la realització de passes de futbol de robots o la equalització de la carga de les bateries, amb la finalitat d'obtindre millor resultats. Una possibilitat per a aconseguir aquesta col·laboració entre els agents és el disseny d'estratègies de coordinació mitjançant sistemes jeràrquics per a la selecció d'una tàctica adequada. Addicionalment s'ha de permetre l'assignació de rols i, posteriorment, la selecció de comportaments dels jugadors del equip. Per a açò, una alternativa es l'ús de Màquines Jeràrquiques d'Estat Finit, ja que presenten flexibilitat i adaptabilitat en la seua programació fent que siguin fàcilment expansibles a canvis i modificacions, permetent el disseny d'estratègies de coordinació d'equip de manera intuïtiva relacionant-se amb l'arquitectura de l'equip i el reglament de les lliga en la que estiguin competint, al mateix temps permetent el disseny de comportaments de col·laboració entre els jugadors. En aquesta tesis doctoral es proposen estratègies de coordinació per a futbol de robots, mitjançant la selecció de tàctiques, l'assignació dinàmica de rols y la selecció de comportaments, utilitzant Màquines d'Estat Finit, enfocant-se en el disseny d'arquitectures d'equip que presenten percepció global y control centralitzat, i que puguin permetre un disseny intuïtiu depenent de les especificacions dels equips y de la lliga en la que es competeix. Aquestes estratègies han de permetre major flexibilitat i adaptabilitat davant possibles canvis com podrien ser el nombre de jugadors per equip, les dimensions del camp o el reglament de la corresponent lliga. D'igual manera han de tindre robustesa davant possibles fallades o pertorbacions, permetent també comportaments d'aspecte col·laboratiu entre els seus integrants. En aquesta tesis, finalment es presenta un a proposta per al control del mode d'operació d'una micro-xarxa aïllada, presentant una arquitectura de xarxa com a sistema multi-agent, on les unitats d'emmagatzemament i generació d'energia són els agents del equip, i proposant una estratègia de control basada en tàctiques, rols i comportaments. Aquesta arquitectura està basada en les estratègies de futbol de robots aportades en aquesta tesis i que son dissenyades per a sistemes amb percepció global i control centralitzat, el qual determina els canvis en la forma d'operació per a les fonts distribuïdes d'energia en la micro-xarxa. / Guarnizo Marín, JG. (2016). Arquitecturas Centralizadas de Coordinación. Extrapolación del Fútbol de Robots al Control de Modo de Operaciones de Micro-Redes [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/68478 / TESIS

[EN] In recent years, within the field of mobile robotics, distributed architectures are becoming the fundamental pillar on which to develop modular, scalable and reusable algorithms that offer flexible solutions that can be applied easily and quickly to any platform with minimal changes in the software. Thus avoiding to reinvent the wheel facing the same problem again and again with each different type of robot on which it wants to work. Within this type of architecture, the multi-agent systems have the ability to orient their programming to modular behaviors and offer a well defined communication management. The ability for a group of robots to communicate with each other with some ease, gives new information to the agents that the sensoring hardware may sometimes not be able to detect, and that can be used to propose new or complementary solutions to the already defined within the area. This is exactly the reason and the challenge faced by this work, applied to mobile robots with limited resources. The first contribution of this thesis lies in the development of a control middleware which allows the use of two important distributed frameworks: JADE oriented multi-agent software development and ROS oriented distributed robotic software. The middleware was integrated into the set of robots available for testing and it was used as the basis of the architecture of most simulated and practical experiments that are presented. Once the established and detailed the hardware and software used, the new algorithms developed for local and global localization of mobile robots with limited resources, based on filters of sensory fusion and geometric correspondences are established. In addition, the benefits are evaluated using the principles of control and sampling based on events and taking as a starting point the cascade algorithms based on time. Based on these localization algorithms, navigation and coordination methodologies are described for groups of cooperative robots, where the communications between agents are the basis of success and where satisfactory results are observed both individually by robot and globally on the set Of robots. When working on a scenario shared by various mobile robots navigating, one of the most critical issues is to get the robots do not collide with each other. For this reason, another of the most important contributions of this work has been the development of an algorithm of detection and avoidance of collisions based on the consensus and agreement between robots through the point-to-point communications between them. For cases when a robot collided with just another robot, and for cases where multiple collisions occurred at the same time. Finally, the conclusions and the possible lines of work on which to continue researching and developing from the results obtained in this thesis are presented. / [ES] En los últimos años, dentro del campo de la robótica móvil, las arquitecturas distribuidas se están convirtiendo en el pilar fundamental sobre el cual desarrollar algoritmos modulares, escalables y reaprovechables que ofrezcan soluciones flexibles aplicables fácil y rápidamente a cualquier plataforma con unos cambios mínimos en el software, evitando de este modo reinventar la rueda enfrentándose al mismo problema una y otra vez con cada tipo distinto de robot sobre el que se desea trabajar. Dentro de este tipo de arquitectura los sistemas multi-agente permiten orientar su programación hacia comportamientos modulares y ofrecen una gestión de comunicaciones bien definida. La habilidad de que un grupo de robots pueda comunicarse entre sí con cierta facilidad, otorga información nueva a los agentes que el hardware de sensorización puede en ocasiones no ser capaz de detectar, y que puede ser utilizada para proponer nuevas soluciones alternativas o complementarias a las ya definidas dentro del área. Este es exactamente el motivo y el reto al que se enfrenta este trabajo, aplicado a robots móviles de recursos limitados. La primera aportación de esta tesis radica en el desarrollo de un middleware de control el cual permite el uso de dos importantes frameworks distribuidos: JADE orientado al desarrollo software multi-agente y ROS orientado a software robótico distribuido. El middleware se integró en el conjunto de robots disponibles para pruebas y se utiliza como base de la arquitectura de la mayoría de experimentos simulados y prácticos que se presentan. Establecido y detallado el hardware y el software a utilizar, se establecen los nuevos algoritmos desarrollados para la localización local y global de robots móviles de recursos limitados, basados en filtros de fusión sensorial y en correspondencias geométricas. Además se evalúan las prestaciones utilizando los principios de control y muestreo basados en eventos y tomando como punto de partida los algoritmos en cascada basados en el tiempo. Partiendo de dichos algoritmos de localización, se describen metodologías de navegación y coordinación de grupos de robots cooperativos, donde las comunicaciones entre agentes son la base del éxito y donde se observan resultados satisfactorios tanto a nivel individual por robot, como a nivel global sobre el conjunto de robots. Cuando se trabaja sobre un escenario compartido por diversos robots móviles navegando, una de las problemáticas más críticas es conseguir que los robots no choquen entre ellos. Por este motivo, otra de las aportaciones más importantes de este trabajo ha sido el desarrollo de un algoritmo de detección y evasión de colisiones basado también en el consenso y el acuerdo entre robots a través de las comunicaciones punto a punto entre ellos, el cual se ha definido tanto para situaciones donde un robot colisionaba sólo con otro robot, como para casos en los que ocurrían múltiples colisiones al mismo tiempo. Finalmente se exponen las conclusiones y las posibles líneas de trabajo sobre las que seguir investigando y desarrollando a partir de los resultados obtenidos en la presente tesis. / [CAT] En els últims anys, dins del camp de la robòtica mòbil, les arquitectures distribuïdes s'estan convertint en el pilar fonamental sobre el qual desenvolupar algorismes modulars, escalables i reaprovechables que oferisquen solucions flexibles aplicables fàcil i ràpidament a qualsevol plataforma amb uns canvis mínims en el programari, evitant d'aquesta manera reinventar la roda enfrontant-se al mateix problema una vegada i una altra amb cada tipus diferent de robot sobre el qual es desitja treballar. Dins d'aquest tipus d'arquitectura els sistemes multi-agent permeten orientar la seua programació cap a comportaments modulars i ofereixen una gestió de comunicacions ben definida. L'habilitat de que un grup de robots puga comunicar-se entre si amb certa facilitat, atorga informació nova als agents que el hardware de sensorització pot en ocasions no ser capaç de detectar, i que pot ser utilitzada per a proposar noves solucions alternatives o complementàries a les ja definides dins de l'àrea. Aquest és exactament el motiu i el repte al que s'enfronta aquest treball, aplicat a robots mòbils de recursos limitats. La primera aportació d'aquesta tesi radica en el desenvolupament d'un middleware de control el qual permet l'ús de dos importants frameworks distribuïts: JADE orientat al desenvolupament de la programació multi-agent i ROS orientat a la programació robòtica distribuïda. El middleware es va integrar en el conjunt de robots disponibles per a proves i s'utilitza com a base de l'arquitectura de la majoria d'experiments simulats i pràctics que es presenten. Establit i detallat el hardware i el software a utilitzar, s'estableixen els nous algorismes desenvolupats per a la localització local i global de robots mòbils de recursos limitats, basats en filtres de fusió sensorial i en correspondències geomètriques. A més s'avaluen les prestacions utilitzant els principis de control i mostreig basats en esdeveniments i prenent com a punt de partida els algorismes en cascada basats en el temps. Partint d'aquests algorismes de localització, es descriuen metodologies de navegació i coordinació de grups de robots cooperatius, on les comunicacions entre agents són la base de l'èxit i on s'observen resultats satisfactoris tant a nivell individual per robot, com a nivell global sobre el conjunt de robots. A més, quan es treballa sobre un escenari compartit per diversos robots mòbils navegant, una de les problemàtiques més crítiques és aconseguir que els robots no xoquen entre ells. Per aquest motiu, una altra de les aportacions més importants d'aquest treball ha sigut el desenvolupament d'un algorisme de detecció i evasió de col·lisions basat també en el consens i l'acord entre robots a través de les comunicacions punt a punt entre ells, el qual s'ha definit tant per a situacions on un robot col·lisionava només amb un altre robot, com per a casos en els quals ocorrien múltiples col·lisions al mateix temps. Finalment s'exposen les conclusions i les possibles línies de treball sobre les quals seguir investigant i desenvolupant a partir dels resultats obtinguts en la present tesi. / Soriano Vigueras, Á. (2017). Integración de sistemas multi-agente en plataformas embebidas heterogéneas con recursos limitados para tareas de localización y coordinación en detección y evasión de colisiones en robótica móvil [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/86174 / TESIS

En la presente tesis se ha diseñado un paradigma de reconocimiento de bocetos fiable y robusto que puede dar soporte al usuario en las primeras etapas del diseño conceptual, y en último término se ha desarrollado un interfaz caligráfico natural (que permite la generación espontánea de ideas en papel), adaptativo (que permite al usuario definir geometría imprecisa e incompleta) y transparente (que el usuario puede dibujar una línea a trazos o un rayado de un área sin anunciar dicha intención a la aplicación por medio de algún menú). Para la implementación del interfaz diseñado se ha recurrido a una plataforma multi-agente, pues se ha comprobado que los sistemas basados en agentes son válidos para aquellas aplicaciones que necesitan de reglas de decisión guiadas por el conocimiento, permitiendo así que el usuario pueda dibujar con total libertad sin importar lo que dibuje, el número de trazos o la secuencia de introducción de los mismos. A su vez, se ha dotado al interfaz de un carácter modular, permitiendo así añadir nuevos gestos/símbolos al diccionario con el mínimo intrusismo sobre el sistema diseñado y facilitando la flexibilidad del sistema. Son varias las aportaciones novedosas que se han hecho al interfaz implementado, entre ellas la incorporación en el reconocedor del "interspersing" (interrupción de la secuencia de trazado para completar otra parte del boceto), el "overtracing" (introducción de los trazos imitando el bocetado "artístico" en papel) y el cambio de modo automático (reconocimiento automático de la intención del usuario, sin tener que recurrir a menús para cambiar de modo "geometría" a modo "comando" o a modo "introducción de restricciones u otros símbolos del boceto"). Además, en el reconocedor se ha recurrido al desarrollo e implementación de un nuevo método de segmentación del boceto en el que se detectan además de los vértices esquinas, los vértices tangentes, con un porcentaje de acierto cercano al 100%, lo que mejora en gran medida los métodos de segmentación de bocetos existentes en la literatura hasta el momento. Por último, se ha recurrido al empleo de un marco para la optimización que permite el entrenamiento automatizado del sistema, entrenamiento que actualmente se lleva a cabo fuera de línea en la mayoría de aplicaciones que necesitan de este entrenamiento previo (consumiendo mucho tiempo), y que permite además el ajuste inicial de los parámetros de dicho sistema para que éste alcance la mejor solución posible en el reconocimiento. / García Fernández-Pacheco, D. (2010). Aplicación para reconocimiento de bocetos basada en sistemas multi-agente [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/8544 / Palancia

Made available in DSpace on 2014-12-17T14:54:54Z (GMT). No. of bitstreams: 1 DennisBA_TESE.pdf: 1043376 bytes, checksum: 6b47eea8aa7b8a53ea716b636db4663b (MD5) Previous issue date: 2009-03-19 / Conselho Nacional de Desenvolvimento Cient?fico e Tecnol?gico / We propose a new paradigm for collective learning in multi-agent systems (MAS) as a solution to the problem in which several agents acting over the same environment must learn how to perform tasks, simultaneously, based on feedbacks given by each one of the other agents. We introduce the proposed paradigm in the form of a reinforcement learning algorithm, nominating it as reinforcement learning with influence values. While learning by rewards, each agent evaluates the relation between the current state and/or action executed at this state (actual believe) together with the reward obtained after all agents that are interacting perform their actions. The reward is a result of the interference of others. The agent considers the opinions of all its colleagues in order to attempt to change the values of its states and/or actions. The idea is that the system, as a whole, must reach an equilibrium, where all agents get satisfied with the obtained results. This means that the values of the state/actions pairs match the reward obtained by each agent. This dynamical way of setting the values for states and/or actions makes this new reinforcement learning paradigm the first to include, naturally, the fact that the presence of other agents in the environment turns it a dynamical model. As a direct result, we implicitly include the internal state, the actions and the rewards obtained by all the other agents in the internal state of each agent. This makes our proposal the first complete solution to the conceptual problem that rises when applying reinforcement learning in multi-agent systems, which is caused by the difference existent between the environment and agent models. With basis on the proposed model, we create the IVQ-learning algorithm that is exhaustive tested in repetitive games with two, three and four agents and in stochastic games that need cooperation and in games that need collaboration. This algorithm shows to be a good option for obtaining solutions that guarantee convergence to the Nash optimum equilibrium in cooperative problems. Experiments performed clear shows that the proposed paradigm is theoretical and experimentally superior to the traditional approaches. Yet, with the creation of this new paradigm the set of reinforcement learning applications in MAS grows up. That is, besides the possibility of applying the algorithm in traditional learning problems in MAS, as for example coordination of tasks in multi-robot systems, it is possible to apply reinforcement learning in problems that are essentially collaborative / Propomos um novo paradigma de aprendizado coletivo em sistemas multi-agentes (SMA) como uma solu??o para o problema em que v?rios agentes devem aprender como realizar tarefas agindo sobre um mesmo ambiente, simultaneamente, baseando-se em retornos fornecidos por cada um dos outros agentes. Introduzimos o paradigma proposto na forma do algoritmo de aprendizado por refor?o, denominando-o de aprendizado por refor?o com valores de influ?ncia. Cada agente aprendendo por refor?o avalia a rela??o existente entre o valor do seu estado atual e/ou a a??o executada no estado (cren?as atuais) junto com a recompensa obtida ap?s todos os agentes que est?o interagindo executarem suas a??es (resultado da interfer?ncia dos outros). O agente pondera as opini?es de todos os seus colegas na tentativa de mudar os valores dos seus estados e/ou a??es. A id?ia ? que o sistema como um todo deve chegar a um equil?brio, onde todos os agentes se sentem satisfeitos com os resultados obtidos, significando que os valores dos estados ou pares estado/a??o casam-se com a recompensa obtida por cada agente. Esta forma din?mica de atualizar o valor dos estados e/ou a??es faz deste novo paradigma de aprendizado por refor?o o primeiro a incluir, naturalmente, o fato de que a presen?a de outros agentes no ambiente o torna din?mico. Como resultado direto, inclu?mos implicitamente o estado interno, as a??es e a recompensa obtida por todos os outros agentes dentro do estado interno de cada agente. Isso faz de nossa proposta a primeira solu??o completa para o problema conceitual que surge ao aplicar aprendizado por refor?o em sistemas multi-agente, causado pela diferen?a existente entre o modelo do ambiente e o modelo do agente. Com base no modelo proposto, criamos o algoritmo IVQ-Learning, testado exaustivamente em jogos repetitivos com dois, tr?s e quatro agentes e em jogos estoc?sticos que exijam coopera??o e em jogos que exijam colabora??o. Este algoritmo mostra-se como uma boa op??o na tentativa de obter solu??es que garantam a converg?ncia para o equil?brio de Nash ?timo em problemas cooperativos. Os experimentos realizados deixam claro que o paradigma proposto ? te?rica e experimentalmente superior aos paradigmas tradicionais. Ainda, com a cria??o deste novo paradigma, o conjunto de aplica??es de aprendizado por refor?o em SMA foi ampliado. Ou seja, al?m da possibilidade de aplicar os algoritmos nos problemas tradicionais de aprendizado em SMA, como por exemplo coordena??o de tarefas em sistemas multi-rob?, ? poss?vel aplicar aprendizado por refor?o nos problemas essencialmente colaborativos

Made available in DSpace on 2016-08-17T14:53:24Z (GMT). No. of bitstreams: 1 Dissertacao Rafael de Souza.pdf: 5581665 bytes, checksum: 4edbe8b1f2b84008b5129a93038f2fee (MD5) Previous issue date: 2013-03-04 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / In this work, we applied the technology of Multi-Agent Systems (MAS) in the capital market, i.e., the stock market, specifically in Bolsa de Mercadorias e Futuros de São Paulo (BM&FBovespa). The research focused mainly on negotiation protocols and learning of investors agents. Within the Stock Exchange competitive field, the development of an agent that could learn to negotiate, could become differential for investors who wish to increase their profits. The decision-making based on historical data is motivation for further research in the same direction, however, we sought a different approach with regard to the representation of the states of q-learning algorithm. The reinforcement learning, in particular q-learning, has been shown to be effective in environments with various historical data and seeking reward decisions with positive results. That way it is possible to apply in the purchase and sale of shares, an algorithm that rewards the profit and punishes the loss. Moreover, to achieve their goals agents need to negotiate according to specific protocols of stock exchange. Therefore, endeavor was also the specifications of the rules of negotiation between agents that allow the purchase and sale of shares. Through the exchange of messages between agents, it is possible to determine how the trading will occur and facilitate communication between them, because it sets a standard of how it will happen. Therefore, in view of the specification of negotiation protocols based on q-learning, this research has been the modeling of intelligent agents and models of learning and negotiation required for decision making entities involved. / Neste trabalho, aplicou-se a tecnologia de Sistemas MultiAgente (SMA) no mercado de capitais, isto é, na Bolsa de Valores, especificamente na Bolsa de Mercadorias e Futuros de São Paulo (BM&FBovespa). A pesquisa concentrou-se principalmente nos protocolos de negociação envolvidos e na aprendizagem dos agentes investidores. Dentro do cenário competitivo da Bolsa de Valores, o desenvolvimento de um agente que aprendesse a negociar poderia se tornar diferencial para os investidores que desejam obter lucros cada vez maiores. A tomada de decisão baseada em dados históricos é motivação para outras pesquisas no mesmo sentido, no entanto, buscou-se uma abordagem diferenciada no que diz respeito à representação dos estados do algoritmo de aprendizagem-q. A aprendizagem por reforço, em especial a aprendizagem-q, tem demonstrado ser eficiente em ambientes com vários dados históricos e que procuram recompensar decisões com resultados positivos. Dessa forma é possível aplicar na compra e venda de ações, um algoritmo que premia o lucro e pune o prejuízo. Além disso, para conseguir alcançar seus objetivos os agentes precisam negociar de acordo com os protocolos específicos da bolsa de valores. Sendo assim, procurou-se também as especificações das regras de negociação entre os agentes que permitirão a compra e venda de títulos da bolsa. Através da troca de mensagens entre os agentes, é possível determinar como a negociação ocorrerá e facilitará comunicação entre os mesmos, pois fica padronizada a forma como isso acontecerá. Logo, tendo em vista as especificações dos protocolos de negociação baseados em aprendizagem-q, tem-se nesta pesquisa a modelagem dos agentes inteligentes e os modelos de aprendizagem e negociação necessários para a tomada de decisão das entidades envolvidas.

L'experiència de l'autor en la temàtica d'agents intel·ligents i la seva aplicació als robots que emulen el joc de futbol han donat el bagatge suficient per poder encetar i proposar la temàtica plantejada en aquesta tesi: com fer que un complicat robot pugui treure el màxim suc de l'autoconeixement de l'estructura de control inclosa al seu propi cos físic, i així poder cooperar millor amb d'altres agents per optimitzar el rendiment a l'hora de resoldre problemes de cooperació. Per resoldre aquesta qüestió es proposa incorporar la dinàmica del cos físic en les decisions cooperatives dels agents físics unificant els móns de l'automàtica, la robòtica i la intel·ligència artificial a través de la noció de capacitat: la capacitat vista com a entitat on els enginyers de control dipositen el seu coneixement, i a la vegada la capacitat vista com la utilitat on un agent hi diposita el seu autoconeixement del seu cos físic que ha obtingut per introspecció. En aquesta tesi es presenta l'arquitectura DPAA que s'organitza seguint una jerarquia vertical en tres nivells d'abstracció o mòduls control, supervisor i agent, els quals presenten una estructura interna homogènia que facilita les tasques de disseny de l'agent. Aquests mòduls disposen d'un conjunt específic de capacitats que els permeten avaluar com seran les accions que s'executaran en un futur. En concret, al mòdul de control (baix nivell d'abstracció) les capacitats consisteixen en paràmetres que descriuen el comportament dinàmic i estàtic que resulta d'executar un controlador determinat, és a dir, encapsulen el coneixement de l'enginyer de control. Així, a través dels mecanismes de comunicació entre mòduls aquest coneixement pot anar introduint-se als mecanismes de decisió dels mòduls superiors (supervisor i agent) de forma que quan els paràmetres dinàmics i estàtics indiquin que pot haver-hi problemes a baix nivell, els mòduls superiors es poden responsabilitzar d'inhibir o no l'execució d'algunes accions. Aquest procés top-down intern d'avaluació de la viabilitat d'executar una acció determinada s'anomena procés d'introspecció. Es presenten diversos exemples per tal d'il·lustrar com es pot dissenyar un agent físic amb dinàmica pròpia utilitzant l'arquitectura DPAA com a referent. En concret, es mostra tot el procés a seguir per dissenyar un sistema real format per dos robots en formació de comboi, i es mostra com es pot resoldre el problema de la col·lisió utilitzant les capacitats a partir de les especificacions de disseny de l'arquitectura DPAA. Al cinquè capítol s'hi exposa el procés d'anàlisi i disseny en un domini més complex: un grup de robots que emulen el joc del futbol. Els resultats que s'hi mostren fan referència a l'avaluació de la validesa de l'arquitectura per resoldre el problema de la passada de la pilota. S'hi mostren diversos resultats on es veu que és possible avaluar si una passada de pilota és viable o no. Encara que aquesta possibilitat ja ha estat demostrada en altres treballs, l'aportació d'aquesta tesi està en el fet que és possible avaluar la viabilitat a partir de l'encapsulament de la dinàmica en unes capacitats específiques, és a dir, és possible saber quines seran les característiques de la passada: el temps del xut, la precisió o inclòs la geometria del moviment del robot xutador. Els resultats mostren que la negociació de les condicions de la passada de la pilota és possible a partir de capacitats atòmiques, les quals inclouen informació sobre les característiques de la dinàmica dels controladors. La complexitat del domini proposat fa difícil comparar els resultats amb els altres treballs. Cal tenir present que els resultats mostrats s'han obtingut utilitzant un simulador fet a mida que incorpora les dinàmiques dels motors dels robots i de la pilota. En aquest sentit cal comentar que no existeixen treballs publicats sobre el problema de la passada en què es tingui en compte la dinàmica dels robots.El present treball permet assegurar que la inclusió de paràmetres dinàmics en el conjunt de les capacitats de l'agent físic permet obtenir un millor comportament col·lectiu dels robots, i que aquesta millora es deu al fet que en les etapes de decisió els agents utilitzen informació relativa a la viabilitat sobre les seves accions: aquesta viabilitat es pot calcular a partir del comportament dinàmic dels controladors. De fet, la definició de capacitats a partir de paràmetres dinàmics permet treballar fàcilment amb sistemes autònoms heterogenis: l'agent físic pot ser conscient de les seves capacitats d'actuació a través de mecanismes interns d'introspecció, i això permet que pugui prendre compromisos amb altres agents físics.

Durant les dernières années, la taille des systèmes ainsi que leur complexité ont pas mal évolué, entrainant le besoin d'approches distribuées pour la commande et l'aide à la décision. Cette thèse porte sur la résolution d'un problème incluant une commande distribuée et une aide à la décision, l'allocation dynamique de ressource dans un réseau.Pour résoudre ce problème, nous avons étudié un algorithme basé sur un consensus qui ne nécessite pas de calcul centralisé, et qui soit capable de traiter des applications modélisées par des systèmes dynamiques ou par des fonctions sans mémoires. La principale contribution de ce travail de thèse est d'avoir prouvé, en utilisant des outils issus de la théorie des graphes etl'analyse de la passivité, que le contrôleur atteint la solution optimale de façon asymptotique, sans obligation d'avoir une information complète.Afin d'illustrer la pertinence de notre résultat principal, plusieurs applications en ingénierie ont été étudiées, incluant la commande distribuée pour l'économie d'énergie dans des bâtiments intelligents, la gestion des clients dans un environnement de "smart grids", et le développement d'une méthode exacte d'optimisation distribuée pour un problème d'allocation de ressources soumis à des contraintes sur les bornes inférieures.Enfin, nous étudions les techniques d'allocation de ressources basées sur les modèlesde dynamique de populations. Pour les rendre distribuées, nous introduisons le concept dedynamique de populations "pas bien mélangées". Nous montrons que ces dynamiques peuventêtre utilisées pour des structures d'informations contraintes. Même si les dynamiquesde populations "pas bien mélangées" utilisent des informations partielles, ellesconservent des propriétés similaires aux dynamiques classiques qui utilisent desinformations complètes. Plus spécifiquement, la conservation de masse et la convergencevers l'équilibre de Nash sont prouvées. / Since the complexity and scale of systems have been growing in the last years, distributed approaches for control and decision making are becoming more prevalent. This dissertation focuses on an important problem involving distributed control and decision making, the dynamic resource allocation in a network. To address this problem, we explore a consensus--based algorithm that does not require any centralized computation, and that is capable to deal with applications modeled either by dynamical systems or by memoryless functions. The main contribution of our research is to prove, by means of graph theoretical tools and passivity analysis, that the proposed controller asymptotically reaches an optimal solution without the need of full information. In order to illustrate the relevance of our main result, we address several engineering applications including: distributed control for energy saving in smart buildings, management of the customers of an aggregating entity in a smart grid environment, and development of an exact distributed optimization method that deals with resource allocation problems subject to lower--bound constraints. Finally, we explore resource allocation techniques based on classic population dynamics models. In order to make them distributed, we introduce the concept of non--well--mixed population dynamics. We show that these dynamics are capable to deal with constrained information structures that are characterized by non--complete graphs. Although the proposed non--well--mixed population dynamics use partial information, they preserve similar properties of their classic counterpart, which uses full information. Specifically, we prove mass conservation and convergence to Nash equilibrium. / Dado que la complejidad y la escala de los sistemas sehan ido incrementando en los últimos años, las técnicas centralizadas de control y toma de decisiones están siendo reemplazadas por métodos distribuidos. Esta tesis se centra en un importante problema que involucra control y toma de decisiones distribuidas: la asignación dinámica de recursos en redes. Para abordar este problema, exploramos un algoritmo basado en consenso que no requiere computación centralizada, y que puede ser usado en aplicaciones modeladas ya sea por sistemas dinámicos o funciones sin memoria. La principal contribución de esta tesis es probar, por medio de teoría de grafos y pasividad, que el algoritmo propuesto alcanza asintóticamente una solución óptima sin la necesidad de usar información completa. Para ilustrar la relevancia del resultado principal de esta disertación, abordamos varias aplicaciones en ingeniería,incluyendo: el control distribuido en edificios inteligentes orientado a la eficiencia energética, la gestión de los clientes de un agregador en una red inteligente en la que se aplican estrategias de respuesta de la demanda, y el desarrollo de un método de optimización exacto que permite incluir restricciones de límite inferior. Finalmente, se exploran otras técnicas de asignación derecursos inspiradas en modelos de dinámicas poblacionales. Se introduce el concepto de poblaciones no—bien—mezcladas, y se muestra que las dinámicas asociadas a este tipo de poblaciones cuentan con una estructura de información local, caracterizada por grafos que no son completos. A pesar de que las dinámicas propuestas usan información parcial, ellas preservan características similares a las dinámicas poblacionales clásicas que usan información completa.