Um melhor uso da infraestrutura da rede de transporte é um ponto fundamental para atenuar os efeitos dos congestionamentos no trânsito. Este trabalho utiliza aprendizado por reforço multiagente (MARL) para melhorar o uso da infraestrutura e, consequentemente, mitigar tais congestionamentos. A partir disso, diversos desafios surgem. Primeiro, a maioria da literatura assume que os motoristas aprendem (semáforos não possuem nenhum tipo de aprendizado) ou os semáforos aprendem (motoristas não alteram seus comportamentos). Em segundo lugar, independentemente do tipo de classe de agentes e do tipo de aprendizado, as ações são altamente acopladas, tornando a tarefa de aprendizado mais difícil. Terceiro, quando duas classes de agentes co-aprendem, as tarefas de aprendizado de cada agente são de natureza diferente (do ponto de vista do aprendizado por reforço multiagente). Finalmente, é utilizada uma modelagem microscópica, que modela os agentes com um alto nível de detalhes, o que não é trivial, pois cada agente tem seu próprio ritmo de aprendizado. Portanto, este trabalho não propõe somente a abordagem de co-aprendizado em agentes que atuam em ambiente compartilhado, mas também argumenta que essa tarefa precisa ser formulada de forma assíncrona. Além disso, os agentes motoristas podem atualizar os valores das ações disponíveis ao receber informações de outros motoristas. Os resultados mostram que a abordagem proposta, baseada no coaprendizado, supera outras políticas em termos de tempo médio de viagem. Além disso, quando o co-aprendizado é utilizado, as filas de veículos parados nos semáforos são menores. / A better use of transport network infrastructure is a key point in mitigating the effects of traffic congestion. This work uses multiagent reinforcement learning (MARL) to improve the use of infrastructure and, consequently, to reduce such congestion. From this, several challenges arise. First, most literature assumes that drivers learn (traffic lights do not have any type of learning) or the traffic lights learn (drivers do not change their behaviors). Second, regardless of the type of agent class and the type of learning, the actions are highly coupled, making the learning task more difficult. Third, when two classes of agents co-learn, the learning tasks of each agent are of a different nature (from the point of view of multiagent reinforcement learning). Finally, a microscopic modeling is used, which models the agents with a high level of detail, which is not trivial, since each agent has its own learning pace. Therefore, this work does not only propose the co-learnig approach in agents that act in a shared environment, but also argues that this taks needs to be formulated asynchronously. In addtion, driver agents can update the value of the available actions by receiving information from other drivers. The results show that the proposed approach, based on co-learning, outperforms other policies regarding average travel time. Also, when co-learning is use, queues of stopped vehicles at traffic lights are lower.

In this work we present a multiagent Fleet Coordination Problem (FCP). In this formulation, agents seek to minimize the fuel consumed to complete all deliveries while maintaining acceptable on-time delivery performance. Individual vehicles must both (i) bid on the rights to deliver a load of goods from origin to destination in a distributed, cooperative auction and (ii) choose the rate of travel between customer locations. We create two populations of adaptive agents, each to address one of these necessary functions. By training each agent population in separate source domains, we use transfer learning to boost initial performance in the target FCP. This boost removes the need for 300 generations of agent training in the target FCP, though the source problem computation time was less than the computation time for 5 generations in the FCP. / Graduation date: 2012

We present tools for a network topology based characterization of heterogeneity in multiagent systems, thereby providing a framework for the analysis and design of heterogeneous multiagent networks from a network structure view-point. In heterogeneous networks, agents with a diverse set of resources coordinate with each other. Coordination among different agents and the structure of the underlying network topology have significant impacts on the overall behavior and functionality of the system. Using constructs from graph theory, a qualitative as well as a quantitative analysis is performed to examine an inter-relationship between the network topology and the distribution of agents with various capabilities in heterogeneous networks. Our goal is to allow agents maximally exploit heterogeneous resources available within the network through local interactions, thus exploring a promise heterogeneous networks hold to accomplish complicated tasks by leveraging upon the assorted capabilities of agents. For a reliable operations of such systems, the issue of security against intrusions and malicious agents is also addressed. We provide a scheme to secure a network against a sequence of intruder attacks through a set of heterogeneous guards. Moreover, robustness of networked systems against noise corruption and structural changes in the underlying network topology is also examined.

Um melhor uso da infraestrutura da rede de transporte é um ponto fundamental para atenuar os efeitos dos congestionamentos no trânsito. Este trabalho utiliza aprendizado por reforço multiagente (MARL) para melhorar o uso da infraestrutura e, consequentemente, mitigar tais congestionamentos. A partir disso, diversos desafios surgem. Primeiro, a maioria da literatura assume que os motoristas aprendem (semáforos não possuem nenhum tipo de aprendizado) ou os semáforos aprendem (motoristas não alteram seus comportamentos). Em segundo lugar, independentemente do tipo de classe de agentes e do tipo de aprendizado, as ações são altamente acopladas, tornando a tarefa de aprendizado mais difícil. Terceiro, quando duas classes de agentes co-aprendem, as tarefas de aprendizado de cada agente são de natureza diferente (do ponto de vista do aprendizado por reforço multiagente). Finalmente, é utilizada uma modelagem microscópica, que modela os agentes com um alto nível de detalhes, o que não é trivial, pois cada agente tem seu próprio ritmo de aprendizado. Portanto, este trabalho não propõe somente a abordagem de co-aprendizado em agentes que atuam em ambiente compartilhado, mas também argumenta que essa tarefa precisa ser formulada de forma assíncrona. Além disso, os agentes motoristas podem atualizar os valores das ações disponíveis ao receber informações de outros motoristas. Os resultados mostram que a abordagem proposta, baseada no coaprendizado, supera outras políticas em termos de tempo médio de viagem. Além disso, quando o co-aprendizado é utilizado, as filas de veículos parados nos semáforos são menores. / A better use of transport network infrastructure is a key point in mitigating the effects of traffic congestion. This work uses multiagent reinforcement learning (MARL) to improve the use of infrastructure and, consequently, to reduce such congestion. From this, several challenges arise. First, most literature assumes that drivers learn (traffic lights do not have any type of learning) or the traffic lights learn (drivers do not change their behaviors). Second, regardless of the type of agent class and the type of learning, the actions are highly coupled, making the learning task more difficult. Third, when two classes of agents co-learn, the learning tasks of each agent are of a different nature (from the point of view of multiagent reinforcement learning). Finally, a microscopic modeling is used, which models the agents with a high level of detail, which is not trivial, since each agent has its own learning pace. Therefore, this work does not only propose the co-learnig approach in agents that act in a shared environment, but also argues that this taks needs to be formulated asynchronously. In addtion, driver agents can update the value of the available actions by receiving information from other drivers. The results show that the proposed approach, based on co-learning, outperforms other policies regarding average travel time. Also, when co-learning is use, queues of stopped vehicles at traffic lights are lower.

Um melhor uso da infraestrutura da rede de transporte é um ponto fundamental para atenuar os efeitos dos congestionamentos no trânsito. Este trabalho utiliza aprendizado por reforço multiagente (MARL) para melhorar o uso da infraestrutura e, consequentemente, mitigar tais congestionamentos. A partir disso, diversos desafios surgem. Primeiro, a maioria da literatura assume que os motoristas aprendem (semáforos não possuem nenhum tipo de aprendizado) ou os semáforos aprendem (motoristas não alteram seus comportamentos). Em segundo lugar, independentemente do tipo de classe de agentes e do tipo de aprendizado, as ações são altamente acopladas, tornando a tarefa de aprendizado mais difícil. Terceiro, quando duas classes de agentes co-aprendem, as tarefas de aprendizado de cada agente são de natureza diferente (do ponto de vista do aprendizado por reforço multiagente). Finalmente, é utilizada uma modelagem microscópica, que modela os agentes com um alto nível de detalhes, o que não é trivial, pois cada agente tem seu próprio ritmo de aprendizado. Portanto, este trabalho não propõe somente a abordagem de co-aprendizado em agentes que atuam em ambiente compartilhado, mas também argumenta que essa tarefa precisa ser formulada de forma assíncrona. Além disso, os agentes motoristas podem atualizar os valores das ações disponíveis ao receber informações de outros motoristas. Os resultados mostram que a abordagem proposta, baseada no coaprendizado, supera outras políticas em termos de tempo médio de viagem. Além disso, quando o co-aprendizado é utilizado, as filas de veículos parados nos semáforos são menores. / A better use of transport network infrastructure is a key point in mitigating the effects of traffic congestion. This work uses multiagent reinforcement learning (MARL) to improve the use of infrastructure and, consequently, to reduce such congestion. From this, several challenges arise. First, most literature assumes that drivers learn (traffic lights do not have any type of learning) or the traffic lights learn (drivers do not change their behaviors). Second, regardless of the type of agent class and the type of learning, the actions are highly coupled, making the learning task more difficult. Third, when two classes of agents co-learn, the learning tasks of each agent are of a different nature (from the point of view of multiagent reinforcement learning). Finally, a microscopic modeling is used, which models the agents with a high level of detail, which is not trivial, since each agent has its own learning pace. Therefore, this work does not only propose the co-learnig approach in agents that act in a shared environment, but also argues that this taks needs to be formulated asynchronously. In addtion, driver agents can update the value of the available actions by receiving information from other drivers. The results show that the proposed approach, based on co-learning, outperforms other policies regarding average travel time. Also, when co-learning is use, queues of stopped vehicles at traffic lights are lower.

Sistema multiagente é um tema de estudo em IAD, no qual um conjunto de agentes interage em um ambiente comum. A IAD baseia-se no comportamento social de agentes (humanos e artificiais), enfatizando as ações e as interações dos mesmos. Esses agentes podem ser cognitivos ou reativos. Os sistemas multiagentes reativos têm sido usados em pesquisas e estudos ligados a campos importantes de aplicação, gerando o desenvolvimento de sistemas não apenas para a área acadêmica, mas também para atender às necessidades do mercado industrial. Com o objetivo de abranger um ramo de pesquisas em sistemas multiagentes, este trabalho propôs a definição e a implementação de um protótipo de um ambiente de software que possibilita o desenvolvimento de aplicações em sistemas multiagentes reativos. Este ambiente tem a finalidade de facilitar a criação de tais aplicações com o uso de agentes, atingindo um resultado satisfatório. O ambiente definido é o SIMULA, que possibilita ao usuário criar suas aplicações através de elementos de uma interface gráfica. O usuário, na interação com o ambiente, determina os agentes envolvidos no problema e como eles agirão no processo de resolução do mesmo. O usuário define a sua aplicação criando um modelo para ela. Para definir as características do ambiente SIMULA, foram estudados e analisados três modelos de sistemas multiagentes reativos, encontrados em [STE 90], [DEM 93] e [FER 91], e estabelecido um quadro comparativo dos mesmos, segundo alguns critérios determinados. Esses modelos permitem que se faça a modelagem de aplicações nas quais o processo de resolução dos problemas, representados por tais aplicações, parece se adequar às características dos agentes reativos. A validação do uso do ambiente SIMULA envolveu a modelagem de três aplicações: a atuação de robôs na busca de minerais, definido em [STE 90], o jogo PENGI, definido em [AGR 87] e [FER 91], e a atuação de parasitas no controle de pragas de plantações. Esta última sendo uma novidade para a resolução com agentes reativos. / Multiagent Systems is a subject of study in DAI (Distributed Artificial Intelligence) in which a group of agents interacts with the same tool . DAI is based on social behavior of agents (human and artificial ones) focus on actions and interactions of them . Those agents can be cognitive or reactive . Reactive Multiagent Systems have been used in research and studies linked to important fields of use that generates the development of systems not only for academic areas but also to meet the needs of industrial market. As we have the objective of ranging a research field of multiagent systems, this work comes up with a definition and implementation of a prototype of a software tool which enables the application development in reactive multiagent system . This tool has the purpose to ease the creation of such applications like the use of agents and consequently achieving a satisfactory result . The tool is called SIMULA and it enables the user to create his own applications through elements from a graphic interface . The user who interacts with the tool determines the agents involved in the problem and how they will act in the process of solving this matter . Applications are developed based in models created by the user. In order to characterize the tool SIMULA , three models of reactive multiagent systems found in [STE 90] , [DEM 93] and [FER 91] have been studied and analyzed. A comparative table has been made according to definite criteria. These models allow shaping the applications in which the process of problem solving represented by such applications seems adequate to the characteristics of reactive agents . Validation of use of SIMULA tool involved modeling of three applications : performance of robots in mineral prospection defined in [STE 90] , PENGI game defined in [AGR 87] and [FER 91] and perfomance of parasite in controlling crop plagues that is being a novelty.

Sistema multiagente é um tema de estudo em IAD, no qual um conjunto de agentes interage em um ambiente comum. A IAD baseia-se no comportamento social de agentes (humanos e artificiais), enfatizando as ações e as interações dos mesmos. Esses agentes podem ser cognitivos ou reativos. Os sistemas multiagentes reativos têm sido usados em pesquisas e estudos ligados a campos importantes de aplicação, gerando o desenvolvimento de sistemas não apenas para a área acadêmica, mas também para atender às necessidades do mercado industrial. Com o objetivo de abranger um ramo de pesquisas em sistemas multiagentes, este trabalho propôs a definição e a implementação de um protótipo de um ambiente de software que possibilita o desenvolvimento de aplicações em sistemas multiagentes reativos. Este ambiente tem a finalidade de facilitar a criação de tais aplicações com o uso de agentes, atingindo um resultado satisfatório. O ambiente definido é o SIMULA, que possibilita ao usuário criar suas aplicações através de elementos de uma interface gráfica. O usuário, na interação com o ambiente, determina os agentes envolvidos no problema e como eles agirão no processo de resolução do mesmo. O usuário define a sua aplicação criando um modelo para ela. Para definir as características do ambiente SIMULA, foram estudados e analisados três modelos de sistemas multiagentes reativos, encontrados em [STE 90], [DEM 93] e [FER 91], e estabelecido um quadro comparativo dos mesmos, segundo alguns critérios determinados. Esses modelos permitem que se faça a modelagem de aplicações nas quais o processo de resolução dos problemas, representados por tais aplicações, parece se adequar às características dos agentes reativos. A validação do uso do ambiente SIMULA envolveu a modelagem de três aplicações: a atuação de robôs na busca de minerais, definido em [STE 90], o jogo PENGI, definido em [AGR 87] e [FER 91], e a atuação de parasitas no controle de pragas de plantações. Esta última sendo uma novidade para a resolução com agentes reativos. / Multiagent Systems is a subject of study in DAI (Distributed Artificial Intelligence) in which a group of agents interacts with the same tool . DAI is based on social behavior of agents (human and artificial ones) focus on actions and interactions of them . Those agents can be cognitive or reactive . Reactive Multiagent Systems have been used in research and studies linked to important fields of use that generates the development of systems not only for academic areas but also to meet the needs of industrial market. As we have the objective of ranging a research field of multiagent systems, this work comes up with a definition and implementation of a prototype of a software tool which enables the application development in reactive multiagent system . This tool has the purpose to ease the creation of such applications like the use of agents and consequently achieving a satisfactory result . The tool is called SIMULA and it enables the user to create his own applications through elements from a graphic interface . The user who interacts with the tool determines the agents involved in the problem and how they will act in the process of solving this matter . Applications are developed based in models created by the user. In order to characterize the tool SIMULA , three models of reactive multiagent systems found in [STE 90] , [DEM 93] and [FER 91] have been studied and analyzed. A comparative table has been made according to definite criteria. These models allow shaping the applications in which the process of problem solving represented by such applications seems adequate to the characteristics of reactive agents . Validation of use of SIMULA tool involved modeling of three applications : performance of robots in mineral prospection defined in [STE 90] , PENGI game defined in [AGR 87] and [FER 91] and perfomance of parasite in controlling crop plagues that is being a novelty.

Sistema multiagente é um tema de estudo em IAD, no qual um conjunto de agentes interage em um ambiente comum. A IAD baseia-se no comportamento social de agentes (humanos e artificiais), enfatizando as ações e as interações dos mesmos. Esses agentes podem ser cognitivos ou reativos. Os sistemas multiagentes reativos têm sido usados em pesquisas e estudos ligados a campos importantes de aplicação, gerando o desenvolvimento de sistemas não apenas para a área acadêmica, mas também para atender às necessidades do mercado industrial. Com o objetivo de abranger um ramo de pesquisas em sistemas multiagentes, este trabalho propôs a definição e a implementação de um protótipo de um ambiente de software que possibilita o desenvolvimento de aplicações em sistemas multiagentes reativos. Este ambiente tem a finalidade de facilitar a criação de tais aplicações com o uso de agentes, atingindo um resultado satisfatório. O ambiente definido é o SIMULA, que possibilita ao usuário criar suas aplicações através de elementos de uma interface gráfica. O usuário, na interação com o ambiente, determina os agentes envolvidos no problema e como eles agirão no processo de resolução do mesmo. O usuário define a sua aplicação criando um modelo para ela. Para definir as características do ambiente SIMULA, foram estudados e analisados três modelos de sistemas multiagentes reativos, encontrados em [STE 90], [DEM 93] e [FER 91], e estabelecido um quadro comparativo dos mesmos, segundo alguns critérios determinados. Esses modelos permitem que se faça a modelagem de aplicações nas quais o processo de resolução dos problemas, representados por tais aplicações, parece se adequar às características dos agentes reativos. A validação do uso do ambiente SIMULA envolveu a modelagem de três aplicações: a atuação de robôs na busca de minerais, definido em [STE 90], o jogo PENGI, definido em [AGR 87] e [FER 91], e a atuação de parasitas no controle de pragas de plantações. Esta última sendo uma novidade para a resolução com agentes reativos. / Multiagent Systems is a subject of study in DAI (Distributed Artificial Intelligence) in which a group of agents interacts with the same tool . DAI is based on social behavior of agents (human and artificial ones) focus on actions and interactions of them . Those agents can be cognitive or reactive . Reactive Multiagent Systems have been used in research and studies linked to important fields of use that generates the development of systems not only for academic areas but also to meet the needs of industrial market. As we have the objective of ranging a research field of multiagent systems, this work comes up with a definition and implementation of a prototype of a software tool which enables the application development in reactive multiagent system . This tool has the purpose to ease the creation of such applications like the use of agents and consequently achieving a satisfactory result . The tool is called SIMULA and it enables the user to create his own applications through elements from a graphic interface . The user who interacts with the tool determines the agents involved in the problem and how they will act in the process of solving this matter . Applications are developed based in models created by the user. In order to characterize the tool SIMULA , three models of reactive multiagent systems found in [STE 90] , [DEM 93] and [FER 91] have been studied and analyzed. A comparative table has been made according to definite criteria. These models allow shaping the applications in which the process of problem solving represented by such applications seems adequate to the characteristics of reactive agents . Validation of use of SIMULA tool involved modeling of three applications : performance of robots in mineral prospection defined in [STE 90] , PENGI game defined in [AGR 87] and [FER 91] and perfomance of parasite in controlling crop plagues that is being a novelty.

Master of Science / Department of Computing and Information Sciences / Scott A. DeLoach / Designing and implementing large, complex and distributed systems using semi-autonomous agents that can reorganize and adapt themselves by cooperating with one another represents the future of software systems. This project concentrates on analyzing, designing and simulating such a system using the Organization Model for Adaptive Computational Systems (OMACS) metamodel. OMACS provides a framework for developing multiagent based systems that can adapt themselves to changes in the environment. Design of OMACS ensures the system will be highly robust and adaptive. In this project, we implement a simulator that models the adaptability of agents in a Power Distribution Management (PDM) system. The project specifies a top-down approach to break down the goals of the PDM system and to design the functional role of each agent involved in the system. It defines the different roles in the organization and the various capabilities possessed by the agents. All the assignments in PDM system are based on these factors. The project gives two different approaches for assigning the agents to the goals they are capable of achieving. It also analyzes the time complexity and the efficiency of agent assignments in various scenarios to understand the effectiveness of agent reorganization.

International Telemetering Conference Proceedings / October 18-21, 2004 / Town & Country Resort, San Diego, California / Several algorithms have been proposed for solving constraint satisfaction and the more general constraint optimization problem in a distributed manner. In this paper we apply two such algorithms to the task of dynamic resource allocation in the sensor network domain using appropriate abstractions. The aim is to effectively track multiple targets by making the sensors coordinate with each other in a distributed manner, given a probabilistic representation of tasks (targets). We present simulation results and compare the performance of the DBA and DSA algorithms under varying experimental settings.