Master of Science / Department of Computing and Information Sciences / Scott A. DeLoach / Designing and implementing large, complex and distributed systems using semi-autonomous agents that can reorganize and adapt themselves by cooperating with one another represents the future of software systems. This project concentrates on analyzing, designing and simulating such a system using the Organization Model for Adaptive Computational Systems (OMACS) metamodel. OMACS provides a framework for developing multiagent based systems that can adapt themselves to changes in the environment. Design of OMACS ensures the system will be highly robust and adaptive. In this project, we implement a simulator that models the adaptability of agents in a Power Distribution Management (PDM) system. The project specifies a top-down approach to break down the goals of the PDM system and to design the functional role of each agent involved in the system. It defines the different roles in the organization and the various capabilities possessed by the agents. All the assignments in PDM system are based on these factors. The project gives two different approaches for assigning the agents to the goals they are capable of achieving. It also analyzes the time complexity and the efficiency of agent assignments in various scenarios to understand the effectiveness of agent reorganization.

Muitos problemas de otimização em ambientes multiagentes utilizam os algoritmos evolutivos para encontrar as melhores soluções. Uma das abordagens mais utilizadas consiste na aplicação de um algoritmo genético, como alternativa aos métodos tradicionais, para definir as ações dos jogadores em um time de futebol de robôs. Entretanto, conforme relatado na literatura, há inúmeras possibilidades e formas de se aplicar um algoritmo genético no domínio do futebol de robôs. Assim sendo, neste trabalho buscou-se realizar uma análise comparativa dos algoritmos genéticos mono-objetivo e multi-objetivo aplicados no domínio do futebol de robôs. O problema padrão escolhido para realizar essa análise foi de desenvolver uma estratégia de controle autônomo, a fim de capacitar que os robôs tomem decisões sem interferência externa, pois, além de sua solução se encontrar ainda em aberto, o mesmo é também de suma relevância para a área de robótica. / Many optimization problems in multiagent environments adapt evolutionary algorithms to find the best solutions. A widely used approach consists of applying a genetic algorithm as an alternative to traditional methods, in order to define the actions of the players on a soccer team of simulated robots. However, as reported in the literature, there are many possibilities and ways to apply a genetic algorithm in the field of robot soccer. Therefore, this work attempts to make a comparative analysis of mono-objective and multi-objective genetic algorithms applied to control a robot soccer. The standard problem chosen for this analysis was to develop a strategy for autonomous control, in order to enable the robots to make decisions without external interference, because in addition to its solution is still open, it is also of utmost relevance to the area robotics.

A área de sistemas multiagentes é um promissor domínio tecnológico para uso em performances musicais interativas. Em trabalhos recentes, essa tecnologia vem sendo utilizada para resolver problemas musicais de escopo específico e alcance limitado, como a detecção de pulsação, a simulação de instrumentos e o acompanhamento musical automático. Neste trabalho, apresentamos uma taxonomia desses sistemas multiagentes musicais e uma arquitetura e implementação de um arcabouço computacional que generaliza os trabalhos anteriores e aborda problemas usuais como a sincronização em tempo real, a comunicação sonora e a mobilidade espacial dos agentes. Através do arcabouço, um usuário pode desenvolver um sistema multiagente musical focado em suas necessidades musicais, enquanto deixa grande parte dos problemas técnicos a cargo do arcabouço. Para validar o arcabouço, implementamos e discutimos dois estudos de caso que exploram diversos aspectos de um sistema multiagente musical, como a comunicação simbólica, a troca de áudio digital, o uso de trajetórias espaciais, a simulação acústica e conceitos de vida artificial, como códigos genéticos e reprodução, demonstrando a usabilidade do arcabouço em uma grande variedade de aplicações musicais. / Multiagent system technology is a promising new venue for interactive musical performance. In recent works, this technology has been tailored to solve specific, limited scope musical problems, such as pulse detection, instrument simulation or automatic accompaniment. In this work, we pre- sent a taxonomy of such musical multiagent systems, and an implementation of a computational framework that subsumes previous works and addresses general-interest low-level problems such as real-time synchronization, sound communication and spatial agent mobility. By using it, a user may develop a musical multiagent system focusing primarily in his/her musical needs, while leaving most of the technical problems to the framework. To validate this framework, we implemented and discussed two cases studies that explored several aspects of musical multiagent systems, such as symbolic and audio communication, spatial trajectories and acoustical simulation, and artificial life concepts, like genetic codes and reproduction, thus indicating the usefulness of this framework in a variety of musical applications.

Um melhor uso da infraestrutura da rede de transporte é um ponto fundamental para atenuar os efeitos dos congestionamentos no trânsito. Este trabalho utiliza aprendizado por reforço multiagente (MARL) para melhorar o uso da infraestrutura e, consequentemente, mitigar tais congestionamentos. A partir disso, diversos desafios surgem. Primeiro, a maioria da literatura assume que os motoristas aprendem (semáforos não possuem nenhum tipo de aprendizado) ou os semáforos aprendem (motoristas não alteram seus comportamentos). Em segundo lugar, independentemente do tipo de classe de agentes e do tipo de aprendizado, as ações são altamente acopladas, tornando a tarefa de aprendizado mais difícil. Terceiro, quando duas classes de agentes co-aprendem, as tarefas de aprendizado de cada agente são de natureza diferente (do ponto de vista do aprendizado por reforço multiagente). Finalmente, é utilizada uma modelagem microscópica, que modela os agentes com um alto nível de detalhes, o que não é trivial, pois cada agente tem seu próprio ritmo de aprendizado. Portanto, este trabalho não propõe somente a abordagem de co-aprendizado em agentes que atuam em ambiente compartilhado, mas também argumenta que essa tarefa precisa ser formulada de forma assíncrona. Além disso, os agentes motoristas podem atualizar os valores das ações disponíveis ao receber informações de outros motoristas. Os resultados mostram que a abordagem proposta, baseada no coaprendizado, supera outras políticas em termos de tempo médio de viagem. Além disso, quando o co-aprendizado é utilizado, as filas de veículos parados nos semáforos são menores. / A better use of transport network infrastructure is a key point in mitigating the effects of traffic congestion. This work uses multiagent reinforcement learning (MARL) to improve the use of infrastructure and, consequently, to reduce such congestion. From this, several challenges arise. First, most literature assumes that drivers learn (traffic lights do not have any type of learning) or the traffic lights learn (drivers do not change their behaviors). Second, regardless of the type of agent class and the type of learning, the actions are highly coupled, making the learning task more difficult. Third, when two classes of agents co-learn, the learning tasks of each agent are of a different nature (from the point of view of multiagent reinforcement learning). Finally, a microscopic modeling is used, which models the agents with a high level of detail, which is not trivial, since each agent has its own learning pace. Therefore, this work does not only propose the co-learnig approach in agents that act in a shared environment, but also argues that this taks needs to be formulated asynchronously. In addtion, driver agents can update the value of the available actions by receiving information from other drivers. The results show that the proposed approach, based on co-learning, outperforms other policies regarding average travel time. Also, when co-learning is use, queues of stopped vehicles at traffic lights are lower.

Um melhor uso da infraestrutura da rede de transporte é um ponto fundamental para atenuar os efeitos dos congestionamentos no trânsito. Este trabalho utiliza aprendizado por reforço multiagente (MARL) para melhorar o uso da infraestrutura e, consequentemente, mitigar tais congestionamentos. A partir disso, diversos desafios surgem. Primeiro, a maioria da literatura assume que os motoristas aprendem (semáforos não possuem nenhum tipo de aprendizado) ou os semáforos aprendem (motoristas não alteram seus comportamentos). Em segundo lugar, independentemente do tipo de classe de agentes e do tipo de aprendizado, as ações são altamente acopladas, tornando a tarefa de aprendizado mais difícil. Terceiro, quando duas classes de agentes co-aprendem, as tarefas de aprendizado de cada agente são de natureza diferente (do ponto de vista do aprendizado por reforço multiagente). Finalmente, é utilizada uma modelagem microscópica, que modela os agentes com um alto nível de detalhes, o que não é trivial, pois cada agente tem seu próprio ritmo de aprendizado. Portanto, este trabalho não propõe somente a abordagem de co-aprendizado em agentes que atuam em ambiente compartilhado, mas também argumenta que essa tarefa precisa ser formulada de forma assíncrona. Além disso, os agentes motoristas podem atualizar os valores das ações disponíveis ao receber informações de outros motoristas. Os resultados mostram que a abordagem proposta, baseada no coaprendizado, supera outras políticas em termos de tempo médio de viagem. Além disso, quando o co-aprendizado é utilizado, as filas de veículos parados nos semáforos são menores. / A better use of transport network infrastructure is a key point in mitigating the effects of traffic congestion. This work uses multiagent reinforcement learning (MARL) to improve the use of infrastructure and, consequently, to reduce such congestion. From this, several challenges arise. First, most literature assumes that drivers learn (traffic lights do not have any type of learning) or the traffic lights learn (drivers do not change their behaviors). Second, regardless of the type of agent class and the type of learning, the actions are highly coupled, making the learning task more difficult. Third, when two classes of agents co-learn, the learning tasks of each agent are of a different nature (from the point of view of multiagent reinforcement learning). Finally, a microscopic modeling is used, which models the agents with a high level of detail, which is not trivial, since each agent has its own learning pace. Therefore, this work does not only propose the co-learnig approach in agents that act in a shared environment, but also argues that this taks needs to be formulated asynchronously. In addtion, driver agents can update the value of the available actions by receiving information from other drivers. The results show that the proposed approach, based on co-learning, outperforms other policies regarding average travel time. Also, when co-learning is use, queues of stopped vehicles at traffic lights are lower.

Um melhor uso da infraestrutura da rede de transporte é um ponto fundamental para atenuar os efeitos dos congestionamentos no trânsito. Este trabalho utiliza aprendizado por reforço multiagente (MARL) para melhorar o uso da infraestrutura e, consequentemente, mitigar tais congestionamentos. A partir disso, diversos desafios surgem. Primeiro, a maioria da literatura assume que os motoristas aprendem (semáforos não possuem nenhum tipo de aprendizado) ou os semáforos aprendem (motoristas não alteram seus comportamentos). Em segundo lugar, independentemente do tipo de classe de agentes e do tipo de aprendizado, as ações são altamente acopladas, tornando a tarefa de aprendizado mais difícil. Terceiro, quando duas classes de agentes co-aprendem, as tarefas de aprendizado de cada agente são de natureza diferente (do ponto de vista do aprendizado por reforço multiagente). Finalmente, é utilizada uma modelagem microscópica, que modela os agentes com um alto nível de detalhes, o que não é trivial, pois cada agente tem seu próprio ritmo de aprendizado. Portanto, este trabalho não propõe somente a abordagem de co-aprendizado em agentes que atuam em ambiente compartilhado, mas também argumenta que essa tarefa precisa ser formulada de forma assíncrona. Além disso, os agentes motoristas podem atualizar os valores das ações disponíveis ao receber informações de outros motoristas. Os resultados mostram que a abordagem proposta, baseada no coaprendizado, supera outras políticas em termos de tempo médio de viagem. Além disso, quando o co-aprendizado é utilizado, as filas de veículos parados nos semáforos são menores. / A better use of transport network infrastructure is a key point in mitigating the effects of traffic congestion. This work uses multiagent reinforcement learning (MARL) to improve the use of infrastructure and, consequently, to reduce such congestion. From this, several challenges arise. First, most literature assumes that drivers learn (traffic lights do not have any type of learning) or the traffic lights learn (drivers do not change their behaviors). Second, regardless of the type of agent class and the type of learning, the actions are highly coupled, making the learning task more difficult. Third, when two classes of agents co-learn, the learning tasks of each agent are of a different nature (from the point of view of multiagent reinforcement learning). Finally, a microscopic modeling is used, which models the agents with a high level of detail, which is not trivial, since each agent has its own learning pace. Therefore, this work does not only propose the co-learnig approach in agents that act in a shared environment, but also argues that this taks needs to be formulated asynchronously. In addtion, driver agents can update the value of the available actions by receiving information from other drivers. The results show that the proposed approach, based on co-learning, outperforms other policies regarding average travel time. Also, when co-learning is use, queues of stopped vehicles at traffic lights are lower.

Conselho Nacional de Desenvolvimento CientÃfico e TecnolÃgico / Este trabalho apresenta um sistema multiagente para recomposiÃÃo au-tomÃtica de redes de distribuiÃÃo de energia elÃtrica. O sistema proposto à formado por trÃs tipos de agentes: agente dispositivo, agente alimentador e agente subesta-ÃÃo. Os agentes dispositivos estÃo associados aos equipamentos do sistema e sÃo responsÃveis pela coleta de informaÃÃes da rede; os agentes alimentadores sÃo responsÃveis pelo gerenciamento dos alimentadores do sistema; e, os agentes su-bestaÃÃes sÃo responsÃveis pelo gerenciamento da capacidade de suprimento da rede. SÃo apresentados os comportamentos e interaÃÃes dos agentes do sistema durante o processo de recomposiÃÃo, visando restabelecer a energia elÃtrica dos trechos desenergizados e nÃo defeituosos, afetados por falta no alimentador ou falta no transformador da subestaÃÃo. SÃo apresentados oito estudos de casos que testam diferentes situaÃÃes possÃveis de ser encontrada nos sistemas de distribuiÃÃo, como recomposiÃÃo mediante descoordenaÃÃo da proteÃÃo, recomposiÃÃo parcial do sistema devido as restriÃÃes operacionais do sistema e recomposiÃÃes para falta no transformador da subestaÃÃo. Para validaÃÃo dos casos testes foi desenvolvido um simulador que possibilita a simulaÃÃo de faltas em diferentes locais do sistema elÃtrico em estudo. AtravÃs do ambiente visual do simulador, onde à disponibilizado o diagrama unifilar do sistema com os estados dos equipamentos e a ferramenta de captura de mensagem do JADE, à possÃvel simular diversos cenÃrios e observar interaÃÃo dos agentes em busca da recomposiÃÃo do sistema. O sistema proposto à capaz de localizar a falta, isolar o trecho defeituoso e restaurar o sistema, considerando restriÃÃes operacionais e descoordenaÃÃo do sistema de proteÃÃo. / This work presents a multi-agent system for automatic restoration of power distribution networks. The proposed system consists of three types of agents: device agent, feeder agent and substation agent. Device agents are associated with system equipment and are responsible for information acquisition of the network; the feeder agents are responsible to manage the feeders; and the substations agents are accountable of manage the network supply capability. The behaviors and interactions of the system agents during the restoration process, aiming to restore the feeder sectors affected by but not in fault, are presented. Eight case studies are presented, which test different possible situations likely to be found in the distribution systems, such as restoration by uncoordinated protection, partial recovery of the system because of operating system restrictions and recomposition for faults in the transformer substation. To validate the test cases a simulator was developed, which allows the simulation of faults in different locations of the power system under study. Through the simulator, where there are the single line diagram of the system with the state of the equipment and the tool to capture message in JADE, is possible to simulate different scenarios and observe the interaction of agents in search of system restoration. The proposed system is able to locate and isolate the fault, and restore suitably the system, considering operating limits and uncoordinated system protection.

Muitos problemas de otimização em ambientes multiagentes utilizam os algoritmos evolutivos para encontrar as melhores soluções. Uma das abordagens mais utilizadas consiste na aplicação de um algoritmo genético, como alternativa aos métodos tradicionais, para definir as ações dos jogadores em um time de futebol de robôs. Entretanto, conforme relatado na literatura, há inúmeras possibilidades e formas de se aplicar um algoritmo genético no domínio do futebol de robôs. Assim sendo, neste trabalho buscou-se realizar uma análise comparativa dos algoritmos genéticos mono-objetivo e multi-objetivo aplicados no domínio do futebol de robôs. O problema padrão escolhido para realizar essa análise foi de desenvolver uma estratégia de controle autônomo, a fim de capacitar que os robôs tomem decisões sem interferência externa, pois, além de sua solução se encontrar ainda em aberto, o mesmo é também de suma relevância para a área de robótica. / Many optimization problems in multiagent environments adapt evolutionary algorithms to find the best solutions. A widely used approach consists of applying a genetic algorithm as an alternative to traditional methods, in order to define the actions of the players on a soccer team of simulated robots. However, as reported in the literature, there are many possibilities and ways to apply a genetic algorithm in the field of robot soccer. Therefore, this work attempts to make a comparative analysis of mono-objective and multi-objective genetic algorithms applied to control a robot soccer. The standard problem chosen for this analysis was to develop a strategy for autonomous control, in order to enable the robots to make decisions without external interference, because in addition to its solution is still open, it is also of utmost relevance to the area robotics.

De nos jours, les plateformes portuaires cherchent à massifier leurs capacités de projection de conteneurs vers et à partir de leurs réseaux hinterland en misant sur les modes ferroviaires et fluviaux. Cela pour évacuer plus rapidement un volume quasi croissant de conteneurs livré par voie maritime et d’éviter les situations indésirables, tels que les situations d'asphyxie. De plus, les plateformes portuaires ont pris conscience que leur attractivité aux yeux des prestataires logistiques dépend non seulement de leur fiabilité et de leurs qualités nautiques mais également de leur capacité à offrir une desserte massifiée de leur hinterland. Contrairement à ce qui a pu être observé en Europe, la part du transport massifié a quasiment stagné au Havre dans les dernières années. A cet effet, le port du Havre a mis en place un terminal multimodal de conteneurs lié par rail et par voie navigable à un hinterland riche et dense en population (Bassin parisien, Marchés européens), et par des navettes ferroviaires aux autres terminaux maritimes du port Havre. L’intérêt économique et stratégique de ce nouveau terminal est de renforcer la position du Grand Port Maritime du Havre au niveau national, européen et mondial, et d’un point de vue écologique, diminuer l’utilisation excessive du routier en misant sur les modes moins polluants. Dans cette thèse, les efforts se focalisent sur la modélisation et la simulation du déroulement des opérations de manutention et d’allocation de ressources dans un terminal à conteneurs et particulièrement l’ordonnancement des portiques de manutention. Étant donné qu’un terminal à conteneurs est un système complexe, nous avons d’abord défini une démarche de modélisation qui facilite le processus de construction du modèle de simulation. Cette démarche est un processus itératif permettant de raffiner le modèle au fur et à mesure des étapes de développement réalisées. Les différentes étapes de développement sont liées par une série de diagrammes qui permet d’exprimer de façon claire les éléments et les relations formant le modèle de simulation. Ensuite, nous avons intégré dans notre modèle deux stratégies de non-croisement de portiques au niveau de la cour ferroviaire du terminal multimodal. Le but de ces stratégies est la minimisation des temps et des mouvements improductifs pour améliorer la performance et la productivité des portiques de manutention. La première stratégie est basée sur des règles de mouvement et sur la collaboration et coopération entre agents portiques. Tandis que la deuxième stratégie est basée sur une heuristique. Ces deux solutions ont été testées en utilisant l’outil de simulation AnyLogic et les résultats obtenus montrent la qualité de nos solutions. Concernant le problème d’ordonnancement des portiques de la cour fluviale, nous l’avons étudié en utilisant un couplage Optimisation-Simulation. Dans ce problème les temps de chargement et de déchargement de conteneurs et les temps de déplacement des portiques entre les baies sont considérés comme incertains. Le couplage est composé d’une méta-heuristique colonie de fourmis et d’un modèle de simulation à base d’agents. Chaque solution (une séquence de tâches) trouvée par l’algorithme d'optimisation est simulée et évaluée pour déterminer les nouvelles durées des tâches qui seront ensuite injectées comme données d’entrée de l’algorithme avant l’itération suivante. / Nowadays, seaports seek to achieve a better massification share of their hinterland transport by promoting rail and river connections in order to more rapidly evacuate increasing container traffic shipped by sea and to avoid landside congestion. Furthermore, the attractiveness of a seaport to shipping enterprises depends not only on its reliability and nautical qualities but also on its massified hinterland connection capacity. Contrary to what has been observed in Europe, the massification share of Le Havre seaport has stagnated in recent years. To overcome this situation, Le Havre Port Authority is putting into service a multimodal hub terminal. This terminal is linked only with massified modes to a rich and dense geographical regions (Ile de France, Lyon), and with rail shuttles to the maritime terminals of Le Havre seaport. The aim of this new terminal is to restrict the intensive use of roads and to provide a river connection to its maritime terminals (MTs) that do not include a river connection from the beginning. In this study, we focus on the modeling and the simulation of container terminal operations (planning, scheduling, handling …) and particularly crane scheduling in operating areas. Designing multi-agents based simulation models for the operation management of a complex and dynamic system is often a laborious and tedious task, which requires the definition of a modeling approach in order to simplify the design process. In this way, we defined a top-down approach with several steps of specification, conception, implementation and verification-validation. This approach is an iterative process that allows the model to become more complex and more detailed. In this thesis, we pay more attention to crane scheduling problem in operating areas. For the rail-rail transshipment yard of the multimodal terminal, we designed two anti-collision strategies that aim to minimize unproductive times and moves to improve crane productivity and to speed up freight train processing. These strategies are tested using multi-method simulation software (Anylogic) and the simulation results reveal that our solutions are very satisfactory and outperform other existing solutions. With regard the fluvial yard, the stochastic version of crane scheduling problem is studied. The problem is solved with a mixed Optimization-Simulation approach, where the loading and unloading times of containers and travel times of cranes between bays are considered uncertain. The used approach is composed of an Ant Colony Optimization (ACO) metaheuristic coupled to an agent-based simulation model. Each solution (a tasks sequence) found by the optimization algorithm is simulated and evaluated to determine the new tasks’ periods which will then be injected as input to the ACO algorithm before the next iteration. The coupling is executed until the difference between the last iterations is too low.

A área de sistemas multiagentes é um promissor domínio tecnológico para uso em performances musicais interativas. Em trabalhos recentes, essa tecnologia vem sendo utilizada para resolver problemas musicais de escopo específico e alcance limitado, como a detecção de pulsação, a simulação de instrumentos e o acompanhamento musical automático. Neste trabalho, apresentamos uma taxonomia desses sistemas multiagentes musicais e uma arquitetura e implementação de um arcabouço computacional que generaliza os trabalhos anteriores e aborda problemas usuais como a sincronização em tempo real, a comunicação sonora e a mobilidade espacial dos agentes. Através do arcabouço, um usuário pode desenvolver um sistema multiagente musical focado em suas necessidades musicais, enquanto deixa grande parte dos problemas técnicos a cargo do arcabouço. Para validar o arcabouço, implementamos e discutimos dois estudos de caso que exploram diversos aspectos de um sistema multiagente musical, como a comunicação simbólica, a troca de áudio digital, o uso de trajetórias espaciais, a simulação acústica e conceitos de vida artificial, como códigos genéticos e reprodução, demonstrando a usabilidade do arcabouço em uma grande variedade de aplicações musicais. / Multiagent system technology is a promising new venue for interactive musical performance. In recent works, this technology has been tailored to solve specific, limited scope musical problems, such as pulse detection, instrument simulation or automatic accompaniment. In this work, we pre- sent a taxonomy of such musical multiagent systems, and an implementation of a computational framework that subsumes previous works and addresses general-interest low-level problems such as real-time synchronization, sound communication and spatial agent mobility. By using it, a user may develop a musical multiagent system focusing primarily in his/her musical needs, while leaving most of the technical problems to the framework. To validate this framework, we implemented and discussed two cases studies that explored several aspects of musical multiagent systems, such as symbolic and audio communication, spatial trajectories and acoustical simulation, and artificial life concepts, like genetic codes and reproduction, thus indicating the usefulness of this framework in a variety of musical applications.