O tamanho da representação de ações e estados conjuntos é um fator chave que limita o uso de algoritmos de apendizado por reforço multiagente em problemas complexos. Este trabalho propõe o opportunistic Coordination Learning (OPPORTUNE), um método de aprendizado por reforço multiagente para lidar com grandes cenários. Visto que uma solução centralizada não é praticável em grandes espaços de estado-ação, um modode reduzir a complexidade do problema é decompô-lo em subproblemas utilizando cooperação entre agentes independentes em algumas partes do ambiente. No método proposto, agentes independentes utilizam comunicação e um mecanismo de cooperação que permite que haja expansão de suas percepções sobre o ambiente e para que executem ações cooperativas apenas quando é melhor que agir de modo individual. O OPPORTUNE foi testado e comparado em dois cenários: jogo de perseguição e controle de tráfego urbano. / The size of the representation of joint states and actions is a key factor that limits the use oh standard multiagent reinforcement learning algorithms in complex problems. This work proposes opportunistic Coordination Learning (OPPORTUNE), a multiagent reinforcement learning method to cope with large scenarios. Because a centralized solution becomes impratical in large state-action spaces, one way of reducing the complexity is to decompose the problem into sub-problems using cooperation between independent agents in some parts of the environment. In the proposed method, independent agents use communication and cooperation mechanism allowing them to extended their perception of the environment and to perform cooperative actions only when this is better than acting individually. OPPORTUNE was tested and compared in twm scenarios: pursuit game and urban traffic control.

Atualmente pesquisadores de inteligência artificial buscam métodos para solucionar problemas de aprendizado por reforço que estão associados a uma grande quantidade de recursos computacionais. Em cenários multiagentes onde os espaços de estados e ações possuem alta dimensionalidade, as abordagens tradicionais de aprendizado por reforço são inadequadas. Como alternativa existem técnicas de generalização do espaço de estados que ampliam a capacidade de aprendizado através de abstrações. Desta maneira, o foco principal deste trabalho é utilizar as técnicas existentes de aprendizado por reforço com aproximação de funções através de tile coding para aplicação nos seguintes cenários: presa-predador, controle de tráfego veicular urbano e jogos de coordenação. Os resultados obtidos nos experimentos demonstram que a representação de estados por tile coding tem desempenho superior à representação tabular. / Nowadays, researchers are seeking methods to solve reinforcement learning (RL) problems in complex scenarios. RL is an efficient, widely used machine learning technique in single-agent problems. Regarding multiagent systems, in which the state space generally has high dimensionality, standard reinforcement learning approaches may not be adequate. As alternatives, it is possible to use techniques that generalize the state space to enhance the ability of the agents to learn through the use of abstraction. Thus, the focus of this work is to use an existing reinforcement learning technique, namely tile coding, that is a better form of state representation. This kind of method is key in scenarios where agents have a high number of states to explore. In the scenarios used to test and validate this approach, our experimental results indicate that the tile coding state representation outperforms the tabular one.

A abordagem de sistemas multiagentes tem sido cada vez mais utilizada para o desenvolvimento de sistemas complexos, o que despertou o interesse das pesquisas na área de engenharia de software orientada a agentes (AOSE) e modelos organizacionais. Neste contexto, esta tese estuda a aplicabilidade de alguns métodos formais tradicionais de engenharia de software para a especificação formal de organizações de sistemas multiagentes, analisando o uso da linguagem de especificação formal RSL para representar o modelo organizacional PopOrg. A escolha da linguagem RSL ocorreu pelo fato de ela ser uma linguagem de especificação formal que cobre amplo espectro de métodos de especificação formal (baseados em modelos e baseados em propriedades, aplicativos e imperativos, sequenciais e concorrentes) e o modelo PopOrg foi escolhido por ser um modelo mínimo de organização de sistemas multiagentes, concebido para representar o conjunto mínimo de aspectos estruturais e operacionais que tais organizações devem ter. O uso da linguagem RSL foi avaliado tanto para a especificação do aspecto estrutural dos sistemas PopOrg, quanto para especificação operacional desses sistemas. Um estudo preliminar realizado com a linguagem CSP para a especificação operacional do modelo PopOrg também é apresentado, visto que serviu como base para a especificação em RSL. Ao final, apresenta-se uma sugestão de extensão da linguagem RSL para sua maior aplicabilidade à especificação de sistemas multiagentes. / The multiagent systems approach have been increasingly used for the development of complex systems, which aroused the interest of research in Agent Oriented Software Engineering (AOSE) and organizational models. In this context, this thesis studies the applicability of some traditional formal methods of software engineering for the formal specification of multiagent systems organizations, analyzing the use of RSL formal specification language to represent the PopOrg organizational model. The choice of RSL language occurred because it is a formal specification language that covers a wide spectrum of formal specification methods (models-based and properties-based, applicative and imperative, sequential and concurrent) and the PopOrg model was chosen because it is a minimal model of multiagent systems organization, designed to represent the minimum set of structural and operational aspects that such organizations should have. The use of RSL language was evaluated both for specifying the structural aspect of PopOrg systems and the operational specification for these systems. A preliminary study carried out with the CSP language for the operational specification of PopOrg model is also presented, as was the basis for the specification in RSL. In the end, a suggestion is given for an extension of the RSL language, to allow for its wider applicability to the specification of multiagent systems.

O presente trabalho está focado na questão do equilíbrio dos valores de troca em sistemas multiagentes. A base para a formalização das interações sociais entre os agentes envolvidos é a Teoria Sociológica de Piaget, a partir da qual as relações sociais podem ser vistas como troca de serviços entre os indivíduos. A cada interação, corresponde um conjunto de valores de troca qualitativos, os quais podem ser materiais, correspondentes ao custo real do prestador do serviço e ao benefício real do beneficiário do serviço, ou virtuais, correspondentes aos créditos ou débitos que cada indivíduo assume para si próprio. Nesse contexto, o equilíbrio dos valores de troca reflete o cumprimento das normas da sociedade, sejam essas normas de caráter moral ou jurídico. Apresenta-se uma abordagem simples para o problema do equilíbrio social, a qual se baseia na comunicação entre os agentes e na avaliação do histórico de trocas passadas para a determinação dos valores adequados a cada nova troca. Verificou-se que esta abordagem apresenta resultados satisfatórios, ainda que aplicada somente durante parte das interações entre os agentes, demonstrando que, apesar de simples, é uma abordagem eficiente para o atingimento e manutenção do equilíbrio social. / This work focuses on the equilibrium of exchange values on multiagent systems. The basis to the formalization of social interaction is Piaget’s Sociological Theory, which states that social relationships can be seen as service exchanges between individuals. To each social interaction, there is a corresponding set of qualitative exchange values, that can be material, corresponding to real costs and benefits for the involved, or virtual, corresponding to credits and debits recognized by each individual. On this context, the equilibrium of exchange values reflects the obedience to society rules, that may be of moral or legal nature. We present a simple approach to the equilibrium problem, which is based on communication among agents and analysis of past interactions, in order to determinate the appropriate values for each new exchange. We show that this approach presents satisfactory results, demonstrating that, in spite of its simplicity, it is an efficient approach for reaching and sustaining social equilibrium.

Veículos aéreos não-tripulados (VANTs) são relativamente recentes no meio acadêmico, onde muitas tecnologias e algoritmos vêm sendo pesquisados e desenvolvidos. A engenharia de software apliacada a este âmbito possui poucas abordagens em relação a sistemas autônomos e inteligentes, enquanto que sistemas multi-agentes e a programação orientada a agentes vêm sendo cada vez mais utilizadas. Este trabalho foca na aplicação do paradigma da programação orientada a agentes para o controle de VANTs, de modo a conceber um framework e utilizar arquitetura, teoria e ferramentas orientados a agentes como forma de prover uma abstração mais sofisticada para a programação de comportamentos inteligentes em VANTs. Na pesquisa, propõem-se o modelo UAVAS – Unmanned Aerial Vehicles AgentSpeak que é um framework de programação de comportamentos para VANTs que possui um modelo de abstração de veículos aéreos tripulados para veículos aéreos não-tripulados. Ao final, a pesquisa foi avaliada e validada por meio de resultados obtidos em simulações com a infraestrutura implementada. Dois estudos de caso foram realizados, um com ênfase nas comunicações inter-VANTs e cooperação de time, e outro com ênfase nas verificações dos mapeamentos de sinais com o envio de dados da infraestrutura. Para cada um dos casos, simuladores específicos foram criados no intuito de observar as características pertinentes de cada estudo de caso. / Unmanned aerial vehicles (UAVs) are relatively new in civilian context, where many technologies and algorithms have been the focus at much research and development. Software engineering applied to this field has few approaches in relation to autonomous systems and intelligent behavior development, while multi-agent system and agent-oriented programming are being increasingly used. This work focuses on applying the paradigm of agent-oriented programming for the control of UAVs, in order to design a framework and use architecture, theory and agent oriented tools as a way to provide a more sophisticated abstraction for programming intelligent behaviors in UAVs . The main contribution of this work is an architecture that allows the use of the Jason platform to program multiagent system which can control teams of autonomous unmanned aerial vehicles. In this research, we propose the UAVAS - Unmanned Aerial Vehicles AgentSpeak model, which is a framework to program intelligent behaviors to UAVs and owns an abstraction model of manned aircraft to unmanned aerial vehicles. At the end, the survey was evaluated and validated by means of results from simulations in the implemented infrastructure. Two case studies were performed, with emphasis on inter-UAV communication and cooperation of team, and the another one focusing on mapping verifications of data signals sent to the infrastructure. For each case, specific simulators have been created in order to observe the relevant characteristics of each case study.

Nesta dissertação, o autor aborda a dificuldade de prever-se o desempenho dos recursos humanos em um processo de desenvolvimento de software em um ambiente de Programação Extrema (XP) (BECK, 2000) e propõe uma solução com potencial para minimizar esse problema. Especificamente, o problema, a ser tratado neste trabalho, consiste em melhorar as previsões dos gerentes de projeto – no âmbito do ambiente mencionado - com relação ao desempenho dos recursos humanos na geração de valor para o negócio. Tal valor para o negócio é alcançado através da implementação, por parte dos programadores, das diversas funcionalidades de um sistema de software. Para a construção da solução proposta neste trabalho, o autor analisou um sistema XP de desenvolvimento de software (composto por ambiente, pessoas e processo), conforme o processo de modelagem proposto por Streit (2006) e apoiado na revisão da literatura relevante. Em seguida, o autor estruturou esse sistema em um modelo conceitual para, finalmente, desenvolver um modelo computacional do sistema analisado, baseado em múltiplos agentes inteligentes modelados conforme a arquitetura Beliefs-Desires-Intentions (BDI), ou Crenças-Desejos-Intenções. O modelo computacional da simulação multi-agente foi desenvolvido com o apoio da ferramenta SeSAm (KLÜGL, 2006). Testado através da experimentação estatística 2k Fatorial (LAW e KELTON, 2000), o modelo de simulação multi-agente de processos de desenvolvimento de software, para ambientes de Programação Extrema, demonstrou eficácia e aplicabilidade prática sobre o problema em questão. / In this research, the author adresses the difficulty to forecast the performance of the human resources in a software development process in an Extreme Programming (XP) (BECK, 2000) environment and proposes a solution that may be suitable to minimize this problem. Specifically, the main problem consists on how to improve the assumptions of the project managers - in the aforementioned environment - related with the human resources performance in generating value for the business. This value generation is reached through the implementation, by programmers, of the various functionalities of a software system. To build the solution proposed in this research, the author analysed a XP software development system (composed of environment, people and process) considering the modeling process proposed by Streit (2006) and also the relevant related works. This system was later structured in a conceptual model and, in sequence, in a computational model based on the Beliefs-Desires-Intentions (BDI) architecture of intelligent agents. The computational model of the multi-agent simulation was build with the support of the SeSAm (KLÜGL, 2006) tool. The tests of the multi-agent simulation of XP software develoment process model used the 2k Factorial statistical experimentation (LAW e KELTON, 2000) and their results demonstrated the effectiveness and practical applicability of the model for the research problem.

Uma cadeia de suprimentos é uma rede composta por fornecedores, plantas de manufatura, depósitos, centros de distribuição e varejistas através da qual matériasprimas são adquiridas, transformadas e entregue aos consumidores. A gestão de cadeias de suprimentos (do inglês, Supply Chain Management - SCM) envolve a tomada de decisão nos níveis estratégico, tático e operacional, cujo objetivo é otimizar o desempenho da cadeia . O desenvolvimento de modelos para a avaliação de cadeias de suprimento é uma boa alternativa para estudar a gestão da demanda por produtos, bem como para analisar a efetividade de políticas de gerenciamento. Sistemas multiagentes são apropriados para estudar cadeias de suprimento, pois as diferentes unidades de negócio envolvidas podem ser modeladas como agentes autônomos, assim como suas regras de gerenciamento. Além disso, a modelagem do fluxo de produtos e do fluxo de informações, tais como volume de pedidos e prazos de entrega de um elo da cadeia para outro é facilitada. A análise da literatura especializada da área demonstra que a maior parte dos estudos procura resolver problemas específicos e sem considerar agentes normativos interferindo no comportamento individual de cada ator da cadeia. Este trabalho procura contribuir com o estado da arte da área de gestão de cadeias de suprimento da seguinte forma: (1) propondo um modelo de simulação, composto por agentes genéricos que podem ser facilmente estendidos e utilizados e outros contextos de aplicação, e (2) propondo a utilização dos conceitos de agentes normativos no contexto de cadeias de suprimento. A união dessas áreas (SCM e sistemas multiagentes normativos) aumenta as possibilidades de modelagem de cadeias de suprimento, permitindo a inclusão de entidades externas que normalmente exercem influência na gestão, tais como órgãos do governo, agências reguladoras e instituições eletrônicas. A modelagem da cadeia do biodiesel é apresentada como estudo de caso; os principais resultados obtidos são apresentados e discutidos. / The supply chain is a network of suppliers, factories, warehouses, distribution centers, and retailers through which raw materials are acquired, transformed, and delivered to customers. Supply-chain management (SCM) is the strategic, tactical, and operational decision making that optimizes supply-chain performance. Modeling supply chain is a good way of studying order fulfillments processes and investigating the effectiveness of management policies. Multiagentes models are increasingly being used of this purpose. A multiagent model fits well with the task of simulation supply chain because the businesses involved can be modeled as agents, each with its own inventory rules. It is also easy to model the flow of products down the chain and the flow of information, such as order volumes and lead times, from one organization to another. The analysis of the relevant literature shows that most research works carried out in this area aim to resolve specific problems. Some methodologies and more generic solutions have been proposed, but without considering normative agents which may interfere in the behaviour of actors of the supply chain. This work aims to contribute with the state of the art in the SCM area as follows: (1) building a simulation model to the supply chain context, providing generic agents which may be easily extended and used in other application contexts, and (2) exploiting normative agents in the context of supply chain modeling. The integration of these areas (SCM and normative multi-agent systems) increases the possibilities of supply chain modeling, allowing the inclusion of external entities which normally influence management, such as governmental organizations, regulating agencies and electronic institutions, to give some examples. The modeling of the biodiesel supply chain is presented as a case study; the main results are presented and discussed.

Sistemas multiagente são construídos para atingir objetivos complexos e abrangentes, que estão além da capacidade de um único agente. Estes objetivos podem ser representados através de tarefas, que devem ser realizadas pelos agentes de forma a otimizar o desempenho do sistema. Em muitos ambientes reais, a escala do problema envolve tanto uma grande quantidade de agentes, quanto uma grande quantidade de tarefas. Além disto, os agentes devem lidar com informações incompletas, realizando tarefas em tempo hábil. O termo extreme teams foi introduzido na literatura para designar as seguintes quatro características da alocação de tarefas: oa ambientes são dinâmicos; os agentes podem realizar múltiplas tarefas; os agentes podem possuir funcionalidades sobrepostas; e podem existir interrelacionamentos entre tarefas, impondo, por exemplo, necessidade de realização simultânea. Abordagens existentes na literatura tratam, efetivamente, apenas as três primeiras características de extreme teams. Esta dissertação apresenta um algoritmo para alocação de tarefas, chamado eXtreme-Ants, que trata todas as quatro características de extreme teams. O algoritmo é inspirado no sucesso ecológico dos insetos sociais, e utiliza as metáforas de divisão de trabalho e recrutamento para transporte cooperativo. A metáfora de divisão de trabalho proporciona decisões rápidas e eficientes, atendendo as três primeiras características de extreme teams. O recrutamento permite formar grupos de agentes comprometidos com a realização simultânea de tarefas que exigem esforço conjunto, atendendo a quarta característica: inter-relacionamentos entre tarefas. Com isto, concretiza-se de fato o conceito completo de extreme teams. Experimentos foram realizados em dois ambientes distintos: um simulador independente de domínio e o simulador RoboCup Rescue. Os resultados obtidos demonstraram que a eficiência do eXtreme-Ants é balanceada com relação ao desempenho, quantidade de comunicação e esforço computacional. / Multiagent systems aim at achieving complex and broad goals, which are beyond the capability of a single agent. These goals can be represented by tasks, which must be performed by the agents in order to optimize the performance of the system. In many real-world environments, the scale of problems involves both a large number of agents and a large number of tasks. Besides, the agents must reason with incomplete and uncertain information, in a timely fashion. The expression extreme teams was introduced in the literature to describe the following four characteristics regarding task allocation: dynamic environments; agents may perform multiple tasks; agents can have overlapping functionality; and inter-task constraints (such as simultaneous execution requirements) may be present. Existing approaches effectively deal with just the three first characteristics of extreme teams. This dissertation presents an algorithm for allocating tasks to agents, called eXtreme- Ants, which deals with all the four characteristics of extreme teams. The algorithm is inspired in the ecological success of social insects, and uses the metaphors of division of labor and recruitment for cooperative transport. The metaphor provides fast and efficient decision-making, complying to the first three characteristics. The recruitment ensures the formation of groups of agents committed to the simultaneous execution of tasks that require joint efforts, complying to the fourth characteristic: inter-task constraints. Thus, the full concept of extreme teams is indeed realized. Experiments were performed in two distict environments: a domain independent simulator, and the RoboCup Rescue simulator. The results shown that eXtreme-Ants achieves a balanced efficiency regarding performance, communication, and computational effort.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Automação e Sistemas, Florianópolis, 2011 / Made available in DSpace on 2012-10-26T06:39:32Z (GMT). No. of bitstreams: 1 294604.pdf: 2124450 bytes, checksum: 0b81771135979b58563a2b4d4c5675c3 (MD5) / Com o crescimento das redes de computadores mundiais e o aumento do uso de aplicações distribuídas, surge um aumento significativo no tráfego de dados no enlace, demonstrando, assim, a necessidade de primoramento - ou substituição das atuais técnicas de transmissão de dados - do modelo tradicional cliente-servidor. A tecnologia de agentes móveis tem sido alvo de diversas pesquisas na área, por permitir que apenas um código mova--se entre os nós da rede e retorne com os resultados, diminuindo, assim, a carga na rede. Para que um agente móvel possa cumprir sua missão, é necessário que se atenda a um deadline. Entretanto, em um sistema distribuído, há a possibilidade de concorrência por um mesmo recurso. Tratar de forma adequada tal concorrência é de suma importância, especialmente em um ambiente em tempo real. Em face disso, um modelo de execução em que agentes móveis disputam um mesmo recurso em um mesmo host é proposto, o RT-JADE: uma extensão de middleware que possibilita agentes móveis concorrentes cumprirem suas missões, usando métodos de escalonamento em tempo real sobre a plataforma JADE. A eficácia do modelo proposto foi demonstrada através de simulações e comparações entre diversas políticas de escalonamento, com distintas cargas de trabalho (quantidade de agentes concorrentes). / With the growth of worldwide computer networks and increased use of distributed applications, there is a significant increase in data traffic in the link, thus demonstrating the need for improvement # or replacement of existing techniques for data transmission # of the traditional client-server one. The mobile agent technology has been the subject of several researches in area, because it only allows a code to move between network nodes and return with the results, reducing the network#s load. For a mobile agent to accomplish its mission, it is necessary for it to meet a deadline. However, in a distributed system there is the possibility of competition for the same resource. Treating such competition adequately is very important, especially in a real-time environment. In this view, an execution model in which mobile agents compete for the same resource in the same host is proposed # RT-JADE: a middleware extension that allows concurrent mobile agents to achieve their missions, using real-time scheduling methods on the JADE platform. We demonstrate the effectiveness of the proposed model through simulation and comparison of different scheduling policies under different workloads (number of competing agents).

Esta tese apresenta a formalização, construção e validação experimental de um mecanismo de interação entre agentes baseado em valores de troca. Através do mecanismo de interação, os agentes são capazes de estabelecer, avaliar e regular os balanços de troca de suas interações, com o objetivo de alcançar resultados que eles valorizem, i.e., considerem adequados. Na formalização do mecanismo de interação são considerados diversos aspectos abordados nas Ciências Sociais, na Psicologia e em Teorias Utilitaristas. No mecanismo são observados, igualmente, os aspectos sociais e psicológicos que podem influenciar os resultados das interações entre os agentes. Desse modo, o mecanismo leva em consideração que os agentes podem construir suas estratégias levando em consideração as informações relacionadas com o “poder social” e as “atitudes” de interação. No mecanismo de interação recorre-se aos diálogos de argumentação com a finalidade de permitir que os agentes possam influenciar os seus parceiros em relação ao estabelecimento de acordos sobre os serviços e aos valores de troca envolvidos nas interações. Na validação experimental, o cenário utilizado foi o dos “Robôs Coletores de Lixo em Marte”. Através dos resultados obtidos, pode-se observar que o mecanismo de interação considera os valores de troca no processo de formação da cooperação, auxiliando os agentes na escolha de futuros parceiros. / This thesis presents the formalization, construction and validation of an interaction mechanism based on exchange values. Through the interaction mechanism, the agents are capable to establish, to evaluate and to regulate the balances of exchange of their interactions, with the objective of reaching the results that they consider adequate. In the formalization of the mechanism several aspects of Social Sciences, Psychology and Utilitarian Theories are considered. In the mechanism are observed the social and psychological aspects that can influence the results of the interactions between the agents. In this manner, the mechanism considers that the agents can build their strategies considering the information related to the social power and to interaction attitudes. In the mechanism the argument dialogs are used with the purpose to allow the agents to influence their partners in relation to the establishment of agreements about the services and about the exchange values involved in the interactions. In the validation, the scenario used was the “Garbage Collector Robots in Mars”. Through the obtained results, it was possible to observe that the interaction mechanism considers the values of exchange in the process of formation of the cooperation, helping the agents to choose their future partners.