Dentro da Educação a Distância (EaD), os softwares de apoio como os Ambientes Virtuais de Aprendizagem (AVA) são considerados recursos que favorecem a comunicação entre os atores envolvidos, permitindo a troca de informação. Atribuir Inteligência Artificial a esses AVAs, utilizando Sistemas Multiagentes (SMA) e uma forma de procurar que os mesmos tenham um bom desempenho e que seus recursos facilitem o processo de aprendizagem. Esse trabalho cont em um estudo sobre os principais AVAs existentes e sobre os métodos alternativos de integração de AVA com SMA. Ao analisar o estado da arte dos AVAs pode-se observar que todos trabalham como ferramentas de auxílio ao aluno, por em nenhum deles trabalha aspectos da gestão da EaD dando suporte aos aspectos relevantes da legislação dessa modalidade. Por esse motivo, essa Tese tem por objetivo a criação de um modelo de integração AVA-SMA que possa tornar o AVA MOODLE capaz de auxiliar os gestores da EaD em suas diferentes tarefas, com base na incorporação, ao mesmo, de um modelo de representação de legislação. Para realizar essa integração do modelo AVA-SMA orientado a Legislação foi desenvolvido um espec co modelo organizacional de Sistema Multiagente. Por m com base em um estudo de caso, ser a realizado simulações para veri car as funcionalidades do Modelo de Sistema AVA-SMA orientado a Legislação, proposto nesta Tese. / In Distance Learning (EaD), supporting software such as Virtual Learning Environments (VLE) are considered resources that favor communication between the actors involved, allowing the exchange of information. Assigning Arti cial Intelligence to these VLEs, using Multi-Agent Systems (MAS) is a way of ensuring they have a good performance and that its resources facilitate the learning process. This work contains a study on the major existing VLEs and on alternative methods to integrate VLE with MAS. When analyzing the state of the art of the VLEs it is possible to see that all of them work as aid tools for students, but none of them work on management aspects of distance learning that support the relevant aspects of the legislation for this type of education. Therefore, this thesis aims to create a VLE-MAS integration model that can make the VLE MOODLE able to help distance learning managers in their di erent tasks, based on incorporating a legislation representation model to it. To accomplish this integration of the legislation-oriented VLE-MAS model, a speci c Multi-Agent System organizational model was developed. At last, based on a case study, simulations will be conducted to verify the functionalities of the VLE-MAS System Model oriented to legislation, proposed in this thesis.

Esta dissertação de mestrado apresenta um estudo sobre os efeitos de diferentes funções de recompensa, aplicadas em aprendizado por reforço multiagente, para o problema de roteamento de veículos, em redes de tráfego. São abordadas duas funções de recompensas que diferem no alinhamento do sinal numérico enviado do ambiente ao agente. A primeira função, chamada função individual, é alinhada à utilidade individual do agente (veículo ou motorista) e busca minimizar seu tempo de viagem. Já a segunda função, por sua vez, é a chamada difference rewards, essa é alinhada à utilidade global do sistema e tem por objetivo minimizar o tempo médio de viagem na rede (tempo médio de viagem de todos os motoristas). Ambas as abordagens são aplicadas em dois cenários de roteamento de veículos que diferem em: quantidade de motoristas aprendendo, topologia e, consequentemente, nível de complexidade. As abordagens são comparadas com três técnicas de alocação de tráfego presentes na literatura. Resultados apontam que os métodos baseados em aprendizado por reforço apresentam desempenho superior aos métodos de alocação de rotas. Além disso, o alinhamento da função de recompensa à utilidade global proporciona uma melhora significativa nos resultados quando comparados com a função individual. Porém, para o cenário com maior quantidade de agentes aprendendo simultaneamente, ambas as abordagens apresentam soluções equivalentes. / This dissertation presents a study on the effects of different reward functions applyed to multiagent reinforcement learning, for the vehicles routing problem, in traffic networks. Two reward functions that differ in the alignment of the numerical signal sent from the environment to the agent are addressed. The first function, called individual function is aligned with the agent’s (vehicle or driver) utility and seeks to minimize their travel time. The second function, is called difference rewards and is aligned to the system’s utility and aims to minimize the average travel time on the network (average travel time of all drivers). Both approaches are applied to two routing vehicles’ problems, which differ in the number of learning drivers, network topology and therefore, level of complexity. These approaches are compared with three traffic assignment techniques from the literature. Results show that reinforcement learning-based methods yield superior results than traffic assignment methods. Furthermore, the reward function alignment to the global utility, provides a significant improvement in results when compared with the individual function. However, for scenarios with many agents learning simultaneously, both approaches yield equivalent solutions.

O presente trabalho está focado na questão do equilíbrio dos valores de troca em sistemas multiagentes. A base para a formalização das interações sociais entre os agentes envolvidos é a Teoria Sociológica de Piaget, a partir da qual as relações sociais podem ser vistas como troca de serviços entre os indivíduos. A cada interação, corresponde um conjunto de valores de troca qualitativos, os quais podem ser materiais, correspondentes ao custo real do prestador do serviço e ao benefício real do beneficiário do serviço, ou virtuais, correspondentes aos créditos ou débitos que cada indivíduo assume para si próprio. Nesse contexto, o equilíbrio dos valores de troca reflete o cumprimento das normas da sociedade, sejam essas normas de caráter moral ou jurídico. Apresenta-se uma abordagem simples para o problema do equilíbrio social, a qual se baseia na comunicação entre os agentes e na avaliação do histórico de trocas passadas para a determinação dos valores adequados a cada nova troca. Verificou-se que esta abordagem apresenta resultados satisfatórios, ainda que aplicada somente durante parte das interações entre os agentes, demonstrando que, apesar de simples, é uma abordagem eficiente para o atingimento e manutenção do equilíbrio social. / This work focuses on the equilibrium of exchange values on multiagent systems. The basis to the formalization of social interaction is Piaget’s Sociological Theory, which states that social relationships can be seen as service exchanges between individuals. To each social interaction, there is a corresponding set of qualitative exchange values, that can be material, corresponding to real costs and benefits for the involved, or virtual, corresponding to credits and debits recognized by each individual. On this context, the equilibrium of exchange values reflects the obedience to society rules, that may be of moral or legal nature. We present a simple approach to the equilibrium problem, which is based on communication among agents and analysis of past interactions, in order to determinate the appropriate values for each new exchange. We show that this approach presents satisfactory results, demonstrating that, in spite of its simplicity, it is an efficient approach for reaching and sustaining social equilibrium.

Este trabalho situa-se nas áreas de Sistemas Multiagentes e Geoprocessamento. Em Sistemas Multiagentes, a especificação de um sistema pode ser realizada através da modelagem do ambiente, agentes, mecanismos de interação e organização dos agentes envolvidos. Um aspecto pouco explorado, porém extremamente importante, é a modelagem e representação do ambiente em que os agentes estão situados e através do qual irão interagir. Por outro lado, o Geoprocessamento sempre enfatizou a representação de fenômenos espaciais de forma estática. No entanto, alguns fenômenos espaciais são inerentemente dinâmicos e as representações estáticas não os capturam de forma adequada. Assim, o foco principal deste trabalho é fornecer uma arquitetura, baseada em Sistemas Multiagentes, para a criação e execução de simulações na área de Geoprocessamento. Uma característica importante é a utilização de dados vetoriais, provenientes de um Banco de Dados Geográficos, na geração da representação espacial do ambiente e das entidades existentes nas simulações. Com esta forma de representação contínua e precisa, é possível criar modelos mais próximos da realidade, representando adequadamente um maior número de características. Além disto, a arquitetura permite a representação de fenômenos espaço-temporais dinâmicos, uma necessidade da área de Geoprocessamento. Focando no desenvolvimento das funcionalidades da arquitetura proposta, foi realizada uma análise das características positivas, negativas e das necessidades de algumas das principais plataformas para criação e execução de simulações baseadas em agentes. Considerando os resultados desta análise, foram criadas a arquitetura proposta e suas funcionalidades. Além disto, neste trabalho é apresentado o protótipo implementado, no qual foram realizados estudos de caso de diferentes cenários, objetivando avaliar e demonstrar o uso das funcionalidades desenvolvidas. / This work is situated in the intersection of two areas: Multi-Agent Systems and Geocomputing. In Multi-Agent Systems, the specification of a system can be achieved by the modelling of environment, agents, mechanisms of interaction and organization of the agents. Although being a very important aspect, the modelling and representation of the environment has not been yet fully explored. On the other hand, Geocomputing has always focused in the static representation of spatial phenomena. However, some spatial phenomena are dynamic on time and space and usual representation adopted in Geocomputing do not capture them well. The aim of this work is to provide an architecture, based on Multi-Agent Systems, for the development and execution of Geocomputing simulations. A very important feature of the proposed architecture is the use of vectorial data, from a Geographic Database, for the representation of the environment and the spatial entities that exist in it. Using this continuous and accurate representation form, it is possible to develop more realistic models, representing appropriately geographic features. Moreover, this architecture allows the representation of dynamic phenomena in time and space, an old need of the Geocomputing area. Focusing on the development of the features of this architecture, an analysis of some related works was realized. The development of this architecture and its features was done based on the results of this analysis. Moreover, a prototype was presented in this work, in which some case studies of different scenes were performed, aiming at the evaluation and demonstration of the developed model and its features.

O tamanho da representação de ações e estados conjuntos é um fator chave que limita o uso de algoritmos de apendizado por reforço multiagente em problemas complexos. Este trabalho propõe o opportunistic Coordination Learning (OPPORTUNE), um método de aprendizado por reforço multiagente para lidar com grandes cenários. Visto que uma solução centralizada não é praticável em grandes espaços de estado-ação, um modode reduzir a complexidade do problema é decompô-lo em subproblemas utilizando cooperação entre agentes independentes em algumas partes do ambiente. No método proposto, agentes independentes utilizam comunicação e um mecanismo de cooperação que permite que haja expansão de suas percepções sobre o ambiente e para que executem ações cooperativas apenas quando é melhor que agir de modo individual. O OPPORTUNE foi testado e comparado em dois cenários: jogo de perseguição e controle de tráfego urbano. / The size of the representation of joint states and actions is a key factor that limits the use oh standard multiagent reinforcement learning algorithms in complex problems. This work proposes opportunistic Coordination Learning (OPPORTUNE), a multiagent reinforcement learning method to cope with large scenarios. Because a centralized solution becomes impratical in large state-action spaces, one way of reducing the complexity is to decompose the problem into sub-problems using cooperation between independent agents in some parts of the environment. In the proposed method, independent agents use communication and cooperation mechanism allowing them to extended their perception of the environment and to perform cooperative actions only when this is better than acting individually. OPPORTUNE was tested and compared in twm scenarios: pursuit game and urban traffic control.

Atualmente pesquisadores de inteligência artificial buscam métodos para solucionar problemas de aprendizado por reforço que estão associados a uma grande quantidade de recursos computacionais. Em cenários multiagentes onde os espaços de estados e ações possuem alta dimensionalidade, as abordagens tradicionais de aprendizado por reforço são inadequadas. Como alternativa existem técnicas de generalização do espaço de estados que ampliam a capacidade de aprendizado através de abstrações. Desta maneira, o foco principal deste trabalho é utilizar as técnicas existentes de aprendizado por reforço com aproximação de funções através de tile coding para aplicação nos seguintes cenários: presa-predador, controle de tráfego veicular urbano e jogos de coordenação. Os resultados obtidos nos experimentos demonstram que a representação de estados por tile coding tem desempenho superior à representação tabular. / Nowadays, researchers are seeking methods to solve reinforcement learning (RL) problems in complex scenarios. RL is an efficient, widely used machine learning technique in single-agent problems. Regarding multiagent systems, in which the state space generally has high dimensionality, standard reinforcement learning approaches may not be adequate. As alternatives, it is possible to use techniques that generalize the state space to enhance the ability of the agents to learn through the use of abstraction. Thus, the focus of this work is to use an existing reinforcement learning technique, namely tile coding, that is a better form of state representation. This kind of method is key in scenarios where agents have a high number of states to explore. In the scenarios used to test and validate this approach, our experimental results indicate that the tile coding state representation outperforms the tabular one.

A abordagem de sistemas multiagentes tem sido cada vez mais utilizada para o desenvolvimento de sistemas complexos, o que despertou o interesse das pesquisas na área de engenharia de software orientada a agentes (AOSE) e modelos organizacionais. Neste contexto, esta tese estuda a aplicabilidade de alguns métodos formais tradicionais de engenharia de software para a especificação formal de organizações de sistemas multiagentes, analisando o uso da linguagem de especificação formal RSL para representar o modelo organizacional PopOrg. A escolha da linguagem RSL ocorreu pelo fato de ela ser uma linguagem de especificação formal que cobre amplo espectro de métodos de especificação formal (baseados em modelos e baseados em propriedades, aplicativos e imperativos, sequenciais e concorrentes) e o modelo PopOrg foi escolhido por ser um modelo mínimo de organização de sistemas multiagentes, concebido para representar o conjunto mínimo de aspectos estruturais e operacionais que tais organizações devem ter. O uso da linguagem RSL foi avaliado tanto para a especificação do aspecto estrutural dos sistemas PopOrg, quanto para especificação operacional desses sistemas. Um estudo preliminar realizado com a linguagem CSP para a especificação operacional do modelo PopOrg também é apresentado, visto que serviu como base para a especificação em RSL. Ao final, apresenta-se uma sugestão de extensão da linguagem RSL para sua maior aplicabilidade à especificação de sistemas multiagentes. / The multiagent systems approach have been increasingly used for the development of complex systems, which aroused the interest of research in Agent Oriented Software Engineering (AOSE) and organizational models. In this context, this thesis studies the applicability of some traditional formal methods of software engineering for the formal specification of multiagent systems organizations, analyzing the use of RSL formal specification language to represent the PopOrg organizational model. The choice of RSL language occurred because it is a formal specification language that covers a wide spectrum of formal specification methods (models-based and properties-based, applicative and imperative, sequential and concurrent) and the PopOrg model was chosen because it is a minimal model of multiagent systems organization, designed to represent the minimum set of structural and operational aspects that such organizations should have. The use of RSL language was evaluated both for specifying the structural aspect of PopOrg systems and the operational specification for these systems. A preliminary study carried out with the CSP language for the operational specification of PopOrg model is also presented, as was the basis for the specification in RSL. In the end, a suggestion is given for an extension of the RSL language, to allow for its wider applicability to the specification of multiagent systems.

Em sistemas de controle de tráfego veicular urbano existem diversas abordagens que lidam com o problema da redução do congestionamento de tráfego. Uma classe destas abordagens aplica a sincronização de semáforos a m de permitir que os veículos que viajam em um sentido possam passar diversos cruzamentos sem paradas. Este trabalho apresenta dois métodos de coordenação de agentes aplicados à sincroniza ção de semáforos. O primeiro método inspira-se em mecanismos de coordenação observados em insetos sociais e o segundo modela o problema de coordenação de semá- foros como um problema de otimização de restrições distribuído e faz sua resolução em tempo real utilizando mediação cooperativa. Inicialmente são apresentados conceitos básicos de sistemas de tráfego urbano, Swarm Intelligence e problemas de otimização de restrições. A partir dos conceitos iniciais, são apresentados os modelos propostos. Os resultados mostram que as abordagens propostas geram a coordenação entre os sem áforos sendo que o modo que os agentes estão coordenados pode mudar para se adaptar às mudanças nas condições do ambiente, gerando melhores condições de uxo de tráfego.

Este trabalho propôe a melhoria Walker para o modelo de Schadschneider e colaboradores, esta é uma melhoria que transforma o modelo de Schadschneider em um modelo baseado em sistema multiagentes. Diferentemente dos autômatos celulares e modelos contínuos, Walker apresenta pedestres com diferentes características: sexo, velocidade, conhecimento do ambiente, comportamento de grupo. Além disto, é realizada também a implementação de um protótipo de Walker. Modelos de simulação da dinâmica de pedestres têm chamado a atenção por diversas razões. Primeiro, os pesquisadores descobriram que modelar fluxo de pedestres é desafiante e complexo. Por exemplo, os corredores de pedestres podem ter diversas entradas, não são regulados ordenadamente como rodovias e são normalmente bi-direcionais. Segundo, modelos de pedestres podem ser ferramentas importantes para o desenvolvimento e planejamento de áreas para pedestres, tais como metrôs, estações de trens, edifícios e shopping centers. Portanto, simulações computadorizadas de dinâmica de pedestres permitem a observação de uma ampla gama de características do fluxo de pessoas e um maior entendimento de seus princípios básicos. O conhecimento do comportamento de pedestres é valioso por prover informações de como formular melhores saídas, geometrias de salas e estádios. Com o objetivo de definir as características importantes para esta melhoria, um estudo do estado da arte da Dinâmica de Pedestres foi realizado e aspectos importantes dos modelos estudados foram utilizados na criação da melhoria. Com o fim de validar a melhoria Walker e demonstrar suas capacidades 18 experimentos foram realizados. Os cenários abrangem desde a validação da melhoria Walker com experimentos realizados por outros autores, verificação do impacto da variação dos parâmetros nas simulações, simulação de diversos experimentos com tamanhos de portas e salas diferentes, até a simulação com dois grupos diferentes de pedestres. Através dos experimentos realizados mostrou-se as qualidades da melhoria proposta, assim como sua capacidade de realizar diversas simulações. / This work presents a improvement (Walker improvement) over the model from Schadschneider and cooworkers. This improvement transforms the Schadschneider’s model in a multiagent system based model. Differently from the cellular automata and continuous models, Walker represents many pedestrian’s characteristics: gender, speed, environment knowledge, herding behavior. We also implement a prototype for the Walker improvement. Pedestrian dynamics models are important for many reasons. First, researches discovered that modelling and simulating pedestrian flux is complex. Second, pedestrian dynamic models are important tools for the development and planning of pedestrian areas, such as: subways stations, train stations, buildings and shopping centers. Therefore, computer simulation of pedestrian dynamics are capable of showing a high number of characteristics that exist in real traffic and contribute for a better understanding of basic pedestrian traffic principles. The knowledge of pedestrian behavior is important to provide information about better exit paths, room and stadium geometries. We made a study of the state of the art in pedestrian dynamics to define important features for this improvement. And many important aspects of the studied models were utilized in the Walker improvement. We also have made 18 experiments to validate and show the Walker’s capabilities. The experiments are: experiments created by others authors, verification of parameters influence in the simulation, simulation of many scenarios with different doors and room sizes, simulation of two different groups of pedestrians. The Walker’s qualities are shown in the experiments, as well its ability to simulate many situations.

Este trabalho situa-se nas áreas de Sistemas Multiagentes e Geoprocessamento. Em Sistemas Multiagentes, a especificação de um sistema pode ser realizada através da modelagem do ambiente, agentes, mecanismos de interação e organização dos agentes envolvidos. Um aspecto pouco explorado, porém extremamente importante, é a modelagem e representação do ambiente em que os agentes estão situados e através do qual irão interagir. Por outro lado, o Geoprocessamento sempre enfatizou a representação de fenômenos espaciais de forma estática. No entanto, alguns fenômenos espaciais são inerentemente dinâmicos e as representações estáticas não os capturam de forma adequada. Assim, o foco principal deste trabalho é fornecer uma arquitetura, baseada em Sistemas Multiagentes, para a criação e execução de simulações na área de Geoprocessamento. Uma característica importante é a utilização de dados vetoriais, provenientes de um Banco de Dados Geográficos, na geração da representação espacial do ambiente e das entidades existentes nas simulações. Com esta forma de representação contínua e precisa, é possível criar modelos mais próximos da realidade, representando adequadamente um maior número de características. Além disto, a arquitetura permite a representação de fenômenos espaço-temporais dinâmicos, uma necessidade da área de Geoprocessamento. Focando no desenvolvimento das funcionalidades da arquitetura proposta, foi realizada uma análise das características positivas, negativas e das necessidades de algumas das principais plataformas para criação e execução de simulações baseadas em agentes. Considerando os resultados desta análise, foram criadas a arquitetura proposta e suas funcionalidades. Além disto, neste trabalho é apresentado o protótipo implementado, no qual foram realizados estudos de caso de diferentes cenários, objetivando avaliar e demonstrar o uso das funcionalidades desenvolvidas. / This work is situated in the intersection of two areas: Multi-Agent Systems and Geocomputing. In Multi-Agent Systems, the specification of a system can be achieved by the modelling of environment, agents, mechanisms of interaction and organization of the agents. Although being a very important aspect, the modelling and representation of the environment has not been yet fully explored. On the other hand, Geocomputing has always focused in the static representation of spatial phenomena. However, some spatial phenomena are dynamic on time and space and usual representation adopted in Geocomputing do not capture them well. The aim of this work is to provide an architecture, based on Multi-Agent Systems, for the development and execution of Geocomputing simulations. A very important feature of the proposed architecture is the use of vectorial data, from a Geographic Database, for the representation of the environment and the spatial entities that exist in it. Using this continuous and accurate representation form, it is possible to develop more realistic models, representing appropriately geographic features. Moreover, this architecture allows the representation of dynamic phenomena in time and space, an old need of the Geocomputing area. Focusing on the development of the features of this architecture, an analysis of some related works was realized. The development of this architecture and its features was done based on the results of this analysis. Moreover, a prototype was presented in this work, in which some case studies of different scenes were performed, aiming at the evaluation and demonstration of the developed model and its features.