Experience forms the basis of learning. It is crucial in the development of human intelligence, and more broadly allows an agent to discover and learn about the world around it. Although experience is fundamental to learning, it is costly and time-consuming to obtain. In order to speed this process up, humans in particular have developed communication abilities so that ideas and knowledge can be shared without requiring first-hand experience. Consider the same need for knowledge sharing among robots. Based on the recent growth of the field, it is reasonable to assume that in the near future there will be a collection of robots learning to perform tasks and gaining their own experiences in the world. In order to speed this learning up, it would be beneficial for the various robots to share their knowledge with each other. In most cases, however, the communication of knowledge among humans relies on the existence of similar sensory and motor capabilities. Robots, on the other hand, widely vary in perceptual and motor apparatus, ranging from simple light sensors to sophisticated laser and vision sensing. This dissertation defines the problem of how heterogeneous robots with widely different capabilities can share experiences gained in the world in order to speed up learning. The work focus specifically on differences in sensing and perception, which can be used both for perceptual categorization tasks as well as determining actions based on environmental features. Motivating the problem, experiments first demonstrate that heterogeneity does indeed pose a problem during the transfer of object models from one robot to another. This is true even when using state of the art object recognition algorithms that use SIFT features, designed to be unique and reproducible. It is then shown that the abstraction of raw sensory data into intermediate categories for multiple object features (such as color, texture, shape, etc.), represented as Gaussian Mixture Models, can alleviate some of these issues and facilitate effective knowledge transfer. Object representation, heterogeneity, and knowledge transfer is framed within Gärdenfors' conceptual spaces, or geometric spaces that utilize similarity measures as the basis of categorization. This representation is used to model object properties (e.g. color or texture) and concepts (object categories and specific objects). A framework is then proposed to allow heterogeneous robots to build models of their differences with respect to the intermediate representation using joint interaction in the environment. Confusion matrices are used to map property pairs between two heterogeneous robots, and an information-theoretic metric is proposed to model information loss when going from one robot's representation to another. We demonstrate that these metrics allow for cognizant failure, where the robots can ascertain if concepts can or cannot be shared, given their respective capabilities. After this period of joint interaction, the learned models are used to facilitate communication and knowledge transfer in a manner that is sensitive to the robots' differences. It is shown that heterogeneous robots are able to learn accurate models of their similarities and difference, and to use these models to transfer learned concepts from one robot to another in order to bootstrap the learning of the receiving robot. In addition, several types of communication tasks are used in the experiments. For example, how can a robot communicate a distinguishing property of an object to help another robot differentiate it from its surroundings? Throughout the dissertation, the claims will be validated through both simulation and real-robot experiments.

Depuis de nombreuses années, nous nous sommes efforcés de comprendre le comportement humain et nos interactions avec l'environnement sociotechnique. Grâce à l'avancée de nos connaissances dans ce domaine, nous avons contribué à la conception de technologies et de processus de travail nouveaux ou améliorés. Historiquement, une part importante du travail d'analyse des interactions sociales fut entreprise au sein des sciences sociales. Cependant, la simulation informatique a apporté un nouvel outil pour tenter de comprendre et de modéliser les comportements humains. En utilisant une approche à base d'agents, cette présentation décrit mon travail sur la construction de modèles informatiques du comportement humain pour guider la conception par la simulation. A l'aide d'exemples issus de projets des deux domaines d'application que sont la gestion des crises et de l'urgence et la gestion de l'énergie, je décris comment mon travail aborde certains problèmes centraux à la simulation sociale à base d'agents. Le premier concerne le processus par lequel nous développons ces modèles. Le second problème provient de la nature des systèmes sociotechniques. Les sociétés humaines constituent un exemple parfait de système complexe possédant des caractéristiques d'auto-organisation et d'adaptabilité, et affichant des phénomènes émergents tels que la coopération et la robustesse. Je décris comment la théorie des systèmes complexes peut être appliquée pour améliorer notre compréhension des systèmes sociotechniques, et comment nos interactions au niveau microscopique mènent à l'émergence d'une conscience mutuelle pour la résolution de problèmes. A partir de systèmes de simulation à base d'agents, je montre comment la conscience du contexte peut être modélisée. En terme de perspectives, j'expliquerai comment la hausse de la prévalence des agents artificiels dans notre société nous forcera à considérer de nouveaux types d'interactions et de comportements coopératifs.

La co-construction et la réutilisation de modèles font l'objet de plusieurs travaux dans le domaine de la simulation. Cependant, dans le domaine plus spécifique de la Simulation Orientée Agent (SOA), nous pouvons constater un manque sur ces deux points malgré un besoin fort de la part des thématiciens. La co-construction est essentielle pour optimiser la mise en commun du savoir de différents experts, mais nous faisons souvent face à des divergences de points de vue. Les méthodologies existantes pour la co-construction en SOA ne permettent qu'un faible niveau de collaboration entre thématiciens durant la phase initiale de modélisation, ainsi qu'entre les des thématiciens avec les modélisateurs ou les modélisateurs-informaticiens... Pour faciliter cette co-construction, nous proposons de suivre une méthodologie de conception favorisant cette collaboration. La réutilisation de modèle octroie un gain de temps significatif, une amélioration du modèle et l'apport de nouvelle connaissance. Les méthodologies en SOA dans ce domaine existent. Cependant, dans le spectre de réutilisation, elles sont souvent limitées au niveau du modèle complet ou de l'agent avec l'impossibilité de "descendre" plus bas. L'expérience de EDMMAS, un cas concret d'un modèle issu de trois réutilisations successives, nous a permis de constater une nouvelle complexité qui découle de la démultiplication des comportements des agents et crée un décalage conséquent entre le modèle opérationnel et le modèle conceptuel. Notre objectif est de promouvoir la réutilisation aussi bien des modèles, que des agents et de leurs comportements.Pour répondre à ces questionnements, nous proposons dans ce manuscrit une manière de codifier et d'intégrer la connaissance provenant de disciplines différentes dans le modèle, tout en utilisant des modules "composables" qui facilitent la réutilisation. Nous proposons (i) une nouvelle architecture Agent (aMVC), appliquée dans un cadre multidynamique (DOM), avec l'appui (ii) d'une approche méthodologique (MMC) basée sur la décomposition et réutilisation des comportements. Cet ensemble de propositions, (i) et (ii), permet de conduire un projet pluridisciplinaire de SOA avec un grand nombre d'acteurs, facilitant la co-construction des modèles grâce à l'instauration de nouvelles synergies entre les différents acteurs participant à la modélisation. Les concepteurs pourront travailler de manière autonome sur leur dynamique et la plateforme fera l'intégration de ces dernières en assurant la cohésion et la robustesse du système. Nos contributions offrent la capacité de créer les briques élémentaires du système de manière indépendante, de les associer et de les combiner pour former des agents, selon des dynamiques conformément à l'approche DOM. Elles permettent ainsi de comparer la logique selon différentes possibilités pour une même dynamique et d'ouvrir la perspective d'étudier un grand nombre d'alternatives de modélisation d'un même système complexe, et de les analyser ensuite à une échelle très fine.

Un Système Multi-Agents (SMA) ouvert est un système extensible et évolutif. Son extension se traduit par la possibilité d'ajouter de nouveaux agents mais aussi de gérer leurs retraits. De plus, un SMA ouvert doit permettre l'évolution de ses agents. Nous nous sommes intéressés à la conception de SMA ouverts du point de vue de la représentation des autres maintenue par chaque agent du système. L'ouverture peut conduire la représentation qu'un agent a des autres, à devenir fausse ou incomplète. Dans les travaux existants, l'ouverture d'un SMA est gérée de manière centrale par une entité regroupant une représentation de chaque agent du système. Cette entité, qui selon les cas est un " broker ", un faciliteur ou des pages jaunes, fournit sur demande la connaissance nécessaire à un agent pour raisonner sur les autres agents de son système. Outre le coût de l'accès à ces informations, cette approche présente l'inconvénient de dépendre du bon fonctionnement de cette entité critique et indispensable à l'ouverture et à la coopération. La première étape de ce travail a été d'analyser dans quelle mesure on peut distribuer la tâche consistant à intégrer de nouveaux agents. Cette analyse nous a conduit à définir un modèle social partiel d'agent que nous appelons sa facette accueillante. Un agent accueillant est un agent ayant la faculté d'aider un nouvel agent à intégrer le système auquel il appartient. Une société composée d'agents accueillants est un SMA ouvert où l'intégration de nouveaux agents est assurée par une activité collective et coopérative faisant intervenir plusieurs agents accueillants. Le développement d'une approche distribuée de la conception de SMA ouverts nous a ensuite amené à généraliser le problème de l'ouverture. Nous avons repris notre définition des tâches associées à la gestion de l'ouverture d'un SMA pour proposer un modèle général de conception de SMA ouvert autorisant le choix d'une approche centralisée ou distribuée.

Thesis (Ph.D.)--Mississippi State University. Department of Electrical and Computer Engineering. / Title from title screen. Includes bibliographical references.

Em ambientes de desastre urbano, grupos de agentes de resgate devem resolver tarefas de modo a minimizar os danos que podem ocorrer na cidade. Tais ambientes são dinâmicos e parcialmente observáveis, com características que dizem respeito à distância espacial, quantidade de recursos, à dificuldade da tarefa de desastre e à capacidade do agente de atendê-la. A comunicação entre os agentes pode ser ruidosa ou inexistente. Os sistemas multiagente são desenvolvidos para resolver problemas complexos e abrangentes, que estão além da capacidade de um único agente. Nesse contexto, os agentes são elementos computacionais autônomos que são responsáveis por uma parte da solução do problema. Os agentes são situados em um ambiente e podem ter habilidade social, interagindo com outros agentes para resolver as tarefas. Comumente, o domínio de desastre urbano é formalizado como um problema de alocação de tarefas e modelado como um problema de otimização de restrições distribuídas entre agentes heterogêneos, onde eles têm que escolher as tarefas que maximizam suas utilidades individuais ou minimizem seus custos individuais. Essa dissertação de mestrado propõe um modelo para formação de grupos de agentes baseado na minimização de uma métrica de distância. O modelo é formalizado como um problema de otimização de restrições distribuídas, usando algoritmos para troca de mensagens entre os agentes. O modelo chamado Formação de Grupos pela Minimização da Distância (FGMD) tem agentes autônomos que tem a capacidade de se auto-organizar sem a necessidade de um controle centralizado. Aplicamos o FGMD na plataforma RMASBench, que é um simulador para situações de desastre urbano. Comparou-se o FGMD com os algoritmos mais recentes de passagem de mensagens, tendo sido verificado que o FGMD use menos computação não-paralela. Com respeito a minimização dos danos na cidade, mostrou-se que é possível obter resultados melhores que as abordagens do estado-da-arte com leve aumento no esforço computacional. / In urban disaster environments, groups of rescue agents must solve tasks in order to minimize the damage that can occur in a city. Such environments are dynamic and partially observable, with features that correspond to spatial distance, amount of resources, difficulty of the disaster task, and the capability of the agent to handle it. The communication between the agents can be noisy or non-existent. Multiagent systems are developed to solve complex and comprehensive problems, that are beyond the capability of one single agent. In this context, the agents are autonomous computational elements that are responsible for a piece of the solution of the problem. The agents are situated in an environment, and may have social ability, interacting with other agents to solve the tasks. Commonly, the urban disaster domain is formalized as a task allocation problem, and modelled as a constraint optimization problem distributed among heterogeneous agents, where they have to choose the tasks that maximize their individual utilities or minimize their individual costs. This master thesis proposes a model for formation of groups of agents based in the minimization of a distance. The model is formalized as a distributed constraint optimization problem, using algorithms to exchange messages between agents. The model called Formation of Groups by Minimization of Distance (FGMD) has self-organizing autonomous agents without a centralized control. We applied the FGMD in the RMASBench platform, that is a simulator for urban disaster situations. We compare the FGMD with the most recent message passing algorithms, verifying that FGMD uses less non-parallel computation. With respect to the minimization of the damage in the city, we show that it is possible to obtain better results than the state-of-art approaches, with slightly increase of computational effort.

[pt] Para que simulações distribuídas baseadas em agentes possam ter alto grau de escalabilidade é necessário evitar gargalos de comunicação. Existe troca de mensagens entre máquinas toda vez que um agente contido em um determinado computador precisa interagir com elementos que se encontram em outro computador. O presente trabalho propõe particionar dinamicamente uma simulação de forma a manter um agente no mesmo nó da rede em que se encontram os elementos com os quais ele mais interage, reduzindo o custo de comunicação entre os computadores da rede. Para isto, é utilizado o conceito de gerenciamento de interesses, que visa prover ao agente apenas o conjunto mínimo de informações para que ele possa interagir com o ambiente de forma coerente. Para ilustrar a solução proposta foi desenvolvido um estudo de caso que compreende uma simulação distribuída representando um cenário de derramamento de petróleo no mar. / [en] To achieve high scalability in distributed simulations is necessary to avoid communication bottlenecks. Messages between machines are necessary when an agent kept in a specific computer needs to interact with elements kept in another computer. This work presents an approach to dynamically partitioning a distributed simulation keeping each agent in the same network node where are the elements more accessed by it, reducing the communication cost between the network computers. To reach this objective, we are using the concept of interest management, which aims to provide to an agent only the smallest set of information necessary to allow it to interact with the environment in a coherent way. To illustrate the proposed solution was developed a case study comprehending a distributed simulation representing an oil spill scenario.

A falta de informação e de confiança entre os agentes em sistemas de recomendação que lidam com domínios dinâmicos podem ser fatores que contribuem para que os agentes gerem resultados de baixa qualidade. Na falta de informação para gerar recomendações, é necessário que os agentes sejam capazes de assumir ou compartilhar informações, criem laços de confiança entre si e que se adaptem às mudanças do estado do conhecimento para que sejam capazes de resolver os problemas. Esta tese apresenta a abordagem MATRES - uma abordagem multiagente baseada em suposições com mecanismo de confiança aplicada em um sistema de recomendação multiagente. Na abordagem MATRES, os agentes são capazes de lidar com conhecimento distribuído. Cada agente trabalha como especialista e é capaz de compartilhar seu conhecimento com os demais, de acordo com seus índices de confiança. Para a solução de um problema, diferentes tarefas são distribuídas entre os agentes. Algumas tarefas apresentam uma relação de dependência, fazendo com que uma tarefa dependa do resultado de outra. Nesta situação, o agente possui um componente de manutenção da verdade que permite a utilização de suposições para a realização das tarefas de forma assíncrona. Na falta de informação proveniente de outra tarefa, o agente é capaz de manipular suposições, sendo capaz de executar sua tarefa. Além disto, o componente de manutenção da verdade auxilia na manutenção da integridade das bases de conhecimento dos agentes. A abordagem MATRES foi validada em um cenário de recomendação de pacotes turísticos. Casos reais de uma agência de viagem foram utilizados na validação da abordagem e os resultados obtidos corroboram a hipótese de que que a abordagem proposta aumenta a assertividade das recomendações geradas pelos agentes em ambientes distribuídos e dinâmicos. / The lack of trust and information among agents in dynamic domains may contribute to the generation of poor results in multiagent recommender systems. These domains requires that agents exchange information, establishing bonds of trust among themselves and adapting the modification of the status of the knowledge to be able to solve problems. In systems where the knowledge is distributed among several agents, the exchange of information is essential for improving the performance of the agents and maybe leading to inconsistencies when the information exchanged has different status. This thesis presents the MATRES approach - a multiagent Assumption-Based recommender approach with a trust mechanism. In this approach agents are able to deal with distributed knowledge. Each agent works as an expert and is able to share its knowledge with other agents, according to its trust degree. In order to solve a problem, different tasks are distributed among the agents. Some tasks are interdependent, which means that to solve a task it is necessary to use the result from other one. In this situation, the agent has a truth maintenance component that allows using assumptions to perform tasks in a assynchronous ways and helps the maintenance of the integrity of the knowledge bases of the agents. TheMATRES approach was validated in the travel recommendation scenario. The results show that the proposal increases the assertiveness of the recommendations provided by the agents in this dynamic domain.

As Redes Elétricas Inteligentes podem ser entendidas como o uso intensivo de tecnologias de informação e comunicação nas redes elétricas, permitindo um fluxo bidirecional de informações e eletricidade pela rede, de forma a obter uma infraestrutura capaz de automaticamente monitorar, proteger e otimizar a operação de seus elementos. A modernização da infraestrutura elétrica no sentido das Redes Elétricas Inteligentes é inevitável e trará profundas mudanças em todos os segmentos do sistema elétrico. Embora a tecnologia necessária para essa modernização já exista a um custo razoável, ainda restam várias questões que devem ser resolvidas. Indefinições em relação aos padrões a serem adotados, regulamentações, segurança, privacidade e vários aspectos tecnológicos dificultam uma implementação coerente, adiando essa modernização. Assim, este trabalho busca apresentar esse cenário em relação às Redes Elétricas Inteligentes, investigando as tendências e situação atual. Dentre essas tendências, há um grande interesse em definir e implementar mecanismos que incentivem uma maior conscientização dos consumidores em relação ao seu uso de energia, além de uma participação ativa dos mesmos no mercado de energia. Isso exigirá a utilização de ferramentas que possibilitem a redução de custos através do uso mais eficiente da energia. Assim, é também proposto um framework para a construção e análise dessas ferramentas que buscam auxiliar os consumidores nesse cenário em formação. O framework proposto foi construído utilizando uma abordagem por Sistemas Multiagentes e possibilita a construção, simulação e análise de diversos sistemas, em diferentes cenários, com variados tipos de equipamentos, tanto reais como virtuais, sob diferentes protocolos de comunicação e com a possibilidade de uso de diversos algoritmos para a operação conjunta dos equipamentos. / Smart Grids can be understood as the intensive use of information and communication technologies over the electricity networks, allowing a bidirectional flow of information and electricity through the network. It is a system that tries to optimize the supply and demand of energy through the integration of distributed generation and renewable energy resources, and through the active participation of consumers as well as an intense trade relationship between all the segments of the electricity sector. The modernization of the electrical infrastructure towards Smart Grids is inevitable and it will bring deep changes in all segments of the electrical system. Although the necessary technology for this modernization already exists at a reasonable cost, there are still several issues to be solved. Uncertainties regarding standards to be adopted, regulations, security, privacy and many technological aspects difficult a consistent implementation and, therefore, delay this modernization. Thus, this study aims to present the Smart Grid scenario, by the investigation of its current situation and tendencies. Among these tendencies, there is a great interest to define and implement mechanisms to encourage consumer to take care about their electrical energy use and to stimulate their active participation in the energy market. This will require tools that will help them to reduce costs through a more efficient use of energy. Therefore, this work proposes also a framework for the development and analysis of these tools that help consumers at this scenario under construction. The proposed framework is built using a Multiagent System approach which allows the construction, simulation and analysis of various systems in different scenarios. In addition, it allows the use of several types of equipments, both real and virtual, under different communication protocols and with the possible use of various algorithms for a joint operation of all Smart Grid equipments.

Agentes atuando em sociedade devem agir de maneira coerente para atingir um objetivo comum. A coordenação nos sistemas multiagente previne o comportamento caótico dos agentes, permite que o sistema lide com restrições globais e a interdependência entre os agentes, e faz com que o sistema possa ser composto por agentes com diferentes competências. A coordenação pode ser baseada na estrutura organizacional, onde a comunidade de agentes atua a favor de um objetivo comum através da forma como estão organizados. Em ambientes dinâmicos a organização dos agentes deve se adaptar a mudanças nos objetivos do sistema, na disponibilidade de recursos, nos relacionamentos entre os agentes, e assim por diante. Esta flexibilidade é um problema chave nos sistemas multiagente e está relacionada a modelos de adaptação como os observados nos insetos sociais. O presente trabalho propõe uma abordagem para a geração e adaptação da organização de um sistema multiagente, em tempo de execução, utilizando como base os modelos teóricos de organização das colônias de insetos sociais. Esta abordagem enfoca a alocação e o escalonamento dinâmicos de tarefas distribuídos entre agentes com diferentes competências e em ambientes de larga escala. Dois cenários principais são utilizados para experimentar e validar a abordagem proposta. Estes cenários estão baseados em problemas de pesquisa operacional denominados Resource-Constrained Project Scheduling Problem (RCPSP) e o Generalized Assignment Problem (GAP). Este trabalho contribui para o avanço do estado-da-arte no estudo e desenvolvimento de sistemas multiagente e na modelagem e aplicação de técnicas de inteligência de enxames em problemas computacionais. A abordagem proposta para coordenação de agentes em cenários complexos é nova, eficaz e robusta. De maneira geral, esta abordagem contribui para busca da solução de problemas de coordenação de sistemas multiagente aplicados a problemas reais. / A community of individual agents must work in a coherent manner to reach some common goal. The coordination process in multiagent systems prevents chaotic behavior of agents, makes the system able to deal with global constraints and inter-agents dependencies, and allows the system to be composed of agents with different capabilities. This process is normally based on the organizational structure, where the community of agents works towards the system goal through the manner they are organized. However, in dynamic environments, agents must be able to adapt to the changing goals of the system, to the resources available, to their relationships with another agents, to changes on the environment and so on. This problem is a key one in multiagent systems and relates to models of adaptation, such as those observed among social insects. This work proposes a new approach to generate and adapt the multiagent organization on the fly based on the theoretical models of social insects colonies organization. This approach focuses on distributed dynamic scheduling and task allocation using agents with different capabilities in large scale environments. Two main scenarios have been used to experiment and validate the proposed approach: the Resource-Constrained Project Scheduling Problem (RCPSP) and the Generalized Assignment Problem (GAP). This work contributes to advancing the state-of-the-art in the study and development of multiagent systems and in the modeling and application of swarm intelligence techniques. The proposed approach to coordinate agents in complex scenarios is novel, effective and robust. This approach contributes to the search of coordination solutions to multiagent systems real applications.