O grande salto tecnológico ocorrido nos últimos decênios em áreas como a informática e as telecomunicações já começa a causar uma verdadeira revolução social. Com o advento da Internet, a possibilidade de substituir a presença física de pessoas por assistentes inteligentes ou agentes é uma realidade que começa a tomar forma. O objetivo principal deste trabalho é definir como deve ser feita a interação entre agentes, nas sociedades de agentes dentro da Internet. Para tanto, é apresentada uma proposta de arquitetura geral para coordenar a interação de agentes na Internet, de forma a possibilitar, entre outros, a localização de agentes, a conexão entre os agentes, a identificação de agentes (nomes de agentes, função e endereços destes na rede) sem que ocorra a repetição de nomes na sociedade, a entrada e saída de agentes da sociedade, a troca de mensagens entre os agentes e a procura de agentes com determinadas características. Inicialmente, é apresentada uma visão geral sobre Inteligência Artificial Distribuída, área em que o trabalho se insere, e alguns exemplos de aplicações agentes. A seguir, as principais características da linguagem Java são introduzidas, por ser a linguagem utilizada nas implementações realizadas. Estas implementações foram feitas, a nível de protótipos, para permitir a obtenção de experiência no trabalho com agentes. Toda a programação destes agentes foi feita utilizando a linguagem Java, e a sua escolha como linguagem para estas implementações, foi feita devido a características próprias. Por exemplo. a linguagem Java é independente da plataforma de trabalho, o que no caso de programação para Internet, torna-se um característica muito desejável. Após, dois sistemas para o desenvolvimento de agentes na Internet são: apresentados em suas principais características do ponto de vista da arquitetura geral. Estes sistemas são o SodaBot e o sistema Java Agent Template. Este último totalmente implementado com a utilização da linguagem Java. Finalmente, apresenta-se em detalhes a arquitetura proposta, com um exemplo de utilização e perspectivas para a continuação do trabalho. O resultado obtido com todos os estudos realizados diz respeito a proposta de uma arquitetura que tem por objetivo permitir coordenar a interação entre os agentes que vierem a ser implementados na Internet. Toda a proposta foi acompanhada por estudos reais da viabilidade da implementação futura da arquitetura. / Technological breakthroughs which occurred in the last decades in areas such as Computer Science and Telecommunications have started to cause an undeniable social revolution. With the Internet, the possibility of replacing the physical presence of people by intelligent assistants or agents is now becoming a reality. This thesis aims at defining how the interaction among agents in the Internet should be achieved. An architecture to coordinate the interaction of agents in the Internet is presented, so as to make it possible, among other things, the localization of agents, the connection among agents, the identification of agents (their names, function, and addresses in the net), the way in and the way out of a gents of the society, the exchange of messages among agents and the search for agents with specific characteristics. First, a general view on Distributed Artificial Intelligence, the area in which this work is inserted, and some examples of agents are given. Next, the main characteristics of the Java language are introduced, since it is the language used in the implementations carried out. These implementations accomplished were prototypes which aim at gaining experience in the work with agents. All the programming of these a gents was carried out using the Java language, which was chosen for these implementations due to its characteristics. For example, the Java lan guage is Architecture Neutral, which in the case of programming for the Internet, becomes very desirable. After that, the main characteristics of two systems for the development of agents in the Internet, concerning their general architecture, were presented. These systems are SodaBot and Java Agent Template, the latter being totally implemented in the Java language. Finally, the architecture which was proposed is described in detail with an example of utilization and perspectives for a continuation of the work. The result obtained from this work is related to the proposal of an architecture which aims at making it possible to coordinate the interaction among agents which will be implemented in the Internet. The entire proposal was accompanied by studies of the feasibility of a future implementation of this architecture.

Este trabalho encontra-se situado na área de Inteligência Artificial, mais especificamente na modelagem de Sistemas Multiagentes destinados à simulação social. A área de pesquisa de simulação social baseada em agentes é uma área recente e bastante promissora. Por tratar de problemas extremamente complexos, existe a necessidade de criar modelos e abstrações para possibilitar sua realização. Dando continuidade a trabalhos anteriores, esta tese pretende consolidar uma nova versão do modelo MAS-SOC, destinado à definição de simulações sociais baseada em Sistemas Multiagentes Situados, com organizações que funcionam em ambientes determinados (organizações situadas). É proposta uma abordagem integrada, que conecta de maneira forte as entidades agentes, organizações e ambiente, sendo os agentes, o ambiente e as estruturas da organização tratadas como entidades de primeira ordem. A definição do ambiente é feita através da linguagem ELMS, estendida com uma infraestrutura normativa. Esta infraestrutura normativa é composta basicamente por objetos normativos e espaços normativos que permitem a distribuição espacial da informação normativa no ambiente, possibilitando a contextualização das normas que os agentes devem seguir em um escopo espacial determinado. A contextualização das normas facilita a sua operacionalização e a verificação de conformidade, reduzindo também a possibilidade de interpretações errôneas das normas. Com isso, a infraestrutura normativa conecta ambiente físico à estrutura da organização do sistema multiagente. Além disso, o modelo proposto usa um esquema mínimo de definição das organizações para armazenar informações e restrições que o projetista da simulação prefira representar desta forma. Esta maneira integrada de modelar os sistemas multiagentes, associando a organização ao espaço em que a organização deve funcionar, pode facilitar a modelagem de grandes sistemas, pois o conceito de espaço normativo permite que a modelagem seja feita através da partição do ambiente físico em módulos onde as atividades da organização situada são realizadas. Assim, o modelo trata de forma bastante prática o uso das normas organizacionais que podem ser representadas através de objetos normativos. Esta forma de representação possibilita aos agentes decidirem sobre a aderência as normas, já que estas não estão embutidas no mecanismo de raciocínio dos agentes. Além disso, a forma contextualizada das normas facilita raciocínio sobre elas e possibilita a aderência a normas previamente desconhecidas pelos agentes. / This work is situated in the research area of Artificial Intelligence, specifically the modelling of Multi-agent systems for social simulation. The research area of agent based social simulation is a recent and interesting area. In order to handle with its very complex problems, it requires the development of models and abstractions to make possible its realisation. Continuing previous works, this thesis aims to consolidate extensions to the MAS-SOC model, in order to turn it into a suitable model for the social simulation based on situated multi-agent systems with organizations that operate in determined environments (situated organisations). It is proposed an integrated approach in which multiagent entities such as agents, organisations and environments are strongly connected to each other, and the environment and the organisational structures being treated as first order entities. The definition of the environment is made with the use of the ELMS language, which have been extended with a normative infrastructure. The normative infrastructure is composed essentially by normative objects and normative places, which are means for the spatial distribution of the normative information over the environment, allowing the contextualisation of the norms in a bounded spatial scope. The norms being bounded in a specific spatial scope facilitates its operationalisation and conformity checks, also reducing the possibilities of norms misinterpretations. Thus, the normative infrastructure connects the physical environment to the organisational structures of the multiagent system. The thesis proposes that this integrated approach to model multi-agent systems may ease the modelling of large scale systems, since it allows the partition of the environment in a modular way, facilitating the operationalisation and verification of the adequacy of the structure of an organisation to the physical space where it is located, and also reducing the possibility of the misinterpretations of norms by the agents, through the contextualisation of norms. Also, the proposed scheme uses a minimal structure for the definition of the organisations in order to store information that the simulation designer prefers to represent in such way. Further, the proposed approach allows a very practical way to use of norms in a physical environment, by allowing the agents to reason about following a norm abiding behaviour or not, since the norms are not hard-wired in their reasoning mechanisms, and its contextualized form facilitates that agents reason about adhering to norms that were previously unknown to them.

O rápido crescimento das regiões urbanas tem impacto significativo nos sistemas de tráfego e transportes. Políticas de gerenciamento e estratégias de planejamento alternativas são claramente necessárias para o tratamento da capacidade limitada, e cada vez mais deficitária, das redes viárias. O conceito de Sistemas Inteligentes de Transportes (ITS) surge neste cenário; mais do que procurar aumentar a capacidade por meio de modificações físicas na infraestrutura, sua premissa baseia-se na utilização de tecnologias avançadas de comunicação e computação para melhor gerir os recursos de tráfego e transportes atuais. Influenciar o padrão do comportamento dos usuários é um desafio que tem estimulado muita pesquisa na área de ITS, onde fatores humanos passam a ter grande importância na modelagem, simulação e avaliação dessa abordagem inovadora. Este trabalho tem como foco a utilização de Sistemas Multiagentes (MAS) na representação dos sistemas de tráfego e transporte, com base nas novasmedidas de desempenho impostas pelas tecnologias ITS. As características de agentes têm grande potencial para representar componentes geográfica e funcionalmente distribuídos, como a maioria dos elementos no domínio da aplicação. Uma arquitetura BDI (beliefs, desires, intentions) é apresentada como alternativa a modelos tradicionais, usados para representar o comportamento do motorista em simulação microscópica, considerando-se a representação explícita dos estados mentais dos usuários. Os conceitos básicos de ITS e MAS são apresentados, assim como exemplos de aplicações relacionados com o tema do trabalho. Esta foi a motivação para a extensão de um simulador microscópico existente, no sentido de incorporar as características dos MAS para melhorar a representação dos motoristas. Assim, a demanda é gerada a partir de uma população de agentes, resultando da decisão sobre a rota e o tempo de partida ao longo de vários dias. O modelo estendido, que passa a suportar a interação de motoristas BDI, foi efetivamente implementado e foram executados diferentes experimentos para testar a abordagem em cenários de tráfego urbano. MAS permite uma abordagem direcionada a processos que facilita a construção de representações modulares, robustas, e extensíveis, características pouco presentes em abordagens voltadas ao resultado. Suas premissas de abstração permitem uma associação direta entre modelo e implementação. Incerteza e variabilidade são assim tratadas de maneira mais intuitiva, uma vez que arquiteturas cognitivas permitem uma fácil representação do comportamento humano na estrutura do motorista. Desta forma, MAS estende a simulação microscópica de tráfego no sentido de melhor representar a complexidade inerente às tecnologias ITS. / The rapid growth of urban areas has a significant impact on traffic and transportation systems. New management policies and planning strategies are clearly necessary to cope with the more than ever limited capacity of existing road networks. The concept of Intelligent Transportation System (ITS) arises in this scenario; rather than attempting to increase road capacity by means of physical modifications to the infrastructure, the premise of ITS relies on the use of advanced communication and computer technologies to handle today’s traffic and transportation facilities. Influencing users’ behaviour patterns is a challenge that has stimulated much research in the ITS field, where human factors start gaining great importance to modelling, simulating, and assessing such an innovative approach. This work is aimed at using Multi-agent Systems (MAS) to represent the traffic and transportation systems in the light of the new performance measures brought about by ITS technologies. Agent features have good potentialities to represent those components of a system that are geographically and functionally distributed, such as most components in traffic and transportation. A BDI (beliefs, desires, and intentions) architecture is presented as an alternative to traditional models used to represent the driver behaviour within microscopic simulation allowing for an explicit representation of users’ mental states. Basic concepts of ITS and MAS are presented, as well as some application examples related to the subject. This has motivated the extension of an existing microscopic simulation framework to incorporate MAS features to enhance the representation of drivers. This way demand is generated from a population of agents as the result of their decisions on route and departure time, on a daily basis. The extended simulation model that now supports the interaction of BDI driver agents was effectively implemented, and different experiments were performed to test this approach in commuter scenarios. MAS provides a process-driven approach that fosters the easy construction of modular, robust, and scalable models, characteristics that lack in former result-driven approaches. Its abstraction premises allow for a closer association between the model and its practical implementation. Uncertainty and variability are addressed in a straightforward manner, as an easier representation of humanlike behaviours within the driver structure is provided by cognitive architectures, such as the BDI approach used in this work. This way MAS extends microscopic simulation of traffic to better address the complexity inherent in ITS technologies.

Made available in DSpace on 2016-06-02T19:06:14Z (GMT). No. of bitstreams: 1 6183.pdf: 2878708 bytes, checksum: f9bc336337651cbba67af52d8acb7ec2 (MD5) Previous issue date: 2014-06-10 / Financiadora de Estudos e Projetos / Vehicle fleets are an important component in several applications, moving materials and people. Examples include material handling in warehouses, factories and port terminals, people transportation as in taxi fleets and emergency services, such as medical assistance, fire-fighters and police. Fleet operation is crucial for these applications: it can mean loss of money and commercial partners in case of industry, os loss of lives in case of emergency services. Controlling the fleet to achieve efficient levels of performance is a difficult problem, though, and becomes even harder as the fleet grows. Research in the area has been linking vehicle fleet operation to Multi-Agent Systems, because vehicle fleets are naturally distributed and Multi-agent System is a convenient abstraction to cope with distributed Artificial Intelligence problems. Therefore, it is proposed a Multi-Agent System to control vehicle fleets, focusing on material handling application in warehouses. The proposed system has three types of agents: Vehicle Agent, Loading Point Agent and Storage Point Agent. Agents interact amongst themselves through messages, trying to efficiently realize the material handling in a warehouse. System implementation is done through a simulation of a warehouse operation, built on top of MASON multi-agent system simulation platform. Task assignment strategies is also an important problem, therefore four strategies are shown and tested using the simulation: CNET, Fuzzy, DynCNET and FiTA. To enable comparison among these strategies, a Genetic Algorithm is employed to systematically search good parameters for each strategy. The proposed system, as well as the simulation, are offered as a framework for development of other vehicle fleets controlling multi-agent systems and/or task assignment strategies. / Em várias aplicações, frotas de veículos são um componente importante, transportando materiais e pessoas. Exemplos incluem o manejo de materiais em depósitos, fabricas e terminais portuários, o transporte de pessoas como em frotas de taxis e serviços de emergência, como socorro medico, bombeiros e polícia. A operacao da frota e crucial para essas aplicações: pode significar perda de dinheiro e parceiros comerciais no caso dos exemplos na indústria, ou perda de vidas, no caso de serviços de emergência. Porem, controlar a frota de modo que ela opere eficientemente e um problema difícil, que se torna ainda mais custoso com o aumento da frota. Pesquisas na área tem ligado a operação de frotas de veículos a Sistema Multiagente, notando os fatos de que frotas de veículos são naturalmente distribuídas e que o conceito de Agentes (e, consequentemente, Sistemas Multiagentes) e uma abstração conveniente para lidar com problemas de Inteligencia Artificial de forma distribuída. Com base nisto, e proposto um Sistema Multiagente para controle de frotas de veículos, focando a aplicação dessa frota no manejo de materiais em um depósito. O sistema proposto possui três tipos agentes: Agente de Veículo, Agente de Ponto de Carga e Agente de Ponto de Armazenamento. Os agentes interagem entre si, trocando mensagens a fim de realizar o manejo dos materiais no deposito de forma eficiente. O sistema e implementado na forma de uma simulação de operação de um deposito, construída na plataforma de simulação de sistemas multiagentes MASON. Como a estrategia de associação de tarefas também e um problema importante, quatro estratégias são mostradas e testadas através da simulação: CNET, Fuzzy, DynCNET e FiTA. Para possibilitar comparações entre as estrategias, um Algoritmo Genetico foi utilizado para sistematicamente encontrar bons parâmetros para as quatro estrategias. O sistema proposto, bem como a simulação, são oferecidos como framework para construção de outros sistemas multiagentes para frotas de veículos e/ou estrategias de associação de tarefas.

Submitted by Automa??o e Estat?stica (sst@bczm.ufrn.br) on 2016-01-26T21:32:00Z No. of bitstreams: 1 LuizGustavoSantosBezerra_DISSERT.pdf: 3839629 bytes, checksum: 21df0eba070dadcafbbe2b09f7c40495 (MD5) / Approved for entry into archive by Arlan Eloi Leite Silva (eloihistoriador@yahoo.com.br) on 2016-02-02T19:45:35Z (GMT) No. of bitstreams: 1 LuizGustavoSantosBezerra_DISSERT.pdf: 3839629 bytes, checksum: 21df0eba070dadcafbbe2b09f7c40495 (MD5) / Made available in DSpace on 2016-02-02T19:45:35Z (GMT). No. of bitstreams: 1 LuizGustavoSantosBezerra_DISSERT.pdf: 3839629 bytes, checksum: 21df0eba070dadcafbbe2b09f7c40495 (MD5) Previous issue date: 2015-01-26 / Conselho Nacional de Desenvolvimento Cient?fico e Tecnol?gico - CNPq / Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior - CAPES / Este trabalho apresenta o desenvolvimento de um sistema de detec??o e diagn?stico de falhas em sensores de campo com corre??o do sinal com falhas dinamicamente, onde esse sistema ? baseado no conceito de agentes inteligentes, em uma arquitetura de multiagentes. O sistema tem como ambiente de atua??o a rede industrial Foundation Fieldbus. Para realizar a detec??o e o diagn?stico das falhas, s?o utilizados os algoritmos de redes neurais artificiais e l?gica fuzzy (atuando como classificador fuzzy), os quais s?o embarcados na rede industrial Foundation Fieldbus. Al?m disso, de forma a atuar junto ao sistema de detec??o, diagn?stico e corre??o de falhas foi desenvolvido um software que realiza o monitoramento e a supervis?o do mesmo, onde foi instanciado um agente se comunicando com a rede industrial. Os demais agentes s?o instanciados nos blocos funcionais da rede industrial. / This work performs the development of a system of detection and diagnosis of faults in field sensors with dynamically signal correction, which this system is based on the concept of intelligent agents, using architecture of multagents. The system operates in environment industrial network Foundation Fieldbus. To perform the detection and diagnosis of failures are used the algorithms of neural networks and fuzzy logic (acting like a fuzzy classifier), which are embedded in industrial network Foundation Fieldbus. Furthermore, in order to work with the system of detection, diagnosis and correction of failures was developed a software to perform the monitoring and supervision of the system, which was instantiated an agent communicating with the industrial network. The other agents are instantiated on the functional blocks of industrial network.

Fundação Carlos Chagas Filho de Amparo a Pesquisa do Estado do Rio de Janeiro / A modelagem orientada a agentes surge como paradigma no desenvolvimento de software, haja vista a quantidade de iniciativas e estudos que remetem à utilização de agentes de software como solução para tratar de problemas mais complexos. Apesar da popularidade de utilização de agentes, especialistas esbarram na falta de universalidade de uma metodologia para construção dos Sistemas Multiagentes (MAS), pois estas acabam pecando pelo excesso ou falta de soluções para modelar o problema. Esta dissertação propõe o uso de uma Ontologia sobre Metodologias Multiagentes, seguindo os princípios da Engenharia de Métodos Situacionais que se propõe a usar fragmentos de métodos para construção de metodologias baseados na especificidade do projeto em desenvolvimento. O objetivo do estudo é sedimentar o conhecimento na área de Metodologias Multiagentes, auxiliando o engenheiro de software a escolher a melhor metodologia ou o melhor fragmento de metodologia capaz de modelar um Sistema Multiagentes. / The agent-oriented modeling emerges as a paradigm in software development, considering the amount of initiatives and studies that refer to the use of software agents as a solution to address more complex problems. Despite the popularity of using agents, experts bump in the lack of universality of a methodology for the construction of Multiagent Systems (MAS), as they end up sinning by excess or lack of solutions to model the problem. This thesis proposes the use of an Ontology based in Methodologies for Multi-Agent Systems, following the principles of Situational Method Engineering, which proposes to use fragments of methods for constructing methodologies based on the specificity of the development project. The aim of this work is to consolidate the knowledge in the area of Multiagent Methodologies by helping the software engineering to choose the best methodology or the best fragment method able to model a specific Multiagent System.

A presente tese de doutorado está inserida dentro do contexto da área de AOSE – Agent-Oriented Software Engineering, uma área surgida recentemente voltada para a engenharia de software de sistemas multi-agentes que mescla conceitos tanto da Inteligência Artificial como da Engenharia de Software. Esta nova área surgiu devido aos novos desafios enfrentados pelos engenheiros de software ao projetar sistemas multi-agentes, uma vez que este tipo de sistema apresenta características que os diferenciam de outros tipos de software, precisamente o fato de possuírem agentes de software, entidades autônomas e pró-ativas que executam funções no sistema, possuidoras de objetivos próprios e capazes de perceber e agir sobre o ambiente que os cerca sem a intervenção de usuários externos. Este trabalho descreve um metamodelo UML desenvolvido para a modelagem de requisitos funcionais específicos para projetos de sistemas multi-agentes. O seu desenvolvimento baseou-se na constatação de que, apesar de já existirem linguagens derivadas da UML para o projeto de sistemas multi-agentes, nenhuma das linguagens estudadas desenvolveu mecanismos para a modelagem dos requisitos deste tipo de software, o que levou-nos a criar um metamodelo UML para este propósito. No decorrer desta tese serão descritas as linguagens estudadas derivadas da UML para ser aplicadas no projeto de sistemas multi-agentes, o metamodelo desenvolvido, sua adaptação aos princípios de projeto de Vicari (2007), três estudos de caso onde o metamodelo foi aplicado, além de uma proposta de mapeamento dos conceitos definidos no metamodelo para os conceitos das linguagens MAS-ML e AML, bem como uma proposta para a validação do metamodelo e dos diagramas criados por meio dele. / This PhD thesis is inserted within the context of the AOSE (Agent-Oriented Software Engineering) area, a recently-emerged field dealing with the software engineering of multi-agent systems which mixes concepts of Artificial Intelligence and Software Engineering together. This new area emerged from new challenges faced by the software engineers when designing multi-agent systems, since this kind of system presents characteristics that set them apart from other types of software, precisely for including software agents, autonomous and proactive entities that execute functions in the system, owning their own goals and able to perceive and act upon the surrounding environment without the intervention of external users. This work describes a UML metamodel developed for the modeling of the specific functional requirements for multi-agent systems projects. Its development was based on the perception that among the studied UML-derived languages for the multi-agent systems project, none of them had developed mechanisms for requirements modeling on this kind of software, leading us to create a UML metamodel for this purpose. Along this thesis we shall describe the UML-derived languages we studied to be applied in the multi-agent systems project, the developed metamodel, its adaptation to the Vicari (2007) design principles, three case studies on which the metamodel was applied, plus a mapping proposal for the concepts defined in the metamodel into MASML and AML languages concepts, as well as a validation proposal for the metamodel and the diagrams created by means of it.

Aprendizagem por reforço multiagente (do inglês, MARL) é uma tarefa desafiadora em que agentes buscam, concorrentemente, uma política capaz de maximizar sua utilidade. Aprender neste tipo de cenário é difícil porque os agentes devem se adaptar uns aos outros, tornando o objetivo um alvo em movimento. Consequentemente, não existem garantias de convergência para problemas de MARL em geral. Esta tese explora um problema em particular, denominado escolha de rotas (onde motoristas egoístas deve escolher rotas que minimizem seus custos de viagem), em busca de garantias de convergência. Em particular, esta tese busca garantir a convergência de algoritmos de MARL para o equilíbrio dos usuários (onde nenhum motorista consegue melhorar seu desempenho mudando de rota) e para o ótimo do sistema (onde o tempo médio de viagem é mínimo). O principal objetivo desta tese é mostrar que, no contexto de escolha de rotas, é possível garantir a convergência de algoritmos de MARL sob certas condições. Primeiramente, introduzimos uma algoritmo de aprendizagem por reforço baseado em minimização de arrependimento, o qual provamos ser capaz de convergir para o equilíbrio dos usuários Nosso algoritmo estima o arrependimento associado com as ações dos agentes e usa tal informação como sinal de reforço dos agentes. Além do mais, estabelecemos um limite superior no arrependimento dos agentes. Em seguida, estendemos o referido algoritmo para lidar com informações não-locais, fornecidas por um serviço de navegação. Ao usar tais informações, os agentes são capazes de estimar melhor o arrependimento de suas ações, o que melhora seu desempenho. Finalmente, de modo a mitigar os efeitos do egoísmo dos agentes, propomos ainda um método genérico de pedágios baseados em custos marginais, onde os agentes são cobrados proporcionalmente ao custo imposto por eles aos demais. Neste sentido, apresentamos ainda um algoritmo de aprendizagem por reforço baseado em pedágios que, provamos, converge para o ótimo do sistema e é mais justo que outros existentes na literatura. / Multiagent reinforcement learning (MARL) is a challenging task, where self-interested agents concurrently learn a policy that maximise their utilities. Learning here is difficult because agents must adapt to each other, which makes their objective a moving target. As a side effect, no convergence guarantees exist for the general MARL setting. This thesis exploits a particular MARL problem, namely route choice (where selfish drivers aim at choosing routes that minimise their travel costs), to deliver convergence guarantees. We are particularly interested in guaranteeing convergence to two fundamental solution concepts: the user equilibrium (UE, when no agent benefits from unilaterally changing its route) and the system optimum (SO, when average travel time is minimum). The main goal of this thesis is to show that, in the context of route choice, MARL can be guaranteed to converge to the UE as well as to the SO upon certain conditions. Firstly, we introduce a regret-minimising Q-learning algorithm, which we prove that converges to the UE. Our algorithm works by estimating the regret associated with agents’ actions and using such information as reinforcement signal for updating the corresponding Q-values. We also establish a bound on the agents’ regret. We then extend this algorithm to deal with non-local information provided by a navigation service. Using such information, agents can improve their regrets estimates, thus performing empirically better. Finally, in order to mitigate the effects of selfishness, we also present a generalised marginal-cost tolling scheme in which drivers are charged proportional to the cost imposed on others. We then devise a toll-based Q-learning algorithm, which we prove that converges to the SO and that is fairer than existing tolling schemes.

A capacidade de reconfiguração de sistemas de manufatura tem sido procurada pelas empresas para assegurar características de agilidade, eficiência e exibilidade para atender as mudanças de tipo/quantidade de produtos, processos, recursos e, além disso, para assegurar a devida reação à ocorrência de falhas. Por outro lado, a Indústria 4.0\" impõe novos desafios para os sistemas de controle, tais como a integração de tecnologias de interação entre homem e máquina em cadeias de valor compondo uma rede de plantas industriais geograficamente dispersas. O controle de sistemas reconfiguráveis de manufatura deve considerar: (i) funcionalidades de sistemas distribuídos e dispersos, tais como agilidade de resposta às mudanças, autonomia e colaboração entre os componentes para alcançar os objetivos do sistema de forma conjunta; (ii) interfaces para sua interoperabilidade e portabilidade; (iii) modularização para facilitar a manutenção, expansão e atualização do sistema, evitando a sobreposição de escopos; e (iv) mecanismos de controle para supervisionar as ações e interações dos componentes, o diagnóstico e a tomada de decisão. O pleno atendimento a estes requisitos não é trivial e formalismos para o desenvolvimento de soluções devem ser adotados. Uma solução é combinar técnicas voltadas para sistema multiagente e holon com arquitetura orientada a serviço através de uma adequada técnica de modelagem usando extensões de rede de Petri: Production Flow Schema e Input Output Place Transition. Portanto, este trabalho prop~oe uma arquitetura de controle e o método de modelagem de seus componentes para sistemas reconfiguráveis de manufatura combinando estas técnicas e considerando os aspectos de personalização, convertibilidade, escalabilidade, modularidade, integrabilidade, diagnosticabilidade, interoperabilidade e colaboração entre os componentes do sistema de controle, inclusive do homem. Um exemplo de aplicação é apresentado para demonstrar a viabilidade da proposta e comprovar os resultados alcançados. / The reconfiguration ability of the manufacturing systems has been approached by companies to ensure agility, efficiency and exibility characteristics to address the changes of type/quantity of products, processes and resources and, furthermore, to ensure proper reaction to the fault occurrence. On the other hand, the\"Industry 4.0\" imposes new challenges for control systems, such as interaction between man and machine into value chains composing a network of geographically dispersed industrial plants. The control of reconfigurable manufacturing systems should consider: (i) functionalities requirements of distributed and disperse systems, such as responsiveness to changes, autonomy and collaboration among components to achieve the global system aim; (ii) interfaces for interoperability and portability; (iii) modularity to facilitate maintenance, expansion and upgrade of the system, avoiding the overlapping of scopes; and (iv) control mechanisms to supervise the actions and interactions among components, diagnosis and decision making. The compliance with these requirements is not trivial and formalisms to develop solutions must be adopted. A solution is combining techniques based on holonic and multi-agent system with service-oriented architecture through appropriate modeling using Petri net extensions: Production Flow Schema and Input Output Place Transition. Therefore, this paper proposes control architecture and a method to model components for reconfigurable manufacturing systems, combining these techniques and considering aspects of customization, convertibility, scalability, modularity, integrability, diagnosability, interoperability and collaboration among control system components, including humans. An application example is presented to demonstrate the feasibility of the proposal and verify the results.

Engenheiros têm introduzido um melhor suporte para procedimentos de monitoramento de condições complexas através da aplicação de sistemas descentralizados inteligentes usando uma variedade de técnicas de inteligência artificial. Agora é largamente reconhecido que estes problemas decorrentes da complexidade funcional do monitoramento de condições podem ser resolvidos com arquiteturas que contenham muitos módulos distribuídos e inteligentes, que interajam dinamicamente, os quais são chamados de agentes inteligentes. A tecnologia baseada em agentes tem gerado muita agitação nos últimos anos por causa da promessa de ser um novo paradigma na hora de definir os conceitos para modelar e implementar sistemas de controle. O objetivo do presente estudo é implantar esta tecnologia no controle de uma caldeira de recuperação com a finalidade de gerenciar e integrar produção, qualidade e segurança no processo. A caldeira de recuperação tem dois objetivos bem definidos, cada um com suas restrições operacionais: (1) geração de vapor vivo a ser utilizado no processo, e, (2) redução de reagentes inorgânicos para recuperar sulfeto e carbonato de sódio, necessários no ciclo do processo de fabricação de celulose. Cada um destes objetivos é um sistema com funções independentes dentro da caldeira, mas que, no entanto tem seus desempenhos interligados entre si através das variáveis comuns existentes no processo. Esta é exatamente a definição de um sistema agente, ou melhor, de um Sistema Multi-Agente (SMA), no qual não existe uma otimização e sim a busca de uma solução possível. O modelo dinâmico da Caldeira foi simulado em Matlab(TM) Simulink(TM) baseado no modelo matemático da caldeira de recuperação de licor negro B&W (Babcock&Wilcox). O SMA foi desenvolvido utilizando a linguagem de programação JAVA e a plataforma de agentes JADE. / Engineers have been introducing better support for procedures of monitoring complex conditions through the application of intelligent decentralized systems, implementing a variety of artificial intelligent techniques. Nowadays it is vastly known that these problems that are consequence of the functional complexity of monitoring conditioning can be solved trough architectures, built by many intelligent distributed modules, which interact dynamically, known as intelligent agents. Technology based on agents have been creating excitement over the last years because of its promise of being a new paradigm that can be used to define modeling and implementing concepts for control systems. The goal of this thesis is to implement this new technology on controlling a recovery boiler, aiming to manage and integrate production, quality and security to the process. The operation of the recovery boiler has two well defined objectives, each one with its operational constraints: (1) steam production, an important asset in the pulp and paper process, and, (2) reduction of inorganic reagents to recover sulfate and sodium carbonates, the necessary chemicals in the Kraft pulp production. Each one of these functions, is an independent system inside the recovery boiler, however they have their performances connected to each other by common variables present in the process. This is exactly the definition of an agent system, in other words, a definition of a Multi-Agent System (MAS), for which there is not an optimization, but the search for the best possible outcome. The recovery boiler dynamic model was simulated using Matlab(TM) Simulink(TM) based on the mathematic model of B&W (Babcock&Wilcox) recovery boiler of black liquor. The MAS was implemented using JAVA(TM) programming language and JADE(TM) agent platform.