A principal proposta deste trabalho consiste na exploração e definição de bases teóricas e tecnológicas que possam sustentar a utilização do modelo de sistema computacional, chamado de Sociedades Artificiais, como uma ferramenta de aprendizagem. Parte-se do pressuposto de que uma futura implementação desse modelo gerará um tipo específico de ambiente informatizado de aprendizagem que permitirá simulação social, e que, essa simulação social, orientada segundo mecanismo de interação específico, discutido nesse trabalho, será capaz de gerar a aprendizagem significativa de noções sociais. Constata-se que as ferramentas atualmente utilizadas em informática educativa produzem, essencialmente, dois tipos de ganhos: o ganho de tempo, em função da velocidade de processamento dos computadores; e o ganho de espaço de armazenamento e organização, por manipularem-se dados digitalizados. Esses dois ganhos geram ganhos secundários, principalmente relacionados à produtividade, por permitirem o reaproveitamento, reprodução e distribuição de material digitalizado, na construção de material educacional, de forma rápida e com baixo custo operacional. Contudo, esses benefícios, não exploram todo o potencial da natureza computacional da informática. Defende-se a idéia de que Sociedades Artificiais são sistemas computacionais que transcendem os ganhos atuais obtidos em informática educativa, trazendo contribuições significativas para o processo de aprendizagem de noções de interação em ambiente social; por permitirem a interação pró-ativa do aluno com um sistema que produz simulação de interação social complexa não determinista. Portanto, propõe-se uma arquitetura e um modelo de Sociedades Artificiais, juntamente com um mecanismo de interação, que visa à elaboração de um ambiente de aprendizagem informatizado. A metodologia para validação dessa proposição consistirá no estudo teórico e reflexivo das bases conceituais, com ênfase na revisão de Maturana. Acredita-se que o aparato conceitual de Maturana, em particular a Biologia do Conhecer, é suficiente para justificar a elaboração e utilização de Sociedades Artificiais para o enriquecimento do processo de aprendizagem de noções sociais. A contribuição deste trabalho é a produção de material teórico sobre o tema Sociedades Artificiais e a sugestão de um modelo que permite sua utilização em ambientes informatizados de aprendizagem. Sugere-se, em continuidade, a construção de Sociedades Artificiais segundo o modelo aqui apresentado e pesquisas que avaliem os resultados na aprendizagem. / The main proposal of this work consists of the exploration and definition of theoretical and technological basis that can support the use of the computational model system, called Artificial Societies, as a learning tool. It is believed that a future implementation of this model will generate a specific type of a computer based learning environment that will allow social simulation, and this social simulation, guided by the specific interaction engine argued in this work, will be capable to generate a significant learning of social concept. It is established that the tools currently used in educative computer science produce, essentially, two types of benefits: the time benefit, due to the speed processing of the computers and the benefit of storage space and organization, by manipulation of the digital data. These two profits generate secondary gains, mainly related to the productivity, by allowing the reutilization, reproduction and distribution of digital contents, in the construction of educational content, with fast and low operational cost. However, these benefits, do not explore all the potential of the computational nature of computer science. It is considered the idea that Artificial Societies are computational systems that exceed the current advantages in educative computer science, bringing significant contributions in the learning of interactive social notion in social environment, by allowing a pro-active interaction of the apprentice with a system that produces a complex non-determinist simulation of social interaction. Therefore, an architecture and a model of Artificial Societies are considered together with a interactive mechanism that aims at the elaboration of a computer based learning environment. The methodology to validate this proposal will consist of the theoretical and reflective study of the conceptual basis, with emphasis in the revision of Maturana. It is believed that the conceptual base of Maturana, mainly the Biology of Knowledge, is enough to justify the elaboration and use of Artificial Societies in the learning process. The contribution of this work is the production of theoretical material on the subject Artificial Societies and the suggestion of a model that allows its application in computer based learning environments. It is suggested, for future research, the construction of Artificial Societies according to the model presented here, as well as research on the benefits of learning in specific groups that might use such technology.

O rápido crescimento das regiões urbanas tem impacto significativo nos sistemas de tráfego e transportes. Políticas de gerenciamento e estratégias de planejamento alternativas são claramente necessárias para o tratamento da capacidade limitada, e cada vez mais deficitária, das redes viárias. O conceito de Sistemas Inteligentes de Transportes (ITS) surge neste cenário; mais do que procurar aumentar a capacidade por meio de modificações físicas na infraestrutura, sua premissa baseia-se na utilização de tecnologias avançadas de comunicação e computação para melhor gerir os recursos de tráfego e transportes atuais. Influenciar o padrão do comportamento dos usuários é um desafio que tem estimulado muita pesquisa na área de ITS, onde fatores humanos passam a ter grande importância na modelagem, simulação e avaliação dessa abordagem inovadora. Este trabalho tem como foco a utilização de Sistemas Multiagentes (MAS) na representação dos sistemas de tráfego e transporte, com base nas novasmedidas de desempenho impostas pelas tecnologias ITS. As características de agentes têm grande potencial para representar componentes geográfica e funcionalmente distribuídos, como a maioria dos elementos no domínio da aplicação. Uma arquitetura BDI (beliefs, desires, intentions) é apresentada como alternativa a modelos tradicionais, usados para representar o comportamento do motorista em simulação microscópica, considerando-se a representação explícita dos estados mentais dos usuários. Os conceitos básicos de ITS e MAS são apresentados, assim como exemplos de aplicações relacionados com o tema do trabalho. Esta foi a motivação para a extensão de um simulador microscópico existente, no sentido de incorporar as características dos MAS para melhorar a representação dos motoristas. Assim, a demanda é gerada a partir de uma população de agentes, resultando da decisão sobre a rota e o tempo de partida ao longo de vários dias. O modelo estendido, que passa a suportar a interação de motoristas BDI, foi efetivamente implementado e foram executados diferentes experimentos para testar a abordagem em cenários de tráfego urbano. MAS permite uma abordagem direcionada a processos que facilita a construção de representações modulares, robustas, e extensíveis, características pouco presentes em abordagens voltadas ao resultado. Suas premissas de abstração permitem uma associação direta entre modelo e implementação. Incerteza e variabilidade são assim tratadas de maneira mais intuitiva, uma vez que arquiteturas cognitivas permitem uma fácil representação do comportamento humano na estrutura do motorista. Desta forma, MAS estende a simulação microscópica de tráfego no sentido de melhor representar a complexidade inerente às tecnologias ITS. / The rapid growth of urban areas has a significant impact on traffic and transportation systems. New management policies and planning strategies are clearly necessary to cope with the more than ever limited capacity of existing road networks. The concept of Intelligent Transportation System (ITS) arises in this scenario; rather than attempting to increase road capacity by means of physical modifications to the infrastructure, the premise of ITS relies on the use of advanced communication and computer technologies to handle today’s traffic and transportation facilities. Influencing users’ behaviour patterns is a challenge that has stimulated much research in the ITS field, where human factors start gaining great importance to modelling, simulating, and assessing such an innovative approach. This work is aimed at using Multi-agent Systems (MAS) to represent the traffic and transportation systems in the light of the new performance measures brought about by ITS technologies. Agent features have good potentialities to represent those components of a system that are geographically and functionally distributed, such as most components in traffic and transportation. A BDI (beliefs, desires, and intentions) architecture is presented as an alternative to traditional models used to represent the driver behaviour within microscopic simulation allowing for an explicit representation of users’ mental states. Basic concepts of ITS and MAS are presented, as well as some application examples related to the subject. This has motivated the extension of an existing microscopic simulation framework to incorporate MAS features to enhance the representation of drivers. This way demand is generated from a population of agents as the result of their decisions on route and departure time, on a daily basis. The extended simulation model that now supports the interaction of BDI driver agents was effectively implemented, and different experiments were performed to test this approach in commuter scenarios. MAS provides a process-driven approach that fosters the easy construction of modular, robust, and scalable models, characteristics that lack in former result-driven approaches. Its abstraction premises allow for a closer association between the model and its practical implementation. Uncertainty and variability are addressed in a straightforward manner, as an easier representation of humanlike behaviours within the driver structure is provided by cognitive architectures, such as the BDI approach used in this work. This way MAS extends microscopic simulation of traffic to better address the complexity inherent in ITS technologies.

[pt] Este trabalho propõe a criação de um ambiente que dê suporte computacional ao desenvolvimento de sistemas multi- agentes, auxiliando o desenvolvedor durante o ciclo de vida de construção (da modelagem à implementação) destes sistemas. Estaremos utilizando o ANote como linguagem de modelagem para especificação e análise de sistemas multi-agentes e a arquitetura ASYNC para o processo de desenvolvimento. Ocorrendo assim, uma transformação dos diagramas do ANote para a arquitetura ASYNC. / [en] This work considers the creation of an environment that gives to computational support to the development of multi-agents systems, assisting the developer during the cycle of life of construction (the modeling to the implementation) of these systems. We will be using ANote as modeling language for specification and analysis of multi-agents systems and architecture ASYNC for the development process. Thus occurring, a transformation of the diagrams of ANote for architecture ASYNC.

[pt] Nesta dissertação, apresenta-se uma abordagem para regular a interação dos agentes que fazem parte de um sistema multi-agente aberto. Em sistemas abertos, os agentes podem ser não-cooperativos, estão imersos em um ambiente altamente imprevisível e, freqüentemente, os outros agentes que compõem o sistema não são conhecidos a priori. Para algumas classes de aplicações, esta imprevisibilidade não é adequada, podendo levar a falhas de software. Desta forma, é proposta uma abordagem baseada em leis de interação para construir sistemas multi-agentes abertos, onde um controle sobre o comportamento dos agentes é esperado. Propõe-se um modelo conceitual para a especificação da forma como as interações são reguladas em um sistema multi-agente. Este modelo conceitual trata conceitos como cenas, normas e restrições de forma integrada. Além disso, a interação entre os agentes deve ser monitorada e as leis que foram especificadas devem ser aplicadas. Para isto, propõe-se uma linguagem declarativa para a especificação da interação de acordo com os elementos do modelo conceitual e uma infra-estrutura de software que age como mediador das interações garantindo que elas estejam de acordo com as especificações. / [en] In this work, we propose an approach for regulating agents interaction on an open multi-agent system. In open systems, agents are immersed in a highly unpredictable environment, they can be self-interested, and other agents are frequently unknown beforehand. We argue that, in some applications, unexpected behavior may lead to system faults. For this reason, we propose a law enforcement approach to build open multi-agent systems where a certain degree of control over agents behavior is desirable. A conceptual model is proposed to specify how the interactions of an open multi-agent system should happen. This model deals with concepts such as norms, constraints and scenes in a integrated way. We also propose a declarative language that allows the interaction s specification according to the elements that compose the conceptual model, and a software infrastructure that acts as a mediator monitoring and enforcing agents interaction.

[pt] Agentes de Software é uma tecnologia que permite criar simuladores e sistemas inteligentes que tomam decisões automaticamente. A primeira contribuição dessa tese é o MAS-School, um método para modelar e implementar agentes de software inteligentes desde as primeiras fases de desenvolvimento. Esse método também apresenta várias orientações de como incluir aprendizado na fase de design e implementação. O método apresenta no final uma estratégia incremental de desenvolvimento para permitir a avaliação do desempenho das técnicas de machine learning. A segunda contribuição dessa tese é o framework ASYNC. O ASYNC é composto por um conjunto de ferramentas de engenharia de software para auxiliar a construção de sistemas baseados em agentes assíncronos, cooperativos e inteligentes. Esta tese apresenta quatro estudos de casos complexos desenvolvidos com agentes inteligentes para exemplificar o uso do método e framework. A primeira aplicação apresenta um sistema baseado em agentes para criar promoções em um mercado varejista utilizando o conceito de agregação de produtos. A segunda aplicação apresenta um mercado virtual para compra e venda de bens. A terceira aplicação é um sistema multi-agente distribuído para um complexo cenário de procurement em leilões simultâneos e interdependentes. Essa aplicação participou do Trading Agent Competition em 2004 e obteve a terceira colocação. A quarta aplicação é um sistema multi-agente para um Supply Chain Management. / [en] The agent technology is used to develop systems that perform several complex tasks. This thesis presents the MAS-School method for modeling and implementing intelligent agent-based systems. The method presents a systematic approach to support a disciplined introduction of machine learning techniques in multi-agent systems from an early stage of design. The proposed approach encompasses guidelines to both the design and implementation phases of an agent-based system. It is based on an incremental development strategy that largely relies on simulation and testing techniques. This thesis also presents the ASYNC framework that is composed of software engineering tools for building agent based system for asynchronous, cooperative and intelligent agents. This thesis presents four complex applications that used the proposed method and framework in the design and implementation phase. The first case study presents an application that discovers the most appealing offerings for consumers in a retail market. The second case study presents a virtual marketplace for buying and selling goods with automatic negotiation. The third case study is a multi-agent system for a complex procurement scenario with interdependent and simultaneous auctions. This system achieved the third place in the 2004 TAC Classic competition. The fourth case study is a multi-agent system for a PC manufacturer scenario based on sourcing of components, manufacturing of PC's and sales to customers.

[pt] Como um novo e poderoso paradigma para modelagem e implementação de sistemas de software, os sistemas multiagentes necessitam de metodologias, linguagens de modelagem, plataformas de desenvolvimento e linguagens de programação que explorem seus benefícios e características particulares. Contudo, diferentes metodologias, linguagens e plataformas para sistemas multiagentes propõem abstrações variadas e com definições muito diferentes. Nesse contexto, é necessário criar frameworks conceituais que definam as abstrações, seus relacionamentos e seus comportamentos. Como em qualquer novo paradigma para engenharia de software, o sucesso e a difusão de sistemas multiagentes requerem, entre outras tecnologias de software baseadas em agentes, linguagens de modelagem que explorem o uso de abstrações relacionadas a agentes e promovam o refinamento dos modelos de design para código. Esta tese contempla a definição de um framework conceitual para sistemas multiagentes chamado TAO e uma linguagem de modelagem para sistemas multiagentes chamada MAS-ML. Os objetivos desta tese são descrever os aspectos estáticos e dinâmicos das abstrações freqüentemente utilizadas em sistemas multiagentes definindo um framework conceitual, propor uma linguagem de modelagem que descreva diagramas estáticos e dinâmicos para modelar esses aspectos e descrever o refinamento dos modelos estáticos para código. / [en] As a powerful and new paradigm for designing and implementing software systems, multi-agent systems require methodologies, modeling languages, development platforms and programming languages that explore their benefits and their peculiar characteristics. However, different methodologies, languages and platforms for multi-agent systems propose very distinct and varied sets of abstraction. In this context, there is a need for creating a conceptual framework that defines the frequently used multi-agent system abstractions, their relationships and their behavior. As it is the case with any new software engineering paradigm, the successful and widespread deployment of multi-agent systems require modeling languages, among other agent-based software technologies, that explore the use of agentrelated abstractions and promote the traceability from the design models to code. This thesis contemplates the definition of a multi-agent system conceptual framework called TAO and of a multi-agent system modeling language called MAS-ML. Our goals are to describe the structural and dynamic aspects of the abstractions commonly used in multi-agent systems by defining a conceptual framework, to propose a modeling language that describes structural and dynamic diagrams to model such aspects and to present the traceability from the structural models into code.

Ces travaux traitent du suivi de l'activité humaine à travers l'analyse en temps r éel de signaux physiologiques et d'accélé rométrie. Il s'agit de données issues de capteurs ambulatoires ; elles sont bruitées, ambigües, et ne représentent qu'une vision incomplète de la situation. De par la nature des données d'une part, et les besoins fonctionnels de l'application d'autre part, nous considérons que le monde des possibles n'est ni exhaustif ni exclusif, ce qui contraint le mode de raisonnement. Ainsi, nous proposons un raisonnement abductif à base de modèles interconnectés et personnalisés. Ce raisonnement consiste à manipuler un faisceau d'hypothèses au sein d'un cadre dynamique de contraintes, venues tant de l'observateur (en termes d'activités acceptables) que d'exigences non-fonctionnelles, ou portant sur la santé du sujet observé. Le nombre d'hypothèses étudiées à chaque instant est amené à varier, par des mécanismes de Pr édiction-Vérification ; l'adaptation du Cadre participe également à la mise en place d'un pilotage sensible au contexte. Nous proposons un système multi-agent pour représenter ces hypothèses; les agents sont organisés autour d'un environnement partagé qui leur permet d' échanger l'information. Ces échanges et, de manière générale, la détection des contextes d'activation des agents, sont régis par des filtres qui associent une action à des conditions. Le mode de raisonnement et l'organisation de ces agents hétérogènes au sein d'un cadre homogène confèrent au système expressivité, évolutivité et maîtrise des coûts calculatoires. Une implémentation utilisant des données réelles permet d'illustrer les qualités de la proposition. / This proposal deals with human activity monitoring, through the real-time analysis of both physiology data and accelerometry. These data come from ambulatory sensors ; they are noisy and ambiguous, and merely represent a partial and incomplete observation of the current si- tuation. Given the nature of the data on one hand, and the application's required features on the other hand, we consider an Open World of non-exclusive possible situations. This has a restrictive impact on the reasoning engine. We thus propose to use abductive reasoning, based on interconnected and personalized models. This way of reasoning consists in handling a beam of hypotheses, within a dynamic Frame of constraints which come both from the Observer (who defines acceptable situations) and from non-functional expectations, or relating to the observed person's health. The number of hy- potheses at each timestep is wont to vary, by means of Prediction-Verification schemes. The evolution of the Frame leads to context-sensitive adaptive control. We propose a multi-agent system to manage these hypotheses; the agents are organized around a shared environment which allows them to trade information. This interaction and the general detection of activation contexts for the agents are powered and regulated by condition- action filters. The way of reasoning and the organization of heterogeneous agents within a homogeneous Frame lead to a system which we claim to be expressive, evolutive and cost-efficient. An imple- mentation using real sensor data is presented to illustrate these qualities.

Resumo: Neste trabalho apresentam-se dois métodos para serem aplicados na previsão espacial de demanda elétrica, os quais simulam as influências de cargas especiais nas vizinhanças e utilizam os sistemas multiagentes para caracterizar a área de serviço, mostrando assim, a dinâmica dos grupos sociais em uma cidade à procura dos recursos necessários para suas atividades. O primeiro sistema multiagente foi desenvolvido para obter a previsão espacial de demanda elétrica de toda área de serviço e o segundo sistema multiagente modela a influência de cargas especiais nas vizinhanças. Estes sistemas apresentam um caráter estocástico, para simular a estocasticidade dos usuários nos sistemas de distribuição. Os métodos apresentados consideram a disponibilidade atual de dados nas empresas do setor, usando só o banco de dados comercial da empresa de serviço elétrico e o conjunto de dados georreferenciados dos elementos da rede. Uma das contribuições deste trabalho é de utilizar um número real para representar a demanda elétrica esperada de cada subárea fornecendo, deste modo, um melhor dado de entrada para realizar o planejamento de expansão da rede elétrica. A metodologia proposta foi testada em um sistema real de uma cidade de médio porte. Como resultados são gerados mapas de cenários futuros de previsão espacial de demanda para a área de estudo, que mostram a localização espaço-temporal das novas cargas. Cada mapa mostra as subáreas onde a nova demanda é esperada, com um número real para o valor da quantidade desta demanda. Os resultados obtidos variam entre 5 a 10 % em diferentes simulações, quando comparadas com as fornecidas pelo departamento de planejamento da empresa elétrica que aplica uma metodologia manual, que utiliza o conhecimento e as decisões do planejador para determinar o crescimento da demanda. / Abstract: This paper presents two methods to be applied in the spatial electric load forecasting, which simulate the influences of special loads in the vicinity and use the multi-agent systems to characterize the service area, thus showing the dynamics of social groups in a city seeking the necessary resources for their activities. The first multi-agent system was developed for the spatial electric load forecasting of the entire service area and the second multi-agent system models the influence of special load in the vicinity. These systems have a stochastic character, to simulate the stochasticity of users in distribution systems. The method presented in this work considers that the utilities have access only to basic information, using only the commercial consumer database and georeferenced data set of the network elements. One of the contributions of this work is to use a real number to represent the expected demand in each subarea providing thus a better input data to perform the expansion planning of the distribution systems grid. The proposed methodology was tested in a real system of a midsize city. As results are generated maps of forecast future scenarios of spatial demand for the study area, showing the location of the new space-time loads. Each map shows the subareas where the new demand is expected, with a real number to the value of the quantity of demand. The results vary between 5 to 10% in different simulations, when compared with those provided by the planning department electrical distribution utility that applies an electric manual, which uses the knowledge and decisions of the planner to determine the growth of demand. / Orientador: Antonio Padilha Feltrin / Coorientador: Edgar Manuel Carreño Franco / Banca: Carlos Roberto Minussi / Banca: Sérgio Luís Haffner / Mestre

Fundação Carlos Chagas Filho de Amparo a Pesquisa do Estado do Rio de Janeiro / A modelagem orientada a agentes surge como paradigma no desenvolvimento de software, haja vista a quantidade de iniciativas e estudos que remetem à utilização de agentes de software como solução para tratar de problemas mais complexos. Apesar da popularidade de utilização de agentes, especialistas esbarram na falta de universalidade de uma metodologia para construção dos Sistemas Multiagentes (MAS), pois estas acabam pecando pelo excesso ou falta de soluções para modelar o problema. Esta dissertação propõe o uso de uma Ontologia sobre Metodologias Multiagentes, seguindo os princípios da Engenharia de Métodos Situacionais que se propõe a usar fragmentos de métodos para construção de metodologias baseados na especificidade do projeto em desenvolvimento. O objetivo do estudo é sedimentar o conhecimento na área de Metodologias Multiagentes, auxiliando o engenheiro de software a escolher a melhor metodologia ou o melhor fragmento de metodologia capaz de modelar um Sistema Multiagentes. / The agent-oriented modeling emerges as a paradigm in software development, considering the amount of initiatives and studies that refer to the use of software agents as a solution to address more complex problems. Despite the popularity of using agents, experts bump in the lack of universality of a methodology for the construction of Multiagent Systems (MAS), as they end up sinning by excess or lack of solutions to model the problem. This thesis proposes the use of an Ontology based in Methodologies for Multi-Agent Systems, following the principles of Situational Method Engineering, which proposes to use fragments of methods for constructing methodologies based on the specificity of the development project. The aim of this work is to consolidate the knowledge in the area of Multiagent Methodologies by helping the software engineering to choose the best methodology or the best fragment method able to model a specific Multiagent System.

Made available in DSpace on 2014-12-17T14:54:54Z (GMT). No. of bitstreams: 1 DennisBA_TESE.pdf: 1043376 bytes, checksum: 6b47eea8aa7b8a53ea716b636db4663b (MD5) Previous issue date: 2009-03-19 / Conselho Nacional de Desenvolvimento Cient?fico e Tecnol?gico / We propose a new paradigm for collective learning in multi-agent systems (MAS) as a solution to the problem in which several agents acting over the same environment must learn how to perform tasks, simultaneously, based on feedbacks given by each one of the other agents. We introduce the proposed paradigm in the form of a reinforcement learning algorithm, nominating it as reinforcement learning with influence values. While learning by rewards, each agent evaluates the relation between the current state and/or action executed at this state (actual believe) together with the reward obtained after all agents that are interacting perform their actions. The reward is a result of the interference of others. The agent considers the opinions of all its colleagues in order to attempt to change the values of its states and/or actions. The idea is that the system, as a whole, must reach an equilibrium, where all agents get satisfied with the obtained results. This means that the values of the state/actions pairs match the reward obtained by each agent. This dynamical way of setting the values for states and/or actions makes this new reinforcement learning paradigm the first to include, naturally, the fact that the presence of other agents in the environment turns it a dynamical model. As a direct result, we implicitly include the internal state, the actions and the rewards obtained by all the other agents in the internal state of each agent. This makes our proposal the first complete solution to the conceptual problem that rises when applying reinforcement learning in multi-agent systems, which is caused by the difference existent between the environment and agent models. With basis on the proposed model, we create the IVQ-learning algorithm that is exhaustive tested in repetitive games with two, three and four agents and in stochastic games that need cooperation and in games that need collaboration. This algorithm shows to be a good option for obtaining solutions that guarantee convergence to the Nash optimum equilibrium in cooperative problems. Experiments performed clear shows that the proposed paradigm is theoretical and experimentally superior to the traditional approaches. Yet, with the creation of this new paradigm the set of reinforcement learning applications in MAS grows up. That is, besides the possibility of applying the algorithm in traditional learning problems in MAS, as for example coordination of tasks in multi-robot systems, it is possible to apply reinforcement learning in problems that are essentially collaborative / Propomos um novo paradigma de aprendizado coletivo em sistemas multi-agentes (SMA) como uma solu??o para o problema em que v?rios agentes devem aprender como realizar tarefas agindo sobre um mesmo ambiente, simultaneamente, baseando-se em retornos fornecidos por cada um dos outros agentes. Introduzimos o paradigma proposto na forma do algoritmo de aprendizado por refor?o, denominando-o de aprendizado por refor?o com valores de influ?ncia. Cada agente aprendendo por refor?o avalia a rela??o existente entre o valor do seu estado atual e/ou a a??o executada no estado (cren?as atuais) junto com a recompensa obtida ap?s todos os agentes que est?o interagindo executarem suas a??es (resultado da interfer?ncia dos outros). O agente pondera as opini?es de todos os seus colegas na tentativa de mudar os valores dos seus estados e/ou a??es. A id?ia ? que o sistema como um todo deve chegar a um equil?brio, onde todos os agentes se sentem satisfeitos com os resultados obtidos, significando que os valores dos estados ou pares estado/a??o casam-se com a recompensa obtida por cada agente. Esta forma din?mica de atualizar o valor dos estados e/ou a??es faz deste novo paradigma de aprendizado por refor?o o primeiro a incluir, naturalmente, o fato de que a presen?a de outros agentes no ambiente o torna din?mico. Como resultado direto, inclu?mos implicitamente o estado interno, as a??es e a recompensa obtida por todos os outros agentes dentro do estado interno de cada agente. Isso faz de nossa proposta a primeira solu??o completa para o problema conceitual que surge ao aplicar aprendizado por refor?o em sistemas multi-agente, causado pela diferen?a existente entre o modelo do ambiente e o modelo do agente. Com base no modelo proposto, criamos o algoritmo IVQ-Learning, testado exaustivamente em jogos repetitivos com dois, tr?s e quatro agentes e em jogos estoc?sticos que exijam coopera??o e em jogos que exijam colabora??o. Este algoritmo mostra-se como uma boa op??o na tentativa de obter solu??es que garantam a converg?ncia para o equil?brio de Nash ?timo em problemas cooperativos. Os experimentos realizados deixam claro que o paradigma proposto ? te?rica e experimentalmente superior aos paradigmas tradicionais. Ainda, com a cria??o deste novo paradigma, o conjunto de aplica??es de aprendizado por refor?o em SMA foi ampliado. Ou seja, al?m da possibilidade de aplicar os algoritmos nos problemas tradicionais de aprendizado em SMA, como por exemplo coordena??o de tarefas em sistemas multi-rob?, ? poss?vel aplicar aprendizado por refor?o nos problemas essencialmente colaborativos