[pt] Confiança é um aspecto fundamental em sistemas distribuídos abertos de larga-escala. Ela está no núcleo de todas as interações entre as entidades que precisam operar em ambientes com muita incerteza e que se modificam constantemente. Dada essa complexidade, esses componentes, e o sistema resultante, são cada vez mais contextualizados, desenhados e construídos usando técnicas baseadas em agentes. Portanto, confiança é fundamental em um sistema multi-agentes (MAS) aberto. Logo, este trabalho investiga como se ter um modelo de confiança explicitamente em um agente inteligente, que possui crenças (Beliefs), desejos (Desires) e intenções (Intentions), chamado de agente BDI. Ou seja, o agente passa a ter um quarto componente chamado confiança (Trust). Dessa forma, é necessário uma lógica para englobar o conceito de confiança em um MAS BDI aberto. Isso é feito usando uma lógica multi-modal indexada, onde os mundos possíveis que modelam um sistema multi-agentes representam quais agentes estão presentes em um dado instante de tempo. E, para cada uma três componentes originais de um agente BDI, há também uma representação de mundos possíveis, pois as mesmas são tratadas como modalidades. Já a confiança é modelada como sendo um predicado, e não uma modalidade. / [en] Trust is a fundamental concern in large-escale open distributed sytems. It lies at the core of all interactios between the entities that have to operate in such uncertain and constantly changing environmonts. Given the complexity of the interactions, these components, and the ensuing system, are increasingly being conceptualised, desined, and built using agent-based techiques. Therefore, the presence of trust is imperative in a multi-agent system (MAS). Consequently, this work studies how to have a explicit trust model in intelligent agent, which has beliefs, desires and intentions (BDI agent). Thas is, the agent now has a fourth component called Trust. This way, a logic to include the concept of trust in an open BDI MAS is interesting, so that the different aspects of a trust model can be expressed formally and accuratelly. This is achieved by using an indexed multi-modal logic, where the possible worlds which model a multi-agent system represent which agents are in the system in a given moment. Moreover, for each one of the three original components of a BDI agent, where the components represent beliefs, desires and intentions, there is a representation of possible worlds, because these are treated as modalities. However, trust is modelled as predicate, not as a modality.

[pt] Esta obra compreende a utilização de Máquinas de Estados Hierárquicas na definição e no controle de comportamento de agentes inteligentes para jogos eletrônicos. Esse tipo de Máquina de Estados permite reduções drásticas no número de transições quando comparada com uma Máquina de Estados não hierárquica que implemente o mesmo comportamento; além disso, oferece uma maneira mais intuitiva de se definir e entender representações gráficas de Máquinas de Estados compostas por muitos estados, típicas de agentes de jogos que necessitam de comportamento reativo complexo. / [en] This work comprehends the use of Hierarchical State Machines in the definition and control of behavior pertaining to intelligent agents in electronic games. This type of State Machine permits drastic reductions in the number of transitions when compared to a non-hierarchical State Machine that implements the same behavior; besides, it offers a more intuitive manner for defining and understanding graphical representations of State Machines consisting of many states, a typical scenario in game agents that need to exhibit complex reactive behavior.

[pt] Esta tese investiga modelos híbridos neuro-fuzzy para aprendizado automático de ações efetuadas por agentes. O objetivo dos modelos é dotar um agente de inteligência, tornando-o capaz de, através da interação com o seu ambiente, adquirir e armazenar o conhecimento e raciocinar (inferir uma ação). O aprendizado desses modelos é realizado através de processo não-supervisionado denominado Aprendizado por Reforço (RL: Reinforcement Learning). Esta nova proposta de modelos neuro-fuzzy apresenta as seguintes características: aprendizado automático da estrutura do modelo; auto-ajuste dos parâmetros associados à estrutura; capacidade de aprender a ação a ser tomada quando o agente está em um determinado estado do ambiente; possibilidade de lidar com um número maior de entradas do que os sistemas neuro-fuzzy tradicionais; e geração de regras lingüísticas com hierarquia. O trabalho envolveu três etapas principais: levantamento bibliográfico e estudo de modelos de aprendizado; definição e implementação de dois novos modelos neuro-fuzzy hierárquicos baseados em RL; e estudo de casos. O levantamento bibliográfico e o estudo de modelos de aprendizado foi feito a partir dos modelos usados em agentes (com o objetivo de ampliar a ação autônoma) e em espaço de estados grande e/ou contínuo. A definição dos dois novos modelos neuro-fuzzy foi motivada pela importância de se estender a capacidade autônoma de agentes através do quesito inteligência, em particular a capacidade de aprendizado. Os modelos foram concebidos a partir do estudo das limitações existentes nos modelos atuais e das características desejáveis para sistemas de aprendizado baseados em RL, em particular quando aplicados a ambientes contínuos e/ou ambientes considerados de grande dimensão. Tais ambientes apresentam uma característica denominada curse of dimensionality que inviabiliza a aplicação direta de métodos tradicionais de RL. Assim sendo, a decisão de se usar uma metodologia de particionamento recursivo, já explorada com excelentes resultados em Souza (1999), que reduz significativamente as limitações dos sistemas neuro-fuzzy existentes, foi de fundamental importância para este trabalho. Optou-se pelos particionamentos BSP e Quadtree/Politree, gerando os dois modelos RL-NFHB (Reinforcement Learning - Neuro-Fuzzy Hierárquico BSP) e RL-NFHP (Reinforcement Learning - Neuro-Fuzzy Hierárquico Politree). Estes dois novos modelos são derivados dos modelos neuro-fuzzy hierárquicos NFHB e NFHQ (Souza, 1999) que utilizam aprendizado supervisionado. Com o uso desses métodos de particionamento, associados ao Reinforcement Learning, obteve-se uma nova classe de Sistemas Neuro-Fuzzy (SNF) que executam, além do aprendizado da estrutura, o aprendizado autônomo das ações a serem tomadas por um agente. Essas características representam um importante diferencial em relação aos sistemas de aprendizado de agentes inteligentes existentes. No estudo de casos, os dois modelos foram testados em 3 aplicações benckmark e uma aplicação em robótica. As aplicações benchmark são referentes a 3 problemas de sistemas de controle: o carro na montanha (mountain cart problem), estacionamento do carro (cart-centering problem) e o pêndulo invertido. A aplicação em robótica utilizou o modelo Khepera. A implementação dos modelos RL-NFHB e RL- NFHP foi feita em linguagem Java em microcomputadores com plataforma Windows 2000. Os testes efetuados demonstram que estes novos modelos se ajustam bem a problemas de sistemas de controle e robótica, apresentando boa generalização e gerando sua própria estrutura hierárquica de regras com interpretação lingüística. Além disso, o aprendizado automático do ambiente dota o agente de inteligência - (base de conhecimento, raciocínio e aprendizado), característica que aumenta a capacidade autônoma deste agente. A área de sistemas neuro-fuzzy hie / [en] This thesis investigates neuro-fuzzy hybrid models for automatic learning of actions taken by agents. The objective of these models is to provide an agent with intelligence, making it capable of acquiring and retaining knowledge and of reasoning (infer an action) by interacting with its environment. Learning in these models is performed by a non-supervised process, called Reinforcement Learning. These novel neuro-fuzzy models have the following characteristics: automatic learning of the model structure; auto-adjustment of parameters associated with the structure; capability of learning the action to be taken when the agent is on a given environment state; possibility of dealing with a larger number of inputs than those of traditional neuro-fuzzy systems; and the generation of hierarchical linguistic rules. This work comprised three main stages: bibliographic survey and study of learning models; definition and implementation of two new hierarchical neurofuzzy models based on Reinforcement Learning; and case studies. The bibliographic survey and the study of learning models considered learning models employed in agents (aiming to enhance the autonomous action) and in large and/or continuous state spaces. The definition of the two new neuro-fuzzy models was motivated by the importance of extending the autonomous capacity of agents through its intelligence, particularly the learning capacity. The models were conceived from the study of the existing limitations in current models, as well as the desirable characteristics for RL-based learning systems, particularly, when applied to continuous and/or high dimension environments. These environments present a characteristic called curse of dimensionality, which makes impracticable the direct application of the traditional RL- methods. Therefore, the decision of using a recursive partitioning methodology (already explored with excellent results in Souza, 1999), which significantly reduces the existing neuro-fuzzy systems limitations, was crucial to this work. The BSP (Binary Space Partitioning) and the Quadtree/Politree partitioning were then chosen, generating the RL-NFHB (Reinforcement Learning - Hierarchical Neuro- Fuzzy BSP) and RL-NFHP (Reinforcement Learning - Hierarchical Neuro-Fuzzy Politree) models. These two new models are derived from the hierarchical neuro-fuzzy models NFHB and NFHQ (Souza, 1999), which use supervised learning. By using these partitioning methods, together with the Reinforcement Learning methodology, a new class of Neuro-Fuzzy Systems (SNF) was obtained, which executes, in addition to structure learning, the autonomous learning of the actions to be taken by an agent. These characteristics represent an important differential when compared to the existing intelligent agents learning systems. In the case studies, the two models were tested in three benchmark applications and one application in robotics. The benchmark applications refer to 3 problems of control systems : the mountain cart problem, cart-centering problem, and the inverted pendulum. The application in robotics made use of the Khepera model. The RL-NFHB and RL-NFHP models were implemented using the Java language in Windows 2000 platform microcomputers. The experiments demonstrate that these new models are suitable for problems of control systems and robotics, presenting a good generalization and generating their own hierarchical structure of rules with linguistic interpretation. Moreover, the automatic environment learning endows the agent with intelligence (knowledge base, reasoning and learning). These are characteristics that increase the autonomous capacity of this agent. The hierarchical neuro-fuzzy systems field was also enhanced by the introduction of reinforcement learning, allowing the learning of hierarchical rules and actions to take place within the same process.

[pt] Os benefícios trazidos pela aplicação de Sistemas Multi-Agentes (SMA) são diversos. Através da computação paralela, agentes podem trabalhar em conjunto para explorar melhor a estrutura descentralizada de uma determinada tarefa e acelerar sua conclusão. Além disso, agentes também podem trocar experiências se comunicando, fornecer alto grau de escalabilidade, através da inclusão de novos agentes quando necessário, e ainda fazer com que agentes assumam as atividades de outros agentes em casos de falha. Vários modelos de agentes desenvolvidos até o momento usam o aprendizado por reforço como algoritmo base no processo de aprendizado. Quando o agente está inserido em ambientes pequenos ou discretos, os resultados obtidos com o uso de métodos como Q-learning são satisfatórios. No entanto, quando o ambiente é grande ou contínuo, o uso de métodos de aprendizado por reforço torna-se inviável, devido à grande dimensão do espaço de estados. Nos SMA, este problema é consideravelmente maior, já que a memória necessária passa a crescer exponencialmente com a quantidade de agentes envolvidos na aplicação. Esta tese teve como finalidade o desenvolvimento de um novo modelo de aprendizado autônomo para Sistemas Multi-Agentes (SMA) visando superar estas limitações. O trabalho foi realizado em três etapas principais: levantamento bibliográfico, seleção e implementação do modelo proposto, e desenvolvimento de estudo de casos. O levantamento bibliográfico contemplou o estudo de agentes inteligentes e Sistemas Multi-Agentes, buscando identificar as propriedades e limitações dos algoritmos já desenvolvidos, as aplicações existentes, e as características desejadas em um SMA. A seleção e utilização de um modelo neuro-fuzzy hierárquico da família RL-NFH foi motivada especialmente pela importância de se estender a autonomia e aprendizado de agentes através do quesito inteligência, e pela sua capacidade de superar limitações presentes em algoritmos de aprendizado por reforço tradicionais. Inicialmente, ao modelo anterior foram adicionados os conceitos de satisfatoriedade e não-dominação, com a finalidade de acelerar o processo de aprendizado do algoritmo. Em seguida, o novo modelo multi-agente foi criado, viabilizando o desenvolvimento de aplicações de natureza tanto cooperativa como competitiva, com múltiplos agentes. Os estudos de caso contemplaram situações distintas de cooperação e competição entre agentes autônomos. Foram implementadas três aplicações distintas: uma aplicação benckmark do jogo da presa-predador (Pursuit-Game); um leilão energia elétrica, em que os fornecedores de energia fazem ofertas para atender à previsão de demanda em um período de tempo determinado; e uma aplicação na área de gerenciamento de projetos, onde agentes inteligentes são criados com o objetivo de fornecer estimativas de duração de atividades e automatizar alguns processos realizados pelo Gerente de Projetos. Em todos os Estudos de Caso, os resultados foram comparados com técnicas convencionais e/ou com o desempenho de outros Sistemas Multi-Agente. Os resultados alcançados pelo novo modelo se mostraram promissores. Os testes evidenciaram que o modelo teve a capacidade de coordenar as ações entre agentes totalmente autônomos em diferentes situações e ambientes. Além disso, o novo modelo mostrou-se genérico e flexível, podendo ser usado no futuro em outras aplicações envolvendo múltiplos agentes. / [en] There are several benefits provided by Multi-Agent Systems (MAS). Through parallel computing, agents can work together to better explore the decentralized structure of a given task and speed up its completion. In addition, agents can also exchange knowledge through communication, provide scalability by adding new agents when appropriate, and replace troubled agents in cases of failures. A great number of existing agent models is based on reinforcement learning algorithms for learning. When the agent works in small or discrete environments, the results obtained with methods such as Qlearning are satisfactory. However, when the environment is large or continuous reinforcement learning methods become unfeasible due to the large state space. In MAS, this problem is considerably greater, since the required memory begins to grow exponentially with the number of agents involved in the application. The main objective of this thesis is to develop a new model of autonomous learning for multi-agents in order to overcome these limitations. The study consisted of three main stages: literature review, new model development and implementation, and case studies. Literature review included the study of intelligent agents and Multi-Agent Systems, seeking to identify the properties and limitations of the algorithms already developed, existing applications, and desired features in the new MAS. The choice of a neuro-fuzzy hierarchical model of the family RL-NFH as a basis was especially motivated by the importance of extending the autonomy and learning of the agents through intelligence. And also, because of its capacity to overcome some of the limitations present in traditional reinforcement learning algorithms. Initially, the concepts of satisficing and non-domination were incorporated into the previous model to accelerate the learning algorithm. Then, the new multi-agent model was elaborated and implemented, enabling the development of cooperative and competitive applications, with multiple agents. Case studies have covered different situations of cooperation and competition between autonomous agents. Three applications were considered: the Pursuit-Game benckmark game, an electricity auction, where energy suppliers make offers to meet forecast demand in a given period of time, and an application in project management area, where intelligent agents are created to provide activity duration estimates and to automate some processes done usually by the Project Manager. In all case studies, results were compared with conventional techniques and/or the performance of other MAS. The results achieved by the new model are encouraging. The tests showed that the new system has the capacity to coordinate actions between fully autonomous agents in different situations and environments. Moreover, the new model is strongly generic and flexible. Due to these properties, it can be used in future in several other applications involving multiple agents.

[pt] Neste trabalho foram desenvolvidos e avaliados métodos com o objetivo de melhorar e acelerar o processo de aprendizado do modelo de Reinforcement Learning Neuro-Fuzzy Hierárquico Politree (RL-NFHP). Este modelo pode ser utilizado para dotar um agente de inteligência através de processo de Aprendizado por Reforço (Reinforcement Learning). O modelo RL-NFHP apresenta as seguintes características: aprendizado automático da estrutura do modelo; auto-ajuste dos parâmetros associados à estrutura; capacidade de aprendizado da ação a ser adotada quando o agente está em um determinado estado do ambiente; possibilidade de lidar com um número maior de entradas do que os sistemas neuro-fuzzy tradicionais; e geração de regras linguísticas com hierarquia. Com intenção de melhorar e acelerar o processo de aprendizado do modelo foram implementadas seis políticas de seleção, sendo uma delas uma inovação deste trabalho (Q-DC-roulette); implementado o método early stopping para determinação automática do fim do treinamento; desenvolvido o eligibility trace cumulativo; criado um método de poda da estrutura, para eliminação de células desnecessárias; além da reescrita do código computacional original. O modelo RL-NFHP modificado foi avaliado em três aplicações: o benchmark Carro na Montanha simulado, conhecido na área de agentes autônomos; uma simulação robótica baseada no robô Khepera; e uma num robô real NXT. Os testes efetuados demonstram que este modelo modificado se ajustou bem a problemas de sistemas de controle e robótica, apresentando boa generalização. Comparado o modelo RL-NFHP modificado com o original, houve aceleração do aprendizado e obtenção de menores modelos treinados. / [en] In this work, methods were developed and evaluated in order to improve and accelerate the learning process of Reinforcement Learning Neuro-Fuzzy Hierarchical Politree Model (RL-NFHP). This model is employed to provide an agent with intelligence, making it autonomous, due to the capacity of ratiocinate (infer actions) and learning, acquired knowledge through interaction with the environment by Reinforcement Learning process. The RL-NFHP model has the following features: automatic learning of structure of the model; self-adjustment of parameters associated with its structure, ability to learn the action to be taken when the agent is in a particular state of the environment; ability to handle a larger number of inputs than the traditional neuro-fuzzy systems; and generation of rules with linguistic interpretable hierarchy. With the aim to improve and accelerate the learning process of the model, six selection action policies were developed, one of them an innovation of this work (Q-DC-roulette); implemented the early stopping method for automatically determining the end of the training; developed a cumulative eligibility trace; created a method of pruning the structure, for removing unnecessary cells; in addition to rewriting the original computer code. The modified RL-NFHP model was evaluated in three applications: the simulated benchmark Car-Mountain problem, well known in the area of autonomous agents; a simulated application in robotics based on the Khepera robot; and an application in a real robot. The experiments show that this modified model fits well the problems of control systems and robotics, with a good generalization. Compared the modified RL-NFHP model with the original one, there was acceleration of learning process and smaller structures of the model trained.

[pt] Recentemente, a indústria de jogos tem demonstrado crescente interesse no desenvolvimento de jogos que utilizam técnicas sofisticadas de Inteligência Artificial (IA). Verifica-se, dessa forma, o surgimento de jogos mais realistas, tanto no aspecto gráfico quanto no comportamento dos personagens. O jogo Black&White (B e W), desenvolvido pela empresa Lionhead Studios, é considerado um exemplo importante da utilização de técnicas de IA em jogos, e obteve um grande sucesso. Parte desse sucesso se deve ao fato de haver revelado uma interessante arquitetura deliberativa para agentes computacionais, baseada no modelo de agentes deliberativos chamado BDI (Belief, Desire and Intention, ou Crença, Desejo e Intenção). O presente trabalho visa desenvolver um estudo sobre a arquitetura utilizada no jogo B e W, e também sobre a interação de personagens que utilizam as técnicas presentes nesta arquitetura. Esta interação envolverá a utilização de um protocolo inspirado na linguagem de comunicação chamada KQML (Knowledge Query and Manipulation Language, ou Linguagem de Consulta e Manipulação de Conhecimento). / [en] Recently the game industry has been demonstrating much interest in the development of games that use more powerful Artificial Intelligence (AI) techniques. In this way, many games have been developed with more realistic graphics and character behavior. The game Black and White (B and W), developed by Lionhead Studios, is considered an important example of the use of AI techniques in games, and has resulted in a great success, disclosing a very interesting deliberative architecture for computational agents. Such architecture is based on the deliberative model called BDI (Belief, Desire and Intention). The present work aims to develop a study on the architecture used in game B&W, and also on the interaction of characters that use the techniques applied in this architecture. This interaction will use a protocol inspired on the communication language KQML (Knowledge Query and Manipulation Language).