[pt] Esta tese investiga modelos híbridos neuro-fuzzy para aprendizado automático de ações efetuadas por agentes. O objetivo dos modelos é dotar um agente de inteligência, tornando-o capaz de, através da interação com o seu ambiente, adquirir e armazenar o conhecimento e raciocinar (inferir uma ação). O aprendizado desses modelos é realizado através de processo não-supervisionado denominado Aprendizado por Reforço (RL: Reinforcement Learning). Esta nova proposta de modelos neuro-fuzzy apresenta as seguintes características: aprendizado automático da estrutura do modelo; auto-ajuste dos parâmetros associados à estrutura; capacidade de aprender a ação a ser tomada quando o agente está em um determinado estado do ambiente; possibilidade de lidar com um número maior de entradas do que os sistemas neuro-fuzzy tradicionais; e geração de regras lingüísticas com hierarquia. O trabalho envolveu três etapas principais: levantamento bibliográfico e estudo de modelos de aprendizado; definição e implementação de dois novos modelos neuro-fuzzy hierárquicos baseados em RL; e estudo de casos. O levantamento bibliográfico e o estudo de modelos de aprendizado foi feito a partir dos modelos usados em agentes (com o objetivo de ampliar a ação autônoma) e em espaço de estados grande e/ou contínuo. A definição dos dois novos modelos neuro-fuzzy foi motivada pela importância de se estender a capacidade autônoma de agentes através do quesito inteligência, em particular a capacidade de aprendizado. Os modelos foram concebidos a partir do estudo das limitações existentes nos modelos atuais e das características desejáveis para sistemas de aprendizado baseados em RL, em particular quando aplicados a ambientes contínuos e/ou ambientes considerados de grande dimensão. Tais ambientes apresentam uma característica denominada curse of dimensionality que inviabiliza a aplicação direta de métodos tradicionais de RL. Assim sendo, a decisão de se usar uma metodologia de particionamento recursivo, já explorada com excelentes resultados em Souza (1999), que reduz significativamente as limitações dos sistemas neuro-fuzzy existentes, foi de fundamental importância para este trabalho. Optou-se pelos particionamentos BSP e Quadtree/Politree, gerando os dois modelos RL-NFHB (Reinforcement Learning - Neuro-Fuzzy Hierárquico BSP) e RL-NFHP (Reinforcement Learning - Neuro-Fuzzy Hierárquico Politree). Estes dois novos modelos são derivados dos modelos neuro-fuzzy hierárquicos NFHB e NFHQ (Souza, 1999) que utilizam aprendizado supervisionado. Com o uso desses métodos de particionamento, associados ao Reinforcement Learning, obteve-se uma nova classe de Sistemas Neuro-Fuzzy (SNF) que executam, além do aprendizado da estrutura, o aprendizado autônomo das ações a serem tomadas por um agente. Essas características representam um importante diferencial em relação aos sistemas de aprendizado de agentes inteligentes existentes. No estudo de casos, os dois modelos foram testados em 3 aplicações benckmark e uma aplicação em robótica. As aplicações benchmark são referentes a 3 problemas de sistemas de controle: o carro na montanha (mountain cart problem), estacionamento do carro (cart-centering problem) e o pêndulo invertido. A aplicação em robótica utilizou o modelo Khepera. A implementação dos modelos RL-NFHB e RL- NFHP foi feita em linguagem Java em microcomputadores com plataforma Windows 2000. Os testes efetuados demonstram que estes novos modelos se ajustam bem a problemas de sistemas de controle e robótica, apresentando boa generalização e gerando sua própria estrutura hierárquica de regras com interpretação lingüística. Além disso, o aprendizado automático do ambiente dota o agente de inteligência - (base de conhecimento, raciocínio e aprendizado), característica que aumenta a capacidade autônoma deste agente. A área de sistemas neuro-fuzzy hie / [en] This thesis investigates neuro-fuzzy hybrid models for automatic learning of actions taken by agents. The objective of these models is to provide an agent with intelligence, making it capable of acquiring and retaining knowledge and of reasoning (infer an action) by interacting with its environment. Learning in these models is performed by a non-supervised process, called Reinforcement Learning. These novel neuro-fuzzy models have the following characteristics: automatic learning of the model structure; auto-adjustment of parameters associated with the structure; capability of learning the action to be taken when the agent is on a given environment state; possibility of dealing with a larger number of inputs than those of traditional neuro-fuzzy systems; and the generation of hierarchical linguistic rules. This work comprised three main stages: bibliographic survey and study of learning models; definition and implementation of two new hierarchical neurofuzzy models based on Reinforcement Learning; and case studies. The bibliographic survey and the study of learning models considered learning models employed in agents (aiming to enhance the autonomous action) and in large and/or continuous state spaces. The definition of the two new neuro-fuzzy models was motivated by the importance of extending the autonomous capacity of agents through its intelligence, particularly the learning capacity. The models were conceived from the study of the existing limitations in current models, as well as the desirable characteristics for RL-based learning systems, particularly, when applied to continuous and/or high dimension environments. These environments present a characteristic called curse of dimensionality, which makes impracticable the direct application of the traditional RL- methods. Therefore, the decision of using a recursive partitioning methodology (already explored with excellent results in Souza, 1999), which significantly reduces the existing neuro-fuzzy systems limitations, was crucial to this work. The BSP (Binary Space Partitioning) and the Quadtree/Politree partitioning were then chosen, generating the RL-NFHB (Reinforcement Learning - Hierarchical Neuro- Fuzzy BSP) and RL-NFHP (Reinforcement Learning - Hierarchical Neuro-Fuzzy Politree) models. These two new models are derived from the hierarchical neuro-fuzzy models NFHB and NFHQ (Souza, 1999), which use supervised learning. By using these partitioning methods, together with the Reinforcement Learning methodology, a new class of Neuro-Fuzzy Systems (SNF) was obtained, which executes, in addition to structure learning, the autonomous learning of the actions to be taken by an agent. These characteristics represent an important differential when compared to the existing intelligent agents learning systems. In the case studies, the two models were tested in three benchmark applications and one application in robotics. The benchmark applications refer to 3 problems of control systems : the mountain cart problem, cart-centering problem, and the inverted pendulum. The application in robotics made use of the Khepera model. The RL-NFHB and RL-NFHP models were implemented using the Java language in Windows 2000 platform microcomputers. The experiments demonstrate that these new models are suitable for problems of control systems and robotics, presenting a good generalization and generating their own hierarchical structure of rules with linguistic interpretation. Moreover, the automatic environment learning endows the agent with intelligence (knowledge base, reasoning and learning). These are characteristics that increase the autonomous capacity of this agent. The hierarchical neuro-fuzzy systems field was also enhanced by the introduction of reinforcement learning, allowing the learning of hierarchical rules and actions to take place within the same process.

[pt] Esta tese consiste na investigação e no desenvolvimento de estratégias de coordenação inteligente que possam ser integradas a modelos neuro-fuzzy hierárquicos para sistemas de múltiplos agentes em ambientes complexos. Em ambientes dinâmicos ou complexos a organização dos agentes deve se adaptar a mudanças nos objetivos do sistema, na disponibilidade de recursos, nos relacionamentos entre os agentes, e assim por diante. Esta flexibilidade é um problema chave nos sistemas multiagente. O objetivo principal dos modelos propostos é fazer com que múltiplos agentes interajam de forma inteligente entre si em sistemas complexos. Neste trabalho foram desenvolvidos dois novos modelos inteligentes neuro-fuzzy hierárquicos com mecanismo de coordenação para sistemas multiagentes, a saber: modelo Neuro-Fuzzy Hierárquico com Aprendizado por Reforço com mecanismo de coordenação Market-Driven (RL-NFHP-MA-MD); e o Modelo Neuro-Fuzzy Hierárquico com Aprendizado por Reforço com modelo de coordenação por grafos (RL-NFHP-MA-CG). A inclusão de modelos de coordenação ao modelo Neuro-Fuzzy Hierárquicos com Aprendizado por Reforço (RL-NHFP-MA) foi motivada principalmente pela importância de otimizar o desempenho do trabalho em conjunto dos agentes, melhorando os resultados do modelo e visando aplicações mais complexas. Os modelos foram concebidos a partir do estudo das limitações existentes nos modelos atuais e das características desejáveis para sistemas de aprendizado baseados em RL, em particular quando aplicados a ambientes contínuos e/ou ambientes considerados de grande dimensão. Os modelos desenvolvidos foram testados através de basicamente dois estudos de caso: a aplicação benchmark do jogo da presa-predador (Pursuit- Game) e Futebol de robôs (simulado e com agentes robóticos). Os resultados obtidos tanto no jogo da presa-predador quanto no futebol de robô através dos novos modelos RL-NFHP-MA-MD e RL-NFHP-MA-CG para múltiplos agentes se mostraram bastante promissores. Os testes demonstraram que o novo sistema mostrou capacidade de coordenar as ações entre agentes com uma velocidade de convergência quase 30 por cento maior que a versão original. Os resultados de futebol de robô foram obtidos com o modelo RL-NFHP-MA-MD e o modelo RL-NFHP-MA-CG, os resultados são bons em jogos completos como em jogadas específicas, ganhando de times desenvolvidos com outros modelos similares. / [en] This thesis is the research and development of intelligent coordination strategies that can be integrated into models for hierarchical neuro-fuzzy systems of multiple agents in complex environments. In dynamic environments or complex organization of agents must adapt to changes in the objectives of the system, availability of resources, relationships between agents, and so on. This flexibility is a key problem in multiagent systems. The main objective of the proposed models is to make multiple agents interact intelligently with each other in complex systems. In this work we developed two new intelligent neuro-fuzzy models with hierarchical coordination mechanism for multi-agent systems, namely Neuro-Fuzzy Model with Hierarchical Reinforcement Learning with coordination mechanism Market-Driven (RL-NFHP-MA-MD), and Neuro-Fuzzy model with Hierarchical Reinforcement Learning with coordination model for graphs (RL-NFHP-MA-CG). The inclusion of coordination models to model with Neuro-Fuzzy Hierarchical Reinforcement Learning (RL-NHFP-MA) was primarily motivated by the importance of optimizing the performance of the work in all players, improving the model results and targeting more complex applications. The models were designed based on the study of existing limitations in current models and desirable features for learning systems based RL, in particular when applied to continuous environments and/or environments considered large. The developed models were tested primarily through two case studies: application benchmark game of predator-prey ( Pursuit-Game) and Soccer robots (simulated and robotic agents). The results obtained both in the game of predator-prey as in soccer robot through new models RL-NFHP-MA-MD and RL-NFHP-MA-CG for multiple agents proved promising. The tests showed that the new system showed ability to coordinate actions among agents with a convergence rate nearly 30 percent higher than the original version. Results soccer robot were obtained with model RL-NFHP-MA-MD–NFHP-RL and model-CG-MA, the results are good in games played in full as specific winning teams developed with other similar models.

[pt] A energia eólica é uma das alternativas mais promissoras para geração de energia elétrica, pois assegura a diversidade e segurança no fornecimento de energia e atende à necessidade premente de reduzir os níveis de emissão de gases poluentes. Na operação de sistemas elétricos com forte presença de geração eólica é fundamental prever com pelo menos um dia de antecedência os valores futuros (pelo menos horários) da veloci-dade do vento, pois assim pode-se avaliar a disponibilidade de energia para o próximo dia, uma informação útil no despacho das unidades geradoras e no controle do sistema elétrico. A proposta dessa dissertação objetiva especificamente desenvolver modelos de previsão de curto prazo da velocidade do vento, baseado em técnicas de inteligência artificial, modelo da rede neural artificial e neuro-fuzzy adaptativa (ANFIS) e um mode-lo Estatístico composto por um modelo de regressão harmônica e Box-Jenkins. Para aplicação da metodologia considerou-se o município de São João do Cariri (Estado de Paraíba), onde está localizada uma das estações de referência do projeto SONDA (Sis-tema Nacional de Dados Ambientais para o setor de energia). O desempenho dos mode-los rede neural, neuro-fuzzy (ANFIS) e modelo Estatístico são comparados nas previ-sões de 6 horas, 12 horas, 18 h e 24horas a frente. Os resultados obtidos mostram o me-lhor desempenho da modelagem ANFIS e encorajam novos estudos no tema. / [en] Wind power is one of the most promising options for power generation. It ensures the diversity and security of energy supply and meets the pressing need to reduce the levels of emission of polluting gases. In the operation of electrical systems with a strong presence of wind generation, it is essential to provide at least one day in advance the future values (at least hourly) of wind speed, so that we can assess the availability of energy for the next day, a useful information in the order of the generating units and electrical control system. The purpose of this dissertation aims to develop models spe-cifically to develop models to forecast short-term wind speed, based on artificial intelligence techniques, artificial neural network model and adaptive neuro-fuzzy Systems (ANFIS) and a statistical model composed of a harmonic regression model and Box-Jenkins. For application of the methodology, the city of São João do Cariri (State of Paraíba), where a reference station of SONDA project (National Environmental Data for the energy sector) is located, was considered.To apply the methodology was consi-dered the city of the ray tracing model (State of Paraíba), which is located a station ref-erence design (National Environmental Data for the energy sector). The performance of artificial neural network model and adaptive neuro-fuzzy Systems (ANFIS) and a statis-tical model are compared mixed forecasts of 6 hours, 12 hours, 18hours and 24 hours ahead. The results show the best performance of the ANFIS model and encourage fur-ther studies on the subject.

[pt] Os benefícios trazidos pela aplicação de Sistemas Multi-Agentes (SMA) são diversos. Através da computação paralela, agentes podem trabalhar em conjunto para explorar melhor a estrutura descentralizada de uma determinada tarefa e acelerar sua conclusão. Além disso, agentes também podem trocar experiências se comunicando, fornecer alto grau de escalabilidade, através da inclusão de novos agentes quando necessário, e ainda fazer com que agentes assumam as atividades de outros agentes em casos de falha. Vários modelos de agentes desenvolvidos até o momento usam o aprendizado por reforço como algoritmo base no processo de aprendizado. Quando o agente está inserido em ambientes pequenos ou discretos, os resultados obtidos com o uso de métodos como Q-learning são satisfatórios. No entanto, quando o ambiente é grande ou contínuo, o uso de métodos de aprendizado por reforço torna-se inviável, devido à grande dimensão do espaço de estados. Nos SMA, este problema é consideravelmente maior, já que a memória necessária passa a crescer exponencialmente com a quantidade de agentes envolvidos na aplicação. Esta tese teve como finalidade o desenvolvimento de um novo modelo de aprendizado autônomo para Sistemas Multi-Agentes (SMA) visando superar estas limitações. O trabalho foi realizado em três etapas principais: levantamento bibliográfico, seleção e implementação do modelo proposto, e desenvolvimento de estudo de casos. O levantamento bibliográfico contemplou o estudo de agentes inteligentes e Sistemas Multi-Agentes, buscando identificar as propriedades e limitações dos algoritmos já desenvolvidos, as aplicações existentes, e as características desejadas em um SMA. A seleção e utilização de um modelo neuro-fuzzy hierárquico da família RL-NFH foi motivada especialmente pela importância de se estender a autonomia e aprendizado de agentes através do quesito inteligência, e pela sua capacidade de superar limitações presentes em algoritmos de aprendizado por reforço tradicionais. Inicialmente, ao modelo anterior foram adicionados os conceitos de satisfatoriedade e não-dominação, com a finalidade de acelerar o processo de aprendizado do algoritmo. Em seguida, o novo modelo multi-agente foi criado, viabilizando o desenvolvimento de aplicações de natureza tanto cooperativa como competitiva, com múltiplos agentes. Os estudos de caso contemplaram situações distintas de cooperação e competição entre agentes autônomos. Foram implementadas três aplicações distintas: uma aplicação benckmark do jogo da presa-predador (Pursuit-Game); um leilão energia elétrica, em que os fornecedores de energia fazem ofertas para atender à previsão de demanda em um período de tempo determinado; e uma aplicação na área de gerenciamento de projetos, onde agentes inteligentes são criados com o objetivo de fornecer estimativas de duração de atividades e automatizar alguns processos realizados pelo Gerente de Projetos. Em todos os Estudos de Caso, os resultados foram comparados com técnicas convencionais e/ou com o desempenho de outros Sistemas Multi-Agente. Os resultados alcançados pelo novo modelo se mostraram promissores. Os testes evidenciaram que o modelo teve a capacidade de coordenar as ações entre agentes totalmente autônomos em diferentes situações e ambientes. Além disso, o novo modelo mostrou-se genérico e flexível, podendo ser usado no futuro em outras aplicações envolvendo múltiplos agentes. / [en] There are several benefits provided by Multi-Agent Systems (MAS). Through parallel computing, agents can work together to better explore the decentralized structure of a given task and speed up its completion. In addition, agents can also exchange knowledge through communication, provide scalability by adding new agents when appropriate, and replace troubled agents in cases of failures. A great number of existing agent models is based on reinforcement learning algorithms for learning. When the agent works in small or discrete environments, the results obtained with methods such as Qlearning are satisfactory. However, when the environment is large or continuous reinforcement learning methods become unfeasible due to the large state space. In MAS, this problem is considerably greater, since the required memory begins to grow exponentially with the number of agents involved in the application. The main objective of this thesis is to develop a new model of autonomous learning for multi-agents in order to overcome these limitations. The study consisted of three main stages: literature review, new model development and implementation, and case studies. Literature review included the study of intelligent agents and Multi-Agent Systems, seeking to identify the properties and limitations of the algorithms already developed, existing applications, and desired features in the new MAS. The choice of a neuro-fuzzy hierarchical model of the family RL-NFH as a basis was especially motivated by the importance of extending the autonomy and learning of the agents through intelligence. And also, because of its capacity to overcome some of the limitations present in traditional reinforcement learning algorithms. Initially, the concepts of satisficing and non-domination were incorporated into the previous model to accelerate the learning algorithm. Then, the new multi-agent model was elaborated and implemented, enabling the development of cooperative and competitive applications, with multiple agents. Case studies have covered different situations of cooperation and competition between autonomous agents. Three applications were considered: the Pursuit-Game benckmark game, an electricity auction, where energy suppliers make offers to meet forecast demand in a given period of time, and an application in project management area, where intelligent agents are created to provide activity duration estimates and to automate some processes done usually by the Project Manager. In all case studies, results were compared with conventional techniques and/or the performance of other MAS. The results achieved by the new model are encouraging. The tests showed that the new system has the capacity to coordinate actions between fully autonomous agents in different situations and environments. Moreover, the new model is strongly generic and flexible. Due to these properties, it can be used in future in several other applications involving multiple agents.

[pt] Neste trabalho foram desenvolvidos e avaliados métodos com o objetivo de melhorar e acelerar o processo de aprendizado do modelo de Reinforcement Learning Neuro-Fuzzy Hierárquico Politree (RL-NFHP). Este modelo pode ser utilizado para dotar um agente de inteligência através de processo de Aprendizado por Reforço (Reinforcement Learning). O modelo RL-NFHP apresenta as seguintes características: aprendizado automático da estrutura do modelo; auto-ajuste dos parâmetros associados à estrutura; capacidade de aprendizado da ação a ser adotada quando o agente está em um determinado estado do ambiente; possibilidade de lidar com um número maior de entradas do que os sistemas neuro-fuzzy tradicionais; e geração de regras linguísticas com hierarquia. Com intenção de melhorar e acelerar o processo de aprendizado do modelo foram implementadas seis políticas de seleção, sendo uma delas uma inovação deste trabalho (Q-DC-roulette); implementado o método early stopping para determinação automática do fim do treinamento; desenvolvido o eligibility trace cumulativo; criado um método de poda da estrutura, para eliminação de células desnecessárias; além da reescrita do código computacional original. O modelo RL-NFHP modificado foi avaliado em três aplicações: o benchmark Carro na Montanha simulado, conhecido na área de agentes autônomos; uma simulação robótica baseada no robô Khepera; e uma num robô real NXT. Os testes efetuados demonstram que este modelo modificado se ajustou bem a problemas de sistemas de controle e robótica, apresentando boa generalização. Comparado o modelo RL-NFHP modificado com o original, houve aceleração do aprendizado e obtenção de menores modelos treinados. / [en] In this work, methods were developed and evaluated in order to improve and accelerate the learning process of Reinforcement Learning Neuro-Fuzzy Hierarchical Politree Model (RL-NFHP). This model is employed to provide an agent with intelligence, making it autonomous, due to the capacity of ratiocinate (infer actions) and learning, acquired knowledge through interaction with the environment by Reinforcement Learning process. The RL-NFHP model has the following features: automatic learning of structure of the model; self-adjustment of parameters associated with its structure, ability to learn the action to be taken when the agent is in a particular state of the environment; ability to handle a larger number of inputs than the traditional neuro-fuzzy systems; and generation of rules with linguistic interpretable hierarchy. With the aim to improve and accelerate the learning process of the model, six selection action policies were developed, one of them an innovation of this work (Q-DC-roulette); implemented the early stopping method for automatically determining the end of the training; developed a cumulative eligibility trace; created a method of pruning the structure, for removing unnecessary cells; in addition to rewriting the original computer code. The modified RL-NFHP model was evaluated in three applications: the simulated benchmark Car-Mountain problem, well known in the area of autonomous agents; a simulated application in robotics based on the Khepera robot; and an application in a real robot. The experiments show that this modified model fits well the problems of control systems and robotics, with a good generalization. Compared the modified RL-NFHP model with the original one, there was acceleration of learning process and smaller structures of the model trained.