Orientador: José Alfredo Covolan Ulson / Banca: Rogério Andrade Flauzino / Banca: Fabrício Guimarães Baptista / Resumo: O monitoramento e a localização precoce de descargas parciais em aparelhos de alta tensão, como nos transformadores de potência, são de fundamental importância para a prevenção de problemas funcionais associados à degradação contínua dos materiais que compõe o isolamento elétrico destes tipos de aparelho. Alguns fatores críticos na operação dos transformadores, como o funcionamento em sobrecarga, superaquecimento, transitórios e sinais elétricos de grande conteúdo harmônico vinculados a sistemas chaveados, em longo prazo, fazem com que o sistema de isolação de um transformador apresente degradação de suas propriedades físicas e químicas intrínsecas aos diversos tipos de materiais utilizados para esta finalidade e, deste modo, surjam descargas parciais. Este trabalho teve como objetivo aplicar sensores piezelétricos de baixo custo para a identificação e localização de descargas parciais em transformadores de potência por meio de sistemas inteligentes do tipo Redes Neurais e sistema de inferência neuro fuzzy adaptativos. Ambos os sistemas foram treinados com algumas métricas de processamento de sinais e os resultados de erro médio de localização chegaram na casa dos milímetros. Variou-se o número de sensores acoplados e foi realizado um estudo sobre os resultados de localização obtidos. / Abstract: Partial discharge damages in power transformers require high cost monitoring procedures based on corrective maintenance or even interruptions of the power system. The development of online non-invasive monitoring systems to detect partial discharges in power transformers has great relevance since it can reduce significant maintenance costs. Some critical factors in the operation of transformers such as overload, nonlinear loads, transient voltage surges by atmospheric origin and switching, can make the insulation system of transformers to lose their physical and chemical properties. Therefore, these operating conditions can cause early deterioration of the insulation, causing internal partial discharges that may develop into major defects and thus shorten the useful life of electrical equipment. This research aimed to apply a low cost piezoelectric sensors for partial discharge identification and location in power transformers through intelligent systems such as neural networks and adaptive fuzzy inference system. Both systems were trained with some signal processing metrics and the results for location error was in the region of millimeters. It was varied the number of coupled sensors and a study was conducted on the obtained location results. / Mestre

Orientador: José Alfredo Covolan Ulson / Banca: José Carlos de Melo Vieira Junior / Banca: Renato Crivellari Creppe / Resumo: Os transformadores são equipamentos importantes do sistema elétrico de potência, possuem alto custo e suas falhas tem influência direta na qualidade da energia entregue aos consumidores. Uma das principais causas de falhas em transformadores imersos em líquido isolante, as descargas parciais, advém da degradação física e química do sistema de isolação devido à diversos fatores tais como sobrecarga, cargas não-lineares, chaveamento e superaquecimento. Essas descargas parciais aceleram a degradação do dielétrico do transformador e podem levar à destruição do equipamento, ocasionando elevado prejuízo financeiro. Dessa forma, são necessárias ações de prevenção de falhas causadas por descargas parciais em transformadores, através de métodos de monitoramento e localização. Este trabalho teve por objetivo apresentar um método de localização de descargas parciais em transformadores de potência imersos em óleo mineral isolante utilizando o método de emissão acústica e sistemas inteligentes do tipo redes neurais artificiais e algoritmos genéticos. Foram aplicadas métricas de processamento de sinais aos sinais acústicos gerados a partir de descargas parciais e obtidos através de sensores piezelétricos de baixo custo instalados no lado externo do tanque do transformador. Estas métricas foram utilizadas para treinamento das redes neurais a fim de obter a distância euclidiana entre os sensores e as descargas parciais. Essas distâncias euclidianas foram utilizadas em um sistema não-linear d... (Resumo completo, clicar acesso eletrônico abaixo) / Abstract: Transformers are important devices of the electric power system, which have high cost and their failures have a direct influence on the power quality delivered to the consumers. One of the main causes of failures in oil-immersed transformers, the partial discharges, comes from the physical and chemical degradation of the insulation system due to several factors such as overload, non-linear loads, switching and overheating. These partial discharges accelerate the degradation of the transformer dielectric and they can lead to the destruction of the equipment, causing high financial losses. Thus, actions are necessary to prevent faults caused by partial discharges in transformers, through monitoring and locating methods. The aim of this work was to present a method for locating partial discharges in oil-immersed power transformers using the acoustic emission method and intelligent systems such as artificial neural networks and genetic algorithms. Signal processing metrics were applied to the acoustic signals generated from partial discharges and obtained by low-cost piezoelectric sensors installed on the external side of the transformer tank. These metrics were used to train the neural networks in order to obtain the euclidean distance between the sensors and the partial discharges. These euclidean distances were used in a nonlinear location system, which was solved through a genetic algorithm in order to obtain the three-dimensional coordinates of the partial discharge. The ana... (Complete abstract click electronic access below) / Mestre

A eletricidade como recurso energético adquiriu importância vital na sociedade moderna, pois permite atender de modo relativamente simples a demanda pelos seus serviços. Dessa forma a demanda pela eletricidade aumenta proporcionalmente a evolução das populações que dela se beneficiam. O sistema elétrico que produz esse insumo está limitado em sua capacidade aos recursos disponíveis para geração, transmissão e distribuição de energia. Grosso modo esse limite é definido pela potência máxima do sistema. Essa potência máxima pode ser alcançada em determinados períodos do dia, denominados horários de ponta e em boa parte do tempo o sistema é sub aproveitado. Havendo a possibilidade de controle da demanda, seria possível empregar essa capacidade ociosa pela transferência de cargas para horários mais favoráveis. Para isso é necessário haver a ação coordenada dos muitos consumidores para obter o resultado operacional desejado. A coordenação seria então obtida através das chamadas redes inteligentes que agregam funções e automação com vários níveis de complexidade e constituem um sistema muito amplo que une a geração ao consumo. A diferença perceptível pelo consumidor residencial está no fato deste ser incluído na operação dessa rede praticamente em tempo real, ou seja, espera-se sua participação mais efetiva no sistema elétrico. Um dos meios projetados para obter esse efeito é através de incentivos tarifários, onde a variação do custo da energia motivaria o consumidor a mudar seus hábitos de consumo. Para participar desse sistema o consumidor residencial precisa adaptar suas instalações para operar de modo mais eficiente obtendo o máximo de energia com o menor custo. Não é sempre que a mudança de hábitos está no poder do consumidor, de modo que este precisa de meios para adaptar suas instalações elétricas a essa realidade. A adaptação envolve incorporar meios de armazenamento e gerenciamento de recursos energéticos a fim de que a instalação forneça os serviços energéticos no momento em que é necessário, independente do momento em que adquire os insumos necessários. Para isso é necessário, além dos meios de armazenamento de energia, um sistema autônomo de controle, posto que os consumidores residenciais não devem viver em função de suas instalações elétricas. Esse sistema autônomo seria composto por elementos automáticos derivados daqueles empregados na automação industrial nos circuitos de comandos elétricos. Dessa forma o objetivo deste trabalho é analisar o potencial de aplicação dos chamados dispositivos elétricos inteligentes (medidores e elementos de controle) na automação das instalações elétricas residenciais e sua possível interação com as redes inteligentes. / Electricity as an energy resource acquired vital importance in modern society because it allows relatively easily meet the demand for their services. Thus the demand for electricity increases with the evolution of populations who benefit from. The electrical system that produces this input is limited in its ability to available resources for generation, transmission and distribution. Roughly speaking this limit is set by the maximum power of the system. This maximum power can be achieved at certain times of the day, called peak hours and in most of the time the system is under utilized. Having the ability to control demand, you could use that excess capacity by transferring loads to more favorable times. For this there must be a coordinated action of many consumers to obtain operating results. Coordination would then be obtained through socalled smart grids that add functions and automation with various levels of complexity and constitute a very large system that binds generation to consumption. The noticeable difference is in the residential consumer of this fact be included in the operation of this network in near real time, or is awaiting more effective participation in the electrical system. One of the means designed to achieve this effect is through tariff incentives, where the variation of the energy cost would motivate consumers to change their consumption habits. To participate in this system the residential consumer needs to adapt its facilities to operate more efficiently by getting the maximum power at the lowest cost. It is not often that changing habits is the power of consumer, so it needs the means to adapt their electrical installations to this reality. Adaptation involves incorporating means for storing and managing energy resources so that the installation provides energy services at the time that is required, regardless of the time it purchases the necessary inputs. This requires, beyond the means of energy storage, as a control, given that residential consumers should not live according to their electrical out lets. This system would consist of standalone automatic elements derived from those used in industrial automation electrical control circuits. Therefore the aim of this work is to analyze the potential application of so-called smart electric devices (meters and control elements) in the automation of residential electrical installations and their interaction with the smart grid.

O presente trabalho discute a compatibilidade e integração entre sistemas e dispositivos de automação residencial, propondo formas de melhorá-la. Essa integração tende a se tornar uma tarefa complexa devido à grande variedade de padrões e tecnologias de integração adotados na automação residencial. O presente trabalho propõe uma extensão do padrão Universal Plug and Play (UPnP) e a utilização de uma arquitetura modular com duas camadas, afim de adaptá-lo à integração dos subsistemas de automação residencial. Esse padrão estendido é, então, utilizado na camada superior, para o controle e integração entre os subsistemas. Já na camada inferior, cada subsistema utiliza a tecnologia de comunicação mais adequada para controlar seus dispositivos, e possui uma interface UPnP para se comunicar com outros subsistemas e permitir seu controle pelo usuário. Dessa forma os subsistemas tornam-se módulos do sistema de automação da residência. Essa proposta permite que o usuário compre e substitua facilmente subsistemas de fabricantes distintos, de forma a integrá-los, resultando em um sistema de automação residencial flexível e independente de fabricante. Para testar a extensão proposta, um caso de uso de um subsistema de iluminação foi criado. A partir deste, foram realizadas simulações computacionais. Os resultados destas foram apresentados e analisados, verificando-se o atendimento aos requisitos do sistema e se as características desejadas foram alcançadas, tais como, a característica plug and play de subsistemas, o aumento da flexibilidade e a modularização do sistema, para facilitar a compra e manutenção de sistemas de automação residencial, gerando o potencial para fomentar a maior adoção de sistemas de automação residencial. No entanto, a extensão proposta também resulta no aumento da complexidade do cliente UPnP que a utiliza para interagir com o sistema, o que pode dificultar a adoção de sistemas de automação residencial no futuro. Por fim, sugestões de continuidade e perspectivas futuras foram apresentadas. / This work discuss the compatibility an integration between systems and devices for home automation, proposing ways to improve it. This integration tends to become a complex task due to the wide variety of integration standards and technologies adopted in home automation. This paper proposes an extension of the standard Universal Plug and Play (UPnP) and the use of a modular architecture with two layers in order to adapt it to the integration of home automation subsystems. This extended standard is then used in the upper layer for the control and integration of the subsystems. In the bottom layer, each subsystem uses the most appropriate communication technology to control their devices, it has an UPnP interface to communicate with other subsystems and allow user control. Thus subsystems become modules of the home automation system. This proposal allows the user to easily purchase and replace subsystems from different manufacturers, in order to integrate them transparently, resulting in a flexible home automation system and independent of manufacturer. To test the proposed extension, a use case of an illumination subsystem was created and software simulations were carried out. The simulation results were presented and analyzed, verifying the compliance with the system requirements and whether the desired characteristics have been achieved, such as the subsystem plug and play feature, the modularity and flexibility enhancement of the system, to facilitate the purchase and maintenance of the home automation system, generating the potential to foster greater adoption of home automation systems. However, the proposed extension also results in increased complexity of the UPnP client that uses it to interact with the system, which can hinder the adoption of home automation systems in the future. Finally, future suggestions and perspectives were presented.

Neste trabalho descrevemos a arquitetura e um protocolo de transmissão de dados para instrumentação dedicada ao monitoramento de parâmetros climáticos em silos e secadores de grãos. A arquitetura usa processamento distribuído e instrumentação inteligente baseada no microcontrolador 80535. O protocolo é baseado no padrão de comunicação serial multiponto RS 485 e no protocolo ISO.OSI. Atualmente. aproximadamente 20% da produção brasileira de grãos é perdida durante os processos de transporte e armazenamento. O uso de tal sistema permite medições e modelamento de silos e secadores. / In this work we describes an architecture and a digital data transmission protocol for an instrumentation dedicated to the monitoring of climatic parameters of grain bins and dryers. The architecture uses distributed processing and intelligent instrumentation based on the 80535 microcontroller. The protocol is based on both the RS 485 multipoint serial communication standard and the ISO.OSI protocol. Presently, approximately 20% of the Brazilian production of grains is lost during the processes of transportation and storaging. The use of this system allows measurements and modelling for bins and dryers.

Neste trabalho é apresentado um sistema de instrumentação inteligente integrado com a arquitetura Web Services e desenvolvido em conformidade com as diretrizes estabelecidas na norma IEEE 1451.1. O protocolo de transmissão de dados do sistema é associado ao conceito das especificações dos transdutores e a um Web Service que permita a configuração remota do sistema de aquisição de dados. Através de uma interface de supervisão remota, acessível via Internet a partir de qualquer navegador, o usuário é capaz de identificar quais são os sensores inteligentes que estão conectados em uma rede, através de uma identificação única associada às suas características (tipo, formatação dos dados, etc.). Nesta mesma interface de apresentação o usuário tem a liberdade de selecionar o número de sensores que deseja ativar para efetuar algum monitoramento. Após a seleção dos sensores é disponibilizada uma interface de monitoramento que permite a visualização dos dados através de um gráfico bem como permite ao usuário salvar em um arquivo texto os dados coletados. Na mesma interface de monitoramento é disponibilizado o Web Service que permite alterar o intervalo de coleta de dados. Um conjunto de computadores em uma rede local (Intranet) simula a rede de sensores inteligentes. Nesta mesma rede está conectado o servidor responsável pela disponibilização da interface de supervisão remota. / In this work is presented the integration of an established system of intelligent instrumentation with the Web Service?s architecture, in accordance with the IEEE 1451.1 standard. It is suggested the association of a data-communication protocol with the concept of Transducer Electronic Data Sheet (TEDS) to a Web Service for making possible the remote configuration of a data acquisition system. Through a remote supervisor interface, accessible via Internet from any browser, the user can, at the first moment, identify which are the smart sensors connected in a network, using an unique identification associated to its characteristics (type, data formatting, etc.). In the same graphical interface the user can choose which sensors wants to monitor and, after the selection, will have available the monitoring interface that enables data visualization through a graph and allows the user to save the collected data in a text file. In the same monitoring interface the Web Service is also available; it admits modifications on the data collection interval. A group of computers in a local network (Intranet) simulates the smart sensors network. In the same network is connected a server responsible for supplying the remote supervisor interface.

A necessidade de gestão e controle otimizados dos processos está cada vez mais presente nos dias atuais. Assim sendo, devido também à exigência de integrar tais processos aos diversos setores da economia, têm-se exigido respostas cada vez mais eficientes da engenharia da automação. Os recursos hídricos do planeta e os respectivos processos de tratamento e distribuição também têm sido alvo de pesquisas destinadas ao desenvolvimento de novas tecnologias e metodologias de automação para melhorar a eficiência dos sistemas de controle e gestão. Este trabalho de pesquisa apresenta uma nova proposta sistêmica de gestão de sistemas de tratamento de água com base nos atuais desenvolvimentos científicos e tecnológicos da instrumentação inteligente e das redes de campo. Assim sendo, esperase contribuir para a otimização operacional de sistemas de tratamento de água, uma vez que uma plataforma de automação mais poderosa permitirá implementar algoritmos de controle mais rigorosos e eficientes. / The need for optimized process management and control is increasingly present nowadays. Therefore, due to the necessity of integrating such processes into several economic segments, there is a pressing demand for more efficient responses from the automation engineering sector. The planet?s water resources and respective water treatment and supply processes have also been the subject matter of research for the development of new automation technologies and methodologies to improve the efficiency of control and management systems. This study submits a new systemic management approach for water treatment systems based on the current scientific and technological development of intelligent instrumentation and field networks. Therefore, this study intends to contribute to the operational optimization of water treatment systems since a more powerful automation platform will enable the implementation of more strict and efficient control algorithms.

[pt] Esta obra compreende a utilização de Máquinas de Estados Hierárquicas na definição e no controle de comportamento de agentes inteligentes para jogos eletrônicos. Esse tipo de Máquina de Estados permite reduções drásticas no número de transições quando comparada com uma Máquina de Estados não hierárquica que implemente o mesmo comportamento; além disso, oferece uma maneira mais intuitiva de se definir e entender representações gráficas de Máquinas de Estados compostas por muitos estados, típicas de agentes de jogos que necessitam de comportamento reativo complexo. / [en] This work comprehends the use of Hierarchical State Machines in the definition and control of behavior pertaining to intelligent agents in electronic games. This type of State Machine permits drastic reductions in the number of transitions when compared to a non-hierarchical State Machine that implements the same behavior; besides, it offers a more intuitive manner for defining and understanding graphical representations of State Machines consisting of many states, a typical scenario in game agents that need to exhibit complex reactive behavior.

A cada dia é mais crescente a necessidade e interesse no desenvolvimento de embalagens competitivas e com maior valor agregado. Visando atender a necessidade de consumidores cada vez mais exigentes e preocupados com o meio ambiente, este trabalho propôs o uso do pigmento natural antocianina no desenvolvimento de filmes biodegradáveis para potencial uso como embalagem inteligente, indicadora de mudança de pH. Os filmes foram elaborados pela técnica de casting tendo como formulação base fécula de mandioca (Manihot esculenta Crantz), argila esmectita sódica, glicerol, etanol e água, e incorporados com duas concentrações de antocianina (0,05 e 0,10) g/100 g de solução filmogênica, e em uma segunda fase, ácido cítrico foi incorporado à matriz polimérica a fim de estudar a influência do pH da solução filmogênica (2,8 e 4,3) sobre o desempenho do filme empregado como embalagem. Os filmes foram avaliados quanto as suas propriedades mecânicas (resistência máxima à tração e porcentagem de elongação na ruptura), físico-químicas (atividade de água, umidade, espessura), de barreira (permeabilidade ao vapor dágua e ao oxigênio) e análise de mudança de cor. Em seguida à caracterização, a atividade indicadora de pH foi testada com peixe cru embalado em recipientes de vidro tampados com o filme. Os recipientes foram acondicionados em temperatura ambiente e sob três temperaturas distintas de refrigeração, sendo que recipientes vazios também fechados com o filme foram usados como controle. A avaliação da atividade indicadora de pH foi realizada por meio da análise de mudança de cor do filme correlacionada com o pH do peixe. Os resultados obtidos foram promissores, uma vez que os filmes avaliados se mostraram bons indicadores de pH, ao mudarem de cor à olho nu em resposta à variação do pH, sendo essa mudança mais acentuada em filmes com maior conteúdo de antocianina. / The interest and need for the development of more competitive, higher value-added packages grow faster each day. For attending the needs of a more demanding, environmentally-concerned group of consumers, the present work proposes the use of natural anthocyanin pigment for the development of biodegradable films to be used as intelligent packaging material capable of indicating pH change. These films, made by employing a technique known as casting, consist of a basic formulation of cassava starch (Manihot esculenta Crantz), sodium smectite clay, glycerol, ethanol, and water, combined with two concentrations of anthocyanin (0.05 and 0.10) g/100 g of a filmogenic solution. In a second phase, citric acid was added to the polymer matrix in order to study the influence of the filmogenic solution pH (2.8 and 4.3) on the packaging performance of the films. These materials were assessed according to their mechanical properties (tensile strength at break and elongation at break percentage), physical and chemical properties (water activity, moisture content and thickness), barrier properties (water vapor and oxygen permeability), and color change. After this characterization, the pH-indicating activity was tested with raw fish stored in glass containers sealed with the film. Such containers were firstly exposed to room temperature and subsequently to three different refrigeration temperatures. Similarly, some empty containers also sealed with the same film were used as control. The assessment of the pH-indicating activity was undertaken by analyzing the color change of the film correlated with the pH of the fish. Promising outcomes seemed to have been achieved, since the films that were assessed proved to be efficient pH indicators. The color change was visible to the naked eye in response to pH variation, and such a change was particularly strong in the films with higher anthocyanin content.

[pt] Esta tese investiga modelos híbridos neuro-fuzzy para aprendizado automático de ações efetuadas por agentes. O objetivo dos modelos é dotar um agente de inteligência, tornando-o capaz de, através da interação com o seu ambiente, adquirir e armazenar o conhecimento e raciocinar (inferir uma ação). O aprendizado desses modelos é realizado através de processo não-supervisionado denominado Aprendizado por Reforço (RL: Reinforcement Learning). Esta nova proposta de modelos neuro-fuzzy apresenta as seguintes características: aprendizado automático da estrutura do modelo; auto-ajuste dos parâmetros associados à estrutura; capacidade de aprender a ação a ser tomada quando o agente está em um determinado estado do ambiente; possibilidade de lidar com um número maior de entradas do que os sistemas neuro-fuzzy tradicionais; e geração de regras lingüísticas com hierarquia. O trabalho envolveu três etapas principais: levantamento bibliográfico e estudo de modelos de aprendizado; definição e implementação de dois novos modelos neuro-fuzzy hierárquicos baseados em RL; e estudo de casos. O levantamento bibliográfico e o estudo de modelos de aprendizado foi feito a partir dos modelos usados em agentes (com o objetivo de ampliar a ação autônoma) e em espaço de estados grande e/ou contínuo. A definição dos dois novos modelos neuro-fuzzy foi motivada pela importância de se estender a capacidade autônoma de agentes através do quesito inteligência, em particular a capacidade de aprendizado. Os modelos foram concebidos a partir do estudo das limitações existentes nos modelos atuais e das características desejáveis para sistemas de aprendizado baseados em RL, em particular quando aplicados a ambientes contínuos e/ou ambientes considerados de grande dimensão. Tais ambientes apresentam uma característica denominada curse of dimensionality que inviabiliza a aplicação direta de métodos tradicionais de RL. Assim sendo, a decisão de se usar uma metodologia de particionamento recursivo, já explorada com excelentes resultados em Souza (1999), que reduz significativamente as limitações dos sistemas neuro-fuzzy existentes, foi de fundamental importância para este trabalho. Optou-se pelos particionamentos BSP e Quadtree/Politree, gerando os dois modelos RL-NFHB (Reinforcement Learning - Neuro-Fuzzy Hierárquico BSP) e RL-NFHP (Reinforcement Learning - Neuro-Fuzzy Hierárquico Politree). Estes dois novos modelos são derivados dos modelos neuro-fuzzy hierárquicos NFHB e NFHQ (Souza, 1999) que utilizam aprendizado supervisionado. Com o uso desses métodos de particionamento, associados ao Reinforcement Learning, obteve-se uma nova classe de Sistemas Neuro-Fuzzy (SNF) que executam, além do aprendizado da estrutura, o aprendizado autônomo das ações a serem tomadas por um agente. Essas características representam um importante diferencial em relação aos sistemas de aprendizado de agentes inteligentes existentes. No estudo de casos, os dois modelos foram testados em 3 aplicações benckmark e uma aplicação em robótica. As aplicações benchmark são referentes a 3 problemas de sistemas de controle: o carro na montanha (mountain cart problem), estacionamento do carro (cart-centering problem) e o pêndulo invertido. A aplicação em robótica utilizou o modelo Khepera. A implementação dos modelos RL-NFHB e RL- NFHP foi feita em linguagem Java em microcomputadores com plataforma Windows 2000. Os testes efetuados demonstram que estes novos modelos se ajustam bem a problemas de sistemas de controle e robótica, apresentando boa generalização e gerando sua própria estrutura hierárquica de regras com interpretação lingüística. Além disso, o aprendizado automático do ambiente dota o agente de inteligência - (base de conhecimento, raciocínio e aprendizado), característica que aumenta a capacidade autônoma deste agente. A área de sistemas neuro-fuzzy hie / [en] This thesis investigates neuro-fuzzy hybrid models for automatic learning of actions taken by agents. The objective of these models is to provide an agent with intelligence, making it capable of acquiring and retaining knowledge and of reasoning (infer an action) by interacting with its environment. Learning in these models is performed by a non-supervised process, called Reinforcement Learning. These novel neuro-fuzzy models have the following characteristics: automatic learning of the model structure; auto-adjustment of parameters associated with the structure; capability of learning the action to be taken when the agent is on a given environment state; possibility of dealing with a larger number of inputs than those of traditional neuro-fuzzy systems; and the generation of hierarchical linguistic rules. This work comprised three main stages: bibliographic survey and study of learning models; definition and implementation of two new hierarchical neurofuzzy models based on Reinforcement Learning; and case studies. The bibliographic survey and the study of learning models considered learning models employed in agents (aiming to enhance the autonomous action) and in large and/or continuous state spaces. The definition of the two new neuro-fuzzy models was motivated by the importance of extending the autonomous capacity of agents through its intelligence, particularly the learning capacity. The models were conceived from the study of the existing limitations in current models, as well as the desirable characteristics for RL-based learning systems, particularly, when applied to continuous and/or high dimension environments. These environments present a characteristic called curse of dimensionality, which makes impracticable the direct application of the traditional RL- methods. Therefore, the decision of using a recursive partitioning methodology (already explored with excellent results in Souza, 1999), which significantly reduces the existing neuro-fuzzy systems limitations, was crucial to this work. The BSP (Binary Space Partitioning) and the Quadtree/Politree partitioning were then chosen, generating the RL-NFHB (Reinforcement Learning - Hierarchical Neuro- Fuzzy BSP) and RL-NFHP (Reinforcement Learning - Hierarchical Neuro-Fuzzy Politree) models. These two new models are derived from the hierarchical neuro-fuzzy models NFHB and NFHQ (Souza, 1999), which use supervised learning. By using these partitioning methods, together with the Reinforcement Learning methodology, a new class of Neuro-Fuzzy Systems (SNF) was obtained, which executes, in addition to structure learning, the autonomous learning of the actions to be taken by an agent. These characteristics represent an important differential when compared to the existing intelligent agents learning systems. In the case studies, the two models were tested in three benchmark applications and one application in robotics. The benchmark applications refer to 3 problems of control systems : the mountain cart problem, cart-centering problem, and the inverted pendulum. The application in robotics made use of the Khepera model. The RL-NFHB and RL-NFHP models were implemented using the Java language in Windows 2000 platform microcomputers. The experiments demonstrate that these new models are suitable for problems of control systems and robotics, presenting a good generalization and generating their own hierarchical structure of rules with linguistic interpretation. Moreover, the automatic environment learning endows the agent with intelligence (knowledge base, reasoning and learning). These are characteristics that increase the autonomous capacity of this agent. The hierarchical neuro-fuzzy systems field was also enhanced by the introduction of reinforcement learning, allowing the learning of hierarchical rules and actions to take place within the same process.