[pt] Esta tese investiga modelos híbridos neuro-fuzzy para aprendizado automático de ações efetuadas por agentes. O objetivo dos modelos é dotar um agente de inteligência, tornando-o capaz de, através da interação com o seu ambiente, adquirir e armazenar o conhecimento e raciocinar (inferir uma ação). O aprendizado desses modelos é realizado através de processo não-supervisionado denominado Aprendizado por Reforço (RL: Reinforcement Learning). Esta nova proposta de modelos neuro-fuzzy apresenta as seguintes características: aprendizado automático da estrutura do modelo; auto-ajuste dos parâmetros associados à estrutura; capacidade de aprender a ação a ser tomada quando o agente está em um determinado estado do ambiente; possibilidade de lidar com um número maior de entradas do que os sistemas neuro-fuzzy tradicionais; e geração de regras lingüísticas com hierarquia. O trabalho envolveu três etapas principais: levantamento bibliográfico e estudo de modelos de aprendizado; definição e implementação de dois novos modelos neuro-fuzzy hierárquicos baseados em RL; e estudo de casos. O levantamento bibliográfico e o estudo de modelos de aprendizado foi feito a partir dos modelos usados em agentes (com o objetivo de ampliar a ação autônoma) e em espaço de estados grande e/ou contínuo. A definição dos dois novos modelos neuro-fuzzy foi motivada pela importância de se estender a capacidade autônoma de agentes através do quesito inteligência, em particular a capacidade de aprendizado. Os modelos foram concebidos a partir do estudo das limitações existentes nos modelos atuais e das características desejáveis para sistemas de aprendizado baseados em RL, em particular quando aplicados a ambientes contínuos e/ou ambientes considerados de grande dimensão. Tais ambientes apresentam uma característica denominada curse of dimensionality que inviabiliza a aplicação direta de métodos tradicionais de RL. Assim sendo, a decisão de se usar uma metodologia de particionamento recursivo, já explorada com excelentes resultados em Souza (1999), que reduz significativamente as limitações dos sistemas neuro-fuzzy existentes, foi de fundamental importância para este trabalho. Optou-se pelos particionamentos BSP e Quadtree/Politree, gerando os dois modelos RL-NFHB (Reinforcement Learning - Neuro-Fuzzy Hierárquico BSP) e RL-NFHP (Reinforcement Learning - Neuro-Fuzzy Hierárquico Politree). Estes dois novos modelos são derivados dos modelos neuro-fuzzy hierárquicos NFHB e NFHQ (Souza, 1999) que utilizam aprendizado supervisionado. Com o uso desses métodos de particionamento, associados ao Reinforcement Learning, obteve-se uma nova classe de Sistemas Neuro-Fuzzy (SNF) que executam, além do aprendizado da estrutura, o aprendizado autônomo das ações a serem tomadas por um agente. Essas características representam um importante diferencial em relação aos sistemas de aprendizado de agentes inteligentes existentes. No estudo de casos, os dois modelos foram testados em 3 aplicações benckmark e uma aplicação em robótica. As aplicações benchmark são referentes a 3 problemas de sistemas de controle: o carro na montanha (mountain cart problem), estacionamento do carro (cart-centering problem) e o pêndulo invertido. A aplicação em robótica utilizou o modelo Khepera. A implementação dos modelos RL-NFHB e RL- NFHP foi feita em linguagem Java em microcomputadores com plataforma Windows 2000. Os testes efetuados demonstram que estes novos modelos se ajustam bem a problemas de sistemas de controle e robótica, apresentando boa generalização e gerando sua própria estrutura hierárquica de regras com interpretação lingüística. Além disso, o aprendizado automático do ambiente dota o agente de inteligência - (base de conhecimento, raciocínio e aprendizado), característica que aumenta a capacidade autônoma deste agente. A área de sistemas neuro-fuzzy hie / [en] This thesis investigates neuro-fuzzy hybrid models for automatic learning of actions taken by agents. The objective of these models is to provide an agent with intelligence, making it capable of acquiring and retaining knowledge and of reasoning (infer an action) by interacting with its environment. Learning in these models is performed by a non-supervised process, called Reinforcement Learning. These novel neuro-fuzzy models have the following characteristics: automatic learning of the model structure; auto-adjustment of parameters associated with the structure; capability of learning the action to be taken when the agent is on a given environment state; possibility of dealing with a larger number of inputs than those of traditional neuro-fuzzy systems; and the generation of hierarchical linguistic rules. This work comprised three main stages: bibliographic survey and study of learning models; definition and implementation of two new hierarchical neurofuzzy models based on Reinforcement Learning; and case studies. The bibliographic survey and the study of learning models considered learning models employed in agents (aiming to enhance the autonomous action) and in large and/or continuous state spaces. The definition of the two new neuro-fuzzy models was motivated by the importance of extending the autonomous capacity of agents through its intelligence, particularly the learning capacity. The models were conceived from the study of the existing limitations in current models, as well as the desirable characteristics for RL-based learning systems, particularly, when applied to continuous and/or high dimension environments. These environments present a characteristic called curse of dimensionality, which makes impracticable the direct application of the traditional RL- methods. Therefore, the decision of using a recursive partitioning methodology (already explored with excellent results in Souza, 1999), which significantly reduces the existing neuro-fuzzy systems limitations, was crucial to this work. The BSP (Binary Space Partitioning) and the Quadtree/Politree partitioning were then chosen, generating the RL-NFHB (Reinforcement Learning - Hierarchical Neuro- Fuzzy BSP) and RL-NFHP (Reinforcement Learning - Hierarchical Neuro-Fuzzy Politree) models. These two new models are derived from the hierarchical neuro-fuzzy models NFHB and NFHQ (Souza, 1999), which use supervised learning. By using these partitioning methods, together with the Reinforcement Learning methodology, a new class of Neuro-Fuzzy Systems (SNF) was obtained, which executes, in addition to structure learning, the autonomous learning of the actions to be taken by an agent. These characteristics represent an important differential when compared to the existing intelligent agents learning systems. In the case studies, the two models were tested in three benchmark applications and one application in robotics. The benchmark applications refer to 3 problems of control systems : the mountain cart problem, cart-centering problem, and the inverted pendulum. The application in robotics made use of the Khepera model. The RL-NFHB and RL-NFHP models were implemented using the Java language in Windows 2000 platform microcomputers. The experiments demonstrate that these new models are suitable for problems of control systems and robotics, presenting a good generalization and generating their own hierarchical structure of rules with linguistic interpretation. Moreover, the automatic environment learning endows the agent with intelligence (knowledge base, reasoning and learning). These are characteristics that increase the autonomous capacity of this agent. The hierarchical neuro-fuzzy systems field was also enhanced by the introduction of reinforcement learning, allowing the learning of hierarchical rules and actions to take place within the same process.

[pt] Neste trabalho foram desenvolvidos e avaliados métodos com o objetivo de melhorar e acelerar o processo de aprendizado do modelo de Reinforcement Learning Neuro-Fuzzy Hierárquico Politree (RL-NFHP). Este modelo pode ser utilizado para dotar um agente de inteligência através de processo de Aprendizado por Reforço (Reinforcement Learning). O modelo RL-NFHP apresenta as seguintes características: aprendizado automático da estrutura do modelo; auto-ajuste dos parâmetros associados à estrutura; capacidade de aprendizado da ação a ser adotada quando o agente está em um determinado estado do ambiente; possibilidade de lidar com um número maior de entradas do que os sistemas neuro-fuzzy tradicionais; e geração de regras linguísticas com hierarquia. Com intenção de melhorar e acelerar o processo de aprendizado do modelo foram implementadas seis políticas de seleção, sendo uma delas uma inovação deste trabalho (Q-DC-roulette); implementado o método early stopping para determinação automática do fim do treinamento; desenvolvido o eligibility trace cumulativo; criado um método de poda da estrutura, para eliminação de células desnecessárias; além da reescrita do código computacional original. O modelo RL-NFHP modificado foi avaliado em três aplicações: o benchmark Carro na Montanha simulado, conhecido na área de agentes autônomos; uma simulação robótica baseada no robô Khepera; e uma num robô real NXT. Os testes efetuados demonstram que este modelo modificado se ajustou bem a problemas de sistemas de controle e robótica, apresentando boa generalização. Comparado o modelo RL-NFHP modificado com o original, houve aceleração do aprendizado e obtenção de menores modelos treinados. / [en] In this work, methods were developed and evaluated in order to improve and accelerate the learning process of Reinforcement Learning Neuro-Fuzzy Hierarchical Politree Model (RL-NFHP). This model is employed to provide an agent with intelligence, making it autonomous, due to the capacity of ratiocinate (infer actions) and learning, acquired knowledge through interaction with the environment by Reinforcement Learning process. The RL-NFHP model has the following features: automatic learning of structure of the model; self-adjustment of parameters associated with its structure, ability to learn the action to be taken when the agent is in a particular state of the environment; ability to handle a larger number of inputs than the traditional neuro-fuzzy systems; and generation of rules with linguistic interpretable hierarchy. With the aim to improve and accelerate the learning process of the model, six selection action policies were developed, one of them an innovation of this work (Q-DC-roulette); implemented the early stopping method for automatically determining the end of the training; developed a cumulative eligibility trace; created a method of pruning the structure, for removing unnecessary cells; in addition to rewriting the original computer code. The modified RL-NFHP model was evaluated in three applications: the simulated benchmark Car-Mountain problem, well known in the area of autonomous agents; a simulated application in robotics based on the Khepera robot; and an application in a real robot. The experiments show that this modified model fits well the problems of control systems and robotics, with a good generalization. Compared the modified RL-NFHP model with the original one, there was acceleration of learning process and smaller structures of the model trained.

[pt] As unidades operacionais da área de Exploração e Produção (EeP) da PETROBRAS utilizam relatórios diários para o registro de situações e eventos em Unidades Estacionárias de Produção (UEPs), as conhecidas plataformas de produção de petróleo. Um destes relatórios, o SITOP (Situação Operacional das Unidades Marítimas), é um documento diário em texto livre que apresenta informações numéricas (índices de produção, algumas vazões, etc.) e, principalmente, informações textuais. A parte textual, apesar de não estruturada, encerra uma valiosíssima base de dados de histórico de eventos no ambiente de produção, tais como: quebras de válvulas, falhas em equipamentos de processo, início e término de manutenções, manobras executadas, responsabilidades etc. O valor destes dados é alto, mas o custo da busca de informações também o é, pois se demanda a atenção de técnicos da empresa na leitura de uma enorme quantidade de documentos. O objetivo do presente trabalho é o desenvolvimento de um modelo de processamento de linguagem natural para a identificação, nos textos dos SITOPs, de entidades nomeadas e extração de relações entre estas entidades, descritas formalmente em uma ontologia de domínio aplicada a eventos em unidades de processamento de petróleo e gás em ambiente offshore. Ter-se-á, portanto, um método de estruturação automática da informação presente nestes relatórios operacionais. Os resultados obtidos demonstram que a metodologia é útil para este caso, ainda que passível de melhorias em diferentes frentes. A extração de relações apresenta melhores resultados que a identificação de entidades, o que pode ser explicado pela diferença entre o número de classes das duas tarefas. Verifica-se também que o aumento na quantidade de dados é um dos fatores mais importantes para a melhoria do aprendizado e da eficiência da metodologia como um todo. / [en] The operational units at the Exploration and Production (E and P) area at PETROBRAS make use of daily reports to register situations and events from their Stationary Production Units (SPUs), the well-known petroleum production platforms. One of these reports, called SITOP (the Portuguese acronym for Offshore Unities Operational Situation), is a daily document in free text format that presents numerical information and, mainly, textual information about operational situation of offshore units. The textual section, although unstructured, stores a valuable database with historical events in the production environment, such as: valve breakages, failures in processing equipment, beginning and end of maintenance activities, actions executed, responsibilities, etc. The value of these data is high, as well as the costs of searching relevant information, consuming many hours of attention from technicians and engineers to read the large number of documents. The goal of this dissertation is to develop a model of natural language processing to recognize named entities and extract relations among them, described formally as a domain ontology applied to events in offshore oil and gas processing units. After all, there will be a method for automatic structuring of the information from these operational reports. Our results show that this methodology is useful in SITOP s case, also indicating some possible enhancements. Relation extraction showed better results than named entity recognition, what can be explained by the difference in the amount of classes in these tasks. We also verified that the increase in the amount of data was one of the most important factors for the improvement in learning and methodology efficiency as a whole.

[pt] Diversas técnicas para extração de informações estruturadas de dados em linguagem natural foram desenvolvidas e demonstraram resultados muito satisfatórios. Entretanto, para obterem tais resultados, requerem uma série de atividades que geralmente são feitas de modo isolado, como a anotação de textos para geração de corpora, etiquetamento morfossintático, engenharia e extração de atributos, treinamento de modelos de aprendizado de máquina etc., o que torna onerosa a extração dessas informações, dado o esforço e tempo a serem investidos. O presente trabalho propõe e desenvolve uma plataforma em ambiente web, chamada LER (Learning Entities and Relations) que integra o fluxo necessário para essas atividades, com uma interface que visa a facilidade de uso. Outrossim, o trabalho mostra os resultados da implementação e uso da plataforma proposta. / [en] Many techniques for the structured information extraction from natural language data have been developed and have demonstrated their potentials yielding satisfactory results. Nevertheless, to obtain such results, they require some activities that are usually done separately, such as text annotation to generate corpora, Part-Of- Speech tagging, features engineering and extraction, machine learning models training etc., making the information extraction task a costly activity due to the effort and time spent on this. The present work proposes and develops a web based platform called LER (Learning Entities and Relations), that integrates the needed workflow for these activities, with an interface that aims the ease of use. The work also shows the platform implementation and its use.