[pt] Os polissacarídeos constituintes da biomassa lignocelulósica podem ser beneficiados através de processos industriais. Entretanto, para manipulá-los é necessário que a biomassa seja submetida ao processo de pré-tratamento. Esta é uma das etapas mais caras e relevantes para a disposição e aplicação das frações lignocelulósicas. O presente estudo consiste em uma investigação detalhada do processo de pré-tratamento da biomassa lignocelulósica com H2O2, a qual foi realizada através de tecnologias inteligentes que viabilizaram a otimização deste processo. Ferramentas de inteligência artificial revelam-se vantajosas na solução dos gargalos associados aos avanços tecnológicos. Possibilitam a modelagem matemática de um processo com máxima eficiência, otimizando sua produtividade, transformando dados experimentais em informações úteis e demonstrando as infinitas possibilidades das relações das variáveis envolvidas. As variáveis independentes estudadas foram a temperatura (25 – 45 graus Celsius) e a concentração de peróxido de hidrogênio (1.5 – 7.5 porcento m/v). Técnicas analíticas qualitativas (Raman e FTIR) e quantitativa (Método de Klason) foram aplicadas para produzir um banco de dados referente a extração da lignina com H2O2, o qual foi utilizado no desenvolvimento de modelos neurais aplicando Redes Neurais Artificiais (ANN, do inglês Artificial Neural Networks) e Sistema de Inferência Adaptativa Neuro-Difusa (ANFIS, do inglês Adaptive neuro fuzzy inference system). E modelos polinomiais, os quais tiveram seus parâmetros estimados por Algoritmos Genéticos (GA, do inglês Genetic Algorithms). Os modelos desenvolvidos conseguiram predizer: o Teor de Lignina Extraída (porcento) por Espectroscopia Raman, o Teor de Lignina Oxidada (porcento) por FTIR, o Teor de Lignina Residual (porcento) pelo Método de Klason, e por último, dois modelos para a comparação da resposta analítica qualitativa com a resposta analítica quantitativa. Os modelos polinomiais, que tiveram seus parâmetros estimados por GA foram avaliados estatisticamente através da ANOVA e pelo coeficiente de correlação (R2). E os modelos neurais desenvolvidos foram avaliados pelo coeficiente de correlação (R2), número de parâmetros e índices de erro (SSE, MSE e RMSE). Para cada modelo polinomial e neural proposto, quando coerente, superfícies de resposta e curvas de contorno foram plotadas permitindo a identificação da região operacional mais indicada para a realização do pré-tratamento com H2O2. Dentre as estratégias inteligentes propostas, os modelos desenvolvidos com ANN mostraram-se mais eficientes para as predições relacionadas à extração da lignina. / [en] Industrial processes benefit the polysaccharides constituting the lignocellulosic biomass. However to manipulate them it is necessary that the biomass is submitted to the pre-treatment process. This is one of the most expensive and relevant steps for the arrangement and application of lignocellulosic fractions. The present study consists of a detailed investigation of the pretreatment process of lignocellulosic biomass with H2O2, applying intelligent technologies that enabled the optimization of this process. Artificial intelligence tools prove to be advantageous in solving the bottlenecks associated with technological advances. They enable the mathematical modeling of a process with maximum efficiency, optimizing its productivity, transforming experimental data into useful information and demonstrating the infinite possibilities of the relationships of the variables involved. The independent variables studied were the temperature (25-45 Celsius degrees) and the concentration of hydrogen peroxide (1.5 - 7.5 percent m / v). Qualitative analytical techniques (Raman and FTIR) and quantitative (Klason method) were applied to produce a database for the extraction of lignin with H2O2, which was used in the development of neural models applying Artificial Neural Networks (ANN) and Adaptive Neuro-Fuzzy Inference System (ANFIS). And polynomial models, which had their parameters estimated by Genetic Algorithms (GA). The models developed were able to predict: the Extracted Lignin Content (percent) by Raman Spectroscopy, the Oxidized Lignin Content (percent) by FTIR, the Residual Lignin Content (percent) by the Klason Method, and lastly, two models for the comparison of the qualitative analytical response with the quantitative analytical response. The polynomial models, which had their parameters estimated by GA, were statistically evaluated using ANOVA and correlation coefficient (R2) evaluated the polynomial models developed by GA statistically. And the neural models developed were evaluated by the coefficient of correlation (R2), number of parameters and error indexes (SSE, MSE and RMSE). For each proposed polynomial and neural model, when coherent, response surfaces and contour curves were plotted allowing the identification of the most suitable operational region for the pretreatment with H2O2. Among the proposed intelligent strategies, the models developed with ANN proved to be more efficient for the predictions related to lignin extraction.

[pt] Um dos casos clínicos mais frequentes na sociedade moderna envolve a localização e extração de projéteis de armas de fogo, que normalmente são feitos de chumbo, um material não ferromagnético. O desenvolvimento de uma técnica que possibilite a localização precisa destes auxiliará o procedimento de remoção cirúrgica, tendo vasta relevância e impactando diretamente no aumento da taxa de sobrevivência de pessoas feridas. Dessa forma, esta dissertação apresenta e discute duas novas abordagens baseadas em técnicas de inteligência computacional, objetivando a localização de projéteis de armas de fogo inseridos no corpo humano, a partir do processamento da informação contida em mapas de campo magnético. Em ambas as abordagens analisadas modela-se o projétil como uma esfera de raio a, localizado em um espaço de busca contido em um plano xy, o qual está situado a uma distância h do sensor no eixo z. As técnicas de localização requerem a geração de um campo magnético primário alternado por meio de um solenoide, o qual incide sobre o espaço de busca. Caso exista um projétil de arma de fogo nesta região, serão induzidas correntes parasitas no projétil, as quais, por sua vez, produzirão um campo magnético secundário, que pode ser medido por um sensor de alta sensibilidade localizado na extremidade do solenoide. Na primeira abordagem analisada, as posições x e y do projétil são determinadas por um algoritmo de janelamento que considera valores máximos e médios pertencentes aos mapas de campo magnético secundário. A determinação da distância h entre a esfera e o sensor foi obtida por meio de uma rede neural, e o raio da esfera a é estimado por um algoritmo genético. Na segunda abordagem, as quatro variáveis de interesse (x, y, h e a) são inferidas diretamente por um algoritmo genético. Os resultados obtidos são avaliados e comparados. / [en] In modern society, one of the most frequent clinical cases involves location and extraction of firearms projectiles, usually made of lead, a non-ferromagnetic material. The development of a technique that allows the precise location of these projectiles will aid their surgical removal, which has a great relevance because it contributes directly to the increase of the survival rate of wounded patients. Thus, this dissertation presents and discusses two new approaches based on computational intelligence techniques, aiming at locating firearm projectiles inserted into the human body, by processing the information contained in magnetic field maps. On both approaches, the projectile is modeled by a sphere with radius a, located on a search space contained in a xy plane that is situated at a distance h from the sensor, along the z axis. The proposed location techniques require the generation of a primary alternating magnetic field by means of a solenoid, which aims at inducing eddy currents in a firearm projectile contained in the search space. In turn, these currents will produce a secondary magnetic field, which can be measured by a high-sensitivity sensor located at the bottom of the solenoid. In the first developed technique, the x and y positions of the projectile were estimated by a windowing algorithm that takes into account maximum and mean values contained on the secondary magnetic field maps. In turn, the distance h between the sphere and the sensor is inferred by a neural network, and the radius of the sphere a is estimated by a genetic algorithm. In the second technique, the four variables of interest (x, y, h and a) are inferred directly by a genetic algorithm. The results obtained are evaluated and compared.

[pt] Informações precisas sobre a distribuição da população são reconhecidamente importantes. A fonte de informação mais completa sobre a população é o censo, cujos os dados são disponibilizados de forma agregada em setores censitários. Esses setores são unidades operacionais de tamanho e formas irregulares, que dificulta a análise espacial dos dados associados. Assim, a mudança de setores censitários para um conjunto de células regulares com estimativas adequadas facilitaria a análise. Uma metodologia a ser utilizada para essa mudança poderia ser baseada na classificação de imagens de sensoriamento remoto para a identificação de domicílios, que é a base das pesquisas envolvendo a população. A detecção de áreas edificadas é uma tarefa complexa devido a grande variabilidade de características de construção e de imagens. Os métodos usuais são complexos e muito dependentes de especialistas. Os processos automáticos dependem de grandes bases de imagens para treinamento e são sensíveis à variação de qualidade de imagens e características das construções e de ambiente. Nesta tese propomos a utilização de um método automatizado para detecção de edificações em imagens Google Earth que mostrou bons resultados utilizando um conjunto de imagens relativamente pequeno e com grande variabilidade, superando as limitações dos processos existentes. Este resultado foi obtido com uma aplicação prática. Foi construído um conjunto de imagens com anotação de áreas construídas para 12 regiões do Brasil. Estas imagens, além de diferentes na qualidade, apresentam grande variabilidade nas características das edificações e no ambiente geográfico. Uma prova de conceito será feita na utilização da classificação de área construída nos métodos dasimétrico para a estimação de população em gride. Ela mostrou um resultado promissor quando comparado com o método usual, possibilitando a melhoria da qualidade das estimativas. / [en] The importance of precise information about the population distribution is widely acknowledged. The census is considered the most reliable and complete source of this information, and its data are delivered in an aggregated form in sectors. These sectors are operational units with irregular shapes, which hinder the spatial analysis of the data. Thus, the transformation of sectors onto a regular grid would facilitate such analysis. A methodology to achieve this transformation could be based on remote sensing image classification to identify building where the population lives. The building detection is considered a complex task since there is a great variability of building characteristics and on the images quality themselves. The majority of methods are complex and very specialist dependent. The automatic methods require a large annotated dataset for training and they are sensitive to the image quality, to the building characteristics, and to the environment. In this thesis, we propose an automatic method for building detection based on a deep learning architecture that uses a relative small dataset with a large variability. The proposed method shows good results when compared to the state of the art. An annotated dataset has been built that covers 12 cities distributed in different regions of Brazil. Such images not only have different qualities, but also shows a large variability on the building characteristics and geographic environments. A very important application of this method is the use of the building area classification in the dasimetric methods for the population estimation into grid. The concept proof in this application showed a promising result when compared to the usual method allowing the improvement of the quality of the estimates.

[pt] As Redes Neurais Artificiais (RNAs) começaram a ser desenvolvidas nos anos 1940. Porém, foi a partir dos anos 1980, com a popularização e o aumento de capacidade dos computadores, que as RNAs passaram a ter grande relevância. Também nos anos 1980, houve dois outros acontecimentos acadêmicos relacionados ao presente trabalho: (i) um grande crescimento do interesse de econometristas por modelos não lineares, que culminou nas abordagens econométricas para RNAs, no final desta década; e (ii) a introdução do Método Generalizado dos Momentos (MGM) para estimação de parâmetros, em 1982. Nas abordagens econométricas de RNAs, sempre predominou a estimação por Quasi Máxima Verossimilhança (QMV). Apesar de possuir boas propriedades assintóticas, a QMV é muito suscetível a um problema nas estimações em amostra finita, conhecido como sobreajuste. O presente trabalho estende o estado da arte em abordagens econométricas de RNAs, apresentando uma proposta alternativa à estimação por QMV que preserva as suas boas propriedades assintóticas e é menos suscetível ao sobreajuste. A proposta utiliza a estimação pelo MGM. Como subproduto, a estimação pelo MGM possibilita a utilização do chamado Teste J para verifificar a existência de não linearidade negligenciada. Os estudos de Monte Carlo realizados indicaram que as estimações pelo MGM são mais precisas que as geradas pela QMV em situações com alto ruído, especialmente em pequenas amostras. Este resultado é compatível com a hipótese de que o MGM é menos suscetível ao sobreajuste. Experimentos de previsão de taxas de câmbio reforçaram estes resultados. Um segundo estudo de Monte Carlo apontou boas propriedades em amostra finita para o Teste J aplicado à não linearidade negligenciada, comparado a um teste de referência amplamente conhecido e utilizado. No geral, os resultados apontaram que a estimação pelo MGM é uma alternativa recomendável, em especial no caso de dados com alto nível de ruído. / [en] Artificial Neural Networks (ANN) started being developed in the decade of 1940. However, it was during the 1980 s that the ANNs became relevant, pushed by the popularization and increasing power of computers. Also in the 1980 s, there were two other two other academic events closely related to the present work: (i) a large increase of interest in nonlinear models from econometricians, culminating in the econometric approaches for ANN by the end of that decade; and (ii) the introduction of the Generalized Method of Moments (GMM) for parameter estimation in 1982. In econometric approaches for ANNs, the estimation by Quasi Maximum Likelihood (QML) always prevailed. Despite its good asymptotic properties, QML is very prone to an issue in finite sample estimations, known as overfiting. This thesis expands the state of the art in econometric approaches for ANNs by presenting an alternative to QML estimation that keeps its good asymptotic properties and has reduced leaning to overfiting. The presented approach relies on GMM estimation. As a byproduct, GMM estimation allows the use of the so-called J Test to verify the existence of neglected nonlinearity. The performed Monte Carlo studies indicate that the estimates from GMM are more accurate than those generated by QML in situations with high noise, especially in small samples. This result supports the hypothesis that GMM is susceptible to overfiting. Exchange rate forecasting experiments reinforced these findings. A second Monte Carlo study revealed satisfactory finite sample properties of the J Test applied to the neglected nonlinearity, compared with a reference test widely known and used. Overall, the results indicated that the estimation by GMM is a better alternative, especially for data with high noise level.

[pt] O objetivo desta dissertação é desenvolver modelos matemáticos que permitam estimar o tempo médio dos banhos com a utilização de chuveiros elétricos e a curva de carga desses aparelhos, considerando as informações das Pesquisas de Posses e Hábitos de Consumo (PPH) e medições realizadas com o auxílio de medidores eletrônicos com memória de massa, em residências com chuveiros elétricos. A motivação do estudo advém de uma exigência da ANEEL que determina que as distribuidoras de energia elétrica realizem a cada 2 (dois) ciclos de revisão tarifária a PPH em suas unidades consumidoras. Os métodos empregados foram: estatística descritiva (para a obtenção do tempo médio de banho); aplicação da regressão linear e de redes neurais (para corrigir a curva de carga horária obtida com a PPH, com base nos dados das medições). Os resultados foram promissores, pois o tempo médio de banho se encontra próximo às estimativas do PROCEL (que são de 8 (oito) a 10 (dez) minutos) e a curva de carga estimada se encontra próxima à da medição, sendo esta última o consumo real. Conclui-se que a abordagem desta dissertação resultou em melhorias na estimativa dos coeficientes de ajustes e que o método de redes neurais foi relativamente melhor que o método de regressão linear simples. / [en] The aim of this dissertation is to develop mathematical models that would allow the estimation of the average time of baths using electric showers and the load shape curves for these devices, obtained from two sources: the information of Electrical Appliances Ownership Survey and measurements of electric shower usage in households carried out with electronic meters with storage capacity. The motivation stems from a requirement of ANEEL that determines that the electric energy distributors periodically should hold a PPH in their consumer units. Concerning the average time of shower baths, the last PPH survey conducted by PROCEL in 2005 estimated this time between 8 (eight) and 10 (ten) minutes. The methods employed in this work were: descriptive statistics (for obtaining the average bath time); application of linear regression and neural networks (to estimate the correction factors to approximate the load shape curves obtained by PPH to those obtained by measurements). The obtained results are rather promising due to the following reasons: the average time of bath is next to the estimates of PROCEL and the corrected load shape curve estimated is quite close to the measured curve, the latter being the actual consumption. This approach has resulted in improvements in the estimation of the coefficients of adjustments and the method of neural networks was relatively better than the simple linear regression method.

[pt] Aplicações em Internet das Coisas (IoT) baseadas em agentes têm surgido como aplicações que podem envolver sensores, dispositivos sem fio, máquinas e softwares que podem compartilhar dados e que podem ser acessados remotamente. Essas aplicações vêm sendo propostas em vários domínios de aplicação, incluindo cuidados em saúde, cidades inteligentes e agricultura. Uma terminologia comumente utilizada para representar agentes embarcados inteligentes é embodied agents, a qual é proposta esse trabalho para projetar agentes para o domínio de IoT. Embodied agents significa agentes que possuem corpo, o qual pode ser definido pelos tipos de sensores e atuadores, e controlador, normalmente representada por uma rede neural artificial. Apesar da capacidade de reconfiguração ser essencial para embodied agents inteligentes, existem poucas tecnologias para suportar sistemas reconfigurfuaveis. Além disso, é necessário novas abordagens para lidar com as variabilidades dos agentes e do ambiente, e novos procedimentos para investigar a relação o entre o corpo e o controlador de um embodied agent, assim como as interações entre as mudanças do agente e do ambiente. Além da variabilidade do corpo e do controlador desses agentes, a exemplo do número e tipos de sensores, assim como o número de camadas e tipos de função de ativação para a rede neural, também é preciso lidar com a variabilidade do ambiente em que esses agentes estão situados. A fifim de entender melhor e esclarecer os conceitos de embodied agents, este trabalho apresenta um modelo de referência para embodied agents autoconfifiguráveis de IoT. A partir desse modelo de referência, três abordagens foram criadas para projetar e testar agentes embarcados reconfifiguráeis: i) um software framework para o desenvolvimento de embodied agents no domínio de internet das coisas; ii) uma arquitetura para configurar o corpo e controlador dos agentes de acordo com as variantes do ambiente; e iii) uma ferramenta para testar embodied agents. As abordagens foram avaliadas através de estudos de caso e experimentos em diferentes domínios de aplicação. / [en] Agent-based Internet of Things (IoT) applications have recently emerged as applications that can involve sensors, wireless devices, machines and software that can exchange data and be accessed remotely. Such applications have been proposed in several domains including health care, smart cities and agriculture. Embodied Agents is a term used to denote intelligent embedded agents, which we use to design agents to the IoT domain. Each agent is provided with a body that has sensors to collect data from the environment and actuators to interact with the environment, and a controller that is usually represented by an artificial neural network. Because reconfigurable behavior is key for autonomous embodied agents, there is a spectrum of approaches to support system reconfigurations. However, there is a need for approaches to handle agents and environment variability, and for a broad spectrum of procedures to investigate the relationship between the body and the controller of an embodied agent, as the interaction between the agent and the environment changes. In addition to the body and controller variability of these agents, such as those variations related to the number and types of sensors as well as the number of layers and types of activation function for the neural network, it is also necessary to deal with the variability of the environment in which these agents are situated. A discussion of the embodied agents should have some formal basis in order to clarify these concepts. Notwithstanding, this thesis presents a reference model for selfcon figurable IoT embodied agents. Based on this reference model, we have created three approaches to design and test self-configurable IoT embodied agents: i) a software framework for the development of embodied agents to the Internet of Things (IoT) applications; ii) an architecture to configure the body and controller of the agents based on environment variants; and iii) a tool for testing embodied agents. To evaluate these approaches, we have conducted diffierent case studies and experiments in difierent application domains.

[pt] Esta dissertação de mestrado consiste em um estudo avançado sobre aprendizado profundo por reforço visual para robôs autônomos através de técnicas de transferência de aprendizado. Os ambientes de simulação testados neste estudo são ambientes realistas complexos onde o robô tinha como desafio aprender e transferir conhecimento em diferentes contextos para aproveitar a experiência de ambientes anteriores em ambientes futuros. Este tipo de abordagem, além de agregar conhecimento ao robô autônomo, diminui o número de épocas de treinamento do algoritmo, mesmo em ambientes complexos, justificando o uso de técnicas de transferência de aprendizado. / [en] This master s thesis consists of an advanced study on deep learning by visual reinforcement for autonomous robots through transfer learning techniques. The simulation environments tested in this study are highly realistic environments where the challenge of the robot was to learn and tranfer knowledge in different contexts to take advantage of the experiencia of previous environments in future environments. This type of approach besides adding knowledge to the autonomous robot reduces the number of training epochs the algorithm, even in complex environments, justifying the use of transfer learning techniques.

[pt] O mundo vive hoje uma era de transformação digital resultante da chamada indústria 4.0 ou quarta revolução industrial. Nesta fase, a tecnologia tem exercido um papel cada vez mais estratégico no desempenho das organizações. Estes avanços tecnológicos têm revolucionado o processo de tomada de decisão na gestão e operação de cadeias de suprimentos. Neste contexto, esta dissertação apresenta uma metodologia de apoio à decisão na gestão de estoques, que combina multi-criteria decision making (MCDM) e machine learning (ML). A princípio, é realizada uma revisão sistemática da literatura para analisar como estas duas abordagens são aplicadas na gestão de estoques. Os resultados são complementados com um scoping review abrangendo a previsão de demanda. Inicia-se então um estudo de caso, aplicado em uma ferrovia de transporte de cargas. É aplicado, inicialmente, o método MCDM combinado Fuzzy AHP Vikor para ranquear os stock keeping units (SKUs) em ordem de criticidade. O passo seguinte é a aplicação do método de ML combinado GA-ANN, artificial neural network com genetic algorithm, com o objetivo de realizar a previsão de demanda em um piloto com alguns dos itens mais críticos. A etapa final consiste em estruturar um dashboard gerencial, integrando os resultados das etapas anteriores. Dentre os resultados alcançados, a partir do modelo proposto, observa-se considerável melhora na performance da previsão de demanda dos SKUs selecionados. Além disso, a integração entre as abordagens e implementação em um dashboard gerencial permitiu o desenvolvimento de um modelo semiautomático de tomada de decisão na gestão de estoques. / [en] The world is experiencing an era of digital transformation resulting from the industry 4.0 or fourth industrial revolution. In this period, technology has played an increasingly strategic role in the performance of organizations. These technological advances have revolutionized the decision-making process in the management and operation of supply chains. In this context, this dissertation presents a methodology to support decision-making in inventory management, which combines multi-criteria decision-making (MCDM) and machine learning (ML). At first, there is a systematic literature review in order to analyze how these two approaches are applied in inventory management. The results are complemented with a scoping review that includes the demand forecasting. A case study is then applied to a freight transport railway. Initially, the MCDM combined Fuzzy AHP Vikor method is applied to rank stock keeping units (SKUs) in degrees of criticality. The next step is the application of the ML combined GA-ANN method, artificial neural network with genetic algorithm, for the purpose of demand forecasting in a pilot with some of the most critical items. The final step is to structure a management dashboard, integrating the results of the previous steps. Among the results achieved from the proposed model, there is a considerable improvement in the performance of the demand forecasting for the selected SKUs. In addition, the integration between approaches and implementation in a management dashboard allowed the development of a semiautomatic model for decision-making in inventory management.

[pt] Esta dissertação investiga a aplicação dos métodos de Reinforcement Learning na descoberta de rotas ótimas em uma rede de comunicação. Uma rede de comunicação real possui um comportamento dinâmico, mudando seu estado com o tempo. Os algoritmos de roteamento devem, portanto, oferecer rapidez na resposta às mudanças do estado da rede. O objetivo do trabalho é avaliar a aplicação de técnicas de Reinforcement Learning (RL) como base de algoritmos adaptativos de roteamento de pacotes. O problema de roteamento de pacotes sob a visão de RL consiste na definição de cada nó na rede como um agente RL, sendo que este agente deve definir ações de forma a minimizar uma função objetivo que pode ser o tempo de roteamento dos pacotes. Um dos objetivos do RL é precisamente aprender a tomar as ações que minimizem uma função. O trabalho consistiu de 4 etapas principais: um estudo sobre a área de Reinforcement Learning (RL); um estudo sobre a área de redes de comunicação e roteamento de pacotes; a modelagem do problema de roteamento como um sistema RL e implementação de diferentes métodos de RL para obter algoritmos de roteamento; e o estudo de casos. O estudo na área de Reinforcement Learning abrangeu desde as definições mais fundamentais: suas características, os elementos de um sistema RL e modelagem do ambiente como um Processo de Decisão de Markov, até os métodos básicos de solução: Programação Dinâmica, método de Monte Carlo, e o método de Diferenças Temporais. Neste último método, foram considerados dois algoritmos específicos: TD e Q-Learning. Em seguida, foi avaliado o parâmetro Eligibility Traces como uma alternativa para apressar o processo de aprendizado, obtendo o TD(lambda) e o Q(lambda) respectivamente. O estudo sobre Redes de Comunicação e Roteamento de pacotes envolveu os conceitos básicos de redes de comunicações, comutação por pacotes, a questão do roteamento de pacotes e os algoritmos existentes adaptativos e não adaptativos, que são utilizados na atualidade. Nas redes de comunicação, definidas como um conjunto de nós ligados através de enlaces de comunicação, para se enviar uma mensagem de um nó a outro, geralmente, a mensagem é quebrada em pedaços, chamados pacotes, e enviados através de outros nós, até chegar ao destino. Deste modo surge o problema de escolher os nós que levem o pacote o mais rápido possível até o nó destino. Os algoritmos analisados foram: Shortest Path Routing que procura os caminhos com menor número de nós intermediários, não sendo sensível às mudanças na carga nem na topologia da rede; Weighted Shortest Path Routing, que oferece um melhor desempenho a partir de uma visão global do estado da rede, que nem sempre é fácil de obter em redes reais e o algoritmo de Bellman-Ford, baseado em decisões de roteamento locais e atualizações periódicas, com algumas limitações para obter políticas em altas cargas. Este último é um dos algoritmos mais utilizados na atualidade, sendo base de muitos protocolos de roteamento existentes. A modelagem do problema de roteamento como um sistema RL foi inspirada por uma característica na definição de um sistema RL: um agente que interage com o ambiente e aprende a atingir um objetivo. Assim, a modelagem dos algoritmos tem como objetivo aprender a descobrir as rotas que minimizem o tempo de roteamento de pacotes desde uma origem até um dado destino. A avaliação de uma rota escolhida não pode ser obtida antes que o pacote alcance o seu destino final. Este fato faz com que os processos de aprendizado supervisionado tenham dificuldade de se aplicar a esse problema. Por outro lado, o Reinforcement Learning não necessita de um par entrada-resposta para fazer o aprendizado, permitindo-lhe abordar o problema com relativa facilidade. Na modelagem efetuada, cada nó na rede se comporta como um agente de RL que age na própria rede, a qual é o ambiente. A informação das rotas é armazenada nas funções de valor existentes em todos os nós da rede para / [en] This dissertation investigates the application of Reinforcement Learning methods to the discovery of optimal routes in communication networks. Any current communication network displays dynamic behavior, changing its states over time. Therefore, the routing algorithms must react swiftly to changes in the network status. The objective of this work is to evaluate the application of some Reinforcement Learning techniques to define adaptive packet routing algorithms. The packet routing problem under the RL vision consists in the definition of each node on network as an RL agent. Thus, each agent must take actions in order to minimize an objective function such as end to end packet routing delay. One main objective of the RL is precisely learning to take the actions that minimize a given function. This thesis is consists of 4 main parts: first, a study of Reinforcement Learning (RL); a study of the communication networks and packet routing; the routing problem model as a RL system and the implementation of several RL methods in order to obtain some routing algorithms; e finally, the case study. The study of Reinforcement Learning extends from the more basic definitions, Reinforcement Learning features, elements of a RL system and environment modeling as a Markovian Decision Process, to the basic methods of solution: Dynamic Programming, Monte Carlo methods and Temporal Differences methods. In this last case, two specific algorithms have been considered: TD and Q-Learning, and, finally, the Eligibility Traces are evaluated as a useful tool that permits us to accelerate the learning process leading to the TD(lambda) and the Q(lambda) routing algorithms. The study on communication networks and packet routing involves the foundations of communication networks, packet switching, the packet routing problem, and adaptive and non- adaptive routing algorithms used at the present time. Communication networks are defined as a set of nodes connected through communication links. In order to send a message from a source node to a destination node usually the message is broken into segments called packets, and these are sent through other nodes until arriving at the destination. In this way the problem appears to choose the path which takes the shortest possible time for the packet to reach the destination node. The following algorithms have been analyzed: Shortest Path Routing that looks for paths with minimal hop number, not being sensible to the changes of load level and network topology; Weighted Shortest Path Routing that offers better performance from a global vision of the state of the network, which is not always easy to get in real networks; on the other hand, the Bellman- Ford routing algorithm was studied, this is based on local routing decisions and periodic updates, with some limitations to obtain policies in high load conditions. Bellman-Ford is one of the algorithms most used at the present time, being the basis for many existing routing protocols. The modeling of the routing problem as a RL system was inspired by one of the main features of the definition of an RL system: an agent who interacts with the environment and learns to reach an objective; therefore, the modeling of the routing algorithms has as its objective to learn to discover the paths that minimize packet routing time from an origin to an destination. The evaluation of a chosen route cannot be completed before the package reaches its final destination. This fact implies that supervised learning cannot be applied to the routing problem. On the other hand, Reinforcement Learning does not need a input-output pair for the learning process, allowing it to approach the problem with relative ease. In the modeling, each network node is viewed as a RL agent that acts in the same network; the network is the environment. The routing information is stored in the existing value functions in all nodes in the network, for each node and all another destination node / [es] Esta disertación investiga la aplicación de los métodos de Reinforcement Learning en la determinación de rutas óptimas en una red de comunicación. Una red de comunicación real posee un comportamiento dinámico, donde su estado varia en el tiempo. Los algoritmos de ruta óptima deben, por lo tanto, ofrecer rapidez en la respuesta a las variaciones del estado de la red. El objetivo de este trabajo es evaluar la aplicación de técnicas de Reinforcement Learning (RL) como base de algoritmos adaptativos de problemas de ruteamiento en redes. Este problema consiste en la definición de cada nodo de la red como un agente RL. Este agente debe definir acciones de modo a minimizar una función objetivo que puede ser el tiempo de ruteamiento. El trabajo consta de 4 etapas principais: un estudio sobre el área de Reinforcement Learning (RL); un estudio sobre redes de comunicación y problema de ruteamiento; el modelo de ruta óptima como un sistema RL y la implementación de diferentes métodos de RL para obtener algoritmos de ruta óptima; y un estudio de casos. El estudio en el área de Reinforcement Learning va desde las definiciones fundamentales: características, elementos de un sistema RL y modelaje del ambiente como un Proceso de Decisión de Markov, hasta los métodos básicos de solución: Programación Dinámica, método de Monte Carlo, y método de Diferencias Temporales. En este último método, fueron considerados dos algoritmos específicos: TD e Q-Learning. A seguir, fue evaluado el parámetro Eligibility Traces como una alternativa para agilizar el proceso de aprendizaje, obteniendo el TD(lambda) y el Q(lambda) respectivamente. El estudio sobre Redes de Comunicación y Problema de Transporte incluye los conceptos básicos de redes de comunicaciones, la cuestión de la ruta óptima y los algoritmos adaptativos y no adaptativos existentes, que se utilizan actualmente. Los algoritmos analizados fueron: Shortest Path Routing, que busca los caminos con menor número de nodos intermedios, no siendo sensible a variaciones en la carga ni en la topología de la red; Weighted Shortest Path Routing, que ofrece un mejor desempeño a partir de una visión global del estado de la red, que no siempre es fácil de obtener en redes reales; y el algoritmo de Bellman-Ford, que tiene como base decisiones de rutas locales y actualizaciones periódicas, con algunas limitaciones para obtener políticas en altas cargas. Este último es uno de los algoritmos más utilizados en la actualidad, siendo base de muchos protocolos de trazado de ruta existentes. La solución para modelar el problema de ruteamiento como un sistema RL fue inspirada por una característica en la definición de un sistema RL: un agente que interactúa con el ambiente y aprende a alcanzar un objetivo. Así, el modelo tiene como objetivo aprender a determinar las rutas que minimizen el timpo desde el origen hasta un destino dado. La evaluación de uma ruta seleccionada no puede ser obtenida antes que el paquete alcance su destino final. Esto hace que los procesos de aprendizaje supervisionado tengan dificultades para ser aplicados a este problema. Por otro lado, Reinforcement Learning no necesita de un par entrada-salida para el aprendizaje, permitiendo así, abordar el problema con relativa facilidad. En el modelo establecido, cada nodo en la red se comporta como un agente de RL que actúa en la propria red. La información de las rutas se almacena en las funciones de valor existentes en todos los nodos de la red para cada nodo destino diferente. Esta información contiene un valor estimado del tiempo requerido para un paquete para llegar hasta el nodo destino. La actualización de esos valores se realiza durante la transición del paquete hasta el vecino seleccionado. En este trabajo se implementaron varios algoritmos de ruta óptima. Cada uno de los algoritmos aplica características de las técnicas en Reinforcement Learning: o Q(lambda)-Routing, y el TD-Routing. En el estudio d

[pt] Este trabalho apresenta a modelagem e o desenvolvimento de uma metodologia baseada em Controle com Modelo Preditivo (MPC) aplicada ao controle da produção de óleo em um reservatório de petróleo com poços produtores e injetores já existentes. A estratégia MPC utiliza um modelo de aprendizado de máquina, baseado em Aprendizado por Reforço (Reinforcement Learning), como método de busca da política ótima de controle. Os experimentos se realizaram em um reservatório petrolífero sintético com atuadores que são 3 válvulas de injeção de água. Assim, a atuação é realizada através das taxas de injeção de água para determinados intervalos de tempo. As variáveis de saída do campo são: Pressão média do reservatório, taxa diária de produção de óleo, gás, água e water cut na produção. A previsão dessas variáveis é realizada mediante a utilização de uma proxy, a qual é um modelo identificado da planta implementado utilizando redes neurais. Os resultados obtidos indicam que o modelo proposto é capaz de controlar a produção de óleo mesmo com perturbações no poço produtor, para diferentes valores de referência de produção de óleo. / [en] This work presents the modeling and development of a methodology based on Model Predictive Control with (MPC) applied to the control of oil production in an oil reservoir with existing production and injection wells. The MPC strategy is based on a machine learning model - Reinforcement Learning (Reinforcement Learning) - as the method of searching the optimal control policy. The experiments were carried out in an oil reservoir with synthetic valve actuators that are 3 water injections. Therefore, the action is performed by injecting water rates for certain time intervals. The output variables of the field are: average pressure of the reservoir, the daily production of oil, gas, water and water cut. The forecast of these variables is accomplished by a proxy, which is a model identification og the plant implemented by neural networks. The results indicate that the proposed model is capable of controlling oil production even with disturbances in the producing well, for different reference values for oil production.