Orientador: Gabriel Alves da Costa Lima / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Mecânica e Instituto de Geociências / Made available in DSpace on 2018-08-21T23:40:04Z (GMT). No. of bitstreams: 1 Cesca_IgorGimenes_M.pdf: 2631356 bytes, checksum: 457c322ac2cc3cffc8315b485825f863 (MD5) Previous issue date: 2012 / Resumo: No setor energético (mineração, energia elétrica e petróleo), o conhecimento do comportamento dos custos dos equipamentos em seus ciclos de vida se torna muito importante devido a: (1) alto custo de aquisição e (2) elevadas despesas de manutenção. Dessa maneira, a aquisição de um ativo físico não deve ser decidida somente com base no custo inicial, mas sim por meio do custo do ciclo de vida desse ativo. Para esta dissertação foi elaborado um modelo matemático para encontrar a vida econômica e realizar previsões de custos de manutenção de um grupo de ativos físicos empregados no setor energético. Sendo assim, isso ocorre por meio de: (1) programação dinâmica, utilizando o modelo clássico de Bellman para reposição de equipamentos; (2) engenharia econômica, de tal forma que a vida econômica dos equipamentos é modelada por meio da função W de Lambert e (3) técnicas econométricas de previsão, tal que a relação entre os custos de manutenção e a idade dos equipamentos é testada por formas funcionais de regressões lineares simples. Com isso, para modelagem de vida econômica, foi possível estabelecer teoremas e, para previsão de custos de manutenção, foi possível perceber que as variáveis possuem uma relação não linear entre elas. Portanto, foi possível concluir que os equipamentos podem ser utilizados de maneira mais eficiente e com menores custos de ciclo de vida incorporados, uma vez que seja aplicada uma gestão econômica com base no modelo proposto nesta dissertação e, consequentemente, também possibilitar obter melhores indicadores financeiros para as empresas do setor energético / Abstract: In the energy sector (mining, oil and electricity), the knowledge of the asset's behavior in their life-cycle costs becomes very important because of: (1) the high cost of acquisition and (2) the high maintenance expenses. Thus, the acquisition of a physical asset should not be decided only on the basis of its initial cost, but through the consideration of its entire life cycle cost. In this dissertation a mathematical model of economic life and maintenance costs forecasts of a group of physical assets is developed and employed in the analysis of problems in the energy sector. The model considers the following: (1) dynamic programming, using the classical Bellman model for equipment replacement; (2) engineering economics, using to model the economic life of the equipment the equivalent cost theory and Lambert W-function and (3) econometric forecasting techniques, such that the relationship between the maintenance costs and equipment age are tested for functional forms of linear regressions. Therefore, on economic life modeling, it was possible to establish theorems and on maintenance costs forecasting. It was revealed that the variables have a nonlinear relationship between them. To conclude, physical assets can be used more efficiently and at lower life-cycle costs incorporated with the application of models developed in this dissertation and, consequently, contribute to obtain better financial indicators for companies in the energy sector / Mestrado / Reservatórios e Gestão / Mestre em Ciências e Engenharia de Petróleo

Orientadores: Secundino Soares Filho, Marcelo Agusto Cicogna / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação / Made available in DSpace on 2018-08-07T21:19:01Z (GMT). No. of bitstreams: 1 Zambelli_MonicadeSouza_M.pdf: 1476300 bytes, checksum: 26436b0b3c9bd918ebd703de827d4906 (MD5) Previous issue date: 2006 / Resumo: O setor elétrico brasileiro vem passando por sucessivas reformas na busca por um modelo institucional que permita a otimização do uso dos recursos energéticos, conciliada com o objetivo de se alcançar um desenvolvimento sustentável. O planejamento energético tem um papel fundamental neste contexto, de modo que estudos e pesquisas que forneçam suporte ao planejamento do setor energético e à elaboração de políticas energéticas de médio e longo prazo têm ganhado destaque entre as prioridades do setor elétrico brasileiro. A proposta deste trabalho é apresentar uma política operativa baseada no conceito de curvas-guias de armazenamento para o planejamento da operação energética de médio prazo. Essa política determina que, a cada estágio do período de planejamento, as decisões de vazão turbinada por cada usina hidrelétrica devem ser tais que mantenham seus reservatórios em níveis pré-estabelecidos por curvas-guias de armazenamento. A análise de desempenho dessa política operativa foi feita através de simulações da operação hidrotérmica, para sistemas de único reservatório e uma cascata do sistema elétrico brasileiro. Os resultados das simulações foram também comparados aos de políticas operativas mais robustas, incluindo o uso de programação dinâmica estocástica, técnica de solução já consolidada para o problema e utilizada atualmente no setor elétrico brasileiro. Os resultados demonstram que, apesar de simples e transparente, essa política operativa apresenta um desempenho competitivo para o planejamento da operação energética / Abstract: The Brazilian electric sector has been passing through successive reforms in the search for an institutional model that allows the optimization of the use of the energetic resources, concealed with the goal of achieving a sustaining development. The energetic planning plays a fundamental roll in this context, thus studies and researches designated to support planning in the energetic sector and elaboration of long term energetic policies have been gaining space among the Brazilian electric sector priorities. The proposal of this work is to present an operating policy based on the concept of storage guide-curves for the mid term hydrothermal scheduling. This policy determines that, at each stage of the planning period, the decisions of water discharged from each hydro plant must be such that keep their reservoirs at levels pre-determined by storage guide-curves. The performance analysis of this operating policy was done through operation simulation, considering different hydro plants of the Brazilian system. The simulation results were also compared to more robust operative policies, including the use of stochastic dynamic programming, a consolidated solution technique for the problem witch is actually in use by the Brazilian electric sector. The results demonstrate that, despite of simple and transparent, this operating policy presents a competitive performance for the hydrothermal scheduling / Mestrado / Energia Eletrica / Mestre em Engenharia Elétrica

Um dos modelos mais usados para descrever problemas de planejamento probabilístico, i.e., planejamento de ações com efeitos probabilísticos, é o processo de decisão markoviano (Markov Decision Process - MDP). Soluções tradicionais são baseadas em programação dinâmica, sendo as mais ecientes aquelas baseadas em programação dinâmica em tempo real (Real-Time Dynamic Programming - RTDP), por explorarem somente os estados alcançáveis a partir de um dado estado inicial. Por outro lado, existem soluções ecientes baseadas em métodos de busca heurística em um grafo AND/OR, sendo que os nós AND representam os efeitos probabilísticos das ações e os nós OR representam as escolhas de ações alternativas. Tais soluções também exploram somente estados alcançáveis a partir de um estado inicial porém, guardam um subgrafo solução parcial e usam programação dinâmica para a atualização do custo dos nós desse subgrafo. No entanto, problemas com grandes espaços de estados limitam o uso prático desses métodos. MDPs fatorados permitem explorar a estrutura do problema, representando MDPs muito grandes de maneira compacta e assim, favorecer a escalabilidade das soluções. Neste trabalho, apresentamos uma análise comparativa das diferentes soluções para MDPs, com ênfase naquelas que fazem busca heurística e as comparamos com soluções baseadas em programação dinâmica assíncrona, consideradas o estado da arte das soluções de MPDs. Além disso, propomos um novo algoritmo de busca heurística para MDPs fatorados baseado no algoritmo ILAO* e o testamos nos problemas da competição de planejamento probabilístico IPPC-2011. / One of the most widely used models to describe probabilistic planning problems, i.e., planning of actions with probabilistic eects, is the Markov Decision Process - MDP. The traditional solutions are based on dynamic programming, whereas the most ecient solutions are based on Real-Time Dynamic Programming - RTDP, which explore only the reachable states from a given initial state. Moreover, there are ecient solutions based on search methods in a AND/OR graph, where AND nodes represent the probabilistic eects of an action and OR nodes represent the choices of alternative actions. These solutions also explore only reachable states but maintain the parcial subgraph solution, using dynamic programming for updating the cost of nodes of these subgraph. However, problems with large state spaces limit the practical use of these methods. Factored representation of MDPs allow to explore the structure of the problem, and can represent very large MDPs compactly and thus improve the scalability of the solutions. In this dissertation, we present a comparative analysis of dierent solutions for MDPs, with emphasis on heuristic search methods. We compare the solutions which are based on asynchronous dynamic programming which are also considered the state of the art. We also propose a new factored algorithm based on the search algorithm ILAO*. It is also tested by using the problems of the International Probabilistic Planning Competition IPPC-2011.

Submitted by Maria Aparecida (cidazen@gmail.com) on 2017-08-30T15:33:12Z No. of bitstreams: 1 Patricia Helena.pdf: 11110405 bytes, checksum: ca1f067231658f897d84b86181dbf1b9 (MD5) / Made available in DSpace on 2017-08-30T15:33:12Z (GMT). No. of bitstreams: 1 Patricia Helena.pdf: 11110405 bytes, checksum: ca1f067231658f897d84b86181dbf1b9 (MD5) Previous issue date: 2014-07-24 / In this thesis a proposal of an uni ed approach of dynamic programming, reinforcement learning and function approximation theories aiming at the development of methods and algorithms for design of optimal control systems is presented. This approach is presented in the approximate dynamic programming context that allows approximating the optimal feedback solution as to reduce the computational complexity associated to the conventional dynamic programming methods for optimal control of multivariable systems. Speci cally, in the state and action dependent heuristic dynamic programming framework, this proposal is oriented for the development of online approximated solutions, numerically stable, of the Riccati-type Hamilton-Jacobi-Bellman equation associated to the discrete linear quadratic regulator problem which is based on a formulation that combines value function estimates by means of a RLS (Recursive Least-Squares) structure, temporal di erences and policy improvements. The development of the proposed methodologies, in this work, is focused mainly on the UDU T factorization that is inserted in this framework to improve the RLS estimation process of optimal decision policies of the discrete linear quadratic regulator, by circumventing convergence and numerical stability problems related to the covariance matrix ill-conditioning of the RLS approach. / Apresenta-se nesta tese uma proposta de uma abordagem uni cada de teorias de programação dinâmica, aprendizagem por reforço e aproximação de função que tem por objetivo o desenvolvimento de métodos e algoritmos para projeto online de sistemas de controle ótimo. Esta abordagem é apresentada no contexto de programação dinâmica aproximada que permite aproximar a solução de realimentação ótima de modo a reduzir a complexidade computacional associada com métodos convencionais de programação dinâmica para controle ótimo de sistemas multivariáveis. Especi camente, no quadro de programação dinâmica heurística e programação dinâmica heurística dependente de ação, esta proposta é orientada para o desenvolvimento de soluções aproximadas online, numericamente estáveis, da equação de Hamilton-Jacobi-Bellman do tipo Riccati associada ao problema do regulador linear quadrático discreto que tem por base uma formulação que combina estimativas da função valor por meio de uma estrutura RLS (do inglês Recursive Least-Squares), diferenças temporais e melhorias de política. O desenvolvimento das metodologias propostas, neste trabalho, tem seu foco principal voltado para a fatoração UDU T que é inserida neste quadro para melhorar o processo de estimação RLS de políticas de decisão ótimas do regulador linear quadrá- tico discreto, contornando-se problemas de convergência e estabilidade numérica relacionados com o mal condicionamento da matriz de covariância da abordagem RLS.

Algumas abordagens para o problema de Planejamento Ótimo da Operação de Sistemas Hidrotérmicos (POOSH) utilizam modelos estocásticos para representar as vazões afluentes dos reservatórios do sistema. Essas abordagens utilizam, em geral, técnicas de Programação Dinâmica Estocástica (PDE) para resolver o POOSH. Por outro lado, muitos autores têm defendido o uso dos modelos determinísticos ou, particularmente, a Programação Dinâmica Determinística (PDD) por representar de forma individualizada a interação entre as usinas hidroelétricas do sistema. Nesse contexto, esta dissertação tem por objetivo comparar o desempenho da solução do POOSH obtida via PDD com a solução obtida pela PDE, que emprega um modelo Markoviano periódico, com distribuição condicional Log-Normal Truncada para representar as vazões. Além disso, é realizada a análise com abordagem bayesiana, no modelo de vazões, para estimação dos parâmetros e previsões das vazões afluentes. Comparamos as performances simulando a operação das usinas hidroelétricas de Furnas e Sobradinho, considerando séries de vazões geradas artificialmente / Some approaches for problem of Optimal Operation Planning of Hydrothermal Systems (OOPHS) use stochastic models to represent the inflows in the reservoirs that compose the system. These approaches typically use the Stochastic Dynamic Programming (SDP) to solve the OOPHS. On the other hand, many authors defend the use of deterministic models and, particularly, the Deterministic Dynamic Programming (DDP) since it individually represents the interaction between the hydroelectric plants. In this context, this dissertation aims to compare the performance of the OOPHS solution obtained via DDP with the one given by SDP, which employs a periodic Markovian model with conditional Truncated Log-Normal distribution to represent the inflows. Furthermore, it is performed a bayesian approach analysis, in the inflow model, for estimating the parameters and forecasting the inflows. We have compared the performances of the DDP and SDP solutions by simulating the hydroelectric plants of Furnas and Sobradinho, employing artificially generated series

Submitted by Maria Aparecida (cidazen@gmail.com) on 2017-09-04T13:42:58Z No. of bitstreams: 1 Watson Robert.pdf: 2699368 bytes, checksum: cf204eec3df50b251f4adbbbd380ffd0 (MD5) / Made available in DSpace on 2017-09-04T13:42:58Z (GMT). No. of bitstreams: 1 Watson Robert.pdf: 2699368 bytes, checksum: cf204eec3df50b251f4adbbbd380ffd0 (MD5) Previous issue date: 2014-08-21 / Due to the demand for high-performance equipments and the rising cost of energy, the industrial sector is developing equipments to attend minimization of the theirs operational costs. The implementation of these requirements generate a demand for projects and implementations of high-performance control systems. The optimal control theory is an alternative to solve this problem, because in its design considers the normative specifications of the system design, as well as those that are related to the operational costs. Motivated by these perspectives, it is presented the study of methods and the development of algorithms to the approximated solution of the Equation Hamilton-Jacobi-Bellman, in the form of discrete Riccati equation, model free and dependent of the dynamic system. The proposed solutions are developed in the context of adaptive dynamic programming that are based on the methods for online design of optimal control systems, Discrete Linear Quadratic Regulator type. The proposed approach is evaluated in multivariable models of the dynamic systems to evaluate the perspectives of the optimal control law for online implementations. / Devido a demanda por equipamentos de alto desempenho e o custo crescente da energia, o setor industrial desenvolve equipamentos que atendem a minimização dos seus custos operacionais. A implantação destas exigências geram uma demanda por projetos e implementações de sistemas de controle de alto desempenho. A teoria de controle ótimo é uma alternativa para solucionar este problema, porque considera no seu projeto as especificações normativas de projeto do sistema, como também as relativas aos seus custos operacionais. Motivado por estas perspectivas, apresenta-se o estudo de métodos e o desenvolvimento de algoritmos para solução aproximada da Equação Hamilton-Jacobi-Bellman, do tipo Equação Discreta de Riccati, livre e dependente de modelo do sistema dinâmico. As soluções propostas são desenvolvidas no contexto de programação dinâmica adaptativa (ADP) que baseiam-se nos métodos para o projeto on-line de Controladores Ótimos, do tipo Regulador Linear Quadrático Discreto. A abordagem proposta é avaliada em modelos de sistemas dinâmicos multivariáveis, tendo em vista a implementação on-line de leis de controle ótimo.

Made available in DSpace on 2016-08-17T14:53:16Z (GMT). No. of bitstreams: 1 Leandro Rocha Lopes.pdf: 1075564 bytes, checksum: 01e184ed6d7c65323c0dfc1515da19a3 (MD5) Previous issue date: 2011-04-04 / Due to the increasing of technological development and its associated industrial applications, control design methods to attend high performance requests and reinforcement learning are been developed, not only, to solve new problems, as well as, to improve the performance of implemented controllers in the real systems. The reinforcement learning (RL) and discrete linear quadratic regulator (DLQR) approaches are connected by adaptive dynamic programming (ADP). This connection is oriented to the design of optimal controller for multivariable systems (MIMO). The proposed method for DLQR controllers tuning can been heuristic guidance for biased variations in weighting matrices of instantenous reward. The heuristics performance are evaluated in terms of convergence of heuristic dynamic programming (HDP) and action dependent (AD-HDP) algorithms. The algorithms and tuning are evaluated by the capability to map the plane-Z in MIMO dynamic system of third order. / Em decorrência do crescente desenvolvimento tecnológico e das consequentes aplicações industriais, técnicas de controle de alto desempenho e aprendizado por reforço estão sendo desenvolvidas não só para solucionar novos problemas, mas também para melhorar o desempenho de controladores já implementados em sistemas do mundo real. As abordagens do aprendizado por reforço e do regulador linear quadrático discreto (DLQR) são conectadas pelos métodos de programação dinâmica adaptativa. Esta união é orientada para o projeto de controladores ótimos em sistemas multivariáveis (MIMO). O método proposto para sintonia de controladores DLQR fornece diretrizes para construção de heurísticas polarizadas que são aplicadas na seleção das matrizes de ponderação da recompensa instantânea. Investiga-se o desempenho das heurísticas associadas com a sintonia de controladores lineares discretos e aspectos de convergência que estão relacionados com as variações QR nos algoritmos de programação dinâmica heurística (HDP) e Ação Dependente (ADHDP). Os algoritmos e a sintonia são avaliados pela capacidade em estabelecer a política de controle ótimo que mapeia o plano-Z em um sistema dinãmico multivariável de terceira ordem.

Made available in DSpace on 2016-08-17T14:53:22Z (GMT). No. of bitstreams: 1 Dissertacao Allan James.pdf: 3170694 bytes, checksum: 054a9e74e81a7c2099800246d0b6c530 (MD5) Previous issue date: 2012-09-28 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The union of methodologies for optimal control and dynamics programming has stimulated the development of algorithms for realization of discrete control systems of the type linear quadratic regulator (DLQR). The methodology is based on reinforcement learning methods based on temporal differences and approximate dynamic programming. The proposed method combines the approach of the value function by method RLS (recursive least squares) and approximate policy iteration schemes heuristic dynamic programming (HDP). The approach is directed to the assessment of convergence of the solution DLQR and the heuristic weighting matrices 􀜳 and 􀜴 of the utility function associated with DLQR. The investigation of convergence properties related to consistency, persistent excitation and polarization of the RLS estimator is performed. The methodology involved in a project achievements online DLQR controllers and is evaluated in a fourth order multivariable dynamic system. / A união das metodologias de controle ótimo e de programação dinâmica tem impulsionado o desenvolvimento de algoritmos para realizações de sistemas de controle discreto do tipo regulador linear quadrático (DLQR). A metodologia utilizada neste trabalho é fundamentada sobre métodos de aprendizagem por reforço baseados em diferenças temporais e programação dinâmica aproximada. O método proposto combina a aproximação da função valor através do método RLS (mínimos quadrados recursivos) e iteração de política aproximada em esquemas de programação dinâmica heurística (HDP). A abordagem é orientada para a avaliação da convergência da solução DLQR e para a sintonia heurística das matrizes de ponderação 􀜳 e 􀜴da função de utilidade associada ao DLQR. É realizada a investigação das propriedades de convergência relacionadas à consistência, excitação persistente e polarização do estimador RLS. A metodologia contempla realizações de projetos de forma online de controladores DLQR e é avaliada em um sistema dinâmico multivariável de quarta ordem.

Made available in DSpace on 2016-08-17T14:53:28Z (GMT). No. of bitstreams: 1 Dissertacao Gustavo Araujo.pdf: 2606649 bytes, checksum: efb1a5ded768b058f25d23ee8967bd38 (MD5) Previous issue date: 2014-04-28 / In this work the main objective is to present the development of learning algorithms for online application for the solution of algebraic Hamilton-Jacobi-Bellman equation. The concepts covered are focused on developing the methodology for control systems, through techniques that aims to design online adaptive controllers to reject noise sensors, parametric variations and modeling errors. Concepts of neurodynamic programming and reinforcement learning are are discussed to design algorithms where the context of a given operating point causes the control system to adapt and thus present the performance according to specifications design. Are designed methods for online estimation of adaptive critic focusing efforts on techniques for gradient estimating of the environment value function. / Neste trabalho o principal objetivo é apresentar o desenvolvimento de algoritmos de aprendizagem para execução online para a solução da equação algébrica de Hamilton-Jacobi-Bellman. Os conceitos abordados se concentram no desenvolvimento da metodologia para sistemas de controle, por meio de técnicas que tem como objetivo o projeto online de controladores adaptativos são projetados para rejeitar ruídos de sensores, variações paramétricas e erros de modelagem. Conceitos de programação neurodinâmica e aprendizagem por reforço são abordados para desenvolver algoritmos onde a contextualização de determinado ponto de operação faz com que o sistema de controle se adapte e, dessa forma, apresente o desempenho de acordo com as especificações de projeto. Desenvolve-se métodos para a estimação online do crítico adaptativo concentrando os esforços em técnicas de estimação do gradiente da função valor do ambiente.

Submitted by Renata Lopes (renatasil82@gmail.com) on 2016-07-01T11:43:52Z No. of bitstreams: 1 germandavidyagimoromisato.pdf: 4216499 bytes, checksum: a1b6dec404f94fd91a0a919755636775 (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2016-07-13T16:00:06Z (GMT) No. of bitstreams: 1 germandavidyagimoromisato.pdf: 4216499 bytes, checksum: a1b6dec404f94fd91a0a919755636775 (MD5) / Made available in DSpace on 2016-07-13T16:00:06Z (GMT). No. of bitstreams: 1 germandavidyagimoromisato.pdf: 4216499 bytes, checksum: a1b6dec404f94fd91a0a919755636775 (MD5) Previous issue date: 2012-08-02 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Este trabalho tem como objetivo apresentar uma nova metodologia baseada em Programação Dinâmica Dual Determinística (PDDD) para o cálculo da Energia Firme de sistemas energéticos. A Energia Firme tem uma relação direta com os certificados de energia garantida atribuídos às usinas hidráulicas, os quais representam o limite superior para os contratos de energia estabelecidos com os consumidores (distribuidores e consumidores livres). Neste contexto, este trabalho possui uma importância relevante para o cenário atual do Setor Elétrico Brasileiro (SEB). Os resultados são comparados com aqueles obtidos pela metodologia em vigor no SEB, o qual é baseado em métodos heurísticos. / The objective of this work is to introduce a new methodology based in The Deterministic Dual Dynamic Programming (DDDP) to calculate the firm energy of energetic systems. The firm energy is directly related to the guaranteed energy certificates assigned to hydraulic power plants. These energy certificates represent the limits of energy contracts that can be established with consumers (energy distributors and free consumers). In this context, this work has a relevant importance to the current scenario of the Brazilian Electric Sector (BES). The results are compared to those obtained by the BES approved computational model based in heuristic methods.