Submitted by Maria Aparecida (cidazen@gmail.com) on 2017-08-30T15:33:12Z No. of bitstreams: 1 Patricia Helena.pdf: 11110405 bytes, checksum: ca1f067231658f897d84b86181dbf1b9 (MD5) / Made available in DSpace on 2017-08-30T15:33:12Z (GMT). No. of bitstreams: 1 Patricia Helena.pdf: 11110405 bytes, checksum: ca1f067231658f897d84b86181dbf1b9 (MD5) Previous issue date: 2014-07-24 / In this thesis a proposal of an uni ed approach of dynamic programming, reinforcement learning and function approximation theories aiming at the development of methods and algorithms for design of optimal control systems is presented. This approach is presented in the approximate dynamic programming context that allows approximating the optimal feedback solution as to reduce the computational complexity associated to the conventional dynamic programming methods for optimal control of multivariable systems. Speci cally, in the state and action dependent heuristic dynamic programming framework, this proposal is oriented for the development of online approximated solutions, numerically stable, of the Riccati-type Hamilton-Jacobi-Bellman equation associated to the discrete linear quadratic regulator problem which is based on a formulation that combines value function estimates by means of a RLS (Recursive Least-Squares) structure, temporal di erences and policy improvements. The development of the proposed methodologies, in this work, is focused mainly on the UDU T factorization that is inserted in this framework to improve the RLS estimation process of optimal decision policies of the discrete linear quadratic regulator, by circumventing convergence and numerical stability problems related to the covariance matrix ill-conditioning of the RLS approach. / Apresenta-se nesta tese uma proposta de uma abordagem uni cada de teorias de programação dinâmica, aprendizagem por reforço e aproximação de função que tem por objetivo o desenvolvimento de métodos e algoritmos para projeto online de sistemas de controle ótimo. Esta abordagem é apresentada no contexto de programação dinâmica aproximada que permite aproximar a solução de realimentação ótima de modo a reduzir a complexidade computacional associada com métodos convencionais de programação dinâmica para controle ótimo de sistemas multivariáveis. Especi camente, no quadro de programação dinâmica heurística e programação dinâmica heurística dependente de ação, esta proposta é orientada para o desenvolvimento de soluções aproximadas online, numericamente estáveis, da equação de Hamilton-Jacobi-Bellman do tipo Riccati associada ao problema do regulador linear quadrático discreto que tem por base uma formulação que combina estimativas da função valor por meio de uma estrutura RLS (do inglês Recursive Least-Squares), diferenças temporais e melhorias de política. O desenvolvimento das metodologias propostas, neste trabalho, tem seu foco principal voltado para a fatoração UDU T que é inserida neste quadro para melhorar o processo de estimação RLS de políticas de decisão ótimas do regulador linear quadrá- tico discreto, contornando-se problemas de convergência e estabilidade numérica relacionados com o mal condicionamento da matriz de covariância da abordagem RLS.

In advanced process control, the Model Predictive Control (MPC) may be considered the most important innovation in recent years and the standard tool for industrial applications due to the fact that it keeps the plant operating in the constraints more profitable. However, like every control algorithm, the MPC after some time in operation rarely works as originally designed. Thus, to preserve the benefits of MPC systems for a long period of time, their performance needs to be monitored and evaluated during the operation. This task require the presence of reliable and effective tools to detect when the controller performance is below of the desirable, to define the need, or not, of recommissioning the system. Thus, the objective of this work is development of techniques for monitoring and evaluating the performance of multivariable predictive controllers, being developed two new tools: LQG benchmark Modified and IHMC benchmark. The results obtained from numerical simulations were satisfactory and consistent with the technical literature applied in the developments of the evaluators, which were used in the monitoring of the control system MPC of the oil-water-gas three-phase separation process, offering an appropriate solution and providing subsidies for implementations in real industrial systems. / Em controle avançado de processos, o controlador preditivo ou MPC (Model Predictive Control) pode ser considerado como a mais importante inovação dos últimos anos e a ferramenta padrão para aplicações industriais, devido ao fato do MPC manter a planta operando dentro das suas restrições de forma mais lucrativa. Entretanto, como todo algoritmo de controle, o MPC depois de algum tempo em operação dificilmente funciona como quando fora inicialmente projetado. Desta forma, com o objetivo de manter os benefícios dos sistemas MPC por um longo período de tempo, seu desempenho precisa ser monitorado e avaliado durante a operação. Esta tarefa requer a presença de ferramentas efetivas e confiáveis para detectar quando o desempenho do controlador estiver abaixo do desejável, para definir a necessidade, ou não, de um recomissionamento do sistema. Destarte, aborda-se neste trabalho o desenvolvimento de técnicas para monitoramento e avaliação de desempenho de controladores preditivos multivariáveis, sendo desenvolvidas duas novas ferramentas: LQG benchmark Modificado e IHMC benchmark. Os resultados obtidos a partir de simulações numéricas foram satisfatórios e coerentes com a literatura técnica aplicada no desenvolvimento dos avaliadores, os quais foram utilizados no monitoramento do sistema de controle MPC do processo de separação trifásica água-óleo-gás, oferecendo assim uma solução apropriada e fornecendo subsídios para implementações em sistemas industrias reais.