Made available in DSpace on 2016-08-17T14:53:22Z (GMT). No. of bitstreams: 1 Dissertacao Allan James.pdf: 3170694 bytes, checksum: 054a9e74e81a7c2099800246d0b6c530 (MD5) Previous issue date: 2012-09-28 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The union of methodologies for optimal control and dynamics programming has stimulated the development of algorithms for realization of discrete control systems of the type linear quadratic regulator (DLQR). The methodology is based on reinforcement learning methods based on temporal differences and approximate dynamic programming. The proposed method combines the approach of the value function by method RLS (recursive least squares) and approximate policy iteration schemes heuristic dynamic programming (HDP). The approach is directed to the assessment of convergence of the solution DLQR and the heuristic weighting matrices 􀜳 and 􀜴 of the utility function associated with DLQR. The investigation of convergence properties related to consistency, persistent excitation and polarization of the RLS estimator is performed. The methodology involved in a project achievements online DLQR controllers and is evaluated in a fourth order multivariable dynamic system. / A união das metodologias de controle ótimo e de programação dinâmica tem impulsionado o desenvolvimento de algoritmos para realizações de sistemas de controle discreto do tipo regulador linear quadrático (DLQR). A metodologia utilizada neste trabalho é fundamentada sobre métodos de aprendizagem por reforço baseados em diferenças temporais e programação dinâmica aproximada. O método proposto combina a aproximação da função valor através do método RLS (mínimos quadrados recursivos) e iteração de política aproximada em esquemas de programação dinâmica heurística (HDP). A abordagem é orientada para a avaliação da convergência da solução DLQR e para a sintonia heurística das matrizes de ponderação 􀜳 e 􀜴da função de utilidade associada ao DLQR. É realizada a investigação das propriedades de convergência relacionadas à consistência, excitação persistente e polarização do estimador RLS. A metodologia contempla realizações de projetos de forma online de controladores DLQR e é avaliada em um sistema dinâmico multivariável de quarta ordem.

Submitted by Maria Aparecida (cidazen@gmail.com) on 2017-08-30T15:33:12Z No. of bitstreams: 1 Patricia Helena.pdf: 11110405 bytes, checksum: ca1f067231658f897d84b86181dbf1b9 (MD5) / Made available in DSpace on 2017-08-30T15:33:12Z (GMT). No. of bitstreams: 1 Patricia Helena.pdf: 11110405 bytes, checksum: ca1f067231658f897d84b86181dbf1b9 (MD5) Previous issue date: 2014-07-24 / In this thesis a proposal of an uni ed approach of dynamic programming, reinforcement learning and function approximation theories aiming at the development of methods and algorithms for design of optimal control systems is presented. This approach is presented in the approximate dynamic programming context that allows approximating the optimal feedback solution as to reduce the computational complexity associated to the conventional dynamic programming methods for optimal control of multivariable systems. Speci cally, in the state and action dependent heuristic dynamic programming framework, this proposal is oriented for the development of online approximated solutions, numerically stable, of the Riccati-type Hamilton-Jacobi-Bellman equation associated to the discrete linear quadratic regulator problem which is based on a formulation that combines value function estimates by means of a RLS (Recursive Least-Squares) structure, temporal di erences and policy improvements. The development of the proposed methodologies, in this work, is focused mainly on the UDU T factorization that is inserted in this framework to improve the RLS estimation process of optimal decision policies of the discrete linear quadratic regulator, by circumventing convergence and numerical stability problems related to the covariance matrix ill-conditioning of the RLS approach. / Apresenta-se nesta tese uma proposta de uma abordagem uni cada de teorias de programação dinâmica, aprendizagem por reforço e aproximação de função que tem por objetivo o desenvolvimento de métodos e algoritmos para projeto online de sistemas de controle ótimo. Esta abordagem é apresentada no contexto de programação dinâmica aproximada que permite aproximar a solução de realimentação ótima de modo a reduzir a complexidade computacional associada com métodos convencionais de programação dinâmica para controle ótimo de sistemas multivariáveis. Especi camente, no quadro de programação dinâmica heurística e programação dinâmica heurística dependente de ação, esta proposta é orientada para o desenvolvimento de soluções aproximadas online, numericamente estáveis, da equação de Hamilton-Jacobi-Bellman do tipo Riccati associada ao problema do regulador linear quadrático discreto que tem por base uma formulação que combina estimativas da função valor por meio de uma estrutura RLS (do inglês Recursive Least-Squares), diferenças temporais e melhorias de política. O desenvolvimento das metodologias propostas, neste trabalho, tem seu foco principal voltado para a fatoração UDU T que é inserida neste quadro para melhorar o processo de estimação RLS de políticas de decisão ótimas do regulador linear quadrá- tico discreto, contornando-se problemas de convergência e estabilidade numérica relacionados com o mal condicionamento da matriz de covariância da abordagem RLS.