Submitted by Daniella Santos (daniella.santos@fgv.br) on 2010-03-23T12:01:36Z No. of bitstreams: 1 Dissertacao_Jefferson_Donizeti_Bertolai.pdf: 274926 bytes, checksum: a60c8343a27883dd5e7f529f517bc2e8 (MD5) / Approved for entry into archive by Andrea Virginio Machado(andrea.machado@fgv.br) on 2010-03-23T12:31:24Z (GMT) No. of bitstreams: 1 Dissertacao_Jefferson_Donizeti_Bertolai.pdf: 274926 bytes, checksum: a60c8343a27883dd5e7f529f517bc2e8 (MD5) / Made available in DSpace on 2010-03-24T12:48:06Z (GMT). No. of bitstreams: 1 Dissertacao_Jefferson_Donizeti_Bertolai.pdf: 274926 bytes, checksum: a60c8343a27883dd5e7f529f517bc2e8 (MD5) Previous issue date: 2009-12-08 / The dificulty in characterizing non-stationary allocations or equilibria is one of the main explanations for the use of concepts and assumptions that trivialize the dynamics of the economy. This di¢ culty is especially critical in Monetary Theory, in which the dimensionality of the problem is high even for very simple models. In this context, this paper reports the computational strategy for implementing the recursive method proposed by Monteiro and Cavalcanti (2006), which allows you to calculate the optimal sequence (possibly non-stationary) of distributions of money in an extension of the model proposed by Kiyotaki and Wright (1989). Three aspects of this calculation are emphasized: (i) the computational implementation of the plannerís problem involves the choice of continuous and discrete variables that maximize a nonlinear function and satisÖes nonlinear constraints; (ii) the objective function of this problem is not concave and constraints are not convex, and (iii) the set of admissible choices is not known a priori. The goal is to document the di¢ culties involved, the proposed solutions and available methods and resources to implement the numerical characterization of e¢ cient monetary dynamics under the assumption of random matching. / A dificuldade em se caracterizar alocações ou equilíbrios não estacionários é uma das principais explicações para a utilização de conceitos e hipóteses que trivializam a dinâmica da economia. Tal dificuldade é especialmente crítica em Teoria Monetária, em que a dimensionalidade do problema é alta mesmo para modelos muito simples. Neste contexto, o presente trabalho relata a estratégia computacional de implementação do método recursivo proposto por Monteiro e Cavalcanti (2006), o qual permite calcular a sequência ótima (possivelmente não estacionária) de distribuições de moeda em uma extensão do modelo proposto por Kiyotaki e Wright (1989). Três aspectos deste cálculo são enfatizados: (i) a implementação computacional do problema do planejador envolve a escolha de variáveis contínuas e discretas que maximizem uma função não linear e satisfaçam restrições não lineares; (ii) a função objetivo deste problema não é côncava e as restrições não são convexas; e (iii) o conjunto de escolhas admissíveis não é conhecido a priori. O objetivo é documentar as dificuldades envolvidas, as soluções propostas e os métodos e recursos disponíveis para a implementação numérica da caracterização da dinâmica monetária eficiente sob a hipótese de encontros aleatórios.

Submitted by Lucienne Costa (lucienneferreira@ufcg.edu.br) on 2017-12-13T16:54:10Z No. of bitstreams: 1 CÉLIO ANÉSIO DA SILVA - TESE (PPGEE) 2014.pdf: 1651226 bytes, checksum: a70dc4864a551f419c02ff41303eaffc (MD5) / Made available in DSpace on 2017-12-13T16:54:11Z (GMT). No. of bitstreams: 1 CÉLIO ANÉSIO DA SILVA - TESE (PPGEE) 2014.pdf: 1651226 bytes, checksum: a70dc4864a551f419c02ff41303eaffc (MD5) Previous issue date: 2014-05-29 / Capes / Um novo método de obtenção de parâmetros de filtros digitais recursivos (FDR) é apresentado para reduzir o impacto da resposta transitória dos Transformadores de Potencial Capacitivos (TPC) sobre o desempenho dos sistemas de medição, proteção e controle. Assumindo uma topologia predefinida, os parâmetros dos filtros são obtidos a partir da resposta em frequência do TPC de interesse. Diferentemente das técnicas reportadas na literatura, o método se aplica com facilidade a TPC de diferentes classes de tensão e independe das características operacionais do sistema. Para tanto, faz-se necessário conhecer a resposta em frequência do TPC em questão, no espectro de frequência de interesse. A validação do método é realizada através de simulações digitais em tempo real via simulador RTDSTM (Real Time Digital Simulator). As análises são baseadas em dados de sistemas elétricos reais e no funcionamento dinâmico dos filtros através da estimação dos fasores das tensões e estudos de localização de falta. A partir dos resultados obtidos, verifica-se que a presença dos FDR reduz significativamente os erros de medição causados pelos TPC quando submetidos a condições transitórias. Portanto, os FDR surgem como uma forma simples e de baixo custo para melhorar o desempenho e a confiabilidade dos sistemas de medição, proteção e controle. / A new method for obtaining recursive digital filter (FDR) parameters is presented in order to reduce the impact of Coupling Capacitor Voltage Transformer (CCVT) transient response on the performance of the measurement, protection and control systems. Assuming a pre-defined topology, the filter parameters are obtained from the CCVT frequency response of interest. Unlike the techniques reported in the literature, the method applies easily to CCVT of different voltage classes and it does not depend on the operating characteristics of the system, therefore, it is necessary to know the frequency response of the CCVT on the frequency spectrum of interest. The method is validated is through digital simulation using the RTDSTM (Real Time Digital Simulator). The analyzes are based on data obtained from electrical systems in service and on the dynamic performance of the filters by estimating the phasors of voltages and fault location studies. It is shown that the presence of FDR significantly reduces measurement errors caused by CCVT when subjected to transient conditions, therefore, the FDR arises as a simple and low cost alternative to improve the performance and reliability of measurement systems, protection and control.

Conselho Nacional de Desenvolvimento Científico e Tecnológico / This Thesis deals with the development of a novel robust model reference adaptive controller (RMRAC), in discrete-time applied to grid-connected systems using LCL filter. This controller uses a modified robust parameters identifier based on a recursive least-squares algorithm. Two control structures are analyzed: state feedback approach and input-output approach. The robust stability analysis of the controller is presented including unmodeled dynamics. Thus, through these analyses, constraints design, in discrete-time, are obtained. For the validation of the proposed control algorithm, simulation and experimental results of a grid-connected power converter with LCL-filter, with current control, are presented. / Esta Tese de Doutorado apresenta o desenvolvimento de um novo controlador adaptativo por modelo de referência, totalmente desenvolvido em tempo discreto, aplicado a sistemas conectados à rede de energia elétrica empregando filtro LCL. Este controlador utiliza um identificador de parâmetros modificado robusto baseado no método dos mínimos quadrados recursivos. Em relação à estrutura do controlador, a abordagem por realimentação de estados e a abordagem entrada-saída são utilizadas. A análise de estabilidade robusta do controlador é apresentada incluindo dinâmicas não-modeladas. Por meio destas análises, restrições de projeto (em tempo discreto) são obtidas. Para a validação do algoritmo proposto, resultados de simulação e experimentais do sistema de controle de corrente em um conversor conectado à rede de energia elétrica com filtro LCL são apresentados.

Esta tese apresenta novos algoritmos que resolvem problemas de estimativas filtrada, suavizadora e preditora para sistemas singulares no tempo discreto usando apenas argumentos determinísticos. Cada capítulo aborda inicialmente as estimativas para o sistema nominal e em seguida, as versões robustas para o sistema com incertezas limitadas. Os resultados encontrados podem ser aplicados tanto em sistemas invariantes como variantes no tempo discreto, utilizando a mesma estrutura do filtro de Kalman. Nos últimos anos, uma quantidade significativa de trabalhos envolvendo estimativas singulares foi publicada enfocando apenas a estimativa filtrada sob a justificativa de que a estimativa preditora era de significativa complexidade quando modelada pelo método dos mínimos quadrados. Por este motivo, poucos trabalhos, como NIKOUKHAH et al. (1992) e ZHANG et al. (1998), deduziram a estimativa preditora. Este último artigo apresentou também um algoritmo para a estimativa suavizadora, mas usando o modelo de inovação ARMA. No entanto, até onde foi possível identificar, nenhum trabalho até agora resolveu o problema de estimativa robusta, considerando incertezas nos parâmetros, para sistemas singulares. Para a dedução das estimativas singulares robustas, esta tese tomou como base SAYED (2001), que deduz o filtro de Kalman robusto com incertezas limitadas utilizando uma abordagem determinística, o chamado filtro BDU. Os filtros robustos para sistemas singulares apresentados nesta tese, são mais abrangentes que os apresentados em SAYED (2001). Quando particularizados para o espaço de estados sem incertezas, todos os filtros se assemelham ao filtro de Kalman. / New algorithms to optimal recursive filtering, smoothed and prediction for general time-invariant or time-variant descriptor systems are proposed in this thesis. The estimation problem is addressed as an optimal deterministic trajectory fitting. This problem is solved using exclusively deterministic arguments for systems with or without uncertainties. Kalman type recursive algorithms for robust filtered, predicted and smoothed estimations are derived. In the last years, many papers have paid attention to the estimation problems of linear singular systems. Unfortunately, all those works were concentrated only on the study of filtering problems, for nominal systems. The predicted and smoothed filters are more involved and were considered only by few works : NIKOUKHAH et al. (1992) and ZHANG et al. (1998) had proposed a unified approach for filtering, prediction and smoothing problems which were derived by using the projection formula and were calculated based on the ARMA innovation model, but they had not considered the uncertainties. In this thesis its applied for descriptor systems a robust procedure for usual state space systems developed by SAYED (2001), called BDU filter. It is obtained a robust descriptor Kalman type recursions for filtered, predicted and smoothed estimates. Considering the nominal state space, all descriptor filters developed in this work collapse to the Kalman filter.

Conselho Nacional de Desenvolvimento CientÃfico e TecnolÃgico / Este trabalho trata da proposiÃÃo de algoritmos para equalizaÃÃo cega de canais lineares e nÃao-lineares inspirados no Algoritmo do MÃdulo Constante (CMA). O CMA funciona de maneira bastante eficiente com constelaÃÃes nas quais todos os pontos possuem a mesma amplitude, como em modulaÃÃes do tipo Phase Shift Keying (PSK). Entretanto, quando os pontos da constelaÃÃo podem assumir diferentes valores de amplitudes, como em modulaÃÃes do tipo Quadrature Amplitude Modulation (QAM), o CMA e seus derivados muitas vezes nÃo funcionam de forma satisfatÃria. Desta forma, as tÃcnicas aqui propostas sÃo projetadas para melhorar a performance do CMA em termos de velocidade de convergÃncia e precisÃo, quando operando em sinais transmitidos com diversos mÃdulos, em particular para a modulaÃÃo QAM. Assim como o CMA, para possuir um bom apelo prÃtico, essas tÃcnicas devem apresentar bom compromisso entre complexidade, robustez e desempenho. Para tanto, as tÃcnicas propostas utilizam o Ãltimo sÃmbolo decidido para definir uma estimaÃÃo de raio de referÃncia para a saÃda do equalizador. De fato, esses algoritmos podem ser vistos como generalizaÃÃes do CMA e de alguns derivados do CMA para constelaÃÃes com mÃltiplos raios. A proposiÃÃo de algoritmos do tipo gradiente estocÃstico à concluÃda com o desenvolvimento de tÃcnicas originais, baseadas no CMA, para equalizaÃÃo de canais do tipo Wiener, que consiste em um filtro linear com memÃria, seguido por um filtro nÃo-linear sem memÃria. As expressÃes para a adaptaÃÃo do equalizador sÃo encontradas com o auxÃlio de uma notaÃÃo unificada para trÃs diferentes estruturas: i) um filtro de Hammerstein; ii) um filtro de Volterra diagonal; e iii) um filtro de Volterra completo. Um estudo teÃrico acerca do comportamento do principal algoritmo proposto, o Decision Directed Modulus Algorithm (DDMA) à realizado. SÃo analisadas a convergÃncia e a estabilidade do algoritmo atravÃs de uma anÃlise dos pontos de mÃnimo de sua funÃÃo custo. Outro objetivo à encontrar o valor teÃrico do Erro MÃdio QuadrÃtico MÃdio em Excesso - Excess Mean Square Error (EMSE) fornecido pelo DDMA considerando-se o caso sem ruÃdo. Ao final, à feito um estudo em que se constata que o algoritmo DDMA possui fortes ligaÃÃes com a soluÃÃo de Wiener e com o CMA. VersÃes normalizadas, bem como versÃes do tipo Recursive Least Squares (RLS), dos algoritmos do tipo gradiente estocÃstico estudados sÃo tambÃm desenvolvidas. Cada famÃlia de algoritmos estudada fie composta por quatro algoritmos com algumas propriedades interessantes e vantagens sobre as tÃcnicas clÃssicas, especialmente quando operando em sinais QAM de ordem elevada. TambÃm sÃo desenvolvidas versÃes normalizadas e do tipo RLS dos algoritmos do tipo CMA estudados para equalizaÃÃo de canais nÃo-lineares. O comportamento de todas as famÃlias de algoritmos desenvolvidos à testado atravÃs de simulaÃÃes computacionais, em que à verificado que as tÃcnicas propostas fornecem ganhos significativos em desempenho, em termos de velocidade de convergÃncia e erro residual, em relaÃÃo Ãs tÃcnicas clÃssicas. / This work studies and proposes algorithms to perform blind equalization of linear and nonlinear channels inspired on the Constant Modulus Algorithm (CMA). The CMA works very well for modulations in which all points of the signal constellation have the same radius, like in Phase Shift Keying (PSK) modulations. However, when the constellation points are characterized by multiple radii, like in Quadrature Amplitude Modulation (QAM) signals, the CMA does not work properly in many situations. Thus, the techniques proposed here are designed to improve the performance of the CMA, in terms of speed of convergence and residual error, when working with signals transmitted with multiple magnitude, in particular with QAM signals. As well as for the CMA, these techniques should have a good compromise among performance, complexity and robustness. To do so, the techniques use the last decided symbol to estimate reference radius to the output of the equalizer. In fact, they can be seen as modifications of the CMA and of some of its derivatives for constellations with multiple radii. The proposition of stochastic gradient algorithms is concluded with the development of new adaptive blind techniques to equalize channels with a Wiener structure. A Wiener filter consists of a linear block with memory followed by a memoryless nonlinearity, by using the CMA. We develop expressions for the adaptation of the equalizer using a unified notation for three different equalizer filter structures: i) a Hammerstein filter, ii) a diagonal Volterra filter and iii) a Volterra filter. A theoretical analysis of the main proposed technique, the Decision Directed Modulus Algorithm (DDMA), is also done. We study the convergence and the stability of the DDMA by means of an analysis of the minima of the DDM cost function. We also develop an analytic expression for the Excess Mean Square Error (EMSE) provided by the DDMA in the noiseless case. Then, we nd some interesting relationships among the DDM, the CM and the Wiener cost functions. We also develop a class of normalized algorithms and a class of Recursive Least Squares (RLS)-type algorithms for blind equalization inspired on the CMA-based techniques studied. Each family is composed of four algorithms with desirable properties and advantages over the original CM algorithms, specially when working with high-level QAM signals. Normalized and RLS techniques for equalization of Wiener channels are also developed. The behavior of the proposed classes of algorithms discussed is tested by computational simulations. We verify that the proposed techniques provide significative gains in performance, in terms of speed of convergence and residual error, when compared to the classical algorithms.

Made available in DSpace on 2016-12-12T17:38:34Z (GMT). No. of bitstreams: 1 Paulo Cesar da Silva.pdf: 5331875 bytes, checksum: adf5bf8880e8e89421a2fd553c966530 (MD5) Previous issue date: 2015-07-10 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The electrical parameters of three-phase induction motors vary according to their operating point, with the temperature and also with the natural machine degradation. Since the design regulators are typically performed based on linear and simplified equations of the machine, the parametric variation can cause unwanted responses, since the motor behavior is non-linear and time variant. Thus, it is proposed in this work carry the identification of the electrical parameters of the induction motor using the estimator called Least Squares Recursive (RLS). Thus, with the parametric data updated every sampling period can be recalculated in real time the gains of the regulators are designed for controlling the induction machine and make minor mismatches. The experimental results were obtained with the processing performed by dSPACE hardware (DS1103), which has an interface with Matlab/Simulink, facilitating the use by the user and reducing the time taken for testing bench. The results of numerical and practical simulations show a comparison between the mesh proposal, the parametric identification and update of the gains of the controllers (adaptive control) and the mesh with controllers with fixed gains. / Os parâmetros elétricos do motor de indução trifásico variam conforme o seu ponto de operação, com a temperatura e também com a degradação natural da máquina. Visto que o projeto de reguladores são tipicamente realizados com base em equações lineares e simplicadas da máquina, a variação paramétrica pode causar respostas indesejadas, pois o comportamento do motor é não-linear e variante no tempo. Desta forma propõe-se neste trabalho realizar a identificação dos parâmetros elétricos do motor de indução, utilizando o estimador denominado de Mínimos Quadrados Recursivos (MQR). Assim, com os dados paramétricos atualizados a cada período de amostragem, pode-se recalcular em tempo real, os ganhos dos reguladores que são projetados para o controle da máquina de indução e tornar os descasamentos menores. Os resultados experimentais foram obtidos com o processamento realizado pelo hardware dSPACE (DS1103), que possui uma interface com o Matlab/Simulink, facilitando a utilização por parte do usuário e reduzindo o tempo dispendido para os testes em bancada. Os resultados de simulações numéricas e práticos apresentam uma comparação entre a malha proposta, com a identificação paramétrica e atualiza ção dos ganhos dos controladores (controle adaptativo) e a malha com controladores com ganhos fixos.

Esta tese apresenta novos algoritmos que resolvem problemas de estimativas filtrada, suavizadora e preditora para sistemas singulares no tempo discreto usando apenas argumentos determinísticos. Cada capítulo aborda inicialmente as estimativas para o sistema nominal e em seguida, as versões robustas para o sistema com incertezas limitadas. Os resultados encontrados podem ser aplicados tanto em sistemas invariantes como variantes no tempo discreto, utilizando a mesma estrutura do filtro de Kalman. Nos últimos anos, uma quantidade significativa de trabalhos envolvendo estimativas singulares foi publicada enfocando apenas a estimativa filtrada sob a justificativa de que a estimativa preditora era de significativa complexidade quando modelada pelo método dos mínimos quadrados. Por este motivo, poucos trabalhos, como NIKOUKHAH et al. (1992) e ZHANG et al. (1998), deduziram a estimativa preditora. Este último artigo apresentou também um algoritmo para a estimativa suavizadora, mas usando o modelo de inovação ARMA. No entanto, até onde foi possível identificar, nenhum trabalho até agora resolveu o problema de estimativa robusta, considerando incertezas nos parâmetros, para sistemas singulares. Para a dedução das estimativas singulares robustas, esta tese tomou como base SAYED (2001), que deduz o filtro de Kalman robusto com incertezas limitadas utilizando uma abordagem determinística, o chamado filtro BDU. Os filtros robustos para sistemas singulares apresentados nesta tese, são mais abrangentes que os apresentados em SAYED (2001). Quando particularizados para o espaço de estados sem incertezas, todos os filtros se assemelham ao filtro de Kalman. / New algorithms to optimal recursive filtering, smoothed and prediction for general time-invariant or time-variant descriptor systems are proposed in this thesis. The estimation problem is addressed as an optimal deterministic trajectory fitting. This problem is solved using exclusively deterministic arguments for systems with or without uncertainties. Kalman type recursive algorithms for robust filtered, predicted and smoothed estimations are derived. In the last years, many papers have paid attention to the estimation problems of linear singular systems. Unfortunately, all those works were concentrated only on the study of filtering problems, for nominal systems. The predicted and smoothed filters are more involved and were considered only by few works : NIKOUKHAH et al. (1992) and ZHANG et al. (1998) had proposed a unified approach for filtering, prediction and smoothing problems which were derived by using the projection formula and were calculated based on the ARMA innovation model, but they had not considered the uncertainties. In this thesis its applied for descriptor systems a robust procedure for usual state space systems developed by SAYED (2001), called BDU filter. It is obtained a robust descriptor Kalman type recursions for filtered, predicted and smoothed estimates. Considering the nominal state space, all descriptor filters developed in this work collapse to the Kalman filter.

Made available in DSpace on 2016-08-17T14:53:22Z (GMT). No. of bitstreams: 1 Dissertacao Allan James.pdf: 3170694 bytes, checksum: 054a9e74e81a7c2099800246d0b6c530 (MD5) Previous issue date: 2012-09-28 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The union of methodologies for optimal control and dynamics programming has stimulated the development of algorithms for realization of discrete control systems of the type linear quadratic regulator (DLQR). The methodology is based on reinforcement learning methods based on temporal differences and approximate dynamic programming. The proposed method combines the approach of the value function by method RLS (recursive least squares) and approximate policy iteration schemes heuristic dynamic programming (HDP). The approach is directed to the assessment of convergence of the solution DLQR and the heuristic weighting matrices 􀜳 and 􀜴 of the utility function associated with DLQR. The investigation of convergence properties related to consistency, persistent excitation and polarization of the RLS estimator is performed. The methodology involved in a project achievements online DLQR controllers and is evaluated in a fourth order multivariable dynamic system. / A união das metodologias de controle ótimo e de programação dinâmica tem impulsionado o desenvolvimento de algoritmos para realizações de sistemas de controle discreto do tipo regulador linear quadrático (DLQR). A metodologia utilizada neste trabalho é fundamentada sobre métodos de aprendizagem por reforço baseados em diferenças temporais e programação dinâmica aproximada. O método proposto combina a aproximação da função valor através do método RLS (mínimos quadrados recursivos) e iteração de política aproximada em esquemas de programação dinâmica heurística (HDP). A abordagem é orientada para a avaliação da convergência da solução DLQR e para a sintonia heurística das matrizes de ponderação 􀜳 e 􀜴da função de utilidade associada ao DLQR. É realizada a investigação das propriedades de convergência relacionadas à consistência, excitação persistente e polarização do estimador RLS. A metodologia contempla realizações de projetos de forma online de controladores DLQR e é avaliada em um sistema dinâmico multivariável de quarta ordem.

Submitted by Rosivalda Pereira (mrs.pereira@ufma.br) on 2017-06-23T20:34:27Z No. of bitstreams: 1 ErnestoFerreira.pdf: 1744167 bytes, checksum: c125c90e5eb2aab2618350567f88cb31 (MD5) / Made available in DSpace on 2017-06-23T20:34:27Z (GMT). No. of bitstreams: 1 ErnestoFerreira.pdf: 1744167 bytes, checksum: c125c90e5eb2aab2618350567f88cb31 (MD5) Previous issue date: 2016-03-08 / The development and the numerical stability analysis of a new adaptive critic algorithm to approximate the state-value function for online discrete linear quadratic regulator (DLQR) optimal control system design based on heuristic dynamic programming (HDP) are presented in this work. The proposed algorithm makes use of unitary transformations and QR decomposition methods to improve the online learning e-ciency in the critic network through the recursive least-squares (RLS) approach. The developed learning strategy provides computational performance improvements in terms of numerical stability and computational cost which aim at making possible the implementations in real time of optimal control design methodology based upon actor-critic reinforcement learning paradigms. The convergence behavior and numerical stability of the proposed online algorithm, called RLSµ-QR-HDP-DLQR, are evaluated by computational simulations in three Multiple-Input and Multiple-Output (MIMO) models, that represent the automatic pilot of an F-16 aircraft of third order, a fourth order RLC circuit with two input voltages and two controllable voltage levels, and a doubly-fed induction generator with six inputs and six outputs for wind energy conversion systems. / Neste trabalho, apresenta-se o desenvolvimento e a análise da estabilidade numérica de um novo algoritmo crítico adaptativo para aproximar a função valor de estado para o projeto do sistema de controle ótimo online, utilizando o regulador linear quadrático discreto (DLQR), com base em programação dinâmica heurística (HDP). O algoritmo proposto faz uso de transformações unitárias e métodos de decomposição QR para melhorar a e-ciência da aprendizagem online na rede crítica por meio da abordagem dos mínimos quadrados recursivos (RLS). A estratégia de aprendizagem desenvolvida fornece melhorias no desempenho computacional em termos de estabilidade numérica e custo computacional, que visam tornar possíveis as implementações em tempo real da metodologia do projeto de controle ótimo com base em paradigmas de aprendizado por reforço ator-crítico. O comportamento de convergência e estabilidade numérica do algoritmo online proposto, denominado RLSµ-QR-HDP-DLQR, são avaliados por meio de simulações computacionais em três modelos Múltiplas-Entradas e Múltiplas-Saídas (MIMO), que representam o piloto automático de uma aeronave F-16 de terceira ordem, um circuito de quarta ordem RLC com duas tensões de entrada e dois níveis de tensão controláveis, e um gerador de indução duplamente alimentados com seis entradas e seis saídas para sistemas de conversão de energia eólica.

Submitted by Maria Aparecida (cidazen@gmail.com) on 2017-08-30T15:33:12Z No. of bitstreams: 1 Patricia Helena.pdf: 11110405 bytes, checksum: ca1f067231658f897d84b86181dbf1b9 (MD5) / Made available in DSpace on 2017-08-30T15:33:12Z (GMT). No. of bitstreams: 1 Patricia Helena.pdf: 11110405 bytes, checksum: ca1f067231658f897d84b86181dbf1b9 (MD5) Previous issue date: 2014-07-24 / In this thesis a proposal of an uni ed approach of dynamic programming, reinforcement learning and function approximation theories aiming at the development of methods and algorithms for design of optimal control systems is presented. This approach is presented in the approximate dynamic programming context that allows approximating the optimal feedback solution as to reduce the computational complexity associated to the conventional dynamic programming methods for optimal control of multivariable systems. Speci cally, in the state and action dependent heuristic dynamic programming framework, this proposal is oriented for the development of online approximated solutions, numerically stable, of the Riccati-type Hamilton-Jacobi-Bellman equation associated to the discrete linear quadratic regulator problem which is based on a formulation that combines value function estimates by means of a RLS (Recursive Least-Squares) structure, temporal di erences and policy improvements. The development of the proposed methodologies, in this work, is focused mainly on the UDU T factorization that is inserted in this framework to improve the RLS estimation process of optimal decision policies of the discrete linear quadratic regulator, by circumventing convergence and numerical stability problems related to the covariance matrix ill-conditioning of the RLS approach. / Apresenta-se nesta tese uma proposta de uma abordagem uni cada de teorias de programação dinâmica, aprendizagem por reforço e aproximação de função que tem por objetivo o desenvolvimento de métodos e algoritmos para projeto online de sistemas de controle ótimo. Esta abordagem é apresentada no contexto de programação dinâmica aproximada que permite aproximar a solução de realimentação ótima de modo a reduzir a complexidade computacional associada com métodos convencionais de programação dinâmica para controle ótimo de sistemas multivariáveis. Especi camente, no quadro de programação dinâmica heurística e programação dinâmica heurística dependente de ação, esta proposta é orientada para o desenvolvimento de soluções aproximadas online, numericamente estáveis, da equação de Hamilton-Jacobi-Bellman do tipo Riccati associada ao problema do regulador linear quadrático discreto que tem por base uma formulação que combina estimativas da função valor por meio de uma estrutura RLS (do inglês Recursive Least-Squares), diferenças temporais e melhorias de política. O desenvolvimento das metodologias propostas, neste trabalho, tem seu foco principal voltado para a fatoração UDU T que é inserida neste quadro para melhorar o processo de estimação RLS de políticas de decisão ótimas do regulador linear quadrá- tico discreto, contornando-se problemas de convergência e estabilidade numérica relacionados com o mal condicionamento da matriz de covariância da abordagem RLS.