As equações do modelo bidimensional de veículos autônomos subaquáticos fornecem um exemplo de sistema de controle não linear com o qual podemos ilustrar propriedades da teoria de controle ótimo. Apresentamos, sistematicamente, como os conceitos de formalismo hamiltoniano e teoria de Lie aparecem de forma natural neste contexto. Para tanto, estudamos brevemente o Princípio do Máximo de Pontryagin e discutimos características de sistemas afins. Tratamos com cuidado do Fenômeno Fuller, fornecendo critérios para decidir quando ele está ou não presente em junções, utilizando para isso uma linguagem algébrica. Apresentamos uma abordagem numérica para tratar problemas de controle ótimo e finalizamos com a aplicação dos resultados ao modelo bidimensional de veículo autônomo subaquático. / The equations of the two-dimensional model for autonomous underwater vehicles provide an example of a nonlinear control system which illustrates properties of optimal control theory. We present, systematically, how the concepts of the Hamiltonian formalism and the Lie theory naturally appear in this context. For this purpose, we briefly study the Pontryagin\'s Maximum Principle and discuss features of affine systems. We treat carefully the Fuller Phenomenon, providing criteria to detect its presence at junctions with an algebraic notation. We present a numerical approach to treat optimal control problems and we conclude with an application of the results in the bidimesional model of autonomous underwater vehicle.

Este trabalho aborda o problema de controle ótimo por modos deslizantes via função penalidade para sistemas de tempo discreto. Para resolver este problema será desenvolvido uma estrutura matricial alternativa baseada no problema de mínimos quadrados ponderados e funções penalidade. A partir desta nova formulação é possível obter a lei de controle ótimo por modos deslizantes, as equações de Riccati e a matriz do ganho de realimentação através desta estrutura matricial alternativa. A motivação para propormos essa nova abordagem é mostrar que é possível obter uma solução alternativa para o problema clássico de controle ótimo por modos deslizantes. / This work introduces a penalty function approach to deal with the optimal sliding mode control problem for discrete-time systems. To solve this problem an alternative array structure based on the problem of weighted least squares penalty function will be developed. Using this alternative matrix structure, the optimal sliding mode control law of, the matrix Riccati equations and feedback gain were obtained. The motivation of this new approach is to show that it is possible to obtain an alternative solution to the classic problem of optimal sliding mode control.

As equações do modelo bidimensional de veículos autônomos subaquáticos fornecem um exemplo de sistema de controle não linear com o qual podemos ilustrar propriedades da teoria de controle ótimo. Apresentamos, sistematicamente, como os conceitos de formalismo hamiltoniano e teoria de Lie aparecem de forma natural neste contexto. Para tanto, estudamos brevemente o Princípio do Máximo de Pontryagin e discutimos características de sistemas afins. Tratamos com cuidado do Fenômeno Fuller, fornecendo critérios para decidir quando ele está ou não presente em junções, utilizando para isso uma linguagem algébrica. Apresentamos uma abordagem numérica para tratar problemas de controle ótimo e finalizamos com a aplicação dos resultados ao modelo bidimensional de veículo autônomo subaquático. / The equations of the two-dimensional model for autonomous underwater vehicles provide an example of a nonlinear control system which illustrates properties of optimal control theory. We present, systematically, how the concepts of the Hamiltonian formalism and the Lie theory naturally appear in this context. For this purpose, we briefly study the Pontryagin\'s Maximum Principle and discuss features of affine systems. We treat carefully the Fuller Phenomenon, providing criteria to detect its presence at junctions with an algebraic notation. We present a numerical approach to treat optimal control problems and we conclude with an application of the results in the bidimesional model of autonomous underwater vehicle.

Este trabalho aborda o problema de controle ótimo por modos deslizantes via função penalidade para sistemas de tempo discreto. Para resolver este problema será desenvolvido uma estrutura matricial alternativa baseada no problema de mínimos quadrados ponderados e funções penalidade. A partir desta nova formulação é possível obter a lei de controle ótimo por modos deslizantes, as equações de Riccati e a matriz do ganho de realimentação através desta estrutura matricial alternativa. A motivação para propormos essa nova abordagem é mostrar que é possível obter uma solução alternativa para o problema clássico de controle ótimo por modos deslizantes. / This work introduces a penalty function approach to deal with the optimal sliding mode control problem for discrete-time systems. To solve this problem an alternative array structure based on the problem of weighted least squares penalty function will be developed. Using this alternative matrix structure, the optimal sliding mode control law of, the matrix Riccati equations and feedback gain were obtained. The motivation of this new approach is to show that it is possible to obtain an alternative solution to the classic problem of optimal sliding mode control.

Made available in DSpace on 2016-08-31T13:33:39Z (GMT). No. of bitstreams: 1 AdelsonML_DISSERT.pdf: 2600977 bytes, checksum: b09d306ac9269f72f993eda2576b8229 (MD5) Previous issue date: 2014-07-30 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Renewable energy has been essencial in power generation, among then, the wind energy arouses great attention because it is a renewable source with largely in connection with the electric power system. This connection has provided several problems to the electrical system due to electronic converters, wind variation, type of machinery. In order to reduce these problems, hybrid controllers(PI+LQR) and optimal controllers(LQR) in the inverters connected to the grid are evaluated. For the evaluation of controllers were developed mathematical models in order to perform and validate the simulations with PSIM software, the manufacturer Powersim Inc. version 9.1. The results indicate that the hybrid and optimal controllers achieved good performances when compared with a conventional type controller (PI) / As energias renováveis tem sido fundamentais na geração de energia, dentre elas a energia eólica desperta uma grande atenção, pois é uma fonte renovável com grande parte na conexão com o sistema elétrico de potência. Esta conexão tem proporcionado várias problemas ao sistema elétrico, devido aos conversores eletrônicos, variação do vento, tipo de máquinas. Com o objetivo de aliviar estes problemas, são avaliados os controladores híbrido (PI + LQR) e os controladores ótimos (LQR) nos conversores conectados à rede elétrica. Para a avaliação dos controladores foram desenvolvidos modelos matemáticos a fim de realizar e validar as simulações com o auxílio do software PSIM®, do fabricante Powersim Inc. versão 9.1. Os resultados obtidos permitem concluir que o controlador híbrido e ótimo tiveram um bom desempenho quando comparados com um controlador tipo clássico (PI)

Submitted by Luciana Sebin (lusebin@ufscar.br) on 2016-09-21T13:52:44Z No. of bitstreams: 1 DissVBF.pdf: 4418595 bytes, checksum: aaae3efb173c8760a1039251a31ea973 (MD5) / Approved for entry into archive by Marina Freitas (marinapf@ufscar.br) on 2016-09-23T18:23:48Z (GMT) No. of bitstreams: 1 DissVBF.pdf: 4418595 bytes, checksum: aaae3efb173c8760a1039251a31ea973 (MD5) / Approved for entry into archive by Marina Freitas (marinapf@ufscar.br) on 2016-09-23T18:24:01Z (GMT) No. of bitstreams: 1 DissVBF.pdf: 4418595 bytes, checksum: aaae3efb173c8760a1039251a31ea973 (MD5) / Made available in DSpace on 2016-09-23T18:24:10Z (GMT). No. of bitstreams: 1 DissVBF.pdf: 4418595 bytes, checksum: aaae3efb173c8760a1039251a31ea973 (MD5) Previous issue date: 2015-03-20 / Não recebi financiamento / The continuous demand growth for liquid fuels, alongside with the decrease of fossil oil reserves, unavoidable in the long term, induces investigations for new energy sources. A possible alternative is the use of bioethanol, produced by renewable resources such as sugarcane bagasse. Two thirds of the cultivated sugarcane biomass are sugarcane bagasse and leaves, not fermentable when the current, first-generation (1G) process is used. A great interest has been given to techniques capable of utilizing the carbohydrates from this material. Among them, production of second generation (2G) ethanol is a possible alternative. 2G ethanol requires two additional operations: a pretreatment and a hydrolysis stage. Regarding the hydrolysis, the dominant technical solution has been based on the use of enzymatic complexes to hydrolyze the lignocellulosic substrate. To ensure the feasibility of the process, a high final concentration of glucose after the enzymatic hydrolysis is desirable. To achieve this objective, a high solid consistency in the reactor is necessary. However, a high load of solids generates a series of operational difficulties within the reactor. This is a crucial bottleneck of the 2G process. A possible solution is using a fed-batch process, with feeding profiles of enzymes and substrate that enhance in the process yield and productivity. The main objective of this work was to implement and test a system to infer online concentrations of fermentable carbohydrates in the reactive system, and to optimize the feeding strategy of substrate and/or enzymatic complex, according to a model-based control strategy. Batch and fed-batch experiments were conducted in order to test the adherence of four simplified kinetic models. The model with best adherence to the experimental data (a modified Michaelis-Mentem model with inhibition by the product) was used to train an Artificial Neural Network (ANN) as a softsensor to predict glucose concentrations. Further, this ANN may be used in a closedloop control strategy. A feeding profile optimizer was implemented, based on the optimal control approach. The ANN was capable of inferring the product concentration from the available data with good adherence (Determination Coefficient of 0.972). The optimization algorithm generated profiles that increased a process performance index while maintaining operational levels within the reactor, reaching glucose concentrations close to those utilized in current first generation technology a (ranging between 156.0 g.L⁻¹ and 168.3 g.L⁻¹). However rough estimates for scaling up the reactor to industrial dimensions indicate that this conventional reactor design must be replaced by a two-stage reactor, to minimize the volume of liquid to be stirred. / A crescente demanda por combustíveis líquidos, bem como a diminuição das reservas de petróleo, inevitáveis a longo prazo, induzem pesquisas por novas fontes de energia. Uma possível solução é o uso do bioetanol, produzido de resíduos, como o bagaço de cana-deaçúcar. Dois terços da biomassa cultivada são bagaço e folhas. Estas frações não são fermentescíveis quando se usa a tecnologia de primeira geração atual (1G). Um grande interesse vem sendo prestado a técnicas capazes de utilizar os carboidratos deste material. Dentre elas, a produção de etanol de segunda geração (2G) é uma possível alternativa. Etanol 2G requer duas operações adicionais: etapas de pré-tratamento e hidrólise. Considerando a hidrólise, a técnica dominante tem sido a utilização de complexos enzimáticos para hidrolisar o substrato lignocelulósico. Para assegurar a viabilidade do processo, uma alta concentração final de glicose é necessária ao final do processo. Para atingir esse objetivo, uma alta concentração de sólidos no reator é necessária. No entanto, uma carga grande de sólidos gera uma série de dificuldades operacionais para o processo. Este é um gargalo crucial do processo 2G. Uma possível solução é utilizar um processo de batelada alimentada, com perfis de alimentação de enzima e substrato para aumentar produtividade e rendimento. O principal objetivo deste trabalho é implementar e testar um sistema para inferir concentração de carboidratos fermentescíveis automaticamente e otimizar a política de substrato e/ou enzima em tempo real, de acordo com uma estratégia de controle baseada em modelo cinético. Experimentos de batelada e batelada alimentada foram realizados a fim de testar a aderência de 4 modelos cinéticos simplificados. O modelo com melhor aderência aos dados experimentais (um modelo de Michaelis-Mentem modificado com inibição por produto) foi utilizado para gerar dados a fim de treinar uma rede neural artificial para predizer concentrações de glicose automaticamente. Em estudos futuros, esta rede pode ser utilizada para compor o fechamento da malha de controle. Um otimizador de perfil de alimentação foi implementado, este foi baseado em uma abordagem de controle ótimo. A rede neural foi capaz de predizer a concentração de produto com os dados disponíveis de maneira satisfatória (Coeficiente de Determinação de 0.972). O algoritmo de otimização gerou perfis que aumentaram a performance do processo enquanto manteve as condições da hidrólise dentro de níveis operacionais, e gerou concentrações de glicose próximas as obtidas pelo caldo de cana-de-açúcar da primeira geração (valores entre 156.0 g.L ¹ e 168.3 g.L ¹). No entanto, estimativas iniciais de ⁻ ⁻ aumento de escala do processo demonstraram que para atingir dimensões industriais o projeto do reator utilizado deve ser analisado, substituindo o mesmo por um processo em dois estágios para diminuir o volume do reator e energia para agitação.

Made available in DSpace on 2016-06-02T19:56:40Z (GMT). No. of bitstreams: 1 3187.pdf: 3659896 bytes, checksum: 975ac91a3eb67a4347c326de8f22bf8e (MD5) Previous issue date: 2010-03-31 / Universidade Federal de Minas Gerais / This master's thesis project aims at studying the dynamic optimization of the operation of a bench scale (up to 5L) automated, agitated and aerated bioreactor, where the semi-continuous cultivation of recombinant Pichia pastoris is run. This yeast was cloned using the PGK1 promoter, which precludes the use of methanol as inducer, expressing constitutively the enzyme penicillin G Acylase (PGA) from Bacillus megaterium. While the group of molecular biology of DEQUFSCar is working on cloning the PGA, d P. pastoris expressing the enzyme - amylase from Bacillus subtilis was cultivated. This clone, provided by prof. Fernando Torres, UnB, uses the same construction and, therefore, its kinetics of growth and production should be very similar to the PGA s. Cultivation of recombinant Pichia pastoris was performed in flasks (skaker) using standard culture medium, aiming at obtaining kinetic data, which are the starting point for the escalation to a benchtop bioreactor. Following that, tests were performed in a 5L bioreactor in batch and fed batch operation modes. With the bioreactor data , kinetic parameters of growth, to be further used in the simulations, were estimated, using a hybrid algorithm (which combines the global method Simulated Annealing, with the local one Levenberg- Marquardt). This algorithm, is implemented in Matlab and available in the software library of Ladabio (Laboratory of Development and Automation of Bioprocesses ). From these data, models of microbial growth and of production were developed, following a classic approach (unstructured, non-segregated). Computer simulations using different feeding strategies and employing these models allowed mapping the dynamics of the system. From this information, optimal control strategies were proposed to define optimal feeding profiles. Cellular concentrations of 5.4 g/L (dry weight) were reached in shaker (20h of cultivation, when glucose is exhausted), expressing 218 U/mL of -amylase, compared to 11.4 g/L (dry weight) that were achieved in cultures in a bioreactor in batch simple (10h of cultivation, when glucose is exhausted), expressing 156 U/mL of -amylase In fed-batch cultures, cell concentrations of up to 45 g/L were achieved, expressing up to 260 U/mL of - amylase, with a productivity of 5.2 U/mL/ h. In fed-batch cultures of P. pastoris expressing PGA, cell concentrations of up to 35 g/L were achieved. Enzyme activity was not detected in the culture broth due to the effect of glycosylation. Immunodetection reaction confirmed the expression of the recombinant enzyme. Four specific growth rate equations were adjusted, with different types of inhibition by one product, detected at significant levels by liquid chromatography highperformance, but not yet identified. This metabolite was added as an inhibitor in kinetic models, using the peak areas, normalized as a pseudoconcentration. The best fit to the experimental data were the Monod kinetic model with non-competitive inhibition. Typical values obtained for the maximum specific growth and glucose/ cell conversion factor in bioreactor were max=0,24 h-1 and YX/S = 0,48. Algorithm for optimal control in open loop was developed and successfully implemented, providing a robust profiles of great power, whose validation is proposed as a continuation of this work. / Este mestrado se propoe a estudar a otimizacao dinamica de biorreator automatizado, tipo tanque agitado e aerado, em escala de bancada (ate 5L), onde se processa o cultivo semi-continuo de Pichia pastoris recombinante. Essa levedura foi clonada pelo grupo do prof. Fernando Torres, da UnB, utilizando o promotor PGK1, que dispensa a utilizacao de metanol como indutor, expressando constitutivamente a enzima -amilase de Bacillus subtilis. Durante a execucao deste mestrado, a enzima penicilina G acilase (PGA) de Bacillus megaterium esta sendo clonada pelo grupo de biologia molecular do DEQ-UFSCar usando a mesma construcao e, portanto, a cinetica de crescimento e producao da PGA heterologa devera ser muito semelhante as da -amilase, utilizada como estudo de caso para otimizacao do bioprocesso. Cultivos de Pichia pastoris recombinante foram realizados em frascos agitados, utilizando meio de cultivo padrao, objetivando o levantamento de dados cineticos, ponto de partida para o escalonamento em biorreator de bancada. Posteriormente, foram realizados ensaios em biorreator de 5L, em batelada e batelada alimentada. Com os dados obtidos nos cultivos em biorreator, e utilizando algoritmo hibrido para estimativa de parametros (que combina o metodo global Simulated Annealing, com o local de Levenberg-Marquardt), implementado em MatLab e disponivel no LaDABio (Laboratorio de Desenvolvimento e Automacao de Bioprocessos), foram ajustados parametros cineticos de crescimento, para serem utilizados nas simulacoes dos cultivos em biorreator. A partir dai, foi desenvolvido modelo de crescimento microbiano e de producao, utilizando um enfoque classico (modelo nao-estruturado, nao-segregado) para descrever o sistema. Com isso, torna-se possivel realizar simulacoes em computador usando diferentes estrategias de alimentacao, para mapear a dinamica do sistema. A seguir, foram desenvolvidos algoritmos de controle otimo em malha aberta para definicao de estrategias de alimentacao. Concentracoes celulares de 5,4 g/L (massa seca) foram alcancadas em cultivos em camara rotatoria (20h de cultivo, quando se esgota a glicose), expressando 218 U/mL de -amilase, comparado com 11,4 g/L(massa seca) que foram atingidos em cultivos em biorreator em bateladas simples (10h de cultivo, quando se esgota a glicose), expressando 156 U/mL de -amilase. Em cultivos em batelada alimentada concentracoes celulares de ate 45 g/L foram atingidas, expressando ate 260 U/mL de -amilase, com uma produtividade de 5,2 U/mL/h. Em cultivo em batelada alimentada de P. pastoris expressando PGA, concentracoes celulares de ate 35 g/L foram atingidas. Nao foi detectada atividade enzimatica no caldo de cultivo devido ao efeito da glicosilacao. Reacao de imunodeteccao confirmou a expressao da enzima recombinante. Foram ajustadas quatro equacoes de velocidade especifica de crescimento, com diferentes tipos de inibicao por um produto, detectado em niveis importantes por cromatografia liquida de alto desempenho, mas ainda nao identificado. Esse metabolito foi inserido como inibidor nos modelos cineticos, utilizando as areas dos picos, normalizadas, como uma pseudoconcentracao. Os melhores ajustes aos dados experimentais foram com modelo cinetico de Monod com inibicao nao-competitiva. Valores tipicos obtidos para a velocidade especifica maxima de crescimento e de fator de conversao glicose/celula em biorreator foram max = 0,24 h-1 e YX/S = 0,48. Algoritmo de controle otimo em malha aberta foi desenvolvido e implementado com sucesso, prevendo de forma robusta perfis otimos de alimentacao, cuja validacao fica proposta como continuidade deste trabalho.

Este trabalho tem por objetivo propor um método eficiente para avaliar gestão de estoque, aplicando conjuntamente a Teoria de Controle Ótimo (OCT), para obter funções de estocagem dinamicamente ótimas, e Análise Envoltória de Dados (DEA), para calcular as eficiências relativas. Tendo em vista esse objetivo foi desenvolvido um modelo integrado DEA-OCT para calcular a eficiência de custo otimizada ao longo do tempo, quando o sistema possui variáveis relacionadas entre si, como no caso de sistemas de controle de estoque, e para analisar produção e demanda (assim como a variável estoque, oriunda dessa relação), estendendo o modelo variacional. Este trabalho aplica o modelo proposto a 647 empresas das Américas do Sul e do Norte, depois faz uma comparação entre Brasil e Chile (países emergentes economicamente), posteriormente focando no setor de comércio, considerando seus sistemas produção-estoque com dados de variáveis contábeis. Os modelos minimizam os custos de produção e de estoque para calcular a eficiência de custo ao longo do tempo. O output (produto, ou variável de saída) é a demanda; o input (insumo, ou variável de entrada) é a produção, e o intermediate (variável intermediária) é o estoque. Seus custos são considerados na função objetivo. É acrescentada uma restrição variacional da OCT para descrever a relação entre demanda, produção e estoque. Em resumo, o modelo é relevante por calcular eficiência prevenindo a possibilidade de obter uma projeção que ignora a relação entre as variáveis, uma vez que essa relação sempre ocorre, na prática, em sistemas de controle de estoque. As principais contribuições são: possibilitar o uso de OCT como a ferramenta de benchmarking DEA no contexto de eficiência dinâmica, estender o modelo DEA variacional de Sengupta (1995), incluindo restrições de modelos mais recentes e possibilitar o cálculo de eficiência quando há relação entre as variáveis. / This work aims to propose an efficient method to evaluate inventory management, jointly applying optimal control theory (OCT), obtaining dynamically optimal production and inventory functions, and data envelopment analysis (DEA), calculating the relative efficiencies. With this objective in mind, it was developed a DEA-OCT integrated model to calculate allocative efficiency optimized over time, when systems have variable with relationship among themselves, like in the case of inventory control systems, and for analyzing production and demand (as the inventory variable obtained from this relationship), extending the variational model. This paper applies the proposed model to 647 companies from South and North America, after that it was made a comparison between Brazil and Chile (economically emerging countries), then focusing on the commercial sector, considering its production-inventory systems and data from accounting variables. The model minimizes the inventory and production costs to calculate the allocative efficiency over time. The output is demand; the input is production, and the intermediate variable is inventory. Their costs are considered in the objective function. A variational constraint OCT is added to describe the relationship among demand, production, and inventory. In summary, the model is relevant to calculate efficiency by preventing the possibility of finding a projection that ignores the relationship among variables, since this relationship always occur in practice in inventory control systems. The main contributions are: using OCT as the benchmarking tool DEA in the context of dynamic efficiency, extending the Sengupta (1995) variational DEA model, including constraints from recent model and making it possible to calculate efficiency when there is a relationship among variables.

Made available in DSpace on 2016-08-17T14:53:16Z (GMT). No. of bitstreams: 1 Leandro Rocha Lopes.pdf: 1075564 bytes, checksum: 01e184ed6d7c65323c0dfc1515da19a3 (MD5) Previous issue date: 2011-04-04 / Due to the increasing of technological development and its associated industrial applications, control design methods to attend high performance requests and reinforcement learning are been developed, not only, to solve new problems, as well as, to improve the performance of implemented controllers in the real systems. The reinforcement learning (RL) and discrete linear quadratic regulator (DLQR) approaches are connected by adaptive dynamic programming (ADP). This connection is oriented to the design of optimal controller for multivariable systems (MIMO). The proposed method for DLQR controllers tuning can been heuristic guidance for biased variations in weighting matrices of instantenous reward. The heuristics performance are evaluated in terms of convergence of heuristic dynamic programming (HDP) and action dependent (AD-HDP) algorithms. The algorithms and tuning are evaluated by the capability to map the plane-Z in MIMO dynamic system of third order. / Em decorrência do crescente desenvolvimento tecnológico e das consequentes aplicações industriais, técnicas de controle de alto desempenho e aprendizado por reforço estão sendo desenvolvidas não só para solucionar novos problemas, mas também para melhorar o desempenho de controladores já implementados em sistemas do mundo real. As abordagens do aprendizado por reforço e do regulador linear quadrático discreto (DLQR) são conectadas pelos métodos de programação dinâmica adaptativa. Esta união é orientada para o projeto de controladores ótimos em sistemas multivariáveis (MIMO). O método proposto para sintonia de controladores DLQR fornece diretrizes para construção de heurísticas polarizadas que são aplicadas na seleção das matrizes de ponderação da recompensa instantânea. Investiga-se o desempenho das heurísticas associadas com a sintonia de controladores lineares discretos e aspectos de convergência que estão relacionados com as variações QR nos algoritmos de programação dinâmica heurística (HDP) e Ação Dependente (ADHDP). Os algoritmos e a sintonia são avaliados pela capacidade em estabelecer a política de controle ótimo que mapeia o plano-Z em um sistema dinãmico multivariável de terceira ordem.

Made available in DSpace on 2016-08-17T14:53:22Z (GMT). No. of bitstreams: 1 Dissertacao Allan James.pdf: 3170694 bytes, checksum: 054a9e74e81a7c2099800246d0b6c530 (MD5) Previous issue date: 2012-09-28 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The union of methodologies for optimal control and dynamics programming has stimulated the development of algorithms for realization of discrete control systems of the type linear quadratic regulator (DLQR). The methodology is based on reinforcement learning methods based on temporal differences and approximate dynamic programming. The proposed method combines the approach of the value function by method RLS (recursive least squares) and approximate policy iteration schemes heuristic dynamic programming (HDP). The approach is directed to the assessment of convergence of the solution DLQR and the heuristic weighting matrices 􀜳 and 􀜴 of the utility function associated with DLQR. The investigation of convergence properties related to consistency, persistent excitation and polarization of the RLS estimator is performed. The methodology involved in a project achievements online DLQR controllers and is evaluated in a fourth order multivariable dynamic system. / A união das metodologias de controle ótimo e de programação dinâmica tem impulsionado o desenvolvimento de algoritmos para realizações de sistemas de controle discreto do tipo regulador linear quadrático (DLQR). A metodologia utilizada neste trabalho é fundamentada sobre métodos de aprendizagem por reforço baseados em diferenças temporais e programação dinâmica aproximada. O método proposto combina a aproximação da função valor através do método RLS (mínimos quadrados recursivos) e iteração de política aproximada em esquemas de programação dinâmica heurística (HDP). A abordagem é orientada para a avaliação da convergência da solução DLQR e para a sintonia heurística das matrizes de ponderação 􀜳 e 􀜴da função de utilidade associada ao DLQR. É realizada a investigação das propriedades de convergência relacionadas à consistência, excitação persistente e polarização do estimador RLS. A metodologia contempla realizações de projetos de forma online de controladores DLQR e é avaliada em um sistema dinâmico multivariável de quarta ordem.