Os sistemas criptográficos de chave pública amplamente utilizados hoje em dia tem sua segurança baseada na suposição da intratabilidade dos problemas de fatoração de inteiros e do logaritmo discreto, sendo que ambos foram demonstrados inseguros sob o advento dos computadores quânticos. Sistemas criptográficos baseados em Multivariáveis Quadráticas (MQ) utilizam como base o problema MQ, que consiste em resolver um sistema de equações polinomiais multivariáveis quadráticas sobre um corpo finito. O problema MQ foi provado como sendo NP-completo e até hoje não se conhece algoritmo, nem mesmo quântico, de tempo polinomial que possa resolver o problema, fazendo com que sistemas criptográficos baseados nesta primitiva mereçam ser investigados e desenvolvidos como reais candidatos a proverem nossa criptografia pós-quântica. Durante a CRYPTO\'2011 Sakumoto, Shirai e Hiwatari introduziram dois novos protocolos de identificação baseados em polinômios multivariáveis quadráticos, os quais chamamos de MQID-3 e MQID-5, e que em especial e pela primeira vez, tem sua segurança reduzida apenas ao problema MQ. Baseados nestas propostas iremos apresentar uma versão aprimorada do protocolo MQID-3 na qual teremos uma redução da comunicação necessária em aproximadamente 9%. / The public-key cryptography widely used nowadays have their security based on the assumption of the intractability of the problems of integer factorization and discrete logarithm, both of which were proven unsafe in the advent of quantum computers. Cryptographic systems based on Multivariate Quadratic polynomials (MQ) are based on the MQ problem, which consists in solve a system of multivariate quadratic polynomials over a finite field. The MQ problem has been proven NP-complete and so far no polynomial time algorithm is known, not even quantum, which would resolve this problem, making worthwhile to be investigated and developed as a real candidate to provide post-quantum cryptography. In CRYPTO\'2011 Sakumoto, Shirai and Hiwatari introduced two new identification protocols based on multivariate quadratic polynomials, which we call MQID-3 and MQID-5, in particular, for the first time, their security is based only on the MQ problem. Using these proposals, we will present an improved version of the protocol MQID-3 that reduces communication by approximately 9%.

Esta dissertação propõe o desenvolvimento de uma rede neural artificial (RNA) direcionada a ambientes foundation fieldbus para realização do cálculo de vazão em dutos fechados. Para tanto, a metodologia proposta utiliza-se de medidas de pressão, temperatura e pressão diferencial, as quais normalmente estão disponíveis em plantas industriais. A principal motivação do emprego das redes neurais reside no seu baixo custo e simplicidade de implementação, o que possibilita o emprego de apenas blocos fieldbus padrões tornando a metodologia independente do fabricante. Foi utilizada uma rede perceptron multicamadas com algoritmo de treinamento backpropagation de Levenberg-Marquardt. O treinamento foi realizado numa programação elaborada para o software Matlab TM. A arquitetura da rede neural foi determinada por métodos empíricos variando-se o número de neurônios e de camadas neurais até se atingir um erro aceitável na prática. Após esses treinamentos foi desenvolvida uma programação para realizar os cálculos de vazão em um ambiente foundation fieldbus utilizando-se para tanto o software DeltaV TM do fabricante Emerson Process Management. Foram obtidos resultados com erro relativo médio de valor de vazão em torno de 1.43% para um primeiro cenário utilizando uma placa de orifício e ar como fluido, e de 0,073% para um segundo cenário utilizando uma placa de orifício e gás natural como fluido, com relação aos valores obtidos através do instrumento multivariável 3095MV TM do fabricante Rosemount. Os valores de erro encontrados validam o método desenvolvido nessa dissertação. / This dissertation proposes the development of an artificial neural network (ANN) directed to foundation fieldbus environment for calculation of flow in closed ducts. The proposed methodology uses measurements of pressure, temperature and differential pressure, which are usually available in industrial plants. The main motivation of the use of neural networks lies in their low cost and simplicity of implementation, which allows the use of standard fieldbus blocks by just making the method independent of the manufacturer. It was used a multilayer perceptron network with backpropagation training and algorithm from Levenberg-Marquardt. The training was programmed in the software Matlab TM. The architecture of the ANN was determined by empirical methods by varying the number of neurons and neural layers until it reaches an acceptable error. After such trainings, it was developed a program to perform the flow calculations in an foundation fieldbus environment using Emerson Process Management\'s DeltaV TM software. The results were obtained with an average relative error of flow rate of 1.43% for the first scenario using an orifice plate and air as a process fluid, and 0.073% for a second scenario using an orifice plate and natural gas as the fluid related to the values obtained from Rosemount 3095MV TM multivariable instrument. The values of error found validate the method developed in this dissertation.

Para aplicações de extração de petróleo de poços em terra foi desenvolvido pelo Laboratório de Eletromagnetismo Aplicado (LMAG) da Escola Politécnica da Universidade de São Paulo um protótipo de motor de indução linear tubular (MILT), onde o movimento axial do secundário do motor aciona diretamente a bomba de extração situada no fundo do poço. Numa segunda etapa, foi prevista a substituição dos mancais mecânicos por dois mancais magnéticos ativos (AMBs), que permitem melhor movimentação e praticamente nenhum atrito, reduzindo o desgaste causado por impurezas contidas no petróleo extraído, e consequentemente os esforços de manutenção. Todavia, o protótipo atual possui apenas um mancal magnético, e o outro é mecânico. O presente trabalho apresenta a instalação do segundo mancal magnético ao protótipo do MILT, e propõe realizar o controle do sistema de mancais magnéticos para o MILT, tendo em vista um problema multivariável, onde as posições do secundário do motor em relação aos dois mancais são correlacionadas, bem como as ações de controle sobre os mesmos. O trabalho faz uma revisão do sistema atual com um AMB, abordando sua concepção física, modelagem e o controlador, e tal controlador é replicado para o segundo AMB. Um novo modelo é apresentado, considerando o comportamento multivariável dos dois AMBs, e um sistema de controle robusto multivariável é projetado, através da técnica LQG/LTR. Resultados de simulação do novo controlador são analisados e comparados com os resultados experimentais do controlador atual aplicado aos dois AMBs, e apresentam-se as conclusões. / For onshore oil extraction applications, a tubular linear induction motor (TLIM) prototype was developed by Applied Electromagnetism Laboratory (LMAG) of Escola Politécnica da Universidade de São Paulo, on which the axial movement of the motor secondary drives the suction pump, placed in the down hole of the oil well. In a second step, it was planned to replace the mechanical bearings by two Active Magnetic Bearings (AMB), in order to have better movement and practically no friction, reducing damages caused by impurities in the oil, thus reducing maintenance effort. Nevertheless, the actual prototype has only one AMB, being the other one a mechanical bearing. This paper presents the installation of the second AMB onto TLIM prototype, and a proposal to implement the control algorithm for the TLIM magnetic bearing system, considering now a multivariable problem, where the position of the motor secondary for both AMB are related, as well as control efforts. The present work review the actual system with only one AMB, approaching its physical construction, mathematical model and applied control system; and this control system is applied to the second AMB. A new model is presented, considering the AMB system multivariable behavior, and a multivariable robust control system is then designed, using LQG/LTR approach. Simulation results for the new controller are analyzed and compared to experimental results from the actual controller applied to both AMB, and some conclusions are presented.

Submitted by Luciclea Silva (luci@ufpa.br) on 2018-06-28T13:22:37Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_controlempcmultivariavel.pdf: 17090263 bytes, checksum: 9c35a8e3be627f9a64e83d1d833824c8 (MD5) / Approved for entry into archive by Luciclea Silva (luci@ufpa.br) on 2018-06-28T13:23:07Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_controlempcmultivariavel.pdf: 17090263 bytes, checksum: 9c35a8e3be627f9a64e83d1d833824c8 (MD5) / Made available in DSpace on 2018-06-28T13:23:07Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_controlempcmultivariavel.pdf: 17090263 bytes, checksum: 9c35a8e3be627f9a64e83d1d833824c8 (MD5) Previous issue date: 2018-03-01 / FAPESPA - Fundação Amazônia de Amparo a Estudos e Pesquisas / Neste trabalho apresenta-se o projeto de um controlador preditivo multivariável baseado em modelo, com restrições, usando as Funções de Laguerre, tendo o intuito de demonstrar os benefícios e facilidades da aplicação deste tipo de controlador em sistemas MIMO (MultipleInput and Multiple-Output) com restrições. O controlador proposto apresenta a vantagem de diminuir a carga computacional utilizada para resolver o problema de otimização envolvido no projeto, isto porque utiliza uma rede de filtros de funções ortonormais de Laguerre para obter a trajetória futura do sinal de controle dentro de um horizonte de predição, além de melhorar o compromisso entre a viabilidade do sinal de controle e o desempenho de malha fechada do sistema para os casos com restrições, no qual as funções de Laguerre são utilizadas em conjunto com a Programação Quadrática de Hildreth para encontrar a solução ótima do sinal de controle com restrições. Este controlador apresenta grandes vantagens se comparado com o controle preditivo baseado em modelo em sua abordagem clássica, em que os operadores de avanço de tempo são utilizados para predizer a trajetória futura do sinal de controle, o que leva à soluções, em alguns casos, pouco satisfatórias, e a uma alta carga computacional para casos onde o sinal de controle requer um longo horizonte de predição e uma alto desempenho em malha fechada. Este trabalho também relata testes experimentais com um manipulador robótico configurado como um sistema MIMO com três entradas e três saídas e testes simulados com a coluna de destilação binária de Wood e Berry que é um sistema MIMO com duas entradas e duas saídas, contendo atrasos de transporte. Os testes têm como objetivo comparar os resultados do controlador apresentado com o controlador que usa a abordagem tradicional e com isso demonstrar as vantagens do método usando as funções de Laguerre e sua eficiência para sistemas MIMO. / This work presents a constrained multivariable model predictive controller using Laguerre Functions. This controller uses a set of orthonormal Laguerre networks for representation of the control trajectory within a control horizon. In order to demonstrate the advantages of applying this type of controller in MIMO (Multiple-Input and Multiple-Output) systems, the Laguerre Functions Functions are used to decrease the computational load used to calculate the optimal control. In addition, It improves the compromise between control signal viability and closed-loop performance of the system. The Laguerre Functions are also used in conjunction with Hildreth’s Quadratic Programming to find the optimal solution for the case where the control signal is constrained. The proposed controller presents advantages when compared to the classical model predictive control approach, where forward shift operators are used to predict the future trajectory of the control signal, leading to unsatisfactory solutions and a high computational load for cases where the control signal demands a long prediction horizon and a high closed-loop performance.It is also reported the practical testes with a robotic manipulator configured as a MIMO system with three inputs and three outputs and tests simulated with the Wood and Berry binary distillation column which is a MIMO system with two inputs and two outputs, also containing transport time delays. The tests aim to compare the controller results presented with the traditional predictive control approach and thereby demonstrate the advantages of the method using the Laguerre functions and their efficiency for MIMO systems.

Este trabalho foi proposto com o objetivo de implementar um programa computacional para estimar os estados (tensões complexas nodais) de um sistema elétrico de potência (SEP) e aplicar métodos alternativos para o processamento de erros grosseiros (EGs), baseados na interpretação geométrica dos erros e no conceito de inovação das medidas. Através da interpretação geométrica, BRETAS et al. (2009), BRETAS; PIERETI (2010), BRETAS; BRETAS; PIERETI (2011) e BRETAS et al. (2013) demonstraram matematicamente que o erro da medida se compõe de componentes detectáveis e não detectáveis, e ainda que a componente detectável do erro é exatamente o resíduo da medida. As metodologias até então utilizadas, para o processamento de EGs, consideram apenas a componente detectável do erro, e como consequência, podem falhar. Na tentativa de contornar essa limitação, e baseadas nos trabalhos citados previamente, foram estudadas e implementadas duas metodologias alternativas para processar as medidas portadoras de EGs. A primeira, é baseada na análise direta das componentes dos erros das medidas; a segunda, de forma similar às metodologias tradicionais, é baseada na análise dos resíduos das medidas. Entretanto, o diferencial da segunda metodologia proposta reside no fato de não considerarmos um valor limiar fixo para a detecção de medidas com EGs. Neste caso, adotamos um novo valor limiar (TV, do inglês: Threshold Value), característico de cada medida, como apresentado no trabalho de PIERETI (2011). Além disso, com o intuito de reforçar essa teoria, é proposta uma forma alternativa para o cálculo destes valores limiares, através da análise da geometria da função densidade de probabilidade da distribuição normal multivariável, referente aos resíduos das medidas. / This work was proposed with the objective of implementing a computer program to estimate the states (complex nodal voltages) in an electrical power system (EPS) and apply alternative methods for processing gross errors (GEs), based on the geometrical interpretation of the measurements errors and the innovation concept. Through the geometrical interpretation, BRETAS et al. (2009), BRETAS; PIERETI (2010), BRETAS; BRETAS; PIERETI (2011) and BRETAS et al. (2013) proved mathematically that the measurement error is composed of detectable and undetectable components, and also showed that the detectable component of the error is exactly the residual of the measurement. The methods hitherto used, for processing GEs, consider only the detectable component of the error, then as a consequence, may fail. In an attempt to overcome this limitation, and based on the works cited previously, were studied and implemented two alternative methodologies for process measurements with GEs. The first one is based on the direct analysis of the components of the errors of the measurements, the second one, in a similar way to the traditional methods, is based on the analysis of the measurements residuals. However, the differential of the second proposed methodology lies in the fact that it doesn\'t consider a fixed threshold value for detecting measurements with GEs. In this case, we adopted a new threshold value (TV ) characteristic of each measurement, as presented in the work of PIERETI (2011). Furthermore, in order to reinforce this theory, we propose an alternative way to calculate these thresholds, by analyzing the geometry of the probability density function of the multivariate normal distribution, relating to the measurements residuals.

Esta dissertação propõe o desenvolvimento de uma rede neural artificial (RNA) direcionada a ambientes foundation fieldbus para realização do cálculo de vazão em dutos fechados. Para tanto, a metodologia proposta utiliza-se de medidas de pressão, temperatura e pressão diferencial, as quais normalmente estão disponíveis em plantas industriais. A principal motivação do emprego das redes neurais reside no seu baixo custo e simplicidade de implementação, o que possibilita o emprego de apenas blocos fieldbus padrões tornando a metodologia independente do fabricante. Foi utilizada uma rede perceptron multicamadas com algoritmo de treinamento backpropagation de Levenberg-Marquardt. O treinamento foi realizado numa programação elaborada para o software Matlab TM. A arquitetura da rede neural foi determinada por métodos empíricos variando-se o número de neurônios e de camadas neurais até se atingir um erro aceitável na prática. Após esses treinamentos foi desenvolvida uma programação para realizar os cálculos de vazão em um ambiente foundation fieldbus utilizando-se para tanto o software DeltaV TM do fabricante Emerson Process Management. Foram obtidos resultados com erro relativo médio de valor de vazão em torno de 1.43% para um primeiro cenário utilizando uma placa de orifício e ar como fluido, e de 0,073% para um segundo cenário utilizando uma placa de orifício e gás natural como fluido, com relação aos valores obtidos através do instrumento multivariável 3095MV TM do fabricante Rosemount. Os valores de erro encontrados validam o método desenvolvido nessa dissertação. / This dissertation proposes the development of an artificial neural network (ANN) directed to foundation fieldbus environment for calculation of flow in closed ducts. The proposed methodology uses measurements of pressure, temperature and differential pressure, which are usually available in industrial plants. The main motivation of the use of neural networks lies in their low cost and simplicity of implementation, which allows the use of standard fieldbus blocks by just making the method independent of the manufacturer. It was used a multilayer perceptron network with backpropagation training and algorithm from Levenberg-Marquardt. The training was programmed in the software Matlab TM. The architecture of the ANN was determined by empirical methods by varying the number of neurons and neural layers until it reaches an acceptable error. After such trainings, it was developed a program to perform the flow calculations in an foundation fieldbus environment using Emerson Process Management\'s DeltaV TM software. The results were obtained with an average relative error of flow rate of 1.43% for the first scenario using an orifice plate and air as a process fluid, and 0.073% for a second scenario using an orifice plate and natural gas as the fluid related to the values obtained from Rosemount 3095MV TM multivariable instrument. The values of error found validate the method developed in this dissertation.

Este trabalho foi proposto com o objetivo de implementar um programa computacional para estimar os estados (tensões complexas nodais) de um sistema elétrico de potência (SEP) e aplicar métodos alternativos para o processamento de erros grosseiros (EGs), baseados na interpretação geométrica dos erros e no conceito de inovação das medidas. Através da interpretação geométrica, BRETAS et al. (2009), BRETAS; PIERETI (2010), BRETAS; BRETAS; PIERETI (2011) e BRETAS et al. (2013) demonstraram matematicamente que o erro da medida se compõe de componentes detectáveis e não detectáveis, e ainda que a componente detectável do erro é exatamente o resíduo da medida. As metodologias até então utilizadas, para o processamento de EGs, consideram apenas a componente detectável do erro, e como consequência, podem falhar. Na tentativa de contornar essa limitação, e baseadas nos trabalhos citados previamente, foram estudadas e implementadas duas metodologias alternativas para processar as medidas portadoras de EGs. A primeira, é baseada na análise direta das componentes dos erros das medidas; a segunda, de forma similar às metodologias tradicionais, é baseada na análise dos resíduos das medidas. Entretanto, o diferencial da segunda metodologia proposta reside no fato de não considerarmos um valor limiar fixo para a detecção de medidas com EGs. Neste caso, adotamos um novo valor limiar (TV, do inglês: Threshold Value), característico de cada medida, como apresentado no trabalho de PIERETI (2011). Além disso, com o intuito de reforçar essa teoria, é proposta uma forma alternativa para o cálculo destes valores limiares, através da análise da geometria da função densidade de probabilidade da distribuição normal multivariável, referente aos resíduos das medidas. / This work was proposed with the objective of implementing a computer program to estimate the states (complex nodal voltages) in an electrical power system (EPS) and apply alternative methods for processing gross errors (GEs), based on the geometrical interpretation of the measurements errors and the innovation concept. Through the geometrical interpretation, BRETAS et al. (2009), BRETAS; PIERETI (2010), BRETAS; BRETAS; PIERETI (2011) and BRETAS et al. (2013) proved mathematically that the measurement error is composed of detectable and undetectable components, and also showed that the detectable component of the error is exactly the residual of the measurement. The methods hitherto used, for processing GEs, consider only the detectable component of the error, then as a consequence, may fail. In an attempt to overcome this limitation, and based on the works cited previously, were studied and implemented two alternative methodologies for process measurements with GEs. The first one is based on the direct analysis of the components of the errors of the measurements, the second one, in a similar way to the traditional methods, is based on the analysis of the measurements residuals. However, the differential of the second proposed methodology lies in the fact that it doesn\'t consider a fixed threshold value for detecting measurements with GEs. In this case, we adopted a new threshold value (TV ) characteristic of each measurement, as presented in the work of PIERETI (2011). Furthermore, in order to reinforce this theory, we propose an alternative way to calculate these thresholds, by analyzing the geometry of the probability density function of the multivariate normal distribution, relating to the measurements residuals.

Para aplicações de extração de petróleo de poços em terra foi desenvolvido pelo Laboratório de Eletromagnetismo Aplicado (LMAG) da Escola Politécnica da Universidade de São Paulo um protótipo de motor de indução linear tubular (MILT), onde o movimento axial do secundário do motor aciona diretamente a bomba de extração situada no fundo do poço. Numa segunda etapa, foi prevista a substituição dos mancais mecânicos por dois mancais magnéticos ativos (AMBs), que permitem melhor movimentação e praticamente nenhum atrito, reduzindo o desgaste causado por impurezas contidas no petróleo extraído, e consequentemente os esforços de manutenção. Todavia, o protótipo atual possui apenas um mancal magnético, e o outro é mecânico. O presente trabalho apresenta a instalação do segundo mancal magnético ao protótipo do MILT, e propõe realizar o controle do sistema de mancais magnéticos para o MILT, tendo em vista um problema multivariável, onde as posições do secundário do motor em relação aos dois mancais são correlacionadas, bem como as ações de controle sobre os mesmos. O trabalho faz uma revisão do sistema atual com um AMB, abordando sua concepção física, modelagem e o controlador, e tal controlador é replicado para o segundo AMB. Um novo modelo é apresentado, considerando o comportamento multivariável dos dois AMBs, e um sistema de controle robusto multivariável é projetado, através da técnica LQG/LTR. Resultados de simulação do novo controlador são analisados e comparados com os resultados experimentais do controlador atual aplicado aos dois AMBs, e apresentam-se as conclusões. / For onshore oil extraction applications, a tubular linear induction motor (TLIM) prototype was developed by Applied Electromagnetism Laboratory (LMAG) of Escola Politécnica da Universidade de São Paulo, on which the axial movement of the motor secondary drives the suction pump, placed in the down hole of the oil well. In a second step, it was planned to replace the mechanical bearings by two Active Magnetic Bearings (AMB), in order to have better movement and practically no friction, reducing damages caused by impurities in the oil, thus reducing maintenance effort. Nevertheless, the actual prototype has only one AMB, being the other one a mechanical bearing. This paper presents the installation of the second AMB onto TLIM prototype, and a proposal to implement the control algorithm for the TLIM magnetic bearing system, considering now a multivariable problem, where the position of the motor secondary for both AMB are related, as well as control efforts. The present work review the actual system with only one AMB, approaching its physical construction, mathematical model and applied control system; and this control system is applied to the second AMB. A new model is presented, considering the AMB system multivariable behavior, and a multivariable robust control system is then designed, using LQG/LTR approach. Simulation results for the new controller are analyzed and compared to experimental results from the actual controller applied to both AMB, and some conclusions are presented.

Made available in DSpace on 2016-08-17T14:53:22Z (GMT). No. of bitstreams: 1 Dissertacao Allan James.pdf: 3170694 bytes, checksum: 054a9e74e81a7c2099800246d0b6c530 (MD5) Previous issue date: 2012-09-28 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The union of methodologies for optimal control and dynamics programming has stimulated the development of algorithms for realization of discrete control systems of the type linear quadratic regulator (DLQR). The methodology is based on reinforcement learning methods based on temporal differences and approximate dynamic programming. The proposed method combines the approach of the value function by method RLS (recursive least squares) and approximate policy iteration schemes heuristic dynamic programming (HDP). The approach is directed to the assessment of convergence of the solution DLQR and the heuristic weighting matrices 􀜳 and 􀜴 of the utility function associated with DLQR. The investigation of convergence properties related to consistency, persistent excitation and polarization of the RLS estimator is performed. The methodology involved in a project achievements online DLQR controllers and is evaluated in a fourth order multivariable dynamic system. / A união das metodologias de controle ótimo e de programação dinâmica tem impulsionado o desenvolvimento de algoritmos para realizações de sistemas de controle discreto do tipo regulador linear quadrático (DLQR). A metodologia utilizada neste trabalho é fundamentada sobre métodos de aprendizagem por reforço baseados em diferenças temporais e programação dinâmica aproximada. O método proposto combina a aproximação da função valor através do método RLS (mínimos quadrados recursivos) e iteração de política aproximada em esquemas de programação dinâmica heurística (HDP). A abordagem é orientada para a avaliação da convergência da solução DLQR e para a sintonia heurística das matrizes de ponderação 􀜳 e 􀜴da função de utilidade associada ao DLQR. É realizada a investigação das propriedades de convergência relacionadas à consistência, excitação persistente e polarização do estimador RLS. A metodologia contempla realizações de projetos de forma online de controladores DLQR e é avaliada em um sistema dinâmico multivariável de quarta ordem.

Submitted by Rosivalda Pereira (mrs.pereira@ufma.br) on 2017-06-23T20:34:27Z No. of bitstreams: 1 ErnestoFerreira.pdf: 1744167 bytes, checksum: c125c90e5eb2aab2618350567f88cb31 (MD5) / Made available in DSpace on 2017-06-23T20:34:27Z (GMT). No. of bitstreams: 1 ErnestoFerreira.pdf: 1744167 bytes, checksum: c125c90e5eb2aab2618350567f88cb31 (MD5) Previous issue date: 2016-03-08 / The development and the numerical stability analysis of a new adaptive critic algorithm to approximate the state-value function for online discrete linear quadratic regulator (DLQR) optimal control system design based on heuristic dynamic programming (HDP) are presented in this work. The proposed algorithm makes use of unitary transformations and QR decomposition methods to improve the online learning e-ciency in the critic network through the recursive least-squares (RLS) approach. The developed learning strategy provides computational performance improvements in terms of numerical stability and computational cost which aim at making possible the implementations in real time of optimal control design methodology based upon actor-critic reinforcement learning paradigms. The convergence behavior and numerical stability of the proposed online algorithm, called RLSµ-QR-HDP-DLQR, are evaluated by computational simulations in three Multiple-Input and Multiple-Output (MIMO) models, that represent the automatic pilot of an F-16 aircraft of third order, a fourth order RLC circuit with two input voltages and two controllable voltage levels, and a doubly-fed induction generator with six inputs and six outputs for wind energy conversion systems. / Neste trabalho, apresenta-se o desenvolvimento e a análise da estabilidade numérica de um novo algoritmo crítico adaptativo para aproximar a função valor de estado para o projeto do sistema de controle ótimo online, utilizando o regulador linear quadrático discreto (DLQR), com base em programação dinâmica heurística (HDP). O algoritmo proposto faz uso de transformações unitárias e métodos de decomposição QR para melhorar a e-ciência da aprendizagem online na rede crítica por meio da abordagem dos mínimos quadrados recursivos (RLS). A estratégia de aprendizagem desenvolvida fornece melhorias no desempenho computacional em termos de estabilidade numérica e custo computacional, que visam tornar possíveis as implementações em tempo real da metodologia do projeto de controle ótimo com base em paradigmas de aprendizado por reforço ator-crítico. O comportamento de convergência e estabilidade numérica do algoritmo online proposto, denominado RLSµ-QR-HDP-DLQR, são avaliados por meio de simulações computacionais em três modelos Múltiplas-Entradas e Múltiplas-Saídas (MIMO), que representam o piloto automático de uma aeronave F-16 de terceira ordem, um circuito de quarta ordem RLC com duas tensões de entrada e dois níveis de tensão controláveis, e um gerador de indução duplamente alimentados com seis entradas e seis saídas para sistemas de conversão de energia eólica.