Esse trabalho contempla o estudo sobre o estimador de mínimos quadrados obtido para sistemas lineares discretos sujeitos a ruídos aditivos e a ruídos multiplicativos em seus parâmetros. Supõe-se, adicionalmente, que os parâmetros do sistema estão sujeitos a saltos Markovianos, e que a cadeia de Markov não é conhecida. A solução do problema, sob essas hipóteses, é uma inovação apresentada nesse trabalho. Sob as mesmas hipóteses, o caso estacionário também foi contemplado, e o trabalho apresenta uma demonstração para a convergência da matriz de covariância dos erros do estimador a um valor estacionário, supondo-se estabilidade do sistema e ergodicidade da cadeia de Markov associada. Mostra-se, também, que existe uma única solução positiva semi-definida para a equação de Riccati estacionária e, ainda mais, que tal solução é o limite da matriz de covariância dos erros. A partir da introdução de uma hipótese adicional - de que os parâmetros do sistema estão sujeitos a incertezas na forma de politopos convexos - constrói-se um filtro linear dinâmico em que as iterações possuem estabilidade na média quadrática e que minimiza o limitante superior para o valor esperado do erro quadrático. Uma formulação do tipo LMI (Linear Matrix Inequalities) é proposta para a solução do problema. / This thesis deals with the linear filtering problem for discrete-time Markov jump linear systems with both additive and multiplicative noises. It is assumed that the values of the Markov chain are not available. This is the first time that a solution to the problem with these parameters is presented. By using some usual geometric arguments it is obtained a Kalman type filter conveniently implementable in a recurrence form. The stationary case is also studied and a proof for the convergence of the associated Lyapunov and Riccati like equations is presented. By adding an additional hypotesis - that the parameters of the systems are subject to convex polytopic uncertainties - it was designed a dynamic linear filter such that the closed loop system is mean square stable and minimizes an upper bound for the stationary expected value of the square error. A Linear Matrix Inequalities (LMI) formulation is proposed to solve the problem.

Esse trabalho contempla o estudo sobre o estimador de mínimos quadrados obtido para sistemas lineares discretos sujeitos a ruídos aditivos e a ruídos multiplicativos em seus parâmetros. Supõe-se, adicionalmente, que os parâmetros do sistema estão sujeitos a saltos Markovianos, e que a cadeia de Markov não é conhecida. A solução do problema, sob essas hipóteses, é uma inovação apresentada nesse trabalho. Sob as mesmas hipóteses, o caso estacionário também foi contemplado, e o trabalho apresenta uma demonstração para a convergência da matriz de covariância dos erros do estimador a um valor estacionário, supondo-se estabilidade do sistema e ergodicidade da cadeia de Markov associada. Mostra-se, também, que existe uma única solução positiva semi-definida para a equação de Riccati estacionária e, ainda mais, que tal solução é o limite da matriz de covariância dos erros. A partir da introdução de uma hipótese adicional - de que os parâmetros do sistema estão sujeitos a incertezas na forma de politopos convexos - constrói-se um filtro linear dinâmico em que as iterações possuem estabilidade na média quadrática e que minimiza o limitante superior para o valor esperado do erro quadrático. Uma formulação do tipo LMI (Linear Matrix Inequalities) é proposta para a solução do problema. / This thesis deals with the linear filtering problem for discrete-time Markov jump linear systems with both additive and multiplicative noises. It is assumed that the values of the Markov chain are not available. This is the first time that a solution to the problem with these parameters is presented. By using some usual geometric arguments it is obtained a Kalman type filter conveniently implementable in a recurrence form. The stationary case is also studied and a proof for the convergence of the associated Lyapunov and Riccati like equations is presented. By adding an additional hypotesis - that the parameters of the systems are subject to convex polytopic uncertainties - it was designed a dynamic linear filter such that the closed loop system is mean square stable and minimizes an upper bound for the stationary expected value of the square error. A Linear Matrix Inequalities (LMI) formulation is proposed to solve the problem.

Neste trabalho foi estudado um problema de controle de sistemas lineares com saltos Markovianos sem observação da variável de salto, que pode ser escrito como um problema de otimização de considerável complexidade. As contribuições para a área estão divididas em três aspectos. Um dos avanços foi a elaboração de um contraexemplo para a conjectura de que há somente um mínimo local isolado para o problema. Além disso, foi estudado o problema de otimização intermediário, que consiste em fixar todas as variáveis do problema exceto duas matrizes de ganhos, e os resultados indicam que, com uma pequena alteração na formulação, este é um problema biquadrático. Por fim, novos algoritmos foram elaborados a partir de um método disponível na literatura, chamado de método Variacional, adaptando-o para atualizar os ganhos aos pares, levando a problemas intermediários biquadráticos. Três métodos foram implementados para a resolução destes problemas: dois métodos clássicos de descida, Newton e Gradiente, e uma adaptação do próprio método Variacional. Para a análise dos resultados foram utilizados exemplos gerados aleatoriamente a partir do Gerador de SLSM, que pode ser encontrado na literatura, e o método Variacional como referência para comparação com os métodos propostos / This work addresses a control problem arising in linear systems with Markov jumps without observation of the jump variable and advances in three different aspects. First, it is presented a counterexample to the conjecture that states about the uniqueness of local minimum. Second, the intermediary optimization problem, which sets all the variables of the problem except two arrays of gains, was studied and the results suggested that a slight modification in the formulation makes the intermediary problem a biquadratic one. Finally, new algorithms were developed based on a method available in the literature, which is frequently referred to as the Variational method, adapting it to update the gains in pairs, leading to biquadratic intermediary problems. Three methods were implemented to solve these intermediary problems: two classical descent methods, Newton and Gradient, and an adaptation of the Variational method. To evaluate the performance of the proposed methods, randomly generated examples were used and the Variational method was set as reference for comparing the results

Neste trabalho foi estudado um problema de controle de sistemas lineares com saltos Markovianos sem observação da variável de salto, que pode ser escrito como um problema de otimização de considerável complexidade. As contribuições para a área estão divididas em três aspectos. Um dos avanços foi a elaboração de um contraexemplo para a conjectura de que há somente um mínimo local isolado para o problema. Além disso, foi estudado o problema de otimização intermediário, que consiste em fixar todas as variáveis do problema exceto duas matrizes de ganhos, e os resultados indicam que, com uma pequena alteração na formulação, este é um problema biquadrático. Por fim, novos algoritmos foram elaborados a partir de um método disponível na literatura, chamado de método Variacional, adaptando-o para atualizar os ganhos aos pares, levando a problemas intermediários biquadráticos. Três métodos foram implementados para a resolução destes problemas: dois métodos clássicos de descida, Newton e Gradiente, e uma adaptação do próprio método Variacional. Para a análise dos resultados foram utilizados exemplos gerados aleatoriamente a partir do Gerador de SLSM, que pode ser encontrado na literatura, e o método Variacional como referência para comparação com os métodos propostos / This work addresses a control problem arising in linear systems with Markov jumps without observation of the jump variable and advances in three different aspects. First, it is presented a counterexample to the conjecture that states about the uniqueness of local minimum. Second, the intermediary optimization problem, which sets all the variables of the problem except two arrays of gains, was studied and the results suggested that a slight modification in the formulation makes the intermediary problem a biquadratic one. Finally, new algorithms were developed based on a method available in the literature, which is frequently referred to as the Variational method, adapting it to update the gains in pairs, leading to biquadratic intermediary problems. Three methods were implemented to solve these intermediary problems: two classical descent methods, Newton and Gradient, and an adaptation of the Variational method. To evaluate the performance of the proposed methods, randomly generated examples were used and the Variational method was set as reference for comparing the results

Esta dissertação aborda o problema de redução do consumo de combustível para veículos. Com esse objetivo, realiza-se o levantamento de um modelo estocástico e de seus parâmetros, o desenvolvimento de um controlador para o veículo, e análise dos resultados. O problema considera a interação com o trânsito de outros veículos, que limita a aplicação de resultados antes disponíveis. Para isto, propõe-se modelar a dinâmica do problema de maneira aproximada, usando sistemas com saltos markovianos, e levantar as probabilidades de transição dos estados da cadeia através de um modelo mais completo para o trânsito no percurso. / This dissertation deals with control of vehicles aiming at the fuel consumption optimization, taking into account the interference of traffic. Stochastic interferences like this and other real world phenomena prevents us from directly applying available results. We propose to employ a relatively simple system with Markov jumping parameters as a model for the vehicle subject to traffic interference, and to obtain the transition probabilities from a separate model for the traffic. This dissertation presents the model identification, the solution of the new problem using dynamic programming, and simulation of the obtained control.

Este trabalho consiste no estudo de métodos de otimização aplicados em um problema de controle para sistemas lineares com saltos markovianos (SLSM). SLSM formam uma importante classe de sistemas que têm sido muito úteis em aplicações envolvendo sistemas sujeitos a falhas e outras alterações abruptas de comportamento. Este estudo enfoca diferentes métodos para resolução deste problema. Comparamos o método variacional com o de Newton, sob o ponto de vista do número de problemas resolvidos e pelo nível de sub-otimalidade obtido (relação entre os custos obtidos por estes métodos). Também propomos um novo método, o qual pode ser inicializado com soluções de equações de Riccati acopladas, e o comparamos com o método variacional. Além disso, para a comparação dos métodos, propomos um algoritmo que gerou dez mil exemplos / This work addresses optimizations methods applied to a control problem for linear systems with markovian jumps, which form an important class of systems that have been very useful in applications involving systems subject to failures and other abrupt changes. This study focuses on different methods for solving this problem. We compare the variational approach with the Newton method, in terms of the number of solved problems and the level of sub-optimality (ratio between the costs obtained by these approaches). We also propose a new method, which can be initialized with solutions of coupled Riccati equations, and we compare it with the variational approach. We have proposed an algorithm for creating ten thousand examples for the comparisons

Esta dissertação aborda o problema de redução do consumo de combustível para veículos. Com esse objetivo, realiza-se o levantamento de um modelo estocástico e de seus parâmetros, o desenvolvimento de um controlador para o veículo, e análise dos resultados. O problema considera a interação com o trânsito de outros veículos, que limita a aplicação de resultados antes disponíveis. Para isto, propõe-se modelar a dinâmica do problema de maneira aproximada, usando sistemas com saltos markovianos, e levantar as probabilidades de transição dos estados da cadeia através de um modelo mais completo para o trânsito no percurso. / This dissertation deals with control of vehicles aiming at the fuel consumption optimization, taking into account the interference of traffic. Stochastic interferences like this and other real world phenomena prevents us from directly applying available results. We propose to employ a relatively simple system with Markov jumping parameters as a model for the vehicle subject to traffic interference, and to obtain the transition probabilities from a separate model for the traffic. This dissertation presents the model identification, the solution of the new problem using dynamic programming, and simulation of the obtained control.

Este trabalho consiste no estudo de métodos de otimização aplicados em um problema de controle para sistemas lineares com saltos markovianos (SLSM). SLSM formam uma importante classe de sistemas que têm sido muito úteis em aplicações envolvendo sistemas sujeitos a falhas e outras alterações abruptas de comportamento. Este estudo enfoca diferentes métodos para resolução deste problema. Comparamos o método variacional com o de Newton, sob o ponto de vista do número de problemas resolvidos e pelo nível de sub-otimalidade obtido (relação entre os custos obtidos por estes métodos). Também propomos um novo método, o qual pode ser inicializado com soluções de equações de Riccati acopladas, e o comparamos com o método variacional. Além disso, para a comparação dos métodos, propomos um algoritmo que gerou dez mil exemplos / This work addresses optimizations methods applied to a control problem for linear systems with markovian jumps, which form an important class of systems that have been very useful in applications involving systems subject to failures and other abrupt changes. This study focuses on different methods for solving this problem. We compare the variational approach with the Newton method, in terms of the number of solved problems and the level of sub-optimality (ratio between the costs obtained by these approaches). We also propose a new method, which can be initialized with solutions of coupled Riccati equations, and we compare it with the variational approach. We have proposed an algorithm for creating ten thousand examples for the comparisons

Neste trabalho estudamos um controlador denominado rastreador linear quadrático (RLQ) com custo médio de longo prazo (CMLP) para sistemas lineares com saltos markovianos (SLSM). Mostramos que o conceito de detetabilidade uniforme, juntamente com a hipótese de que o regulador linear quadrático associado ao RLQ tenha custo uniformemente limitado, são suficientes para que o controle obtido seja estabilizante em um certo sentido. A partir deste resultado, e considerando as mesmas hipóteses, demonstramos a existência do CMLP. Com isto, estendemos os resultados dispostos na literatura desde que consideramos um sistema variante no tempo e uma estrutura mais geral para a cadeia deMarkov. Além disto, avaliamos a aplicação deste controlador no planejamento da operação de um sistema hidrotérmico. Para isto, utilizamos o sistema de usinas do rio São Francisco, em dois casos de estudo, para comparar o desempenho do controlador estudado em relação à solução ótima para o problema, encontrada com o uso da programação dinâmica estocástica, e em relação à solução obtida via programação dinâmica determinística. Os resultados sugerem que o RLQ pode representar uma alternativa interessante para o problema de planejamento hidrotérmico / In the present work we study the reference tracking controller (RTC) for the long run average cost (LRAC) problem for Markov jump linear systems. We show that uniform detectability and an hypothesis that the linear quadratic regulator associated with the RTC has uniformly bounded cost, together, are sufficient conditions for the obtained control be exponentially stabilizing in a certain sense. This result allows us to demonstrate the existence of the LTAC under the same hypotheses. The results can be regarded as an extension of previous works, since we have considered a more general framework with time-varying systems and quite general Markov chains. As an applicatioin, we consider the operational planning of hydrothermal systems. We have considered some power plants of the Sao Francisco river, in two different scenarios, and we have compared the performances of the RTC and standard controls obtained by deterministic and stochastic dynamic programming, indicating that the RTC may be an interesting alternative for the hydrothermal planning problem

Esta dissertação desenvolve filtro de informação, algoritmos array para estimador do erro médio mínimo quadrático para sistemas lineares sujeitos a saltos Markovianos e algoritmos array rápidos para filtragem de sistemas singulares convencionais. Exemplos numéricos serão apresentados para mostrarem as vantagens dos algoritmos array deduzidos. Parte dos resultados obtidos nesta pesquisa serão publicados no seguinte artigo: Terra et al. (2007). Terra, M. H., Ishihara, J. Y. and Jesus, G. Q. (2007). Information filtering and array algorithms for discrete-time Markovian jump linear systems. Proceedings of the American Control Conference ACC07. / This dissertation develops information filter and array algorithms for linear minimum mean square error estimator (LMMSE) of discrete-time Markovian jump linear systems (MJLSs) and fast array algorithms for filtering of standard singular systems. Numerical examples to show the advantage of the array algorithms are presented. Some results obtained in this research are published in the following paper: Terra et al. (2007). Terra, M. H., Ishihara, J. Y. and Jesus, G. Q. (2007). Information filtering and array algorithms for discrete-time Markovian jump linear systems. Proceedings of the American Control Conference ACC07.