Neste trabalho estudamos as equações de Riccati para a filtragem de sistemas lineares com saltos Markovianos a tempo discreto. Obtemos uma condição geral para estabilidade do filtro ótimo obtido pela equação algébrica de filtragem, e que também é válida para que não haja multiplicidade de soluções. Revisitamos também a questão da existência, chegando a uma condição em termos da sequência de ganhos de um observador de Luenberger. Estes resultados usaram cadeias de Markov em escala reversa de tempo, inspirando a explorar a dualidade entre filtragem e controle em sistemas com reversão na cadeia, chegando a uma relação simples de dualidade. / In this work, we studied Riccati equations for filtering Markovian jump linear systems in discrete time. We found a general condition for the stability of the optimal filter obtained via the coupled algebraic Riccati equation, and it is also valid for uniqueness of solutions. We revisit the topic of existence of solutions of the Riccati and obtain a condition in terms of the sequence of gains of a Luenberger observer. These results used Markov chains in reverse time scale, inspiring us to explore the duality between filtering and control in systems with chain reversion, arriving at a simple relation of duality.

Neste trabalho estudamos as equações de Riccati para a filtragem de sistemas lineares com saltos Markovianos a tempo discreto. Obtemos uma condição geral para estabilidade do filtro ótimo obtido pela equação algébrica de filtragem, e que também é válida para que não haja multiplicidade de soluções. Revisitamos também a questão da existência, chegando a uma condição em termos da sequência de ganhos de um observador de Luenberger. Estes resultados usaram cadeias de Markov em escala reversa de tempo, inspirando a explorar a dualidade entre filtragem e controle em sistemas com reversão na cadeia, chegando a uma relação simples de dualidade. / In this work, we studied Riccati equations for filtering Markovian jump linear systems in discrete time. We found a general condition for the stability of the optimal filter obtained via the coupled algebraic Riccati equation, and it is also valid for uniqueness of solutions. We revisit the topic of existence of solutions of the Riccati and obtain a condition in terms of the sequence of gains of a Luenberger observer. These results used Markov chains in reverse time scale, inspiring us to explore the duality between filtering and control in systems with chain reversion, arriving at a simple relation of duality.

Neste trabalho foi estudado um problema de controle de sistemas lineares com saltos Markovianos sem observação da variável de salto, que pode ser escrito como um problema de otimização de considerável complexidade. As contribuições para a área estão divididas em três aspectos. Um dos avanços foi a elaboração de um contraexemplo para a conjectura de que há somente um mínimo local isolado para o problema. Além disso, foi estudado o problema de otimização intermediário, que consiste em fixar todas as variáveis do problema exceto duas matrizes de ganhos, e os resultados indicam que, com uma pequena alteração na formulação, este é um problema biquadrático. Por fim, novos algoritmos foram elaborados a partir de um método disponível na literatura, chamado de método Variacional, adaptando-o para atualizar os ganhos aos pares, levando a problemas intermediários biquadráticos. Três métodos foram implementados para a resolução destes problemas: dois métodos clássicos de descida, Newton e Gradiente, e uma adaptação do próprio método Variacional. Para a análise dos resultados foram utilizados exemplos gerados aleatoriamente a partir do Gerador de SLSM, que pode ser encontrado na literatura, e o método Variacional como referência para comparação com os métodos propostos / This work addresses a control problem arising in linear systems with Markov jumps without observation of the jump variable and advances in three different aspects. First, it is presented a counterexample to the conjecture that states about the uniqueness of local minimum. Second, the intermediary optimization problem, which sets all the variables of the problem except two arrays of gains, was studied and the results suggested that a slight modification in the formulation makes the intermediary problem a biquadratic one. Finally, new algorithms were developed based on a method available in the literature, which is frequently referred to as the Variational method, adapting it to update the gains in pairs, leading to biquadratic intermediary problems. Three methods were implemented to solve these intermediary problems: two classical descent methods, Newton and Gradient, and an adaptation of the Variational method. To evaluate the performance of the proposed methods, randomly generated examples were used and the Variational method was set as reference for comparing the results

Neste trabalho foi estudado um problema de controle de sistemas lineares com saltos Markovianos sem observação da variável de salto, que pode ser escrito como um problema de otimização de considerável complexidade. As contribuições para a área estão divididas em três aspectos. Um dos avanços foi a elaboração de um contraexemplo para a conjectura de que há somente um mínimo local isolado para o problema. Além disso, foi estudado o problema de otimização intermediário, que consiste em fixar todas as variáveis do problema exceto duas matrizes de ganhos, e os resultados indicam que, com uma pequena alteração na formulação, este é um problema biquadrático. Por fim, novos algoritmos foram elaborados a partir de um método disponível na literatura, chamado de método Variacional, adaptando-o para atualizar os ganhos aos pares, levando a problemas intermediários biquadráticos. Três métodos foram implementados para a resolução destes problemas: dois métodos clássicos de descida, Newton e Gradiente, e uma adaptação do próprio método Variacional. Para a análise dos resultados foram utilizados exemplos gerados aleatoriamente a partir do Gerador de SLSM, que pode ser encontrado na literatura, e o método Variacional como referência para comparação com os métodos propostos / This work addresses a control problem arising in linear systems with Markov jumps without observation of the jump variable and advances in three different aspects. First, it is presented a counterexample to the conjecture that states about the uniqueness of local minimum. Second, the intermediary optimization problem, which sets all the variables of the problem except two arrays of gains, was studied and the results suggested that a slight modification in the formulation makes the intermediary problem a biquadratic one. Finally, new algorithms were developed based on a method available in the literature, which is frequently referred to as the Variational method, adapting it to update the gains in pairs, leading to biquadratic intermediary problems. Three methods were implemented to solve these intermediary problems: two classical descent methods, Newton and Gradient, and an adaptation of the Variational method. To evaluate the performance of the proposed methods, randomly generated examples were used and the Variational method was set as reference for comparing the results

Neste trabalho estudamos a estabilidade assintótica de Lagrange para duas classes de sistemas, sob as hipóteses de detetabilidade fraca e de limitação do custo medio a longo prazo. Para sistemas lineares com saltos markovianos com rudo aditivo, a equivalência entre estabilidade e as condições mencionadas sera provada. Para sistemas dinâmicos generalizados, provaremos a estabilidade sob uma condição adicional / In this work we study Lagrange asymptotic stability for two classes of systems, under conditions of weak detectability and boundedness of the long run average cost. For Markov jump linear systems with additive noise, the equivalence between stability and the aforementioned conditions is proved. For generalized dynamical systems, we prove stability under an additional condition

Este trabalho é dedicado ao estudo do erro de estimação em filtragem linear para sistemas lineares com parâmentros sujeitos a saltos markovianos a tempo discreto. Indroduzimos o conceito de alcançabilidade média para uma classe de sistemas. Construímos um conjunto de matrizes de alcançabilidade e mostramos que o conceito usual de alcan- çabilidade definido através da positividade do gramiano é caracterizado pela definição por posto completo destas matrizes. A alcançabilidade média funciona como condição necessária e suficiente para positividade do segundo momento do estado do sistema, resultado esse que auxilia na caracterização da positividade uniforme da matriz de covariância do erro de estimação. Abordamos a estabilidade de estimadores com a interpretação de que a covariância do erro permanece limitada na presença de erro de qualquer magnitude no modelo do ruído, que é uma característica relevante para aplicações. Apresentamos uma prova de que filtros markovianos são estáveis sempre que o segundo momento condicionado é positivo. Exemplos numéricos encontram-se inclusos. / This work studies linear filtering for discrete-time systems with Markov jump parameters. We introduce a notion of average reachability for these systems and present a set of matrices playing the role of reachability matrices, in the sense that their rank is full if and only if the system is average reachable. Reachability is also a sufficient condition for the second moment of the system to be positive. Uniform positiveness of the error covariance matrix is studied for general (possibly non-markovian) linear estimators, relying on the state second moment positiveness. Satbility of linear markovian estimators is also addressed, allowing to show that markovian estimators are stable whenever the system is reachable, with the interpretation that the error covariance remains bounded in the presence of error of any magnitude in the model of the noise, which is a relevant feature for applications. Numerical examples are included.

Neste trabalho estudamos as noções de alcançabilidade e controlabilidade para sistemas lineares a tempo contínuo com perturbações aditivas e saltos nos parâmetros sujeitos a uma cadeia de Markov geral. Definimos conceitos de alcançabilidade e controlabilidade médios de maneira natural exigindo que os valores esperados dos gramianos correspondentes sejam definidos positivos. Visando obter uma condição testável para ambos os conceitos, introduzimos conjuntos de matrizes de alcançabilidade e de controlabilidade para esta classe de sistemas e usamos certas propriedades de invariância para mostrar que: o sistema é alcançável em média, e, analogamente, controlável em média, se e somente se as matrizes respectivas, de alcançabilidade e de controlabilidade, têm posto completo. Usamos alcançabilidade média de sistemas para mostrar que a matriz de segundo momento do estado é definida positiva com uma margem uniforme. Uma consequência deste resultado no problema de estimação linear do estado é que a matriz de covariância do erro de estimação é positiva definida em média, no sentido que existe um nível mínimo de ruído nas estimativas. Na sequência, para estimadores lineares markovianos, estudamos a limitação do valor esperado da matriz de covariância do erro para mostrar que o filtro é estável num certo sentido, sendo esta uma propriedade desejável em aplicações reais. Quanto às aplicações da controlabilidade média, usamos este conceito para estabelecer condições necessárias e suficientes que garantem a existência de um processo de controle que leva a componente contínua do estado do sistema para a origem em tempo finito e com probabilidade positiva. / In this work we study the reachability and controllability notions for continuous-time linear systems with exogenous inputs and jump parameters driven by a quite general Markov chain. We define a rather natural average reachability and controllability concepts by requiring that the associated gramians are average positive definite, respectively. Aiming at testable conditions for each concept, we introduce certain sets of matrices linked with the gramians, and employ some invariance properties to find rank-based conditions. We show for average reachable systems that the state second moment is positive definite. One consequence of this result in the context of linear estimation for reachable systems is that the expectation of the error covariance matrix is positive definite. Moreover, for linear markovian filters we study the average boundedness of the error covariance matrix to show that the filter is stable in an appropriate sense, which consists in a property that is desirable in real applications. Regarding the average controllability concept, we show that it is a necessary and sufficient condition for the feasibility of the following control problem: find a control process that drives the continuous component of the state to zero in finite time with positive probability.

Neste trabalho estudamos as noções de alcançabilidade e controlabilidade para sistemas lineares a tempo contínuo com perturbações aditivas e saltos nos parâmetros sujeitos a uma cadeia de Markov geral. Definimos conceitos de alcançabilidade e controlabilidade médios de maneira natural exigindo que os valores esperados dos gramianos correspondentes sejam definidos positivos. Visando obter uma condição testável para ambos os conceitos, introduzimos conjuntos de matrizes de alcançabilidade e de controlabilidade para esta classe de sistemas e usamos certas propriedades de invariância para mostrar que: o sistema é alcançável em média, e, analogamente, controlável em média, se e somente se as matrizes respectivas, de alcançabilidade e de controlabilidade, têm posto completo. Usamos alcançabilidade média de sistemas para mostrar que a matriz de segundo momento do estado é definida positiva com uma margem uniforme. Uma consequência deste resultado no problema de estimação linear do estado é que a matriz de covariância do erro de estimação é positiva definida em média, no sentido que existe um nível mínimo de ruído nas estimativas. Na sequência, para estimadores lineares markovianos, estudamos a limitação do valor esperado da matriz de covariância do erro para mostrar que o filtro é estável num certo sentido, sendo esta uma propriedade desejável em aplicações reais. Quanto às aplicações da controlabilidade média, usamos este conceito para estabelecer condições necessárias e suficientes que garantem a existência de um processo de controle que leva a componente contínua do estado do sistema para a origem em tempo finito e com probabilidade positiva. / In this work we study the reachability and controllability notions for continuous-time linear systems with exogenous inputs and jump parameters driven by a quite general Markov chain. We define a rather natural average reachability and controllability concepts by requiring that the associated gramians are average positive definite, respectively. Aiming at testable conditions for each concept, we introduce certain sets of matrices linked with the gramians, and employ some invariance properties to find rank-based conditions. We show for average reachable systems that the state second moment is positive definite. One consequence of this result in the context of linear estimation for reachable systems is that the expectation of the error covariance matrix is positive definite. Moreover, for linear markovian filters we study the average boundedness of the error covariance matrix to show that the filter is stable in an appropriate sense, which consists in a property that is desirable in real applications. Regarding the average controllability concept, we show that it is a necessary and sufficient condition for the feasibility of the following control problem: find a control process that drives the continuous component of the state to zero in finite time with positive probability.

Este trabalho é dedicado ao estudo do erro de estimação em filtragem linear para sistemas lineares com parâmentros sujeitos a saltos markovianos a tempo discreto. Indroduzimos o conceito de alcançabilidade média para uma classe de sistemas. Construímos um conjunto de matrizes de alcançabilidade e mostramos que o conceito usual de alcan- çabilidade definido através da positividade do gramiano é caracterizado pela definição por posto completo destas matrizes. A alcançabilidade média funciona como condição necessária e suficiente para positividade do segundo momento do estado do sistema, resultado esse que auxilia na caracterização da positividade uniforme da matriz de covariância do erro de estimação. Abordamos a estabilidade de estimadores com a interpretação de que a covariância do erro permanece limitada na presença de erro de qualquer magnitude no modelo do ruído, que é uma característica relevante para aplicações. Apresentamos uma prova de que filtros markovianos são estáveis sempre que o segundo momento condicionado é positivo. Exemplos numéricos encontram-se inclusos. / This work studies linear filtering for discrete-time systems with Markov jump parameters. We introduce a notion of average reachability for these systems and present a set of matrices playing the role of reachability matrices, in the sense that their rank is full if and only if the system is average reachable. Reachability is also a sufficient condition for the second moment of the system to be positive. Uniform positiveness of the error covariance matrix is studied for general (possibly non-markovian) linear estimators, relying on the state second moment positiveness. Satbility of linear markovian estimators is also addressed, allowing to show that markovian estimators are stable whenever the system is reachable, with the interpretation that the error covariance remains bounded in the presence of error of any magnitude in the model of the noise, which is a relevant feature for applications. Numerical examples are included.

Neste trabalho estudamos a estabilidade assintótica de Lagrange para duas classes de sistemas, sob as hipóteses de detetabilidade fraca e de limitação do custo medio a longo prazo. Para sistemas lineares com saltos markovianos com rudo aditivo, a equivalência entre estabilidade e as condições mencionadas sera provada. Para sistemas dinâmicos generalizados, provaremos a estabilidade sob uma condição adicional / In this work we study Lagrange asymptotic stability for two classes of systems, under conditions of weak detectability and boundedness of the long run average cost. For Markov jump linear systems with additive noise, the equivalence between stability and the aforementioned conditions is proved. For generalized dynamical systems, we prove stability under an additional condition