Neste trabalho estudamos as equações de Riccati para a filtragem de sistemas lineares com saltos Markovianos a tempo discreto. Obtemos uma condição geral para estabilidade do filtro ótimo obtido pela equação algébrica de filtragem, e que também é válida para que não haja multiplicidade de soluções. Revisitamos também a questão da existência, chegando a uma condição em termos da sequência de ganhos de um observador de Luenberger. Estes resultados usaram cadeias de Markov em escala reversa de tempo, inspirando a explorar a dualidade entre filtragem e controle em sistemas com reversão na cadeia, chegando a uma relação simples de dualidade. / In this work, we studied Riccati equations for filtering Markovian jump linear systems in discrete time. We found a general condition for the stability of the optimal filter obtained via the coupled algebraic Riccati equation, and it is also valid for uniqueness of solutions. We revisit the topic of existence of solutions of the Riccati and obtain a condition in terms of the sequence of gains of a Luenberger observer. These results used Markov chains in reverse time scale, inspiring us to explore the duality between filtering and control in systems with chain reversion, arriving at a simple relation of duality.

Neste trabalho estudamos as equações de Riccati para a filtragem de sistemas lineares com saltos Markovianos a tempo discreto. Obtemos uma condição geral para estabilidade do filtro ótimo obtido pela equação algébrica de filtragem, e que também é válida para que não haja multiplicidade de soluções. Revisitamos também a questão da existência, chegando a uma condição em termos da sequência de ganhos de um observador de Luenberger. Estes resultados usaram cadeias de Markov em escala reversa de tempo, inspirando a explorar a dualidade entre filtragem e controle em sistemas com reversão na cadeia, chegando a uma relação simples de dualidade. / In this work, we studied Riccati equations for filtering Markovian jump linear systems in discrete time. We found a general condition for the stability of the optimal filter obtained via the coupled algebraic Riccati equation, and it is also valid for uniqueness of solutions. We revisit the topic of existence of solutions of the Riccati and obtain a condition in terms of the sequence of gains of a Luenberger observer. These results used Markov chains in reverse time scale, inspiring us to explore the duality between filtering and control in systems with chain reversion, arriving at a simple relation of duality.

This thesis deals with discrete-time Markov jump linear systems (MJLS) with Markov chain in a general Borel space S. Several control issues have been addressed for this class of dynamic systems, including stochastic stability (SS), linear quadratic (LQ) optimal control synthesis, fllter design and a separation principle. Necessary and sffcient conditions for SS have been derived. It was shown that SS is equivalent to the spectral radius of an operator being less than 1 or to the existence of a solution to a \\Lyapunov-like\" equation. Based on the SS concept, the finite- and infinite-horizon LQ optimal control problems were tackled. The solution to the finite- (infinite-)horizon LQ optimal control problem was derived from the associated control S-coupled Riccati difference (algebraic) equations. By S-coupled it is meant that the equations are coupled via an integral over a transition probability kernel having a density with respect to a in-finite measure on the Borel space S. The design of linear Markov jump filters was analyzed and a solution to the finite- (infinite-)horizon filtering problem was obtained based on the associated filtering S-coupled Riccati difference (algebraic) equations. Conditions for the existence and uniqueness of a stabilizing positive semi-definite solution to the control and filtering S-coupled algebraic Riccati equations have also been derived. Finally a separation principle for discrete-time MJLS with Markov chain in a general state space was obtained. It was shown that the optimal controller for a partial information optimal control problem separates the partial information control problem into two problems, one associated with a filtering problem and the other associated with an optimal control problem with complete information. It is expected that the results obtained in this thesis may motivate further research on discrete-time MJLS with Markov chain in a general state space. / Esta tese trata de sistemas lineares com saltos markovianos (MJLS) a tempo discreto com cadeia de Markov em um espaço geral de Borel S. Vários problemas de controle foram abordados para esta classe de sistemas dinâmicos, incluindo estabilidade estocástica (SS), síntese de controle ótimo linear quadrático (LQ), projeto de filtros e um princípio da separação. Condições necessárias e suficientes para a SS foram obtidas. Foi demonstrado que SS é equivalente ao raio espectral de um operador ser menor que 1 ou à existência de uma solução para uma equação de Lyapunov. Os problemas de controle ótimo a horizonte finito e infinito foram abordados com base no conceito de SS. A solução para o problema de controle ótimo LQ a horizonte finito (infinito) foi obtida a partir das associadas equações a diferenças (algébricas) de Riccati S-acopladas de controle. Por S-acopladas entende-se que as equações são acopladas por uma integral sobre o kernel estocástico com densidade de transição em relação a uma medida in-finita no espaço de Borel S. O projeto de filtros lineares markovianos foi analisado e uma solução para o problema da filtragem a horizonte finito (infinito) foi obtida com base nas associadas equações a diferenças (algébricas) de Riccati S-acopladas de filtragem. Condições para a existência e unicidade de uma solução positiva semi-definida e estabilizável para as equações algébricas de Riccati S-acopladas associadas aos problemas de controle e filtragem também foram obtidas. Por último, foi estabelecido um princípio da separação para MJLS a tempo discreto com cadeia de Markov em um espaço de estados geral. Foi demonstrado que o controlador ótimo para um problema de controle ótimo com informação parcial separa o problema de controle com informação parcial em dois problemas, um deles associado a um problema de filtragem e o outro associado a um problema de controle ótimo com informação completa. Espera-se que os resultados obtidos nesta tese possam motivar futuras pesquisas sobre MJLS a tempo discreto com cadeia de Markov em um espaço de estados geral.

This thesis deals with discrete-time Markov jump linear systems (MJLS) with Markov chain in a general Borel space S. Several control issues have been addressed for this class of dynamic systems, including stochastic stability (SS), linear quadratic (LQ) optimal control synthesis, fllter design and a separation principle. Necessary and sffcient conditions for SS have been derived. It was shown that SS is equivalent to the spectral radius of an operator being less than 1 or to the existence of a solution to a \\Lyapunov-like\" equation. Based on the SS concept, the finite- and infinite-horizon LQ optimal control problems were tackled. The solution to the finite- (infinite-)horizon LQ optimal control problem was derived from the associated control S-coupled Riccati difference (algebraic) equations. By S-coupled it is meant that the equations are coupled via an integral over a transition probability kernel having a density with respect to a in-finite measure on the Borel space S. The design of linear Markov jump filters was analyzed and a solution to the finite- (infinite-)horizon filtering problem was obtained based on the associated filtering S-coupled Riccati difference (algebraic) equations. Conditions for the existence and uniqueness of a stabilizing positive semi-definite solution to the control and filtering S-coupled algebraic Riccati equations have also been derived. Finally a separation principle for discrete-time MJLS with Markov chain in a general state space was obtained. It was shown that the optimal controller for a partial information optimal control problem separates the partial information control problem into two problems, one associated with a filtering problem and the other associated with an optimal control problem with complete information. It is expected that the results obtained in this thesis may motivate further research on discrete-time MJLS with Markov chain in a general state space. / Esta tese trata de sistemas lineares com saltos markovianos (MJLS) a tempo discreto com cadeia de Markov em um espaço geral de Borel S. Vários problemas de controle foram abordados para esta classe de sistemas dinâmicos, incluindo estabilidade estocástica (SS), síntese de controle ótimo linear quadrático (LQ), projeto de filtros e um princípio da separação. Condições necessárias e suficientes para a SS foram obtidas. Foi demonstrado que SS é equivalente ao raio espectral de um operador ser menor que 1 ou à existência de uma solução para uma equação de Lyapunov. Os problemas de controle ótimo a horizonte finito e infinito foram abordados com base no conceito de SS. A solução para o problema de controle ótimo LQ a horizonte finito (infinito) foi obtida a partir das associadas equações a diferenças (algébricas) de Riccati S-acopladas de controle. Por S-acopladas entende-se que as equações são acopladas por uma integral sobre o kernel estocástico com densidade de transição em relação a uma medida in-finita no espaço de Borel S. O projeto de filtros lineares markovianos foi analisado e uma solução para o problema da filtragem a horizonte finito (infinito) foi obtida com base nas associadas equações a diferenças (algébricas) de Riccati S-acopladas de filtragem. Condições para a existência e unicidade de uma solução positiva semi-definida e estabilizável para as equações algébricas de Riccati S-acopladas associadas aos problemas de controle e filtragem também foram obtidas. Por último, foi estabelecido um princípio da separação para MJLS a tempo discreto com cadeia de Markov em um espaço de estados geral. Foi demonstrado que o controlador ótimo para um problema de controle ótimo com informação parcial separa o problema de controle com informação parcial em dois problemas, um deles associado a um problema de filtragem e o outro associado a um problema de controle ótimo com informação completa. Espera-se que os resultados obtidos nesta tese possam motivar futuras pesquisas sobre MJLS a tempo discreto com cadeia de Markov em um espaço de estados geral.

O objetivo desta tese é investigar aspectos práticos que facilitem a aplicação da teoria de controle H1 não linear em projetos de sistemas de controle. A primeira contribuição deste trabalho é a proposta do uso de funções ponderação com dinâmica no projeto de controladores H1 não lineares. Essas funções são usadas no projeto de controladores H1 lineares para rejeição de perturbações, ruídos, atenuação de erro de rastreamento, dentre outras especificações. O maior obstáculo para aplicação prática da teoria de controle H1 não linear é a dificuldade para resolver simultaneamente as duas equações de Hamilton-Jacobi-Isaacs relacionadas ao problema de realimentação de estados e injeção da saída. Não há métodos sistematicos para resolver essas duas equações diferenciais parciais não lineares, equivalentes µas equações de Riccati da teoria de controle H1 linear. A segunda contribuição desta tese é um método para obter a injeção da saída transformando a equação de Hamilton-Jacobi-Isaacs em uma sequencia de equações diferenciais parciais lineares, que são resolvidas usando o método de Galerkin. Controladores H1 não lineares para um sistema de levitação magnética são obtidos usando o método clássico de expansão em série de Taylor e o método de proposto para comparação. / The purpose of this thesis is to investigate practical aspects to facilitate the ap- plication of nonlinear H1 theory in control systems design. Firstly, it is shown that dynamic weighting functions can be used to improve the performance and robustness of the nonlinear H1 controller such as in the design of H1 controllers for linear plants. The biggest bottleneck to the practical applications of nonlinear H1 control theory has been the di±culty in solving the Hamilton-Jacobi-Isaacs equations associated with the design of a state feedback and an output injection gain. There is no systematic numerical approach for solving this ¯rst order, nonlinear partial di®erential equations, which reduces to Riccati equations in the linear context. In this work, successive ap- proximation and Galerkin approximation methods are combined to derive an algorithm that produces an output injection gain. Design of nonlinear H1 controllers obtained by the well established Taylor approximation and by the proposed Galerkin approxi- mation method applied to a magnetic levitation system are presented for comparison purposes.

O objetivo desta tese é investigar aspectos práticos que facilitem a aplicação da teoria de controle H1 não linear em projetos de sistemas de controle. A primeira contribuição deste trabalho é a proposta do uso de funções ponderação com dinâmica no projeto de controladores H1 não lineares. Essas funções são usadas no projeto de controladores H1 lineares para rejeição de perturbações, ruídos, atenuação de erro de rastreamento, dentre outras especificações. O maior obstáculo para aplicação prática da teoria de controle H1 não linear é a dificuldade para resolver simultaneamente as duas equações de Hamilton-Jacobi-Isaacs relacionadas ao problema de realimentação de estados e injeção da saída. Não há métodos sistematicos para resolver essas duas equações diferenciais parciais não lineares, equivalentes µas equações de Riccati da teoria de controle H1 linear. A segunda contribuição desta tese é um método para obter a injeção da saída transformando a equação de Hamilton-Jacobi-Isaacs em uma sequencia de equações diferenciais parciais lineares, que são resolvidas usando o método de Galerkin. Controladores H1 não lineares para um sistema de levitação magnética são obtidos usando o método clássico de expansão em série de Taylor e o método de proposto para comparação. / The purpose of this thesis is to investigate practical aspects to facilitate the ap- plication of nonlinear H1 theory in control systems design. Firstly, it is shown that dynamic weighting functions can be used to improve the performance and robustness of the nonlinear H1 controller such as in the design of H1 controllers for linear plants. The biggest bottleneck to the practical applications of nonlinear H1 control theory has been the di±culty in solving the Hamilton-Jacobi-Isaacs equations associated with the design of a state feedback and an output injection gain. There is no systematic numerical approach for solving this ¯rst order, nonlinear partial di®erential equations, which reduces to Riccati equations in the linear context. In this work, successive ap- proximation and Galerkin approximation methods are combined to derive an algorithm that produces an output injection gain. Design of nonlinear H1 controllers obtained by the well established Taylor approximation and by the proposed Galerkin approxi- mation method applied to a magnetic levitation system are presented for comparison purposes.