Markov jump linear systems find application in many areas including economics, fault-tolerant control, and networked control. Despite significant attention paid to Markov jump linear systems in the literature, few authors have investigated Markov jump linear systems with time-inhomogeneous Markov chains (Markov chains with time-varying transition probabilities), and even fewer authors have considered time-inhomogeneous Markov chains with a priori unknown transition probabilities. This dissertation provides a formal stability and disturbance attenuation analysis for a Markov jump linear system where the underlying Markov chain is characterized by an a priori unknown sequence of transition probability matrices that assumes one of finitely-many values at each time instant. Necessary and sufficient conditions for uniform stochastic stability and uniform stochastic disturbance attenuation are reported. In both cases, conditions are expressed as a set of finite-dimensional linear matrix inequalities (LMIs) that can be solved efficiently. These finite-dimensional LMI analysis results lead to nonconservative LMI formulations for optimal controller synthesis with respect to disturbance attenuation. As a special case, the analysis also applies to a Markov jump linear system with known transition probabilities that vary in a finite set. / Ph. D.

Neste trabalho estudamos as equações de Riccati para a filtragem de sistemas lineares com saltos Markovianos a tempo discreto. Obtemos uma condição geral para estabilidade do filtro ótimo obtido pela equação algébrica de filtragem, e que também é válida para que não haja multiplicidade de soluções. Revisitamos também a questão da existência, chegando a uma condição em termos da sequência de ganhos de um observador de Luenberger. Estes resultados usaram cadeias de Markov em escala reversa de tempo, inspirando a explorar a dualidade entre filtragem e controle em sistemas com reversão na cadeia, chegando a uma relação simples de dualidade. / In this work, we studied Riccati equations for filtering Markovian jump linear systems in discrete time. We found a general condition for the stability of the optimal filter obtained via the coupled algebraic Riccati equation, and it is also valid for uniqueness of solutions. We revisit the topic of existence of solutions of the Riccati and obtain a condition in terms of the sequence of gains of a Luenberger observer. These results used Markov chains in reverse time scale, inspiring us to explore the duality between filtering and control in systems with chain reversion, arriving at a simple relation of duality.

Neste trabalho estudamos as equações de Riccati para a filtragem de sistemas lineares com saltos Markovianos a tempo discreto. Obtemos uma condição geral para estabilidade do filtro ótimo obtido pela equação algébrica de filtragem, e que também é válida para que não haja multiplicidade de soluções. Revisitamos também a questão da existência, chegando a uma condição em termos da sequência de ganhos de um observador de Luenberger. Estes resultados usaram cadeias de Markov em escala reversa de tempo, inspirando a explorar a dualidade entre filtragem e controle em sistemas com reversão na cadeia, chegando a uma relação simples de dualidade. / In this work, we studied Riccati equations for filtering Markovian jump linear systems in discrete time. We found a general condition for the stability of the optimal filter obtained via the coupled algebraic Riccati equation, and it is also valid for uniqueness of solutions. We revisit the topic of existence of solutions of the Riccati and obtain a condition in terms of the sequence of gains of a Luenberger observer. These results used Markov chains in reverse time scale, inspiring us to explore the duality between filtering and control in systems with chain reversion, arriving at a simple relation of duality.

In this dissertation, we seek to improve the dynamic modeling and control of autonomous underwater vehicles (AUVs). We address nonlinear hydrodynamic modeling, simplifying modeling assumptions, and robust control for AUVs. In the literature, various hydrodynamic models exist with varying model complexity and with no universally accepted model. We compare various hydrodynamic models traditionally employed to predict the motion of AUVs by estimating model coefficients using least-squares and adaptive identifier techniques. Additionally, we derive several dynamic models for an AUV employing varying sets of simplifying assumptions. We experimentally assess the efficacy of invoking typical assumptions to simplify the equations of motion. For robust control design, we develop a procedure for designing robust attitude controllers based on loop-shaping ideas. We specifically address the challenge of adjusting the desired actuator bandwidth in a loop-shaping design framework. Finally, we present a novel receding horizon H-infinity control algorithm to improve the control of autonomous vehicle systems working in high-disturbance environments, employing a Markov jump linear system framework to model the stochastic and non-stationary disturbances experienced by the vehicle. Our main results include a new Bounded Real Lemma for stability analysis and an output feedback H-infinity control synthesis algorithm. This work uses numerical simulations and extensive field trials of autonomous underwater vehicles to identify and verify dynamic models and to validate control algorithms developed herein. / Ph. D. / In this dissertation, we seek to improve the dynamic modeling and control of autonomous underwater vehicles (AUVs). We compare different models employed to predict the motion of AUVs, and we derive several dynamic models for an AUV employing varying sets of simplifying assumptions. We experimentally assess the efficacy of invoking typical assumptions to simplify the equations of motion. For robust control design, we develop a procedure for designing robust controllers that do not produce excessive fin movements. Finally, we present a novel robust control algorithm to improve the control of autonomous vehicle systems working in high-disturbance environments. This work uses numerical simulations and extensive field trials of autonomous underwater vehicles to identify and verify dynamic models and to validate control algorithms developed herein.

Neste trabalho estudamos a estabilidade assintótica de Lagrange para duas classes de sistemas, sob as hipóteses de detetabilidade fraca e de limitação do custo medio a longo prazo. Para sistemas lineares com saltos markovianos com rudo aditivo, a equivalência entre estabilidade e as condições mencionadas sera provada. Para sistemas dinâmicos generalizados, provaremos a estabilidade sob uma condição adicional / In this work we study Lagrange asymptotic stability for two classes of systems, under conditions of weak detectability and boundedness of the long run average cost. For Markov jump linear systems with additive noise, the equivalence between stability and the aforementioned conditions is proved. For generalized dynamical systems, we prove stability under an additional condition

Esta tese aborda o problema de regulação para sistemas lineares sujeitos a saltos Markovianos de tempo discreto com matrizes de transição incertas. Considera-se que as incertezas são limitadas em norma e os estados da cadeia de Markov podem não ser completamente observados pelo controlador. No cenário com observação completa dos estados, a solução é deduzida com base em um funcional quadrático dado em termos das probabilidades de transição incertas. Enquanto que no cenário sem observação, a solução é obtida por meio da reformulação do sistema Markoviano como um sistema determinístico, independente da cadeia de Markov. Três modelos são propostos para essa reformulação: um modelo é baseado no primeiro momento do sistema Markoviano, o segundo é obtido a partir da medida de Dirac e resulta em um sistema aumentado, e o terceiro fornece um sistema aumentado singular. Os reguladores recursivos robustos são projetados a partir de critérios de custo quadrático, dados em termos de problemas de otimização restritos. A solução é derivada da técnica de mínimos quadrados regularizados robustos e apresentada em uma estrutura matricial. A recursividade é estabelecida por equações de Riccati, que se assemelham às soluções dos reguladores clássicos, para essa classe de sistemas, quando não estão sujeitos a incertezas. / This thesis deals with regulation problem for discrete-time Markovian jump linear systems with uncertain transition matrix. The uncertainties are assumed to be normbounded type. The states of the Markov chain can not be completely observed by the controller. In the scenario with complete observation of the states, the solution is deduced based on a quadratic functional given in terms of uncertain transition probabilities. While in the scenario without observation, the solution is obtained from reformulation of the Markovian system as a deterministic system, independent of the Markov chain. Three models are proposed for the reformulation process: a model is based on the first moment of the Markovian system, the second is obtained from Dirac measure which results in an augmented system, and the third provides a singular augmented system. Recursive robust regulators are designed from quadratic cost criteria given in terms of constrained optimization problems. The solution is derived from the robust regularized least-square approach, whose framework is given in terms of a matrix structure. The recursiveness is established by Riccati equations which resemble the solutions of standard regulators for this class of systems, when they are not subject to uncertainties.

Neste trabalho estudamos as noções de alcançabilidade e controlabilidade para sistemas lineares a tempo contínuo com perturbações aditivas e saltos nos parâmetros sujeitos a uma cadeia de Markov geral. Definimos conceitos de alcançabilidade e controlabilidade médios de maneira natural exigindo que os valores esperados dos gramianos correspondentes sejam definidos positivos. Visando obter uma condição testável para ambos os conceitos, introduzimos conjuntos de matrizes de alcançabilidade e de controlabilidade para esta classe de sistemas e usamos certas propriedades de invariância para mostrar que: o sistema é alcançável em média, e, analogamente, controlável em média, se e somente se as matrizes respectivas, de alcançabilidade e de controlabilidade, têm posto completo. Usamos alcançabilidade média de sistemas para mostrar que a matriz de segundo momento do estado é definida positiva com uma margem uniforme. Uma consequência deste resultado no problema de estimação linear do estado é que a matriz de covariância do erro de estimação é positiva definida em média, no sentido que existe um nível mínimo de ruído nas estimativas. Na sequência, para estimadores lineares markovianos, estudamos a limitação do valor esperado da matriz de covariância do erro para mostrar que o filtro é estável num certo sentido, sendo esta uma propriedade desejável em aplicações reais. Quanto às aplicações da controlabilidade média, usamos este conceito para estabelecer condições necessárias e suficientes que garantem a existência de um processo de controle que leva a componente contínua do estado do sistema para a origem em tempo finito e com probabilidade positiva. / In this work we study the reachability and controllability notions for continuous-time linear systems with exogenous inputs and jump parameters driven by a quite general Markov chain. We define a rather natural average reachability and controllability concepts by requiring that the associated gramians are average positive definite, respectively. Aiming at testable conditions for each concept, we introduce certain sets of matrices linked with the gramians, and employ some invariance properties to find rank-based conditions. We show for average reachable systems that the state second moment is positive definite. One consequence of this result in the context of linear estimation for reachable systems is that the expectation of the error covariance matrix is positive definite. Moreover, for linear markovian filters we study the average boundedness of the error covariance matrix to show that the filter is stable in an appropriate sense, which consists in a property that is desirable in real applications. Regarding the average controllability concept, we show that it is a necessary and sufficient condition for the feasibility of the following control problem: find a control process that drives the continuous component of the state to zero in finite time with positive probability.

Esta tese aborda o problema de regulação para sistemas lineares sujeitos a saltos Markovianos de tempo discreto com matrizes de transição incertas. Considera-se que as incertezas são limitadas em norma e os estados da cadeia de Markov podem não ser completamente observados pelo controlador. No cenário com observação completa dos estados, a solução é deduzida com base em um funcional quadrático dado em termos das probabilidades de transição incertas. Enquanto que no cenário sem observação, a solução é obtida por meio da reformulação do sistema Markoviano como um sistema determinístico, independente da cadeia de Markov. Três modelos são propostos para essa reformulação: um modelo é baseado no primeiro momento do sistema Markoviano, o segundo é obtido a partir da medida de Dirac e resulta em um sistema aumentado, e o terceiro fornece um sistema aumentado singular. Os reguladores recursivos robustos são projetados a partir de critérios de custo quadrático, dados em termos de problemas de otimização restritos. A solução é derivada da técnica de mínimos quadrados regularizados robustos e apresentada em uma estrutura matricial. A recursividade é estabelecida por equações de Riccati, que se assemelham às soluções dos reguladores clássicos, para essa classe de sistemas, quando não estão sujeitos a incertezas. / This thesis deals with regulation problem for discrete-time Markovian jump linear systems with uncertain transition matrix. The uncertainties are assumed to be normbounded type. The states of the Markov chain can not be completely observed by the controller. In the scenario with complete observation of the states, the solution is deduced based on a quadratic functional given in terms of uncertain transition probabilities. While in the scenario without observation, the solution is obtained from reformulation of the Markovian system as a deterministic system, independent of the Markov chain. Three models are proposed for the reformulation process: a model is based on the first moment of the Markovian system, the second is obtained from Dirac measure which results in an augmented system, and the third provides a singular augmented system. Recursive robust regulators are designed from quadratic cost criteria given in terms of constrained optimization problems. The solution is derived from the robust regularized least-square approach, whose framework is given in terms of a matrix structure. The recursiveness is established by Riccati equations which resemble the solutions of standard regulators for this class of systems, when they are not subject to uncertainties.

Neste trabalho estudamos as noções de alcançabilidade e controlabilidade para sistemas lineares a tempo contínuo com perturbações aditivas e saltos nos parâmetros sujeitos a uma cadeia de Markov geral. Definimos conceitos de alcançabilidade e controlabilidade médios de maneira natural exigindo que os valores esperados dos gramianos correspondentes sejam definidos positivos. Visando obter uma condição testável para ambos os conceitos, introduzimos conjuntos de matrizes de alcançabilidade e de controlabilidade para esta classe de sistemas e usamos certas propriedades de invariância para mostrar que: o sistema é alcançável em média, e, analogamente, controlável em média, se e somente se as matrizes respectivas, de alcançabilidade e de controlabilidade, têm posto completo. Usamos alcançabilidade média de sistemas para mostrar que a matriz de segundo momento do estado é definida positiva com uma margem uniforme. Uma consequência deste resultado no problema de estimação linear do estado é que a matriz de covariância do erro de estimação é positiva definida em média, no sentido que existe um nível mínimo de ruído nas estimativas. Na sequência, para estimadores lineares markovianos, estudamos a limitação do valor esperado da matriz de covariância do erro para mostrar que o filtro é estável num certo sentido, sendo esta uma propriedade desejável em aplicações reais. Quanto às aplicações da controlabilidade média, usamos este conceito para estabelecer condições necessárias e suficientes que garantem a existência de um processo de controle que leva a componente contínua do estado do sistema para a origem em tempo finito e com probabilidade positiva. / In this work we study the reachability and controllability notions for continuous-time linear systems with exogenous inputs and jump parameters driven by a quite general Markov chain. We define a rather natural average reachability and controllability concepts by requiring that the associated gramians are average positive definite, respectively. Aiming at testable conditions for each concept, we introduce certain sets of matrices linked with the gramians, and employ some invariance properties to find rank-based conditions. We show for average reachable systems that the state second moment is positive definite. One consequence of this result in the context of linear estimation for reachable systems is that the expectation of the error covariance matrix is positive definite. Moreover, for linear markovian filters we study the average boundedness of the error covariance matrix to show that the filter is stable in an appropriate sense, which consists in a property that is desirable in real applications. Regarding the average controllability concept, we show that it is a necessary and sufficient condition for the feasibility of the following control problem: find a control process that drives the continuous component of the state to zero in finite time with positive probability.

Neste trabalho estudamos a estabilidade assintótica de Lagrange para duas classes de sistemas, sob as hipóteses de detetabilidade fraca e de limitação do custo medio a longo prazo. Para sistemas lineares com saltos markovianos com rudo aditivo, a equivalência entre estabilidade e as condições mencionadas sera provada. Para sistemas dinâmicos generalizados, provaremos a estabilidade sob uma condição adicional / In this work we study Lagrange asymptotic stability for two classes of systems, under conditions of weak detectability and boundedness of the long run average cost. For Markov jump linear systems with additive noise, the equivalence between stability and the aforementioned conditions is proved. For generalized dynamical systems, we prove stability under an additional condition