Markov jump linear systems find application in many areas including economics, fault-tolerant control, and networked control. Despite significant attention paid to Markov jump linear systems in the literature, few authors have investigated Markov jump linear systems with time-inhomogeneous Markov chains (Markov chains with time-varying transition probabilities), and even fewer authors have considered time-inhomogeneous Markov chains with a priori unknown transition probabilities. This dissertation provides a formal stability and disturbance attenuation analysis for a Markov jump linear system where the underlying Markov chain is characterized by an a priori unknown sequence of transition probability matrices that assumes one of finitely-many values at each time instant. Necessary and sufficient conditions for uniform stochastic stability and uniform stochastic disturbance attenuation are reported. In both cases, conditions are expressed as a set of finite-dimensional linear matrix inequalities (LMIs) that can be solved efficiently. These finite-dimensional LMI analysis results lead to nonconservative LMI formulations for optimal controller synthesis with respect to disturbance attenuation. As a special case, the analysis also applies to a Markov jump linear system with known transition probabilities that vary in a finite set. / Ph. D.

In this dissertation, we seek to improve the dynamic modeling and control of autonomous underwater vehicles (AUVs). We address nonlinear hydrodynamic modeling, simplifying modeling assumptions, and robust control for AUVs. In the literature, various hydrodynamic models exist with varying model complexity and with no universally accepted model. We compare various hydrodynamic models traditionally employed to predict the motion of AUVs by estimating model coefficients using least-squares and adaptive identifier techniques. Additionally, we derive several dynamic models for an AUV employing varying sets of simplifying assumptions. We experimentally assess the efficacy of invoking typical assumptions to simplify the equations of motion. For robust control design, we develop a procedure for designing robust attitude controllers based on loop-shaping ideas. We specifically address the challenge of adjusting the desired actuator bandwidth in a loop-shaping design framework. Finally, we present a novel receding horizon H-infinity control algorithm to improve the control of autonomous vehicle systems working in high-disturbance environments, employing a Markov jump linear system framework to model the stochastic and non-stationary disturbances experienced by the vehicle. Our main results include a new Bounded Real Lemma for stability analysis and an output feedback H-infinity control synthesis algorithm. This work uses numerical simulations and extensive field trials of autonomous underwater vehicles to identify and verify dynamic models and to validate control algorithms developed herein. / Ph. D. / In this dissertation, we seek to improve the dynamic modeling and control of autonomous underwater vehicles (AUVs). We compare different models employed to predict the motion of AUVs, and we derive several dynamic models for an AUV employing varying sets of simplifying assumptions. We experimentally assess the efficacy of invoking typical assumptions to simplify the equations of motion. For robust control design, we develop a procedure for designing robust controllers that do not produce excessive fin movements. Finally, we present a novel robust control algorithm to improve the control of autonomous vehicle systems working in high-disturbance environments. This work uses numerical simulations and extensive field trials of autonomous underwater vehicles to identify and verify dynamic models and to validate control algorithms developed herein.

Neste trabalho estudamos a estabilidade assintótica de Lagrange para duas classes de sistemas, sob as hipóteses de detetabilidade fraca e de limitação do custo medio a longo prazo. Para sistemas lineares com saltos markovianos com rudo aditivo, a equivalência entre estabilidade e as condições mencionadas sera provada. Para sistemas dinâmicos generalizados, provaremos a estabilidade sob uma condição adicional / In this work we study Lagrange asymptotic stability for two classes of systems, under conditions of weak detectability and boundedness of the long run average cost. For Markov jump linear systems with additive noise, the equivalence between stability and the aforementioned conditions is proved. For generalized dynamical systems, we prove stability under an additional condition

Neste trabalho estudamos as noções de alcançabilidade e controlabilidade para sistemas lineares a tempo contínuo com perturbações aditivas e saltos nos parâmetros sujeitos a uma cadeia de Markov geral. Definimos conceitos de alcançabilidade e controlabilidade médios de maneira natural exigindo que os valores esperados dos gramianos correspondentes sejam definidos positivos. Visando obter uma condição testável para ambos os conceitos, introduzimos conjuntos de matrizes de alcançabilidade e de controlabilidade para esta classe de sistemas e usamos certas propriedades de invariância para mostrar que: o sistema é alcançável em média, e, analogamente, controlável em média, se e somente se as matrizes respectivas, de alcançabilidade e de controlabilidade, têm posto completo. Usamos alcançabilidade média de sistemas para mostrar que a matriz de segundo momento do estado é definida positiva com uma margem uniforme. Uma consequência deste resultado no problema de estimação linear do estado é que a matriz de covariância do erro de estimação é positiva definida em média, no sentido que existe um nível mínimo de ruído nas estimativas. Na sequência, para estimadores lineares markovianos, estudamos a limitação do valor esperado da matriz de covariância do erro para mostrar que o filtro é estável num certo sentido, sendo esta uma propriedade desejável em aplicações reais. Quanto às aplicações da controlabilidade média, usamos este conceito para estabelecer condições necessárias e suficientes que garantem a existência de um processo de controle que leva a componente contínua do estado do sistema para a origem em tempo finito e com probabilidade positiva. / In this work we study the reachability and controllability notions for continuous-time linear systems with exogenous inputs and jump parameters driven by a quite general Markov chain. We define a rather natural average reachability and controllability concepts by requiring that the associated gramians are average positive definite, respectively. Aiming at testable conditions for each concept, we introduce certain sets of matrices linked with the gramians, and employ some invariance properties to find rank-based conditions. We show for average reachable systems that the state second moment is positive definite. One consequence of this result in the context of linear estimation for reachable systems is that the expectation of the error covariance matrix is positive definite. Moreover, for linear markovian filters we study the average boundedness of the error covariance matrix to show that the filter is stable in an appropriate sense, which consists in a property that is desirable in real applications. Regarding the average controllability concept, we show that it is a necessary and sufficient condition for the feasibility of the following control problem: find a control process that drives the continuous component of the state to zero in finite time with positive probability.

Neste trabalho estudamos as noções de alcançabilidade e controlabilidade para sistemas lineares a tempo contínuo com perturbações aditivas e saltos nos parâmetros sujeitos a uma cadeia de Markov geral. Definimos conceitos de alcançabilidade e controlabilidade médios de maneira natural exigindo que os valores esperados dos gramianos correspondentes sejam definidos positivos. Visando obter uma condição testável para ambos os conceitos, introduzimos conjuntos de matrizes de alcançabilidade e de controlabilidade para esta classe de sistemas e usamos certas propriedades de invariância para mostrar que: o sistema é alcançável em média, e, analogamente, controlável em média, se e somente se as matrizes respectivas, de alcançabilidade e de controlabilidade, têm posto completo. Usamos alcançabilidade média de sistemas para mostrar que a matriz de segundo momento do estado é definida positiva com uma margem uniforme. Uma consequência deste resultado no problema de estimação linear do estado é que a matriz de covariância do erro de estimação é positiva definida em média, no sentido que existe um nível mínimo de ruído nas estimativas. Na sequência, para estimadores lineares markovianos, estudamos a limitação do valor esperado da matriz de covariância do erro para mostrar que o filtro é estável num certo sentido, sendo esta uma propriedade desejável em aplicações reais. Quanto às aplicações da controlabilidade média, usamos este conceito para estabelecer condições necessárias e suficientes que garantem a existência de um processo de controle que leva a componente contínua do estado do sistema para a origem em tempo finito e com probabilidade positiva. / In this work we study the reachability and controllability notions for continuous-time linear systems with exogenous inputs and jump parameters driven by a quite general Markov chain. We define a rather natural average reachability and controllability concepts by requiring that the associated gramians are average positive definite, respectively. Aiming at testable conditions for each concept, we introduce certain sets of matrices linked with the gramians, and employ some invariance properties to find rank-based conditions. We show for average reachable systems that the state second moment is positive definite. One consequence of this result in the context of linear estimation for reachable systems is that the expectation of the error covariance matrix is positive definite. Moreover, for linear markovian filters we study the average boundedness of the error covariance matrix to show that the filter is stable in an appropriate sense, which consists in a property that is desirable in real applications. Regarding the average controllability concept, we show that it is a necessary and sufficient condition for the feasibility of the following control problem: find a control process that drives the continuous component of the state to zero in finite time with positive probability.

Neste trabalho estudamos a estabilidade assintótica de Lagrange para duas classes de sistemas, sob as hipóteses de detetabilidade fraca e de limitação do custo medio a longo prazo. Para sistemas lineares com saltos markovianos com rudo aditivo, a equivalência entre estabilidade e as condições mencionadas sera provada. Para sistemas dinâmicos generalizados, provaremos a estabilidade sob uma condição adicional / In this work we study Lagrange asymptotic stability for two classes of systems, under conditions of weak detectability and boundedness of the long run average cost. For Markov jump linear systems with additive noise, the equivalence between stability and the aforementioned conditions is proved. For generalized dynamical systems, we prove stability under an additional condition

Made available in DSpace on 2015-03-04T18:50:44Z (GMT). No. of bitstreams: 1 Introducao.pdf: 140805 bytes, checksum: fc7ea84f193f6d764fa24f41af40d07f (MD5) Previous issue date: 2007-03-09 / Fundação Carlos Chagas Filho de Amparo a Pesquisa do Estado do Rio de Janeiro / Este trabalho trata do problema de controle H-infinito de uma classe de sistemas lineares com saltos Markovianos (MJLS) a tempo contínuo, onde a cadeia de Markov toma valores em um conjunto infinito enumerável. Um bounded real lemma (que chamamos JBRL) é desenvolvido, estabelecendo que a factibilidade de um conjunto infinito de desigualdades matriciais lineares (LMIs) interconectadas é necessária e suficiente para que um dado sistema seja estocasticamente estável (SS) e atenda a um desempenho H-infinito prescrito. O problema H-infinito estudado consiste na atenuação do efeito que perturbações estocásticas de energia finita causam na saída de um sistema, no pior caso. Neste problema, conhecido na literatura como "disturbance attenuation" (DA), assumimos ainda que o controlador somente tem acesso ao processo de saltos e a uma saída do sistema. Os controladores de interesse devem garantir que tanto a estabilidade (SS) quanto um desempenho H-infinito sejam observados no sistema em malha fechada - donde as condições impostas pelo JBRL são determinantes para a existência de soluções. Um importante aspecto dessa nova abordagem é que ferramentas tão fundamentais quanto o Complemento de Schur ou o Lema da Projeção, p.ex., não podem mais ser usados para manipular os conjuntos de LMIs infinitamente acopladas - tal dificuldade é contornada pela introdução de versões estendidas desses resultados, no início do trabalho. Um dos principais resultados deste trabalho caracteriza a existência de soluções através de dois problemas LMI complementares, um dos quais torna possível o design computacional de controladores. Por fim, são apresentados algoritmos para a construção prática de controladores, ótimos ou sub-ótimos, dando origem a um conjunto de ferramentas que, especialmente no caso em que a cadeia de Markov é finita, podem ser implementadas computacionalmente de maneira imediata. Mesmo no caso finito, os resultados da tese são mais fortes do que aqueles atualmente encontrados na literatura.

Este trabalho trata do problema de controle H-infinito de uma classe de sistemas lineares com saltos Markovianos (MJLS) a tempo contínuo, onde a cadeia de Markov toma valores em um conjunto infinito enumerável. Um bounded real lemma (que chamamos JBRL) é desenvolvido, estabelecendo que a factibilidade de um conjunto infinito de desigualdades matriciais lineares (LMIs) interconectadas é necessária e suficiente para que um dado sistema seja estocasticamente estável (SS) e atenda a um desempenho H-infinito prescrito. O problema H-infinito estudado consiste na atenuação do efeito que perturbações estocásticas de energia finita causam na saída de um sistema, no pior caso. Neste problema, conhecido na literatura como "disturbance attenuation" (DA), assumimos ainda que o controlador somente tem acesso ao processo de saltos e a uma saída do sistema. Os controladores de interesse devem garantir que tanto a estabilidade (SS) quanto um desempenho H-infinito sejam observados no sistema em malha fechada - donde as condições impostas pelo JBRL são determinantes para a existência de soluções. Um importante aspecto dessa nova abordagem é que ferramentas tão fundamentais quanto o Complemento de Schur ou o Lema da Projeção, p.ex., não podem mais ser usados para manipular os conjuntos de LMIs infinitamente acopladas - tal dificuldade é contornada pela introdução de versões estendidas desses resultados, no início do trabalho. Um dos principais resultados deste trabalho caracteriza a existência de soluções através de dois problemas LMI complementares, um dos quais torna possível o design computacional de controladores. Por fim, são apresentados algoritmos para a construção prática de controladores, ótimos ou sub-ótimos, dando origem a um conjunto de ferramentas que, especialmente no caso em que a cadeia de Markov é finita, podem ser implementadas computacionalmente de maneira imediata. Mesmo no caso finito, os resultados da tese são mais fortes do que aqueles atualmente encontrados na literatura.

Le but de cette thèse est de présenter de nouveaux résultats sur l'analyse et la synthèse de systèmes à retard. Dans la première partie, nous étendons l'utilisation du système invariant d'ordre fini, appelé "système de comparaison", à la conception d'un contrôleur qui dépend non seulement de la sortie à l'heure actuelle et du délai maximum, mais également d'un nombre arbitraire de valeurs entre celles-ci. Cette approche nous permet d'augmenter le délai maximal stable sans exiger d'informations supplémentaires. Les méthodes présentées ici concernent la conception de systèmes de contrôle avec des retards en utilisant des routines numériques classiques basées sur la théorie Hoo. La deuxième partie de ce travail traite d'une nouvelle approche pour développer une enveloppe englobant tous les pôles d'un système à retard. Grâce aux LMIs, nous sommes en mesure de déterminer les enveloppes pour les systèmes à retard du type retardé et du type neutre. Les enveloppes proposées sont non seulement plus étroites que celles de la littérature, mais, avec notre procédure, elles peuvent également être appliquées pour vérifier la stabilité du système et pour projeter contrôleurs de retour d'état qui répondent aux exigences de conception relatives à alpha-stabilité et sont robustes face aux incertitudes paramétriques. Les systèmes fractionnaires sont également discutés dans les deux chapitres mentionnés ci-dessus. La troisième et dernière partie étudie les systèmes stochastiques avec des retards. Nous discutons d'abord des systèmes à temps continu soumis à des sauts de Markov. Nous définissons la stabilité et obtenons des LMIs pour le contrôle par retour d'état de telle sorte que la relation entre les taux de transition entre les modes soit affine, ce qui permet donc de traiter le cas dans lequel les taux sont incertains. Nous discutons ensuite des systèmes positifs avec retards, tant pour le cas continu que pour le cas discret. Des systèmes équivalents sont obtenus et la stabilité dépendante du retard est abordée. De nombreux exemples sont illustrés tout au long de la thèse. / The aim of this dissertation is to present new results on analysis and control design of time-delay systems. On the first part, we extend the use of a finite order LTI system, called 'comparison system', to design a controller which depends not only on the output at the present time and maximum delay, but also on an arbitrary number of values between those. This approach allows us to increase the maximum stable delay without requiring any additional information. The methods presented here consider time-delay systems control design with classical numeric routines based on Hoo theory. The second part of this work deals with a new approach to develop an envelope that engulfs all poles of a time-delay system. Through LMIs, we are able to determine envelopes for retarded and neutral time-delay systems. The envelopes proposed are not only tighter than the ones in the literature but, with our procedure, they can also be applied to verify the stability of the system and design state-feedback controllers which cope with design requirements regarding alpha-stability and are robust in face of parametric uncertainties. Fractional systems are also discussed for both chapters mentioned above. The third and last part studies stochastic time-delay systems.First we discuss continuous-time systems that are subjected to Markov jumps. We define stability and obtain LMIs for the state-feedback control in such a way that the relation with the transition rates between the modes is affine, allowing, therefore, to treat the case in which the rates are uncertain. We then discuss positive systems with delays, both for the continuous case as for the discrete case. Equivalent systems are obtained and delay dependent stability is addressed. A fair amount of examples are presented throughout the dissertation.