Este trabalho estuda a observabilidade e controlabilidade para uma classe de sistema dinâmico markoviano com saltos nos parâmetros, e uma coleção de matrizes de observabilidade e controlabilidade associadas. São explorados alguns resultados de invariância, bem como certas propriedades envolvendo essas matrizes. Uma dessas propriedades, relacionada com a coleção de matrizes de observabilidade é conhecida na literatura desta classe de sistemas, mas não há uma prova disponível. Esses resultados de invariancia foram estendidos para o estudo da controlabilidade e sua respectiva coleção de matrizes associada, obtendo assim uma propriedade análoga ao caso da observabilidade. Os resultados obtidos são importantes para validar outros resultados existentes que se baseiam na propriedade referida / This work studies observability and controlability of a class of Markov systems with jumping parameters, and associated set of observability and controlability matrices. We explore some invariance results regarding the state trajectory and certain properties involving those matrices. One of these properties, related with the collection of observability matrices, is employed in the literature of this class of systems, but there is no available proof. The invariance results are extended similarly to the context of controlability leading to a property that is analogous to the observability case. The obtained results are important to validate other existing results that rely on that property

Este trabalho estuda a observabilidade e controlabilidade para uma classe de sistema dinâmico markoviano com saltos nos parâmetros, e uma coleção de matrizes de observabilidade e controlabilidade associadas. São explorados alguns resultados de invariância, bem como certas propriedades envolvendo essas matrizes. Uma dessas propriedades, relacionada com a coleção de matrizes de observabilidade é conhecida na literatura desta classe de sistemas, mas não há uma prova disponível. Esses resultados de invariancia foram estendidos para o estudo da controlabilidade e sua respectiva coleção de matrizes associada, obtendo assim uma propriedade análoga ao caso da observabilidade. Os resultados obtidos são importantes para validar outros resultados existentes que se baseiam na propriedade referida / This work studies observability and controlability of a class of Markov systems with jumping parameters, and associated set of observability and controlability matrices. We explore some invariance results regarding the state trajectory and certain properties involving those matrices. One of these properties, related with the collection of observability matrices, is employed in the literature of this class of systems, but there is no available proof. The invariance results are extended similarly to the context of controlability leading to a property that is analogous to the observability case. The obtained results are important to validate other existing results that rely on that property

Este estudo considera o problema de controle ótimo multi-período de média-variância para sistemas em tempo discreto com saltos markovianos e ruídos multiplicativos. Inicialmente considera-se um critério de desempenho formado por uma combinação linear da variância nal e valor esperado da saída do sistema. É apresentada uma solução analítica na obtenção da estratégia ótima para este problema. Em seguida são considerados os casos onde os critérios de desempenho são minimizar a variância nal sujeito a uma restrição no valor esperado ou maximizar o valor esperado nal sujeito a uma restrição na variância nal da saída do sistema. As estratégias ótimas de controle são obtidas de um conjunto de equações de diferenças acopladas de Riccati. Os resultados obtidos neste estudo generalizam resultados anteriores da literatura para o problema de controle ótimo com saldos markovianos e ruídos multiplicativos, apresentando condições explícitas e sucientes para a otimalidade da estratégia de controle. São apresentados modelos e simulações numéricas em otimização de carteiras de investimento e estratégias de gestão de ALM (asset liabilities management). / This thesis focuses on the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noise under three kinds of performance criterions related to the nal value of the expectation and variance of the output. In the first problem it is desired to minimize the nal variance of the output subject to a restriction on its nal expectation, in the second one it is desired to maximize the nal expectation of the output subject to a restriction on its nal variance, and in the third one it is considered a performance criterion composed by a linear combination of the nal variance and expectation of the output of the system. The optimal control strategies are obtained from a set of interconnected Riccati dierence equations and explicit sufficient conditions are presented for the existence of an optimal control strategy for these problems, generalizing previous results in the literature. Numerical simulations of investment portfolios and asset liabilities management models for pension funds with regime switching are presented.

Este trabalho consiste no estudo de métodos de otimização aplicados em um problema de controle para sistemas lineares com saltos markovianos (SLSM). SLSM formam uma importante classe de sistemas que têm sido muito úteis em aplicações envolvendo sistemas sujeitos a falhas e outras alterações abruptas de comportamento. Este estudo enfoca diferentes métodos para resolução deste problema. Comparamos o método variacional com o de Newton, sob o ponto de vista do número de problemas resolvidos e pelo nível de sub-otimalidade obtido (relação entre os custos obtidos por estes métodos). Também propomos um novo método, o qual pode ser inicializado com soluções de equações de Riccati acopladas, e o comparamos com o método variacional. Além disso, para a comparação dos métodos, propomos um algoritmo que gerou dez mil exemplos / This work addresses optimizations methods applied to a control problem for linear systems with markovian jumps, which form an important class of systems that have been very useful in applications involving systems subject to failures and other abrupt changes. This study focuses on different methods for solving this problem. We compare the variational approach with the Newton method, in terms of the number of solved problems and the level of sub-optimality (ratio between the costs obtained by these approaches). We also propose a new method, which can be initialized with solutions of coupled Riccati equations, and we compare it with the variational approach. We have proposed an algorithm for creating ten thousand examples for the comparisons

Este estudo considera o problema de controle ótimo multi-período de média-variância para sistemas em tempo discreto com saltos markovianos e ruídos multiplicativos. Inicialmente considera-se um critério de desempenho formado por uma combinação linear da variância nal e valor esperado da saída do sistema. É apresentada uma solução analítica na obtenção da estratégia ótima para este problema. Em seguida são considerados os casos onde os critérios de desempenho são minimizar a variância nal sujeito a uma restrição no valor esperado ou maximizar o valor esperado nal sujeito a uma restrição na variância nal da saída do sistema. As estratégias ótimas de controle são obtidas de um conjunto de equações de diferenças acopladas de Riccati. Os resultados obtidos neste estudo generalizam resultados anteriores da literatura para o problema de controle ótimo com saldos markovianos e ruídos multiplicativos, apresentando condições explícitas e sucientes para a otimalidade da estratégia de controle. São apresentados modelos e simulações numéricas em otimização de carteiras de investimento e estratégias de gestão de ALM (asset liabilities management). / This thesis focuses on the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noise under three kinds of performance criterions related to the nal value of the expectation and variance of the output. In the first problem it is desired to minimize the nal variance of the output subject to a restriction on its nal expectation, in the second one it is desired to maximize the nal expectation of the output subject to a restriction on its nal variance, and in the third one it is considered a performance criterion composed by a linear combination of the nal variance and expectation of the output of the system. The optimal control strategies are obtained from a set of interconnected Riccati dierence equations and explicit sufficient conditions are presented for the existence of an optimal control strategy for these problems, generalizing previous results in the literature. Numerical simulations of investment portfolios and asset liabilities management models for pension funds with regime switching are presented.

Este trabalho consiste no estudo de métodos de otimização aplicados em um problema de controle para sistemas lineares com saltos markovianos (SLSM). SLSM formam uma importante classe de sistemas que têm sido muito úteis em aplicações envolvendo sistemas sujeitos a falhas e outras alterações abruptas de comportamento. Este estudo enfoca diferentes métodos para resolução deste problema. Comparamos o método variacional com o de Newton, sob o ponto de vista do número de problemas resolvidos e pelo nível de sub-otimalidade obtido (relação entre os custos obtidos por estes métodos). Também propomos um novo método, o qual pode ser inicializado com soluções de equações de Riccati acopladas, e o comparamos com o método variacional. Além disso, para a comparação dos métodos, propomos um algoritmo que gerou dez mil exemplos / This work addresses optimizations methods applied to a control problem for linear systems with markovian jumps, which form an important class of systems that have been very useful in applications involving systems subject to failures and other abrupt changes. This study focuses on different methods for solving this problem. We compare the variational approach with the Newton method, in terms of the number of solved problems and the level of sub-optimality (ratio between the costs obtained by these approaches). We also propose a new method, which can be initialized with solutions of coupled Riccati equations, and we compare it with the variational approach. We have proposed an algorithm for creating ten thousand examples for the comparisons

Este estudo considera o modelo de controle ótimo estocástico sob um critério de média-variância para sistemas lineares a tempo discreto sujeitos a saltos Markovianos e ruídos multiplicativos sob dois critérios. Inicialmente, consideramos como critério de desempenho a minimização multiperíodo de uma combinação entre a média e a variância da saída do sistema sem restrições. Em seguida, consideramos o critério de minimização multiperíodo da variância da saída do sistema ao longo do tempo com restrições sobre o valor esperado mínimo. Condições necessárias e suficientes explícitas para a existência de um controle ótimo são determinadas generalizando resultados anteriores existentes na literatura. O controle ótimo é escrito como uma realimentação de estado adicionado de um termo constante. Esta solução é obtida através de um conjunto de equações generalizadas a diferenças de Riccati interconectadas com um conjunto de equações lineares recursivas. Como aplicação, apresentamos alguns exemplos numéricos práticos para um problema de seleção de portfólio multiperíodo com mudança de regime, incluindo uma estratégia de ALM (Asset and Liability Management). Neste problema, deseja-se obter a melhor alocação de portfólio de forma a otimizar seu desempenho entre risco e retorno em cada passo de tempo até o nal do horizonte de investimento e sob um dos dois critérios citados acima. / In this work we consider the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noise under two criterions. First, we consider an unconstrained multiperiod mean-variance trade-off performance criterion. In the sequence, we consider a multiperiod minimum variance criterion subject to constraints on the minimum expected output along the time. We present explicit necessary and sufficient conditions for the existence of an optimal control strategy for the problems, generalizing previous results in the literature. The optimal control law is written as a state feedback added with a deterministic sequence. This solution is derived from a set of coupled generalized Riccati difference equations interconnected with a set of coupled linear recursive equations. As an application, we present some practical numerical examples on a multiperiod portfolio selection problem with regime switching, including an Asset and Liability Management strategy. In this problem it is desired to nd the best portfolio allocation in order to optimize its risk-return performance in every time step along the investment horizon, under one of the two criterions stated above.In this work we consider the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noise under two criterions. First, we consider an unconstrained multiperiod mean-variance trade-off performance criterion. In the sequence, we consider a multiperiod minimum variance criterion subject to constraints on the minimum expected output along the time. We present explicit necessary and sufficient conditions for the existence of an optimal control strategy for the problems, generalizing previous results in the literature. The optimal control law is written as a state feedback added with a deterministic sequence. This solution is derived from a set of coupled generalized Riccati difference equations interconnected with a set of coupled linear recursive equations. As an application, we present some practical numerical examples on a multiperiod portfolio selection problem with regime switching, including an Asset and Liability Management strategy. In this problem it is desired to nd the best portfolio allocation in order to optimize its risk-return performance in every time step along the investment horizon, under one of the two criterions stated above.

Este estudo considera o modelo de controle ótimo estocástico sob um critério de média-variância para sistemas lineares a tempo discreto sujeitos a saltos Markovianos e ruídos multiplicativos sob dois critérios. Inicialmente, consideramos como critério de desempenho a minimização multiperíodo de uma combinação entre a média e a variância da saída do sistema sem restrições. Em seguida, consideramos o critério de minimização multiperíodo da variância da saída do sistema ao longo do tempo com restrições sobre o valor esperado mínimo. Condições necessárias e suficientes explícitas para a existência de um controle ótimo são determinadas generalizando resultados anteriores existentes na literatura. O controle ótimo é escrito como uma realimentação de estado adicionado de um termo constante. Esta solução é obtida através de um conjunto de equações generalizadas a diferenças de Riccati interconectadas com um conjunto de equações lineares recursivas. Como aplicação, apresentamos alguns exemplos numéricos práticos para um problema de seleção de portfólio multiperíodo com mudança de regime, incluindo uma estratégia de ALM (Asset and Liability Management). Neste problema, deseja-se obter a melhor alocação de portfólio de forma a otimizar seu desempenho entre risco e retorno em cada passo de tempo até o nal do horizonte de investimento e sob um dos dois critérios citados acima. / In this work we consider the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noise under two criterions. First, we consider an unconstrained multiperiod mean-variance trade-off performance criterion. In the sequence, we consider a multiperiod minimum variance criterion subject to constraints on the minimum expected output along the time. We present explicit necessary and sufficient conditions for the existence of an optimal control strategy for the problems, generalizing previous results in the literature. The optimal control law is written as a state feedback added with a deterministic sequence. This solution is derived from a set of coupled generalized Riccati difference equations interconnected with a set of coupled linear recursive equations. As an application, we present some practical numerical examples on a multiperiod portfolio selection problem with regime switching, including an Asset and Liability Management strategy. In this problem it is desired to nd the best portfolio allocation in order to optimize its risk-return performance in every time step along the investment horizon, under one of the two criterions stated above.In this work we consider the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noise under two criterions. First, we consider an unconstrained multiperiod mean-variance trade-off performance criterion. In the sequence, we consider a multiperiod minimum variance criterion subject to constraints on the minimum expected output along the time. We present explicit necessary and sufficient conditions for the existence of an optimal control strategy for the problems, generalizing previous results in the literature. The optimal control law is written as a state feedback added with a deterministic sequence. This solution is derived from a set of coupled generalized Riccati difference equations interconnected with a set of coupled linear recursive equations. As an application, we present some practical numerical examples on a multiperiod portfolio selection problem with regime switching, including an Asset and Liability Management strategy. In this problem it is desired to nd the best portfolio allocation in order to optimize its risk-return performance in every time step along the investment horizon, under one of the two criterions stated above.

Cette thèse porte sur l'estimation bayésienne d'état dans les séries temporelles modélisées à l'aide des variables latentes hybrides, c'est-à-dire dont la densité admet une composante discrète-finie et une composante continue. Des algorithmes généraux d'estimation des variables d'états dans les modèles de Markov partiellement observés à états hybrides sont proposés et comparés avec les méthodes de Monte-Carlo séquentielles sur un plan théorique et appliqué. Le résultat principal est que ces algorithmes permettent de réduire significativement le coût de calcul par rapport aux méthodes de Monte-Carlo séquentielles classiques / This thesis addresses the Bayesian estimation of hybrid-valued state variables in time series. The probability density function of a hybrid-valued random variable has a finite-discrete component and a continuous component. Diverse general algorithms for state estimation in partially observable Markov processesare introduced. These algorithms are compared with the sequential Monte-Carlo methods from a theoretical and a practical viewpoint. The main result is that the proposed methods require less processing time compared to the classic Monte-Carlo methods

Neste trabalho é apresentada uma abordagem fuzzy para a estabilização de uma classe de sistemas não-lineares com parâmetros descritos por saltos Markovianos. Uma nova modelagem fuzzy de sistemas é formulada para representar esta classe de sistemas na vizinhança de pontos de operação escolhidos. A estrutura deste sistema fuzzy é composta de dois níveis, um para descrição dos saltos Markovianos e outro para descrição das não-linearidades no estado do sistema. Condições suficientes para a estabilização estocástica do sistema fuzzy considerado são derivadas usando uma função de Lyapunov acoplada. O projeto de controle fuzzy é então formulado a partir de um conjunto de desigualdades matriciais lineares. Em adição, um exemplo de aplicação, envolvendo a representação da operação de um sistema elétrico de potência em esquema de co-geração por um sistema com saltos Markovianos, é construído para validação dos resultados. / This work deals with the fuzzy-model-based control design for a class of Markovian jump nonlinear systems. A new fuzzy system modeling is proposed to approximate the dynamics of this class of systems. The structure of the new fuzzy system is composed of two levels, a crisp level which describes the Markovian jumps and a fuzzy level which describes the system nonlinearities. A sufficient condition on the existence of a stochastically stabilizing controller using a Lyapunov function approach is presented. The fuzzy-model-based control design is formulated in terms of a set of linear matrix inequalities. In addition, simulation results for a single-machine infinite-bus power system in cogeneration scheme, whose operation is modeled as an Markovian jump nonlinear system, are presented to illustrate the applicability of the technique.