This monograph addresses control and filtering problems for systems with sudden changes in their behavior and whose changes are detected and estimated by an imperfect detector. More precisely it considers continuous-timeMarkov Jump Linear Systems (MJLS) where the current mode of operation is estimated by a detector. This detector is assumed to be imperfect in the sense that it is possible that the detected mode of operation diverges from the real mode of operation. Furthermore the probabilities for these detections are considered to be known. It is assumed that the detector has its own dynamic, which means that the detected mode of information can change independently from the real mode of operation. The novelty of this approach lies in how uncertainties are modeled. A Hidden Markov Model (HMM) is used to model the uncertainties introduced by the detector. For these systems the following problems are addressed: i) Stochastic Stabilizability in mean-square sense, ii) H2 control, iii) H? control and iv) the H? filtering problem. Solutions based on Linear Matrix Inequalities (LMI) are developed for each of these problems. In case of the H2 control problem, the solutionminimizes an upper bound for the H2 norm of the closed-loop control system. For the H? control problem a solution is presented that minimizes an upper bound for the H? norm of the closed-loop control system. In the case of the H? filtering, the solution presented minimizes the H? norm of a system representing the estimation error. The solutions for the control problems are illustrated using a numerical example modeling a simple two-tank process. / Esta monografia aborda problemas de controle e filtragem em sistemas com saltos espontâneos que alteram seu comportamento e cujas mudanças são detectadas e estimadas por um detector imperfeito. Mais precisamente, consideramos sistemas lineares cujos saltos podem ser modelados usando um processo markoviano (Markov Jump Linear Systems) e cujo modo de operação corrente é estimado por um detector. O detector é considerado imperfeito tendo em vista a possibilidade de divergência entre o modo real de operação e o modo de operação detectado. Ademais, as probabilidades das deteccões são consideradas conhecidas. Assumimos que o detector possui uma dinâmica própria, o que significa que o modo de operação detectado pode mudar independentemente do modo real de operação. A novidade dessa abordagem está na modelagem das incertezas. Um processo oculto de Markov (HMM) é usado para modelar as incertezas introduzidas pelo detector. Para esses sistemas, os seguintes problemas são abordados: i) estabilidade quadrática ii) controle H2, iii) controle H? e iv) o problema da filtragem H?. Soluções baseadas em Desigualdades de Matriciais Lineares (LMI) são desenvolvidas para cada um desses problemas. No caso do problema de controle H2, a solução minimiza um limite superior para a norma H2 do sistema de controle em malha fechada. Para o problema H? -controle é apresentada uma solução que minimiza um limite superior para a norma H? do sistema de controle em malha fechada. No caso da filtragem H?, a solução apresentada minimiza a norma H? de um sistema que representa o erro de estimativa. As soluções para os problemas de controle são ilustradas usando um exemplo numérico que modela um processo simples de dois tanques.

Submitted by Maike Costa (maiksebas@gmail.com) on 2016-03-29T13:02:55Z No. of bitstreams: 1 arquivo total.pdf: 683890 bytes, checksum: 0a793cef55b22424f093f0e99992e623 (MD5) / Made available in DSpace on 2016-03-29T13:02:55Z (GMT). No. of bitstreams: 1 arquivo total.pdf: 683890 bytes, checksum: 0a793cef55b22424f093f0e99992e623 (MD5) Previous issue date: 2015-05-29 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / The Dissertation study the relations between control theory, stochastic calculus and parabolic partial di erential equations. The aim is to study representations of viscosity solutions for parabolic equations via the Feynman-Kac nonlinear formulas. To this end, the control theory plays an important role in the connection between the stochastic and deterministic approaches. / A Disserta c~ao aborda algumas rela c~oes existentes entre teoria de controle, c alculo estoc astico e equa c~oes diferenciais parciais parab olicas. O interesse e estudar representa c~oes de solu c~oes de viscosidade para equa c~oes parab olicas via f ormulas de Feynman-Kac n~ao lineares. Para isso, o ferramental de teoria de controle tem papel importante na conex~ao entre a abordagem estoc astica e determin stica.

Orientador: João Bosco Ribeiro do Val / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-16T02:55:02Z (GMT). No. of bitstreams: 1 Souto_RafaelFontes_M.pdf: 470367 bytes, checksum: 516cc5b88625a7d2e5142b69233188f5 (MD5) Previous issue date: 2010 / Resumo: Esta dissertação apresenta uma caracterização para sistemas estocásticos em tempo contínuo em que a variação da ação de controle aumenta a incerteza sobre o estado. Este tipo de sistema pode ser aplicado em diversas áreas da ciência e da engenharia, haja vista sua capacidade de modelar sistemas estocásticos complexos, cujas dinâmicas não são completamente conhecidas. Processos de difusão controlada de Itô são usados para descrever a trajetória do estado, e a otimização é realizada por meio do método da programação dinâmica, sendo, portanto, necessária a resolução da equação de Hamilton-Jacobi-Bellman. Adicionalmente, a utilização de ferramentas da análise de funções não suaves indicou a existência de uma região no espaço de estados onde a ação ótima de controle consiste na manutenção do controle que tem sido aplicado ao sistema, seja ele qual for. Intuitivamente, este resultado está de acordo com a natureza cautelosa do controle de sistemas subdeterminados. Finalmente, estudou-se analiticamente o caso particular de um sistema com custo quadrático. Este estudo revelou que a técnica desenvolvida permite o cálculo da solução ótima de maneira simples e eficaz para comportamentos assintóticos do sistema. Essa peculiaridade da solução vem de auxílio à obtenção da solução completa do problema via aproximações numéricas / Abstract: This dissertation presents a framework for continuous-time stochastic systems in which the control variations increase the state uncertainty. This type of system can be applied in several areas of science and engineering, due to its hability of modelling complex stochastic systems, for which the dynamics are not completely known. Controlled Itô diffusion processes are used in order to describe the state path, and the optimization was achieved by the dynamic programming method, so it was necessary to solve the Hamilton-Jacobi-Bellman equation. In addition, tools from nonsmooth analysis indicated the existence of a region in the state space in which the optimal control action is characterized by no variation, no matter the previous control were. Intuitively, this result is expected from the cautionary nature of controlling underdetermined systems. Finally, it was analytically studied the particular case of a system with quadratic running costs. This study revealed that the technique developed allows the computation of the optimal solution in a simple and effective way for asymptotic behavior of the system. This feature of the solution comes in hand to obtain the complete solution of the problem by means of numerical approximations / Mestrado / Automação / Mestre em Engenharia Elétrica

This thesis deals with discrete-time Markov jump linear systems (MJLS) with Markov chain in a general Borel space S. Several control issues have been addressed for this class of dynamic systems, including stochastic stability (SS), linear quadratic (LQ) optimal control synthesis, fllter design and a separation principle. Necessary and sffcient conditions for SS have been derived. It was shown that SS is equivalent to the spectral radius of an operator being less than 1 or to the existence of a solution to a \\Lyapunov-like\" equation. Based on the SS concept, the finite- and infinite-horizon LQ optimal control problems were tackled. The solution to the finite- (infinite-)horizon LQ optimal control problem was derived from the associated control S-coupled Riccati difference (algebraic) equations. By S-coupled it is meant that the equations are coupled via an integral over a transition probability kernel having a density with respect to a in-finite measure on the Borel space S. The design of linear Markov jump filters was analyzed and a solution to the finite- (infinite-)horizon filtering problem was obtained based on the associated filtering S-coupled Riccati difference (algebraic) equations. Conditions for the existence and uniqueness of a stabilizing positive semi-definite solution to the control and filtering S-coupled algebraic Riccati equations have also been derived. Finally a separation principle for discrete-time MJLS with Markov chain in a general state space was obtained. It was shown that the optimal controller for a partial information optimal control problem separates the partial information control problem into two problems, one associated with a filtering problem and the other associated with an optimal control problem with complete information. It is expected that the results obtained in this thesis may motivate further research on discrete-time MJLS with Markov chain in a general state space. / Esta tese trata de sistemas lineares com saltos markovianos (MJLS) a tempo discreto com cadeia de Markov em um espaço geral de Borel S. Vários problemas de controle foram abordados para esta classe de sistemas dinâmicos, incluindo estabilidade estocástica (SS), síntese de controle ótimo linear quadrático (LQ), projeto de filtros e um princípio da separação. Condições necessárias e suficientes para a SS foram obtidas. Foi demonstrado que SS é equivalente ao raio espectral de um operador ser menor que 1 ou à existência de uma solução para uma equação de Lyapunov. Os problemas de controle ótimo a horizonte finito e infinito foram abordados com base no conceito de SS. A solução para o problema de controle ótimo LQ a horizonte finito (infinito) foi obtida a partir das associadas equações a diferenças (algébricas) de Riccati S-acopladas de controle. Por S-acopladas entende-se que as equações são acopladas por uma integral sobre o kernel estocástico com densidade de transição em relação a uma medida in-finita no espaço de Borel S. O projeto de filtros lineares markovianos foi analisado e uma solução para o problema da filtragem a horizonte finito (infinito) foi obtida com base nas associadas equações a diferenças (algébricas) de Riccati S-acopladas de filtragem. Condições para a existência e unicidade de uma solução positiva semi-definida e estabilizável para as equações algébricas de Riccati S-acopladas associadas aos problemas de controle e filtragem também foram obtidas. Por último, foi estabelecido um princípio da separação para MJLS a tempo discreto com cadeia de Markov em um espaço de estados geral. Foi demonstrado que o controlador ótimo para um problema de controle ótimo com informação parcial separa o problema de controle com informação parcial em dois problemas, um deles associado a um problema de filtragem e o outro associado a um problema de controle ótimo com informação completa. Espera-se que os resultados obtidos nesta tese possam motivar futuras pesquisas sobre MJLS a tempo discreto com cadeia de Markov em um espaço de estados geral.

Esta tese trata do problema de controle ótimo estocástico de sistemas com saltos Markovianos e ruído multiplicativo a tempo discreto, com horizontes de tempo finito e infinito. A função custo é composta de termos quadráticos e lineares nas variáveis de estado e de controle, com matrizes peso indefinidas. Como resultado principal do problema com horizonte finito, é apresentada uma condição necessária e suficiente para que o problema de controle seja bem posto, a partir da qual uma solução ótima é derivada. A condição e a lei de controle são escritas em termos de um conjunto acoplado de equações de Riccati interconectadas a um conjunto acoplado de equações lineares recursivas. Para o caso de horizonte infinito, são apresentadas as soluções ótimas para os problemas de custo médio a longo prazo e com desconto, derivadas a partir de uma solução estabilizante de um conjunto de equações algébricas de Riccati acopladas generalizadas (GCARE). A existência da solução estabilizante é uma condição suficiente para que tais problemas sejam do tipo bem posto. Além disso, são apresentadas condições para a existência das soluções maximal e estabilizante do sistema GCARE. Como aplicações dos resultados obtidos, são apresentadas as soluções de um problema de otimização de carteiras de investimento com benchmark e de um problema de gestão de ativos e passivos de fundos de pensão do tipo benefício definido, ambos os casos com mudanças de regime nas variáreis de mercado. / This thesis considers the finite-horizon and infinite-horizon stochastic optimal control problem for discrete-time Markov jump with multiplicative noise linear systems. The performance criterion is assumed to be formed by a linear combination of a quadratic part and a linear part in the state and control variables. The weighting matrices of the state and control for the quadratic part are allowed to be indefinite. For the finite-horizon problem the main results consist of deriving a necessary and sufficient condition under which the problem is well posed and a optimal control law is derived. This condition and the optimal control law are written in terms of a set of coupled generalized Riccati difference equations interconnected with a set of coupled linear recursive equations. For the infinite-horizon problem a set of generalized coupled algebraic Riccati equations (GCARE) is studied. In this case, a sufficient condition under which there exists the maximal solution and a necessary and sufficient condition under which there exists the mean square stabilizing solution for the GCARE are presented. Moreover, a solution for the discounted and long run average cost problems is presented. The results obtained are applied to solver a portfolio optimization problem with benchmark and a pension fund problem with regime switching.

Investiga-se, em tempo discreto, o problema multi-período de otimização de carteiras generalizado em média-variância cujos coeficientes de mercado são modulados por uma cadeia de Markov finita. O problema multi-período generalizado de média-variância com saltos Markovianos (PGMV ) é um problema de controle estocástico sem restrição cuja função objetivo consiste na maximização da soma ponderada ao longo do tempo da combinação linear de três elementos: o valor esperado da riqueza do investidor, o quadrado da esperança desta riqueza e a esperança do quadrado deste patrimônio. A principal contribuição deste trabalho é a derivação analítica de condições necessárias e suficientes para a determinação de uma estratégia ótima de investimento para o problema PGMV . A partir deste modelo são derivadas várias formulações de médiavariância, como o modelo tradicional cujo objetivo é maximizar o valor esperado da riqueza final do investidor, dado um nível de risco (variância) do portfólio no horizonte de investimento, bem como o modelo mais complexo que busca maximizar a soma ponderada das esperanças da riqueza ao longo do tempo, limitando a perda deste patrimônio em qualquer momento. Adicionalmente, derivam-se formas fechadas para a solução dos problemas citados quando as restrições incidem somente no instante final. Outra contribuição deste trabalho é a extensão do modelo PGMV para a solução do problema de seleção de carteiras em média-variância com o objetivo de superar um benchmark estocástico, com restrições sobre o valor esperado ou sobre a variância do tracking error do portfólio. Por fim, aplicam-se os resultados obtidos em exemplos numéricos cujo universo de investimento são todas as ações do IBOVESPA. / In this work we deal with a discrete-time multi-period mean-variance portfolio selection model with the market parameters subject to Markov regime switching. The multi-period generalized mean-variance portfolio selection model with regime switching (PGMV ) is an unrestricted stochastic control problem, in which the objective function involves the maximization of the weighted sum of a linear combination of three parts: the expected wealth, the square of the expected wealth and the expected value of the wealth squared. The main contribution of this work is the analytical derivation of necessary and sufficient conditions for the existence of an optimal control strategy to this PGMV model. We show that several mean-variance models are derived from the PGMV model, as the traditional formulation in which the objective is to maximize the expected terminal wealth for a given final risk (variance), or the complex one in which the objective function is to maximize the weighted sum of the wealth throughout its investment horizon, with control over maximum wealth lost. Additionally, we derive closed forms solutions for the above models when the restrictions are just in the final time. Another contribution of this work is to extend the PGMV model to solve the multi-period portfolio selection problem of beating a stochastic benchmark with control over the tracking error variance or its expected value. Finally, we run numerical examples in which the investment universe is formed by all the stocks belonging to the IBOVESPA.

In this work we study the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noises. We consider the multiperiod and finite time horizon optimization of a mean-variance cost function under a new criterion. In this new problem, we apply a constraint on the total output variance weighted by its risk parameter while maximizing the expected output. The optimal control law is obtained from a set of interconnected Riccati difference equations, extending previous results in the literature. The application of our results is exemplified by numerical simulations of a portfolio of stocks and a risk-free asset. / Neste trabalho, estudamos o problema do controle ótimo estocástico de sistemas lineares em tempo discreto sujeitos a saltos Markovianos e ruídos multiplicativos. Consideramos a otimização multiperíodo, com horizonte de tempo finito, de um funcional da média-variância sob um novo critério. Neste novo problema, maximizamos o valor esperado da saída do sistema ao mesmo tempo em que limitamos a sua variância total ponderada pelo seu parâmetro de risco. A lei de controle ótima é obtida através de um conjunto de equações de diferenças de Riccati interconectadas, estendendo resultados anteriores da literatura. São apresentadas simulações numéricas para uma carteira de investimentos com ações e um ativo de risco para exemplificarmos a aplicação de nossos resultados.

Nesta tese, apresentamos uma metodologia concreta para calcular os controles -ótimos para sistemas estocásticos não-Markovianos. A análise trajetória a trajetória e o uso da estrutura de discretização proposta por Leão e Ohashi [36] conjuntamente com argumentos de seleção mensuráveis, nos forneceu uma estrutura para transformar um problema infinito dimensional para um finito dimensional. Desta forma, garantimos uma descrição concreta para uma classe bastante geral de problemas. / In this thesis, we present a concrete methodology to calculate the -optimal controls for non-Markovian stochastic systems. A pathwise analysis and the use of the discretization structure proposed by Leão and Ohashi [36] jointly with measurable selection arguments, allows us a structure to transform an infinite dimensional problem into a finite dimensional. In this way, we guarantee a concrete description for a rather general class of stochastic problems.

Este estudo considera o problema de controle ótimo multi-período de média-variância para sistemas em tempo discreto com saltos markovianos e ruídos multiplicativos. Inicialmente considera-se um critério de desempenho formado por uma combinação linear da variância nal e valor esperado da saída do sistema. É apresentada uma solução analítica na obtenção da estratégia ótima para este problema. Em seguida são considerados os casos onde os critérios de desempenho são minimizar a variância nal sujeito a uma restrição no valor esperado ou maximizar o valor esperado nal sujeito a uma restrição na variância nal da saída do sistema. As estratégias ótimas de controle são obtidas de um conjunto de equações de diferenças acopladas de Riccati. Os resultados obtidos neste estudo generalizam resultados anteriores da literatura para o problema de controle ótimo com saldos markovianos e ruídos multiplicativos, apresentando condições explícitas e sucientes para a otimalidade da estratégia de controle. São apresentados modelos e simulações numéricas em otimização de carteiras de investimento e estratégias de gestão de ALM (asset liabilities management). / This thesis focuses on the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noise under three kinds of performance criterions related to the nal value of the expectation and variance of the output. In the first problem it is desired to minimize the nal variance of the output subject to a restriction on its nal expectation, in the second one it is desired to maximize the nal expectation of the output subject to a restriction on its nal variance, and in the third one it is considered a performance criterion composed by a linear combination of the nal variance and expectation of the output of the system. The optimal control strategies are obtained from a set of interconnected Riccati dierence equations and explicit sufficient conditions are presented for the existence of an optimal control strategy for these problems, generalizing previous results in the literature. Numerical simulations of investment portfolios and asset liabilities management models for pension funds with regime switching are presented.

Nesta tese, apresentamos uma metodologia concreta para calcular os controles -ótimos para sistemas estocásticos não-Markovianos. A análise trajetória a trajetória e o uso da estrutura de discretização proposta por Leão e Ohashi [36] conjuntamente com argumentos de seleção mensuráveis, nos forneceu uma estrutura para transformar um problema infinito dimensional para um finito dimensional. Desta forma, garantimos uma descrição concreta para uma classe bastante geral de problemas. / In this thesis, we present a concrete methodology to calculate the -optimal controls for non-Markovian stochastic systems. A pathwise analysis and the use of the discretization structure proposed by Leão and Ohashi [36] jointly with measurable selection arguments, allows us a structure to transform an infinite dimensional problem into a finite dimensional. In this way, we guarantee a concrete description for a rather general class of stochastic problems.