Este estudo considera o problema de controle ótimo multi-período de média-variância para sistemas em tempo discreto com saltos markovianos e ruídos multiplicativos. Inicialmente considera-se um critério de desempenho formado por uma combinação linear da variância nal e valor esperado da saída do sistema. É apresentada uma solução analítica na obtenção da estratégia ótima para este problema. Em seguida são considerados os casos onde os critérios de desempenho são minimizar a variância nal sujeito a uma restrição no valor esperado ou maximizar o valor esperado nal sujeito a uma restrição na variância nal da saída do sistema. As estratégias ótimas de controle são obtidas de um conjunto de equações de diferenças acopladas de Riccati. Os resultados obtidos neste estudo generalizam resultados anteriores da literatura para o problema de controle ótimo com saldos markovianos e ruídos multiplicativos, apresentando condições explícitas e sucientes para a otimalidade da estratégia de controle. São apresentados modelos e simulações numéricas em otimização de carteiras de investimento e estratégias de gestão de ALM (asset liabilities management). / This thesis focuses on the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noise under three kinds of performance criterions related to the nal value of the expectation and variance of the output. In the first problem it is desired to minimize the nal variance of the output subject to a restriction on its nal expectation, in the second one it is desired to maximize the nal expectation of the output subject to a restriction on its nal variance, and in the third one it is considered a performance criterion composed by a linear combination of the nal variance and expectation of the output of the system. The optimal control strategies are obtained from a set of interconnected Riccati dierence equations and explicit sufficient conditions are presented for the existence of an optimal control strategy for these problems, generalizing previous results in the literature. Numerical simulations of investment portfolios and asset liabilities management models for pension funds with regime switching are presented.

Esta tese trata do problema de controle ótimo estocástico de sistemas com saltos Markovianos e ruído multiplicativo a tempo discreto, com horizontes de tempo finito e infinito. A função custo é composta de termos quadráticos e lineares nas variáveis de estado e de controle, com matrizes peso indefinidas. Como resultado principal do problema com horizonte finito, é apresentada uma condição necessária e suficiente para que o problema de controle seja bem posto, a partir da qual uma solução ótima é derivada. A condição e a lei de controle são escritas em termos de um conjunto acoplado de equações de Riccati interconectadas a um conjunto acoplado de equações lineares recursivas. Para o caso de horizonte infinito, são apresentadas as soluções ótimas para os problemas de custo médio a longo prazo e com desconto, derivadas a partir de uma solução estabilizante de um conjunto de equações algébricas de Riccati acopladas generalizadas (GCARE). A existência da solução estabilizante é uma condição suficiente para que tais problemas sejam do tipo bem posto. Além disso, são apresentadas condições para a existência das soluções maximal e estabilizante do sistema GCARE. Como aplicações dos resultados obtidos, são apresentadas as soluções de um problema de otimização de carteiras de investimento com benchmark e de um problema de gestão de ativos e passivos de fundos de pensão do tipo benefício definido, ambos os casos com mudanças de regime nas variáreis de mercado. / This thesis considers the finite-horizon and infinite-horizon stochastic optimal control problem for discrete-time Markov jump with multiplicative noise linear systems. The performance criterion is assumed to be formed by a linear combination of a quadratic part and a linear part in the state and control variables. The weighting matrices of the state and control for the quadratic part are allowed to be indefinite. For the finite-horizon problem the main results consist of deriving a necessary and sufficient condition under which the problem is well posed and a optimal control law is derived. This condition and the optimal control law are written in terms of a set of coupled generalized Riccati difference equations interconnected with a set of coupled linear recursive equations. For the infinite-horizon problem a set of generalized coupled algebraic Riccati equations (GCARE) is studied. In this case, a sufficient condition under which there exists the maximal solution and a necessary and sufficient condition under which there exists the mean square stabilizing solution for the GCARE are presented. Moreover, a solution for the discounted and long run average cost problems is presented. The results obtained are applied to solver a portfolio optimization problem with benchmark and a pension fund problem with regime switching.

Investiga-se, em tempo discreto, o problema multi-período de otimização de carteiras generalizado em média-variância cujos coeficientes de mercado são modulados por uma cadeia de Markov finita. O problema multi-período generalizado de média-variância com saltos Markovianos (PGMV ) é um problema de controle estocástico sem restrição cuja função objetivo consiste na maximização da soma ponderada ao longo do tempo da combinação linear de três elementos: o valor esperado da riqueza do investidor, o quadrado da esperança desta riqueza e a esperança do quadrado deste patrimônio. A principal contribuição deste trabalho é a derivação analítica de condições necessárias e suficientes para a determinação de uma estratégia ótima de investimento para o problema PGMV . A partir deste modelo são derivadas várias formulações de médiavariância, como o modelo tradicional cujo objetivo é maximizar o valor esperado da riqueza final do investidor, dado um nível de risco (variância) do portfólio no horizonte de investimento, bem como o modelo mais complexo que busca maximizar a soma ponderada das esperanças da riqueza ao longo do tempo, limitando a perda deste patrimônio em qualquer momento. Adicionalmente, derivam-se formas fechadas para a solução dos problemas citados quando as restrições incidem somente no instante final. Outra contribuição deste trabalho é a extensão do modelo PGMV para a solução do problema de seleção de carteiras em média-variância com o objetivo de superar um benchmark estocástico, com restrições sobre o valor esperado ou sobre a variância do tracking error do portfólio. Por fim, aplicam-se os resultados obtidos em exemplos numéricos cujo universo de investimento são todas as ações do IBOVESPA. / In this work we deal with a discrete-time multi-period mean-variance portfolio selection model with the market parameters subject to Markov regime switching. The multi-period generalized mean-variance portfolio selection model with regime switching (PGMV ) is an unrestricted stochastic control problem, in which the objective function involves the maximization of the weighted sum of a linear combination of three parts: the expected wealth, the square of the expected wealth and the expected value of the wealth squared. The main contribution of this work is the analytical derivation of necessary and sufficient conditions for the existence of an optimal control strategy to this PGMV model. We show that several mean-variance models are derived from the PGMV model, as the traditional formulation in which the objective is to maximize the expected terminal wealth for a given final risk (variance), or the complex one in which the objective function is to maximize the weighted sum of the wealth throughout its investment horizon, with control over maximum wealth lost. Additionally, we derive closed forms solutions for the above models when the restrictions are just in the final time. Another contribution of this work is to extend the PGMV model to solve the multi-period portfolio selection problem of beating a stochastic benchmark with control over the tracking error variance or its expected value. Finally, we run numerical examples in which the investment universe is formed by all the stocks belonging to the IBOVESPA.

In this work we study the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noises. We consider the multiperiod and finite time horizon optimization of a mean-variance cost function under a new criterion. In this new problem, we apply a constraint on the total output variance weighted by its risk parameter while maximizing the expected output. The optimal control law is obtained from a set of interconnected Riccati difference equations, extending previous results in the literature. The application of our results is exemplified by numerical simulations of a portfolio of stocks and a risk-free asset. / Neste trabalho, estudamos o problema do controle ótimo estocástico de sistemas lineares em tempo discreto sujeitos a saltos Markovianos e ruídos multiplicativos. Consideramos a otimização multiperíodo, com horizonte de tempo finito, de um funcional da média-variância sob um novo critério. Neste novo problema, maximizamos o valor esperado da saída do sistema ao mesmo tempo em que limitamos a sua variância total ponderada pelo seu parâmetro de risco. A lei de controle ótima é obtida através de um conjunto de equações de diferenças de Riccati interconectadas, estendendo resultados anteriores da literatura. São apresentadas simulações numéricas para uma carteira de investimentos com ações e um ativo de risco para exemplificarmos a aplicação de nossos resultados.

This thesis deals with discrete-time Markov jump linear systems (MJLS) with Markov chain in a general Borel space S. Several control issues have been addressed for this class of dynamic systems, including stochastic stability (SS), linear quadratic (LQ) optimal control synthesis, fllter design and a separation principle. Necessary and sffcient conditions for SS have been derived. It was shown that SS is equivalent to the spectral radius of an operator being less than 1 or to the existence of a solution to a \\Lyapunov-like\" equation. Based on the SS concept, the finite- and infinite-horizon LQ optimal control problems were tackled. The solution to the finite- (infinite-)horizon LQ optimal control problem was derived from the associated control S-coupled Riccati difference (algebraic) equations. By S-coupled it is meant that the equations are coupled via an integral over a transition probability kernel having a density with respect to a in-finite measure on the Borel space S. The design of linear Markov jump filters was analyzed and a solution to the finite- (infinite-)horizon filtering problem was obtained based on the associated filtering S-coupled Riccati difference (algebraic) equations. Conditions for the existence and uniqueness of a stabilizing positive semi-definite solution to the control and filtering S-coupled algebraic Riccati equations have also been derived. Finally a separation principle for discrete-time MJLS with Markov chain in a general state space was obtained. It was shown that the optimal controller for a partial information optimal control problem separates the partial information control problem into two problems, one associated with a filtering problem and the other associated with an optimal control problem with complete information. It is expected that the results obtained in this thesis may motivate further research on discrete-time MJLS with Markov chain in a general state space. / Esta tese trata de sistemas lineares com saltos markovianos (MJLS) a tempo discreto com cadeia de Markov em um espaço geral de Borel S. Vários problemas de controle foram abordados para esta classe de sistemas dinâmicos, incluindo estabilidade estocástica (SS), síntese de controle ótimo linear quadrático (LQ), projeto de filtros e um princípio da separação. Condições necessárias e suficientes para a SS foram obtidas. Foi demonstrado que SS é equivalente ao raio espectral de um operador ser menor que 1 ou à existência de uma solução para uma equação de Lyapunov. Os problemas de controle ótimo a horizonte finito e infinito foram abordados com base no conceito de SS. A solução para o problema de controle ótimo LQ a horizonte finito (infinito) foi obtida a partir das associadas equações a diferenças (algébricas) de Riccati S-acopladas de controle. Por S-acopladas entende-se que as equações são acopladas por uma integral sobre o kernel estocástico com densidade de transição em relação a uma medida in-finita no espaço de Borel S. O projeto de filtros lineares markovianos foi analisado e uma solução para o problema da filtragem a horizonte finito (infinito) foi obtida com base nas associadas equações a diferenças (algébricas) de Riccati S-acopladas de filtragem. Condições para a existência e unicidade de uma solução positiva semi-definida e estabilizável para as equações algébricas de Riccati S-acopladas associadas aos problemas de controle e filtragem também foram obtidas. Por último, foi estabelecido um princípio da separação para MJLS a tempo discreto com cadeia de Markov em um espaço de estados geral. Foi demonstrado que o controlador ótimo para um problema de controle ótimo com informação parcial separa o problema de controle com informação parcial em dois problemas, um deles associado a um problema de filtragem e o outro associado a um problema de controle ótimo com informação completa. Espera-se que os resultados obtidos nesta tese possam motivar futuras pesquisas sobre MJLS a tempo discreto com cadeia de Markov em um espaço de estados geral.

Made available in DSpace on 2014-06-12T15:51:52Z (GMT). No. of bitstreams: 2 arquivo2941_1.pdf: 3552776 bytes, checksum: 6651915523db744871d183f17c632edc (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2009 / Conselho Nacional de Desenvolvimento Científico e Tecnológico / Os algoritmos evolucionários são métodos de otimização e busca global baseados em populações. Como nas populações biológicas, um algoritmo evolucionário perde diversidade, ao longo de gerações, restringindo a busca em uma região restrita do espaço de soluções e prejudicando a busca global. Em ambientes complexos, multimodais e dinâmicos, a perda de diversidade torna-se um problema ainda mais crítico, pois a busca deve ser abrangente e o algoritmo se adaptar o mais rápido possível. Um algoritmo evolucionário possui parâmetros cujos valores influenciam tanto o resultado do processo quanto a diversidade da população. Esta tese apresenta dois novos métodos de controle de parâmetros de algoritmos evolucionários, o controle adaptativo e o controle da função de distribuição de probabilidade. O objetivo desses métodos é controlar a diversidade da população de acordo com funções pré-determinadas. O processo evolucionário é, portanto, tratado como um problema de controle, cujos parâmetros do algoritmo evolucionário são as entradas de controle e a diversidade da população é a saída do processo. No método de controle adaptativo, a estratégia de controle é baseada no sistema adaptativo por modelo de referência, onde uma diversidade de referência é utilizada como modelo de comportamento para a diversidade do processo evolucionário. O segundo método tem como objetivo manter a função de distribuição de probabilidade da diversidade da população próxima de uma distribuição determinada. Assim, a distribuição da população no espaço de soluções é também indiretamente controlada. Para esse método manter um controle de baixo custo computacional, utiliza-se uma rede neural B-spline para modelar o processo evolucionário. Em problemas de controle, é necessário conhecer o modelo do processo para se elaborar uma estratégia de controle. Assim, foi proposto um novo modelo de dinâmica de populações que descreve o comportamento da frequência gênica e da diversidade de populações. Baseado nesse modelo, o processo evolucionário é formalizado matematicamente. Portanto, o método de controle adaptativo proposto utiliza esse modelo de dinâmica de populações na estratégia de controle. Os dois métodos de controle de diversidade propostos foram validados em estudos de casos. Todos os problemas utilizados tiveram características multimodais e dinâmicas, com comportamentos que variaram de uniforme, pequenas e grandes variações, a caótica. Os desempenhos dos métodos propostos foram comparadas com um algoritmo genético padrão e outros seis algoritmos evolucionários adaptativos

Neste trabalho, deriva-se uma política de escolha ótima baseada na análise de média-variância para o Erro de Rastreamento no cenário Multi-período - ERM -. Referindo-se ao ERM como a diferença entre o capital acumulado pela carteira escolhida e o acumulado pela carteira de um benchmark. Assim, foi aplicada a metodologia abordada por Li-Ng em [24] para a solução analítica, obtendo-se dessa maneira uma generalização do caso uniperíodo introduzido por Roll em [38]. Em seguida, selecionou-se um portfólio do mercado de ações brasileiro baseado no fator de orrelação, e adotou-se como benchmark o índice da bolsa de valores do estado de São Paulo IBOVESPA, além da taxa básica de juros SELIC como ativo de renda fixa. Dois casos foram abordados: carteira composta somente de ativos de risco, caso I, e carteira com um ativo sem risco indexado à SELIC - e ativos do caso I (caso II). / In this work, an optimal policy for portfolio selection based on mean-varian e analysis for the multi-period tracking error - ERM - was derived. ERM is understood as the difference between the capital raised by the selected portfolio and benchmark portfolio. Thus, the methodology discussed by Li-Ng in [24] for analytical solution was applied, generalizing the single period case introduced by Roll in [38]. Then, it was selected a portfolio from the Brazilian stock trading based on the correlation factor, and adopted as benchmark the index of the stock trading of São Paulo State IBOVESPA, and the basic interest rate SELIC as fixed income asset. Two cases were dealt: portfolio composed of risky assets only, case I, and portfolio with a risk-free asset - indexed to SELIC - and assets of the case I (case II).

O problema do desenvolvimento do \"Software\" para a pilotagem automática de embarcações é tratado através da aplicação de conceitos de controle estocástico. O movimento da embarcação é descrito de forma aproximada através do modelo clássico das derivadas hidrodinâmicas. A partir do Princípio da Separação desenvolve-se um procedimento sequencial em que os problemas de estimação do estado e de controle são tratados concomitantemente com as identificação de efeitos não modelados da dinâmica adotada para o piloto automático. A estimação de estados realiza-se através do filtro estendido de Kalman, que opera sobre informações de posição e velocidade da embarcação. O controlador, de natureza sequencial, atua sobre a embarcação em tempo discreto, sendo o leme o único elemento de controle. O piloto automático proposto foi testado através de simulação digital e alguns resultados obtidos são apresentados e discutidos. / The software development problem for the ship automatic steering is considered through the application of stochastic control concepts. Ship motion is described in an approximate way by the classical hydrodynamic derivatives model. A sequential procedure based on the Separation Principle is developed, being state estimation and control problems handled simultaneously with the identification of unmodeled effects of automatic pilot ship dynamics. State estimates are provided by the extended Kalman filter by using ship position and velocity measurements. The rudder is the only control element for the sequential, discrete-time controller. Digital simulation is employed for testing of the proposed automatic pilot, and some results are presented and discussed.

Made available in DSpace on 2016-12-12T20:27:38Z (GMT). No. of bitstreams: 1 Aldo Zanella Junior.pdf: 3746857 bytes, checksum: 7ff548689a89fd8090402ad4891a23c1 (MD5) Previous issue date: 2015-07-09 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / This work introduces the report of performed studies in order to evaluate the applicability of generalized predictive control (GPC) to several plants. The main goal is to analyze the GPC performance in processes with different features, analyzing the influence of its tuning parameters. The study is justified by the fact that GPC presents itself as a generalized solution for several classes of processes, which are becoming increasingly complex and demanding for traditional controllers to handle. For the purpose to prove this proposal of GPC, it was performed several tests with plants of different orders and response characteristics, real and simulated, varying controller tuning parameters and measuring some quality indices. It was evaluated the influence of tuning parameters and it was made a report of conclusions that was reached. Through obtained results, it is shown that GPC satisfies the proposal and presents favorable results. / Esta dissertação traz o relato do estudo realizado a fim de avaliar a aplicabilidade do controlador preditivo generalizado (GPC) em plantas diversas. O objetivo principal é analisar o desempenho do GPC em processos com diferentes características, analisando a influência dos seus parâmetros de sintonia. O estudo se justifica pelo fato de que o GPC apresenta-se como uma solução generalizada para diversos tipos de processos, os quais estão se tornando cada vez mais complexos e com maiores exigências para o controlador. A fim de comprovar essa proposta do GPC, realizou-se inúmeros ensaios com plantas com respostas e ordem diferentes, reais e simuladas, variando-se os parâmetros de sintonia do controlador e medindo-se alguns parâmetros de qualidade. Avaliou-se a influência dos parâmetros de sintonia e fez-se um relato das conclusões a que se chegou. Através dos resultados obtidos, mostra-se que o GPC corresponde ao que se propõe para as plantas testadas e apresenta resultados favoráveis.

Submitted by Yuri Pereira (yurimedeiros_@hotmail.com) on 2016-09-01T15:24:06Z No. of bitstreams: 1 Dissertação YURI PEREIRA.pdf: 507288 bytes, checksum: b86dbb4b5f173ac7d43a83d591ab6a7b (MD5) / Approved for entry into archive by Renata de Souza Nascimento (renata.souza@fgv.br) on 2016-09-01T19:29:40Z (GMT) No. of bitstreams: 1 Dissertação YURI PEREIRA.pdf: 507288 bytes, checksum: b86dbb4b5f173ac7d43a83d591ab6a7b (MD5) / Made available in DSpace on 2016-09-01T19:33:44Z (GMT). No. of bitstreams: 1 Dissertação YURI PEREIRA.pdf: 507288 bytes, checksum: b86dbb4b5f173ac7d43a83d591ab6a7b (MD5) Previous issue date: 2016-08-05 / In Øksendal (1998), we can see the derivation of a classical stochastic optimization between an asset, or a class of assets, risky and other risk-free. But, after the decision of which portion of the resources to allocate in the risky investment class, questions arise about how would the division of the resources between the assets that comprise it. We assume that some investor choose to invest in two risky assets and, following the classic studies of portfolio stochastic optimization, mainly by Øksendal, the proposal is to introduce a new technique of trading consisting in recurrent rebalancing approach stochastic optimization investments with risk. Following the short-term concept provided by Ang, Hodrick, Xing and Zhang (2006) for the stock market, it was considered a sequence of short rebalancing time horizons and, at the beginning of each period, the parameters are recalculated and a new optimal control is established. By adopting this technique, the volatilities of the assets constituting the portfolio are recalculated and, therefore, it is a proxy to solution of the heteroscedasticity problem. Also noteworthy, being something new in literature, the fact of having been derived from an optimal control for a portfolio containing two investments with risk. The stochastic optimization procedure was similar to that adopted by Øksendal, namely, the application of the Hamilton-Jacobi-Bellman theorem to transform the problem of minimizing the cost functional a partial differential equation known as HJB equation, in reference to the authors. The steps followed by Øksenal are the same for us, from the optimization’s point of view, and are well summarized by Ross (2008). / Em Øksendal (1998), podemos ver a derivação de um modelo clássico de otimização estocástica entre um ativo, ou classe de ativos, com risco e outro sem risco. Mas, após a decisão do quanto alocar na classe de investimento com risco, ficou o questionamento sobre como ficaria a divisão dos recursos entre os ativos que a compõem. Partimos do princípio que determinado investidor optou por escolher investir em dois ativos com risco e, seguindo os estudos clássicos de otimização estocástica de portfólio, principalmente o promovido por Øksendal, a proposta é apresentar uma nova técnica de trading que consiste na abordagem de rebalanceamentos sucessivos por otimização estocástica em investimentos com risco. Seguindo a noção de curto prazo fornecida por Ang, Hodrick, Xing e Zhang (2006) para o mercado de ações, foi considerada uma sequência de horizontes curtos de rebalanceamento e, ao início de cada período, os parâmetros são recalculados e um novo controle ótimo é estabelecido. Ao adotar esta técnica, as volatilidades dos ativos que constituem o portfólio são recalculadas e, com isso, diminui-se o problema de heterocedasticidade. Também merece destaque, por ser algo novo na literatura, o fato de ter sido derivado um controle ótimo para um portfólio que contém dois investimentos com risco. O procedimento de otimização estocástica foi similar ao adotado por Øksendal, qual seja, a aplicação do teorema de Hamilton-Jacobi-Bellman para transformar o problema de minimização da funcional custo numa equação diferencial parcial conhecida como equação HJB, em referência aos autores. Os passos seguidos por Øksenal e por nós serão os mesmos, do ponto de vista de otimização, e estão bem resumidos por Ross (2008).