Neste trabalho procuramos determinar o controle ótimo para problemas de custo médio a longo prazo (CMLP) de sistemas lineares com saltos markovianos (SLSMs) com observação parcial dos estados da cadeia de Markov, e, para isso, implementamos métodos computacionais heurísticos como algoritmos evolutivos de primeira geração - algoritmo genético (AG) básico - e os algoritmos UMDA(Univariate Marginal Distribution Algorithm) e BOA(Bayesian Optimization Algorithm), de segunda geração. Utilizamos um algoritmo variacional para comparar com os métodos implementados e medir a qualidade de suas soluções. Desenvolvemos uma abordagem de transição de níveis de observação (ATNO), partindo de um problema de observação completa e migrando através de problemas parcialmente observados. Cada um dos métodos mencionados acima foi implementado também no contexto da ATNO. Para realizar uma análise estatística sobre o desempenho dos métodos computacionais, utilizamos um gerador de SLSMs com importantes características da teoria de controle como: estabilidade, estabilizabilidade, observabilidade, controlabilidade e detetabilidade. Por fim, apresentamos alguns resultados sobre o CMLP com controles estabilizantes e resultados parciais a respeito da unicidade de solução / In this work we are interested in the optimal control for the long run average cost (LRAC) problem for linear systems with Markov jump parameters (LSMJP), using heuristic methods like first generation evolutionary algorithms - genetic algorithm (GA) - and second generation algorithms including UMDA (Univariate Marginal Distribution Algorithm) and BOA (Bayesian Optimization Algorithm). We have developed a scheme that employs different problems with intermediate levels of observation of the Markov chain, starting with complete observation and shifting to the partial observation problem. The aforementioned methods have been implemented using this scheme. Moreover, in order to compare the methods, we use an algorithm for generating a number of LSMJP and we present a basic statistical analysis of the results. Finally, we present some results on the LRAC with stabilizing control and some partial results on the uniqueness of the solution

Made available in DSpace on 2014-06-12T17:41:43Z (GMT). No. of bitstreams: 2 arquivo7335_1.pdf: 977856 bytes, checksum: 83769c5348fede0c81ce7d8cd086c93c (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2006 / Neste trabalho são estudados 3 modelos. Aborda-se a questão da transposição do rio São Francisco por meio de dois modelos de crescimento econômico. Nestes, deseja-se maximizar a utilidade de um trabalhador médio. As principais variáveis em estudo são a água não energética, as energias hidrelétrica e termelétrica, e o déficit energético. É por meio das relações entre estas variáveis que se estuda o tradeoff água £ energia, que engloba o problema da transposição. No segundo modelo, a energia térmica é agregada à hidráulica, tornando-se uma fração desta última. Isto permite que se perceba com maior clareza as implicações das decisões de expansão do sistema elétrico, decorrentes da escolha entre termeletricidade e hidreletricidade. O modelo seguinte trata da operação do sistema elétrico, onde se deseja minimizar os custos pela decisão da energia gerada em cada usina do sistema, considerando que o custo de um déficit energético representa para a economia. Este modelo é baseados no NEWAVE, modelo utilizado pelo Operador Nacional do Sistema, com este mesmo objetivo de minimização do custo operacional. Por meio da Teoria de Controle Ótimo obtém-se relações entre as variáveis em estudo. Entre os principais resultados deste trabalho destaca-se o fato de a água, enquanto insumo produtivo não energético, dar uma maior contribuição à economia do que a água utilizada na geração hidrelétrica. A água não energética torna-se ainda mais importante em um cenário de déficit energético, ou, no caso de expansão da matriz energética pelo aumento da geração termelétrica

Orientador: Edvaldo Assunção / Resumo: Neste trabalho estudamos problemas de controle ótimo intervalar e intervalar fuzzy. Em particular, propomos problemas de controle ótimo via teoria de incerteza generalizada e teoria dos conjuntos fuzzy. Dentre os vários tipos de incerteza generalizada utilizamos apenas a intervalar. Embora as abordagens do processo de solução dos problemas de controle ótimo intervalar e intervalar fuzzy sejam similares, as premissas iniciais para o uso e identificação de aplicação delas em problemas práticos são distintas assim como é distinto o processo de tomada de decisão. Assim, propomos inicialmente o problema de controle ótimo intervalar em tempo discreto. A primeira proposta de solução para o problema de controle ótimo intervalar em tempo discreto é construída usando a aritmética intervalar restrita de níveis simples juntamente com a técnica de programação dinâmica. As respostas do problema de controle ótimo intervalar contêm as possibilidades de soluções viáveis, e para implementar uma solução viável para o usuário final usamos a solução que minimiza o arrependimento máximo nos exemplos numéricos. A segunda proposta de solução para o problema de controle ótimo intervalar em tempo discreto é realizada com a aritmética intervalar restrita uma vez que essa aritmética intervalar é mais geral do que a aritmética intervalar restrita de níveis simples pois não considera os intervalos envolvidos nas operações variando de forma dependente. Exemplos numéricos também foram construídos e ilustram... (Resumo completo, clicar acesso eletrônico abaixo) / Abstract: In this work we study the interval optimal control problem and fuzzy interval optimal control problem. In particular, we propose optimal control problems via theory of generalized uncertainty and fuzzy set theory. Among the various types of generalized uncertainty we use only the interval uncertainty. Although the approaches to solve the interval optimal control problem and fuzzy interval optimal control problem are similar, the input data for problems with generalized uncertainty and flexibility are distinct as is distinct the decision-making process. Thus, we initially propose the discrete-time interval optimal control problem. The first solution method to solve the discrete-time interval optimal control problem is constructed using single-level constrained interval arithmetic coupled with a dynamic programming technique. The optimal interval solution contains the real-valued optimal solutions, and to implement a feasible solution to the user we use the minimax regret criterion in numerical examples. The second solution method to solve the discrete-time interval optimal control problem is done with the constrained interval arithmetic since this interval arithmetic is more general than the single-level constrained interval arithmetic because it does not have its intervals varying of dependent form in interval operations. Numerical examples have also been constructed and illustrate the method of solution. Finally, we study the discrete-time fuzzy interval optimal control prob... (Complete abstract click electronic access below) / Doutor

Os Sistemas Lineares Sujeitos a Saltos Markovianos têm sido amplamente estudados nas últimas décadas pois fornecem modelos adequados para aplicações com mudanças bruscas de comportamento, possivelmente devido à falhas. Também é muito comum em aplicações do mundo real em que o chamado estado do sistema não seja observado de forma perfeita e instantânea. Com essa motivação, consideramos o problema linear quadrático e propomos um controlador independente da variável de salto, que é um componente de estado, o que é atraente para aplicações reais. Utilizamos dois métodos clássicos, Genético e Gradiente, e propomos derivados que combinam características favoráveis de ambos. Também consideramos o caso em que não observamos o estado de Markov diretamente, mas através de uma variável, um sensor, que provê informação sobre este parâmetro. / Markov Jump Linear Systems have been extensively studied in the last decades as they provide suitable models for applications featuring abrupt changes of behaviour. It is also quite common in real world applications that the so called state of the system is not perfectly and immediately observed. With this motivation, we consider the linear quadratic jump problem and we propose a controller that is irrespective of the jump variable (a component os the state), which is appealing for real world problems. We use classical Genetic and Gradient optimization methods and we propose variants combining favorable features of both of them; We also consider the case which we do not have direct access on the Markovian jump parameter, but a variable, a sensor, which provides information on this parameter.

Neste trabalho foi estudado um problema de controle de sistemas lineares com saltos Markovianos sem observação da variável de salto, que pode ser escrito como um problema de otimização de considerável complexidade. As contribuições para a área estão divididas em três aspectos. Um dos avanços foi a elaboração de um contraexemplo para a conjectura de que há somente um mínimo local isolado para o problema. Além disso, foi estudado o problema de otimização intermediário, que consiste em fixar todas as variáveis do problema exceto duas matrizes de ganhos, e os resultados indicam que, com uma pequena alteração na formulação, este é um problema biquadrático. Por fim, novos algoritmos foram elaborados a partir de um método disponível na literatura, chamado de método Variacional, adaptando-o para atualizar os ganhos aos pares, levando a problemas intermediários biquadráticos. Três métodos foram implementados para a resolução destes problemas: dois métodos clássicos de descida, Newton e Gradiente, e uma adaptação do próprio método Variacional. Para a análise dos resultados foram utilizados exemplos gerados aleatoriamente a partir do Gerador de SLSM, que pode ser encontrado na literatura, e o método Variacional como referência para comparação com os métodos propostos / This work addresses a control problem arising in linear systems with Markov jumps without observation of the jump variable and advances in three different aspects. First, it is presented a counterexample to the conjecture that states about the uniqueness of local minimum. Second, the intermediary optimization problem, which sets all the variables of the problem except two arrays of gains, was studied and the results suggested that a slight modification in the formulation makes the intermediary problem a biquadratic one. Finally, new algorithms were developed based on a method available in the literature, which is frequently referred to as the Variational method, adapting it to update the gains in pairs, leading to biquadratic intermediary problems. Three methods were implemented to solve these intermediary problems: two classical descent methods, Newton and Gradient, and an adaptation of the Variational method. To evaluate the performance of the proposed methods, randomly generated examples were used and the Variational method was set as reference for comparing the results

This thesis deals with discrete-time Markov jump linear systems (MJLS) with Markov chain in a general Borel space S. Several control issues have been addressed for this class of dynamic systems, including stochastic stability (SS), linear quadratic (LQ) optimal control synthesis, fllter design and a separation principle. Necessary and sffcient conditions for SS have been derived. It was shown that SS is equivalent to the spectral radius of an operator being less than 1 or to the existence of a solution to a \\Lyapunov-like\" equation. Based on the SS concept, the finite- and infinite-horizon LQ optimal control problems were tackled. The solution to the finite- (infinite-)horizon LQ optimal control problem was derived from the associated control S-coupled Riccati difference (algebraic) equations. By S-coupled it is meant that the equations are coupled via an integral over a transition probability kernel having a density with respect to a in-finite measure on the Borel space S. The design of linear Markov jump filters was analyzed and a solution to the finite- (infinite-)horizon filtering problem was obtained based on the associated filtering S-coupled Riccati difference (algebraic) equations. Conditions for the existence and uniqueness of a stabilizing positive semi-definite solution to the control and filtering S-coupled algebraic Riccati equations have also been derived. Finally a separation principle for discrete-time MJLS with Markov chain in a general state space was obtained. It was shown that the optimal controller for a partial information optimal control problem separates the partial information control problem into two problems, one associated with a filtering problem and the other associated with an optimal control problem with complete information. It is expected that the results obtained in this thesis may motivate further research on discrete-time MJLS with Markov chain in a general state space. / Esta tese trata de sistemas lineares com saltos markovianos (MJLS) a tempo discreto com cadeia de Markov em um espaço geral de Borel S. Vários problemas de controle foram abordados para esta classe de sistemas dinâmicos, incluindo estabilidade estocástica (SS), síntese de controle ótimo linear quadrático (LQ), projeto de filtros e um princípio da separação. Condições necessárias e suficientes para a SS foram obtidas. Foi demonstrado que SS é equivalente ao raio espectral de um operador ser menor que 1 ou à existência de uma solução para uma equação de Lyapunov. Os problemas de controle ótimo a horizonte finito e infinito foram abordados com base no conceito de SS. A solução para o problema de controle ótimo LQ a horizonte finito (infinito) foi obtida a partir das associadas equações a diferenças (algébricas) de Riccati S-acopladas de controle. Por S-acopladas entende-se que as equações são acopladas por uma integral sobre o kernel estocástico com densidade de transição em relação a uma medida in-finita no espaço de Borel S. O projeto de filtros lineares markovianos foi analisado e uma solução para o problema da filtragem a horizonte finito (infinito) foi obtida com base nas associadas equações a diferenças (algébricas) de Riccati S-acopladas de filtragem. Condições para a existência e unicidade de uma solução positiva semi-definida e estabilizável para as equações algébricas de Riccati S-acopladas associadas aos problemas de controle e filtragem também foram obtidas. Por último, foi estabelecido um princípio da separação para MJLS a tempo discreto com cadeia de Markov em um espaço de estados geral. Foi demonstrado que o controlador ótimo para um problema de controle ótimo com informação parcial separa o problema de controle com informação parcial em dois problemas, um deles associado a um problema de filtragem e o outro associado a um problema de controle ótimo com informação completa. Espera-se que os resultados obtidos nesta tese possam motivar futuras pesquisas sobre MJLS a tempo discreto com cadeia de Markov em um espaço de estados geral.

Os dispositivos robóticos bípedes tem um grande potencial de aplicações tanto comerciais como para pesquisa. Dentre as presentes lacunas existentes que limitam a sua aplicabilidade prática tem um destaque especial a incapacidade de realizar uma marcha estável, robusta, versátil e eficiente no ponto de vista energético. No presente estado da arte, existem três principais estratégias de abordagem para o problema e algumas de suas implementações obtiveram sucesso em satisfazer pelo menos um dos requisitos listados, porém nunca todos eles de forma simultânea. Dentro deste cenário, este trabalho se propôs desenvolver um novo critério de estabilidade para marcha bípede que possibilite marchas versáteis, robustas e eficientes. Inicialmente foi realizada uma avaliação de diversos simuladores de código aberto e o Simbody foi definido como o mais apropriado para ser utilizado no desenvolvimento das simulações dinâmicas realizadas nesta Tese. Uma toolbox de MATLAB para auxiliar nos cálculos cinemáticos e dinâmicos foi desenvolvida em conjunto com um módulo de Inter Process Communication para realizar a comunicação entre o MATLAB e o simulador. Foi realizado um estudo da marcha bípede, implementando e avaliando as estratégias do Zero Moment Point e do Limit CycleWalking. Este estudo resultou numa proposta de controlador não linear comutado para robôs em Ciclo Limite. Na procura de um novo critério de estabilidade foi abordado o estudo da marcha humana. Um procedimento para identificar os mecanismos que controlam a estabilidade da marcha humana é analisar a mesma sob perturbações, como tropeços, ou na ultrapassagem de obstáculos. Na literatura existiam bastantes referências sobre este tema, porém, faltou uma comparação da marcha humana sob diferentes condições de visão com a marcha de robôs que utilizam o ZMP. Foi descoberto que os seres humanos privados de visão têm uma estratégia de ultrapassagem de obstáculos semelhante a um robô com ZMP. A partir do conhecimento adquirido deste estudo é proposto e formulado um novo critério de estabilidade, o Step Viability, inspirado na marcha humana e no conceito de N-Step Capturability. O Step Viability baseia-se na definição de restrições que garantem a viabilidade de realizar passos futuros que garantam a convergência para um ponto fixo em tempo finito. O critério foi implementado utilizando-se uma otimização de trajetória multi-fase. Múltiplos testes foram realizados utilizando-se o modelo Compass Gait com diferentes parâmetros (distribuição de massa, torque máximo disponível), com diferentes inclinações e com vários padrões de marcha desejados (periódico, aumento uniforme e até aleatório não periódico). Adicionalmente o critério foi testado em um modelo de 5 segmentos, sintetizando uma marcha com variação tanto linear quanto aleatória. O critério foi bem-sucedido na geração de uma marcha estável em todos os testes e os resultados foram consistentes. A marcha pode ser sintetizada completamente desacoplada do critério de estabilidade, e o modelo renunciou automaticamente do padrão desenhado em favor da estabilidade. / Bipedal robots present a great potential for both commercial and research applications. However, there are some drawbacks that limit their applicability in the real world. The most prominent is the inability to perform a stable, robust, versatile and efficient gait. There are three main state of the art strategies to approach this problem. However, none of them has been successful in satisfying all the listed requirements simultaneously. In this context, this work conducted a study of bipedal gait, both in humans and robots, in order to implement and evaluate existing stability strategies. As a first step, an evaluation of several open source simulators was performed and Simbody was chosen as the most adequate for the dynamic simulations carried out in this Thesis. A MATLAB toolbox to help in the kinematic and dynamic calculations was developed in conjunction with a module of an Inter Process Communication to perform the communication between MATLAB and the simulator. A bipedal gait study was carried out, implementing and evaluating Zero Moment Point and Limit Cycle Walking strategies. This study resulted in a proposed nonlinear switched controller for Limit Cycle robots. In the search for a new stability criterion, human gait was analyzed. A procedure to identify the mechanisms controlling human gait stability is to analyze gait under disturbances such as stumbling or overcoming obstacles. In the literature, there were many references on this subject, however, there was a lack of comparison of the human gait under different vision conditions with the gait of robots that use the ZMP. It was found that vision-deprived humans have an obstacle crossing strategy similar to robots with ZMP. From the knowledge acquired from this study, it is proposed a novel stability criterion, the Step Viability, inspired on human gait and the N-Step Capturability concept. The Step Viability is based on the definition of constraints that ensure the viability of performing future steps that guarantee convergence to a fixed point in finite time. The criterion was implemented using a multi-phase trajectory optimization. Multiple tests were performed using the Compass Gait model with different parameters (mass distribution, maximum available torque), with different slopes and with several desired gait patterns (periodic, uniform increase and even random non-periodic). Additionally, the criterion was tested in a 5-links model, synthesizing a gait with both linear and random velocity variation. The criterion was successful on generating a stable gait in all the tests and the results presented consistent data. The gait could be designed completely uncoupled from the stability criterion, yet the model automatically renounced to follow the desired pattern in favor of maintaining stability.

O principal objetivo dos veículos híbridos é diminuir o consumo de combustível em relação a veículos convencionais. Para isso, existe a necessidade de realizar a integração dos diferentes sistemas do trem-de-força e coordenar o seu funcionamento através de estratégias de controle. Tais estratégias são desenvolvidas e simuladas em conjunto com um modelo computacional da planta do veículo antes de serem aplicadas em uma unidade de controle eletrônica. O presente estudo tem como objetivo analisar o gerenciamento de energia em um veículo híbrido elétrico não-plugin do tipo série-paralelo visando à diminuição de consumo de combustível. O método de otimização global é utilizado para encontrar as variáveis de controle que resultam no mínimo consumo de combustível em um determinado ciclo de condução. Na primeira etapa, um modelo computacional da planta do veículo e da estratégia de controle não-ótima são criados. Os resultados obtidos da simulação são então comparados com dados experimentais do veículo operando em dinamômetro de chassis. A seguir, o método de otimização global é aplicado ao modelo computacional utilizando programação dinâmica e tendo como objetivo a minimização do consumo de combustível total ao final do ciclo. Os resultados mostram considerável redução do consumo de combustível utilizando otimização global e tendo como variável de controle não só a razão de distribuição de torque mas também os pontos de operação do motor de combustão. Os modelos computacionais criados nesse trabalho são disponibilizados e podem ser usados para o estudo de diferentes estratégias de controle para veículos híbridos. / The main goal of hybrid electric vehicles is to decrease engine emission and fuel consumption levels. In order to realize this, one must perform the powertrain system integration and coordinate its operation through supervisory control strategies. These control strategies are developed in a simulation environment containing the plant model of the powertrain before they can be implemented in a real-time control unit. The goal of this work is to analyze the energy management strategy which minimizes the fuel consumption in a series-parallel non-plugin hybrid electric vehicle. Global optimization is used for finding the control variables that result in the minimum fuel consumption for a specific driving cycle. In a first stage, a computational model of vehicle plant and non-optimal control strategy are created. The results from the simulation are compared against experimental data from chassis dynamometer tests. Next, a global optimization strategy is applied using dynamic programming in order to minimize total fuel consumption at the end of the driving cycle. The results from the optimization show a considerable fuel consumption reduction having as control variables not only the torque-split strategy but also the engine operating points. As contribution from this work, the computational models are made available and can be used for analyzing different control strategies for hybrid vehicles.

O objetivo do trabalho é apresentar dois algoritmos para a solução de problemas de controle ótimo quadrático robusto com restrições, dentro de um contexto de controladores preditivos (MPC do inglês Model Predictive Control). Inicialmente apresentamos uma breve introdução aos algoritmos MPC, com ênfase na abordagem do controlador linear quadrático. Em seguida são apresentados os dois algoritmos de interesse, que utilizam técnicas de otimização LMI. Dessa forma as restrições e as incertezas podem ser colocadas em formas computacionalmente tratáveis. Por fim são realizadas simulações e comparações entre esses algoritmos, bem como com técnicas de MPC encontradas na literatura atual. / The goal of the work is to present two algorithms for the solution of robust quadratic optimal control problems with restrictions, within a model predictive control (MPC) setup. Initially we present a brief introduction of the MPC algorithms, emphasizing the linear quadratic controller approach. Next the two algorithms of interest, using LMI optimization techniques, are presented. By using this technique the restrictions and uncertainties can be written in a computational way. Finally some simulations and comparisons between these algorithms, as well as with MPC techniques found in the current literature, are performed.

In this work we study the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noises. We consider the multiperiod and finite time horizon optimization of a mean-variance cost function under a new criterion. In this new problem, we apply a constraint on the total output variance weighted by its risk parameter while maximizing the expected output. The optimal control law is obtained from a set of interconnected Riccati difference equations, extending previous results in the literature. The application of our results is exemplified by numerical simulations of a portfolio of stocks and a risk-free asset. / Neste trabalho, estudamos o problema do controle ótimo estocástico de sistemas lineares em tempo discreto sujeitos a saltos Markovianos e ruídos multiplicativos. Consideramos a otimização multiperíodo, com horizonte de tempo finito, de um funcional da média-variância sob um novo critério. Neste novo problema, maximizamos o valor esperado da saída do sistema ao mesmo tempo em que limitamos a sua variância total ponderada pelo seu parâmetro de risco. A lei de controle ótima é obtida através de um conjunto de equações de diferenças de Riccati interconectadas, estendendo resultados anteriores da literatura. São apresentadas simulações numéricas para uma carteira de investimentos com ações e um ativo de risco para exemplificarmos a aplicação de nossos resultados.