Approved for public release, distribution is unlimited / problem, with engine thrust as the only possible perturbation. The optimal control problems are solved using the general purpose dynamic optimization software, DIDO. The dynamical model together with the fuel optimal control problem is validated by simulating several well known orbit transfers. By replicating the single satellite model, this thesis shows that a multi-satellite model which optimizes all vehicles concurrently can be easily built. The specific scenario under study involves the injection of multiple satellites from a common launch vehicle; however, the methods and model are applicable to spacecraft formation problems as well. / Major, United States Air Force

Cancer is a generic term for a large group of diseases where cells of the body lose their normal mechanisms for growth so that they grow in an uncontrolled way. One of the most common treatments of cancer is chemotherapy that aims to kill abnormal proliferating cells; however normal cells and other organs of the patients are also adversely affected. In practice, it's often difficult to maintain optimum chemotherapy doses that can maximise the abnormal cell killing as well as reducing side effects. The most chemotherapy drugs used in cancer treatment are toxic agents and usually have narrow therapeutic indices, dose levels in which these drugs significantly kill the cancerous cells are close to the levels which sometime cause harmful toxic side effects. To make the chemotherapeutic treatment effective, optimum drug scheduling is required to balance between the beneficial and toxic side effects of the cancer drugs. Conventional clinical methods very often fail to find drug doses that balance between these two due to their inherent conflicting nature. In this investigation, mathematical models for cancer chemotherapy are used to predict the number of tumour cells and control the tumour growth during treatment. A feedback control method is used so as to maintain certain level of drug concentrations at the tumour sites. Multi-objective Genetic Algorithm (MOGA) is then employed to find suitable solutions where drug resistances and drug concentrations are incorporated with cancer cell killing and toxic effects as design objectives. Several constraints and specific goal values were set for different design objectives in the optimisation process and a wide range of acceptable solutions were obtained trading off among different conflicting objectives. Abstract v In order to develop a multi-objective optimal control model, this study used proportional, integral and derivative (PID) and I-PD (modified PID with Integrator used as series) controllers based on Martin's growth model for optimum drug concentration to treat cancer. To the best of our knowledge, this is the first PID/I-PD based optimal chemotherapy control model used to investigate the cancer treatment. It has been observed that some solutions can reduce the cancer cells up to nearly 100% with much lower side effects and drug resistance during the whole period of treatment. The proposed strategy has been extended for more drugs and more design constraints and objectives.

This monograph addresses control and filtering problems for systems with sudden changes in their behavior and whose changes are detected and estimated by an imperfect detector. More precisely it considers continuous-timeMarkov Jump Linear Systems (MJLS) where the current mode of operation is estimated by a detector. This detector is assumed to be imperfect in the sense that it is possible that the detected mode of operation diverges from the real mode of operation. Furthermore the probabilities for these detections are considered to be known. It is assumed that the detector has its own dynamic, which means that the detected mode of information can change independently from the real mode of operation. The novelty of this approach lies in how uncertainties are modeled. A Hidden Markov Model (HMM) is used to model the uncertainties introduced by the detector. For these systems the following problems are addressed: i) Stochastic Stabilizability in mean-square sense, ii) H2 control, iii) H? control and iv) the H? filtering problem. Solutions based on Linear Matrix Inequalities (LMI) are developed for each of these problems. In case of the H2 control problem, the solutionminimizes an upper bound for the H2 norm of the closed-loop control system. For the H? control problem a solution is presented that minimizes an upper bound for the H? norm of the closed-loop control system. In the case of the H? filtering, the solution presented minimizes the H? norm of a system representing the estimation error. The solutions for the control problems are illustrated using a numerical example modeling a simple two-tank process. / Esta monografia aborda problemas de controle e filtragem em sistemas com saltos espontâneos que alteram seu comportamento e cujas mudanças são detectadas e estimadas por um detector imperfeito. Mais precisamente, consideramos sistemas lineares cujos saltos podem ser modelados usando um processo markoviano (Markov Jump Linear Systems) e cujo modo de operação corrente é estimado por um detector. O detector é considerado imperfeito tendo em vista a possibilidade de divergência entre o modo real de operação e o modo de operação detectado. Ademais, as probabilidades das deteccões são consideradas conhecidas. Assumimos que o detector possui uma dinâmica própria, o que significa que o modo de operação detectado pode mudar independentemente do modo real de operação. A novidade dessa abordagem está na modelagem das incertezas. Um processo oculto de Markov (HMM) é usado para modelar as incertezas introduzidas pelo detector. Para esses sistemas, os seguintes problemas são abordados: i) estabilidade quadrática ii) controle H2, iii) controle H? e iv) o problema da filtragem H?. Soluções baseadas em Desigualdades de Matriciais Lineares (LMI) são desenvolvidas para cada um desses problemas. No caso do problema de controle H2, a solução minimiza um limite superior para a norma H2 do sistema de controle em malha fechada. Para o problema H? -controle é apresentada uma solução que minimiza um limite superior para a norma H? do sistema de controle em malha fechada. No caso da filtragem H?, a solução apresentada minimiza a norma H? de um sistema que representa o erro de estimativa. As soluções para os problemas de controle são ilustradas usando um exemplo numérico que modela um processo simples de dois tanques.

Neste trabalho procuramos determinar o controle ótimo para problemas de custo médio a longo prazo (CMLP) de sistemas lineares com saltos markovianos (SLSMs) com observação parcial dos estados da cadeia de Markov, e, para isso, implementamos métodos computacionais heurísticos como algoritmos evolutivos de primeira geração - algoritmo genético (AG) básico - e os algoritmos UMDA(Univariate Marginal Distribution Algorithm) e BOA(Bayesian Optimization Algorithm), de segunda geração. Utilizamos um algoritmo variacional para comparar com os métodos implementados e medir a qualidade de suas soluções. Desenvolvemos uma abordagem de transição de níveis de observação (ATNO), partindo de um problema de observação completa e migrando através de problemas parcialmente observados. Cada um dos métodos mencionados acima foi implementado também no contexto da ATNO. Para realizar uma análise estatística sobre o desempenho dos métodos computacionais, utilizamos um gerador de SLSMs com importantes características da teoria de controle como: estabilidade, estabilizabilidade, observabilidade, controlabilidade e detetabilidade. Por fim, apresentamos alguns resultados sobre o CMLP com controles estabilizantes e resultados parciais a respeito da unicidade de solução / In this work we are interested in the optimal control for the long run average cost (LRAC) problem for linear systems with Markov jump parameters (LSMJP), using heuristic methods like first generation evolutionary algorithms - genetic algorithm (GA) - and second generation algorithms including UMDA (Univariate Marginal Distribution Algorithm) and BOA (Bayesian Optimization Algorithm). We have developed a scheme that employs different problems with intermediate levels of observation of the Markov chain, starting with complete observation and shifting to the partial observation problem. The aforementioned methods have been implemented using this scheme. Moreover, in order to compare the methods, we use an algorithm for generating a number of LSMJP and we present a basic statistical analysis of the results. Finally, we present some results on the LRAC with stabilizing control and some partial results on the uniqueness of the solution

A importância do planejamento de sistemas hidrotérmicos é largamente reconhecida. A questão constitui-se em um complicado problema de otimização que envolve aspectos não-lineares e estocásticos, e que se torna mais complexo quando várias usinas são consideradas em conjunto, em virtude da ocorrência de interações. Apesar de se conhecerem formalizações teóricas do problema e da solução, a complexidade acarreta sérios entraves computacionais e muitas vezes consideram-se apenas cenários simplificados, como o determinístico ou estocástico com um modelo de reservatório equivalente. Este trabalho tem como objetivo conciliar a facilidade numérica de problemas determinísticos com a consideração indireta da natureza estocástica do problema. Com esta finalidade, propõe-se o uso de um funcional de custo que reflete o risco de vertimento a cada período. Outra linha estudada neste trabalho foi a de rastreamento de alvo utilizando a técnica de controle Linear Quadrático (LQ). A eficácia das estratégias propostas é avaliada através de diversos casos de estudo, incluindo comparação com o planejamento determinístico usual / The scheduling of hydrothermal systems is an important and challenging problem. In fact, the problem is complex since it involves the optimization of a cost functional related to a nonlinear and stochastic system. Although mathematical formulations of the problem are available, there are computational issues (as the course of dimensionality in dynamical programming) that make difficult to obtain the solution. In this situation, some simplifyied equivalent models or deterministic formulations were considered in the literature, which are simpler to deal with. The aim of this work is to obtain a solution thet presents the ease of computaion of deterministic models and, simultaneously, it reflects the stochastic nature of the problem, at some extension. The strategy consists of taking into account a cost functional that is related to the risk of spillage at each period. Another strategy considered here is the linear quadratic control with a target. Several case estudies are presented, which employ different models for the stochastic inflow, allwing us to evaluate the effectiveness of the strategies and to compare them with the usual deterministic control

A depressão metabólica em aves e mamíferos, dada a alta demanda energética destes animais, se apresenta, geralmente, como resposta às condições de escassez de alimentos e baixas temperaturas. Desta forma, este projeto busca explorar, no campo teórico, como o sistema de termorregulação poderia atuar no sentido de maximizar as reservas energéticas minimizando os gastos metabólicos (depressão metabólica). Para tanto, fazemos uso de teorias da engenharia de controle que propiciam ferramental teórico para analisar como se dariam essas minimizações, ou seja, como o sistema nervoso atuaria estabelecendo um controle (set-point hipotalâmico) que minimizasse estes gastos à medida que se desse o processo de termorregulação. Neste contexto, propomos um modelo básico de termorregulação que leva em conta temperatura corpórea, taxa metabólica e temperatura ambiente, no qual o set-point atua como um controle. Mostramos como este modelo de regulação térmica propicia, devido à sua configuração, significativa redução dos distúrbios causados por variações da temperatura ambiente. Através da teoria de controle ótimo, mostramos como o set-point hipotalâmico pode surgir como resultado da minimização de um funcional relacionado ao custo com a termorregulação. Além disso, fez-se uma análise de como a temperatura ambiente pode definir diferentes situações em termos de vantagens da depressão metabólica como mecanismo de minimização de gasto energético. Para este tipo de análise, propomos um índice de razão entre o custo metabólico constante e o obtido sob atuação do controlador durante o período em que se dá o processo. Após um período em depressão metabólica, os indivíduos devem voltar a sua condição de eutermia, e, em situações de baixa temperatura, o custo deste retorno pode suplantar as vantagens para um dado indivíduo. Assim, são analisadas as influencias da massa corpórea, onde se observa aumento do custo em decorrência da entrada em depressão metabólica por parte dos indivíduos de maior massa. Tal aumento de custo é acentuado nas situações de menor temperatura ambiente. Finalmente, uma análise relativa ao tempo para retorno à condição de eutermia é apresentada, sendo que os resultados vão ao encontro das evidencias atuais sobre a flexibilidade estratégica de muitos hibernantes. / Metabolic depression of mammals and birds, animals of high metabolic demands, normally emerges as a response to food shortage and low ambient temperature. The main goal of this research is to explore, in a theoretical perspective, how the thermoregulatory system could extend the energy reserves of these endotherms decreasing metabolic costs under those environmental conditions. To approach the problem, we propose the use of control engineering theories to analyze the way the this minimization could occur, in other words, how the nervous system would act establishing a control (hypothalamic set-point) to minimize those costs during the thermoregulatory process. In this context, we propose a basic thermoregulation model that takes into account body temperature, metabolic rate and environmental temperature, and in which the set-point acts as a control. We show how this model can significantly reduce disturbances generated by ambient temperature. Using optimal control theory, we show how the hypothalamic set-point can emerge as a result of a minimization process of a functional related to thermoregulation costs. Also, how ambient temperature can define different metabolic profiles is explored, in terms of metabolic depression and the necessary return to euthermic conditions. To quantify this analysis we propose an index, based on the ratio between a constant metabolic cost and the metabolic cost defined by the controller. After a period in metabolic depression individuals should return to their euthermic condition, and, in situations of low environmental temperature, it is shown that the cost to return can be larger than the advantages. In this way, analyzing body mass influences we observed increased metabolic depression cost in larger individuals. This cost is even higher under lower environmental temperature. Finally, the cost related to the time elapsed, until the euthermic state is reached again, is considered. These last results are in accordance with current conception about the flexibility in hibernation process.

Este trabalho trata das aplicações da Teoria de Controle Ótimo ao problema de otimização da Política Monetária. Esse problema consiste em minimizar uma função que representa o custo da inflação para a sociedade, por meio de manipulações na variável de controle, que é a taxa de juros da economia. Serão considerados dois modelos para a dinâmica macroeconômica: um keynesiano e um novo-keynesiano. O problema de minimização sujeito à dinâmica keynesiana pode ser resolvido por meio dos conceitos tradicionais de controle ótimo, como o LQR e LQG. Por outro lado, o modelo novokeynesiano possui uma dinâmica mais complexa e não-recursiva, impossibilitando a aplicação direta dos métodos de programação estocástica. Assim, o problema de minimização sujeito à essa dinâmica requer métodos mais complexos, como o método do Lagrangiano ou o método do ponto de sela recursivo. É apresentada a solução analítica para o problema de controle ótimo em cada tipo de dinâmica. Em seguida, o problema de estimação de parâmetros é abordado. Métodos como o OLS e o GMM são empregados para estimar os parâmetros do modelo. Também são realizadas simulações para determinar numericamente as políticas de controle ótimo em alguns cenários. Por fim, a política monetária ótima é determinada para o período entre 2008 e 2009 e comparada com a política monetária adotada pelo governo. / This article discusses the applications of the Optimal Control Theory to the Monetary Policy optimization problem. This problem consists in minimizing a function that represents the inflation cost to society, through manipulation on the control variable, which is the interest rate of the economy. It will be considered two models for macroeconomic dynamics: a Keynesian and a new-Keynesian model. The minimization problem subject to Keynesian dynamics can be solved through traditional optimal control tools, such as LQR and LQG. On the other hand, the second model has a more complex and non-recursive dynamic, precluding the direct application of stochastic programming methods. Thus, the minimization problem restricted to this dynamic requires more complex methods, like the Lagrangian or the recursive saddlepoint method. It is presented the analytical solution to the optimal control problem for each type of dynamics. Then, the parameter estimation problem is addressed. Methods such as OLS and GMM are used to estimate the model parameters. Simulations are also carried out to determine numerically the optimal control policies in some scenarios. Finally, the optimal monetary policy is determined for the period between 2008 and 2009 and compared with the monetary policy adopted by the government.

Estuda-se o problema de sintonia de controladores, objetivando-se a formulação do problema de sintonia ótima de controladores. Busca-se uma formulação que seja geral, ou seja, válida para qualquer estrutura de controlador e qualquer conjunto de especificações. São abordados dois temas principais: especificação de controladores e sintonia ótima de controladores. São compiladas as principais formas de especificação e avaliação de controladores e é feita a formulação do problema de sintonia de controladores como um problema padrão de otimização. A abordagem proposta e os conceitos apresentados são então aplicados em um conjunto de exemplos. / The problem of control tuning is studied, aiming the formulation of the optimal control tuning problem. A general formulation, valid for any controller structure and any set of specifications, is sought. Two main themes are addressed: controller specification and optimal controller tuning. The main ways of controller specification and assessment are compiled and the optimal controller tuning problem is formulated as a standard optimization problem. The proposed approach and the presented concepts are then applied in a set of examples.

O presente trabalho visa à modelagem e ao controle ótimo de um robô quadrúpede autônomo. Devido a variações na topologia e nos graus de liberdade do robô ao longo do seu movimento, duas abordagens diferentes de modelagem foram consideradas: na primeira, foi considerado o robô com pelo menos duas pernas suportando seu corpo ou plataforma e, na segunda, considerou-se o modelo de uma perna no ar. Em ambos os casos, apresentou-se a solução dos problemas cinemáticos de posição direta e inversa por meio da parametrização de Denavit-Hartenberg. Analisaram-se também os problemas cinemáticos de velocidade e suas singularidades através da Matriz Jacobiana, e ainda obtiveram-se os modelos dinâmicos do sistema utilizando-se o Principio do Trabalho Virtual e o método iterativo de Newton-Euler para a plataforma e as pernas, respectivamente. A partir destes modelos dinâmicos, desenvolveu-se um algoritmo de otimização das perdas de energia elétrica dos motores das juntas. Neste sentido, utilizou-se a estratégia do controle independente por junta. Estratégia esta que, junto com a discretização no tempo do modelo do sistema, permitiu transformar o problema inicial de otimização para cada junta em outro de Programação Quadrática bem mais simples de ser resolvido. Depois de resolver estes problemas, para levar em conta as interações entre as dinâmicas das várias juntas, procedeu-se à busca de um ponto fixo ou mínimo global que caracterizasse a energia total gasta no movimento do sistema. Finalmente, realizada a demonstração e a análise de convergência do algoritmo, este foi testado no controle da andadura (gait) do robô Kamambaré. Como resultado do teste, observou-se o bom desempenho da formulação e a viabilidade de sua implementação em sistemas reais. / The present work aims the modeling and optimal control of an autonomous quadruped robot. Due to variations in the topology and the degree of freedom of the robot during its motion, two different modeling approaches were considered: firstly, the robot was considered with at least two legs supporting its body or platform and, second one, was considered the model of a leg in the air. In both cases, was presented the solution of the direct and inverse kinematic problem of position through the Denavit-Hartenberg parameterization. Were analyzed also, the kinematic problem of speed and the singularities through the Jacobian matrix, and was also obtained the dynamic model of the system using the Principle of Virtual Work or the dAlembert method and the iterative Newton-Euler method for the platform and legs, respectively. From these two dynamic model, were developed an algorithm for optimizing the power losses of the motors that driven the joints. In this sense, was used the strategy of independent control for each joint. Such a strategy, along with the discretization in time of the system model, has helped to change the initial optimization problem for each joint in a Quadratic Programming Problem, more simpler to solve. After solving these problems, and to take into account the interactions between the dynamics of various joints, was proceeded to search for a fixed point or a global minimum that would characterize the total energy spent in moving for the system. Finally, held the demonstration and analysis of convergence of the algorithm was tested in the control of gait of the Kamambaré robot. As a result of the test, we observed the good performance of the formulation and the feasibility of its implementation in real systems.

Este trabalho versa sobre a análise teórica do desempenho da regulação sincronizada aplicada na redução de vibrações de rotores utilizando mancais magnéticos. Originalmente apresentado na dissertação \\Regulação sincronizada de distúrbios senoidais\", de Vaydia I. C. Segura, o regulador teve o seu módulo de regulação modificado para trabalhar com múltiplas entradas e saídas, além de permitir a estimação em tempo real da matriz de influência. O desempenho e a robustez do regulador foram analisados em função de seus parâmetros. A regulação sincronizada foi aplicada a um modelo teórico de rotor desenvolvido pelo método dos elementos finitos e simulado em computador. / This work discusses about the theoretical analysis of the performance of synchronized regulation applied in reduction of rotor vibrations using magnetic bearings. Originally presented in the dissertation \\Synchronized regulation of sinoidal disturbing\", of Vaydia I. C. Segura, the regulator had its regulation module changed to work with multiple inputs and outputs, in addition to enabling real-time estimation of the influence matrix. The performance and robustness of the regulator were analyzed as a function of the parameters. The synchronized regulation was applied to the theoretical model developed by the finite elements method and simulated in a computer.