This monograph addresses control and filtering problems for systems with sudden changes in their behavior and whose changes are detected and estimated by an imperfect detector. More precisely it considers continuous-timeMarkov Jump Linear Systems (MJLS) where the current mode of operation is estimated by a detector. This detector is assumed to be imperfect in the sense that it is possible that the detected mode of operation diverges from the real mode of operation. Furthermore the probabilities for these detections are considered to be known. It is assumed that the detector has its own dynamic, which means that the detected mode of information can change independently from the real mode of operation. The novelty of this approach lies in how uncertainties are modeled. A Hidden Markov Model (HMM) is used to model the uncertainties introduced by the detector. For these systems the following problems are addressed: i) Stochastic Stabilizability in mean-square sense, ii) H2 control, iii) H? control and iv) the H? filtering problem. Solutions based on Linear Matrix Inequalities (LMI) are developed for each of these problems. In case of the H2 control problem, the solutionminimizes an upper bound for the H2 norm of the closed-loop control system. For the H? control problem a solution is presented that minimizes an upper bound for the H? norm of the closed-loop control system. In the case of the H? filtering, the solution presented minimizes the H? norm of a system representing the estimation error. The solutions for the control problems are illustrated using a numerical example modeling a simple two-tank process. / Esta monografia aborda problemas de controle e filtragem em sistemas com saltos espontâneos que alteram seu comportamento e cujas mudanças são detectadas e estimadas por um detector imperfeito. Mais precisamente, consideramos sistemas lineares cujos saltos podem ser modelados usando um processo markoviano (Markov Jump Linear Systems) e cujo modo de operação corrente é estimado por um detector. O detector é considerado imperfeito tendo em vista a possibilidade de divergência entre o modo real de operação e o modo de operação detectado. Ademais, as probabilidades das deteccões são consideradas conhecidas. Assumimos que o detector possui uma dinâmica própria, o que significa que o modo de operação detectado pode mudar independentemente do modo real de operação. A novidade dessa abordagem está na modelagem das incertezas. Um processo oculto de Markov (HMM) é usado para modelar as incertezas introduzidas pelo detector. Para esses sistemas, os seguintes problemas são abordados: i) estabilidade quadrática ii) controle H2, iii) controle H? e iv) o problema da filtragem H?. Soluções baseadas em Desigualdades de Matriciais Lineares (LMI) são desenvolvidas para cada um desses problemas. No caso do problema de controle H2, a solução minimiza um limite superior para a norma H2 do sistema de controle em malha fechada. Para o problema H? -controle é apresentada uma solução que minimiza um limite superior para a norma H? do sistema de controle em malha fechada. No caso da filtragem H?, a solução apresentada minimiza a norma H? de um sistema que representa o erro de estimativa. As soluções para os problemas de controle são ilustradas usando um exemplo numérico que modela um processo simples de dois tanques.

O principal critério de otimização utilizado em Processos de Decisão Markovianos (mdps) é minimizar o custo acumulado esperado. Embora esse critério de otimização seja útil, em algumas aplicações, o custo gerado por algumas execuções pode exceder um limite aceitável. Para lidar com esse problema foram propostos os Processos de Decisão Markovianos Sensíveis ao Risco (rs-mdps) cujo critério de otimização é maximizar a probabilidade do custo acumulado não ser maior que um orçamento limite definido pelo usuário, portanto garantindo que execuções custosas de um mdp ocorram com menos probabilidade. Algoritmos para rs-mdps possuem problemas de escalabilidade quando lidam com intervalos de custo amplos, uma vez que operam no espaço aumentado que enumera todos os possíveis orçamentos restantes. Neste trabalho é proposto um novo problema que é encontrar o orçamento mínimo para o qual a probabilidade de que o custo acumulado não exceda esse orçamento converge para um máximo. Para resolver esse problema são propostas duas abordagens: (i) uma melhoria no algoritmo tvi-dp (uma solução previamente proposta para rsmdps) e (ii) o primeiro algoritmo de programação dinâmica simbólica para rs-mdps que explora as independências condicionais da função de transição no espaço de estados aumentado. Os algoritmos propostos eliminam estados inválidos e adicionam uma nova condição de parada. Resultados empíricos mostram que o algoritmo rs-spudd é capaz de resolver problemas até 103 vezes maior que o algoritmo tvi-dp e é até 26.2 vezes mais rápido que tvi-dp (nas instâncias que o algoritmo tvi-dp conseguiu resolver). De fato, é mostrado que o algoritmo rs-spudd é o único que consegue resolver instâncias grandes dos domínios analisados. Outro grande desafio em rs-mdps é lidar com custos contínuos. Para resolver esse problema são definidos os rs-mdps híbridos que incluem variáveis contínuas e discretas, além do orçamento limite definido pelo usuário. É mostrado que o algoritmo de programação dinâmica simbólica (sdp), existente na literatura, pode ser usado para resolver esse tipo de mdps. Esse algoritmo foi empiricamente testado de duas maneiras diferentes: (i) comparado com os demais algoritmos propostos em um domínio em que todos são capazes de resolver e (ii) testado em um domínio que somente ele é capaz de resolver. Os resultados mostram que o algoritmo sdp para rs-mdp híbridos é capaz de resolver domínios com custos contínuos sem a necessidade de enumeração de estados, porém em troca do aumento do custo computacional. / The main optimization criterion used in Markovian Decision Processes (mdps) is to minimize the expected cumulative cost. Although this optimization criterion is useful, in some applications the cost generated by some executions may exceed an acceptable threshold. In order to deal with this problem, the Risk-Sensitive Markov Decision Processes (rs-mdps) were proposed whose optimization criterion is to maximize the probability of the cumulative cost not to be greater than an user-defined budget, thus guaranteeing that costly executions of an mdp occur with least probability. Algorithms for rs-mdps face scalability issues when handling large cost intervals, since they operate in an augmented state space which enumerates the possible remaining budgets. In this work, we propose a new challenging problem of finding the minimum budget for which the probability that the cumulative cost does not exceed this budget converges to a maximum. To solve this problem, we propose: (i) an improved version of tvi-dp (a previous solution for rs-mdps) and (ii) the first symbolic dynamic programming algorithm for rs-mdps that explores conditional independence of the transition function in the augmented state space. The proposed algorithms prune invalid states and perform early termination. Empirical results show that rs-spudd is able to solve problems up to 103 times larger than tvi-dp and is up to 26.2 times faster than tvi-dp (in the instances tvi-dp was able to solve). In fact, we show that rs-spudd is the only one that can solve large instances of the analyzed domains. Another challenging problem for rs-mdps is handle continous costs. To solve this problem, we define Hybrid rs-mdps which include continous and discrete variables, and the user-defined budget. In this work, we show that Symbolic Dynamic Programming (sdp) algorithm can be used to solve this kind of mdps. We empirically evaluated the sdp algorithm: (i) in a domain that can be solved with the previously proposed algorithms and (ii) in a domain that only sdp can solve. Results shown that sdp algorithm for Hybrid rs-mdps is capable of solving domains with continous costs, but with a higher computational cost.

Nosso objeto de estudo são os sistemas de spins com interações de longo alcance; em particular, estamos interessados em sistemas cuja probabilidade invariante é o modelo de Ising em A^S, onde A = {-1, 1} é o espaço de spins e S = Z^d é o espaço de sítios. Apresentamos dois resultados originais que são consequências da aplicação de algoritmos de simulação perfeita e de acoplamento no contexto da construção deste tipo de sistemas e de suas respectivas probabilidades invariantes. / Our object of interest are spin systems with long-range interactions. As a special case, we are interested in systems whose invariant measure is the Ising model on A^S, where A = {-1, 1} is the space of spins and S = Z^d is the space of sites. We present two original results that are byproducts of the application of Perfect Simulation and Coupling algorithms in the context of the construction of these spin systems and their respective invariant measures.

O filtro de Kalman é amplamente conhecido e utilizado em aplicações, em virtude de apresentar diversas propriedades interessantes. Este trabalho aborda uma das características mais importantes, a estabilidade do filtro de Kalman aplicado a sistemas lineares discretos com saltos Markovianos. Sistemas desta classe são muito empregados em problemas práticos. Neste trabalho mostramos que o conceito de controlabilidade fraca e detetabilidade estocástica são condições suficientes para estabilidade do filtro de Kalman com relação a condição inicial. No que se refere a estabilidade no sentido mais usual, apresentamos resultados parciais, dependentes de uma condição adicional sobre a cadeia de Markov, bem como uma conjectura. O estudo da estabilidade do filtro de Kalman é relevante, pois filtros instáveis oferecem estimativas de baixa qualidade. O tema tem interesse teórico inerente e é bastante relevante para aplicações.O filtro de Kalman é amplamente conhecido e utilizado em aplicações, em virtude de apresentar diversas propriedades interessantes. Este trabalho aborda uma das características mais importantes, a estabilidade do filtro de Kalman aplicado a sistemas lineares discretos com saltos Markovianos. Sistemas desta classe são muito empregados em problemas práticos. Neste trabalho mostramos que o conceito de controlabilidade fraca e detetabilidade estocástica são condições suficientes para estabilidade do filtro de Kalman com relação a condição inicial. No que se refere a estabilidade no sentido mais usual, apresentamos resultados parciais, dependentes de uma condição adicional sobre a cadeia de Markov, bem como uma conjectura. O estudo da estabilidade do filtro de Kalman é relevante, pois filtros instáveis oferecem estimativas de baixa qualidade. O tema tem interesse teórico inerente e é bastante relevante para aplicações / Kalman filters present several interesting features that make them relevant for many applications. In this work we study one of the main issues in Kalman filtering - stability. We deal with Kalman filters for Markov jump linear systems, a class of systems with applications in many different areas. We consider the concepts of weak controllability and stochastic detectability and we show that they ensure stability of the Kalman filter with respect to the initial condition. As for the stability, we present some results relying in a conjecture and an additional condition on the Markov chain. The study of the stability of the Kalman filter is important, since unstable filters may lead to poor estimates. The stability issue has inherent theoretical interest and is relevant for applications

Esse trabalho contempla o estudo sobre o estimador de mínimos quadrados obtido para sistemas lineares discretos sujeitos a ruídos aditivos e a ruídos multiplicativos em seus parâmetros. Supõe-se, adicionalmente, que os parâmetros do sistema estão sujeitos a saltos Markovianos, e que a cadeia de Markov não é conhecida. A solução do problema, sob essas hipóteses, é uma inovação apresentada nesse trabalho. Sob as mesmas hipóteses, o caso estacionário também foi contemplado, e o trabalho apresenta uma demonstração para a convergência da matriz de covariância dos erros do estimador a um valor estacionário, supondo-se estabilidade do sistema e ergodicidade da cadeia de Markov associada. Mostra-se, também, que existe uma única solução positiva semi-definida para a equação de Riccati estacionária e, ainda mais, que tal solução é o limite da matriz de covariância dos erros. A partir da introdução de uma hipótese adicional - de que os parâmetros do sistema estão sujeitos a incertezas na forma de politopos convexos - constrói-se um filtro linear dinâmico em que as iterações possuem estabilidade na média quadrática e que minimiza o limitante superior para o valor esperado do erro quadrático. Uma formulação do tipo LMI (Linear Matrix Inequalities) é proposta para a solução do problema. / This thesis deals with the linear filtering problem for discrete-time Markov jump linear systems with both additive and multiplicative noises. It is assumed that the values of the Markov chain are not available. This is the first time that a solution to the problem with these parameters is presented. By using some usual geometric arguments it is obtained a Kalman type filter conveniently implementable in a recurrence form. The stationary case is also studied and a proof for the convergence of the associated Lyapunov and Riccati like equations is presented. By adding an additional hypotesis - that the parameters of the systems are subject to convex polytopic uncertainties - it was designed a dynamic linear filter such that the closed loop system is mean square stable and minimizes an upper bound for the stationary expected value of the square error. A Linear Matrix Inequalities (LMI) formulation is proposed to solve the problem.

Nesta tese consideramos uma nova classe de sistemas markovianos de partículas com infinitas componentes interagentes. O sistema representa a evolução temporal dos potenciais de membrana de um conjunto infinito de neurônios interagentes. Provamos a existência e unicidade do processo construindo um pseudo-algoritmo de simulação perfeita e mostrando que este algoritmo roda em um número finito de passos quase certamente. Estudamos também o comportamento do sistema quando consideramos apenas um conjunto finito de neurônios. Neste caso, construímos um procedimento de simulação perfeita para o acoplamento entre o processo limitado a um conjunto finito de neurônios e o processo que considera todos os neurônios do sistema. Como consequência encontramos um limitante superior para a probabilidade de discrepância entre os processos. / We consider a new class of interacting particle systems with a countable number of interacting components. The system represents the time evolution of the membrane potentials of an infinite set of interacting neurons. We prove the existence and uniqueness of the process, by the construction of a perfect simulation procedure. We show that this algorithm is successful, that is, we show that the number of steps of the algorithm is finite almost surely. We also study the behaviour of the system when we consider only a finite number of neurons. In this case, we construct a perfect simulation procedure for the coupling of the process with a finite number of neurons and the process with a infinite number of neurons. As a consequence we obtain an upper bound for the error we make when sampling from a finite set of neurons instead of the infinite set of neurons.

O filtro de Kalman é amplamente conhecido e utilizado em aplicações, em virtude de apresentar diversas propriedades interessantes. Este trabalho aborda uma das características mais importantes, a estabilidade do filtro de Kalman aplicado a sistemas lineares discretos com saltos Markovianos. Sistemas desta classe são muito empregados em problemas práticos. Neste trabalho mostramos que o conceito de controlabilidade fraca e detetabilidade estocástica são condições suficientes para estabilidade do filtro de Kalman com relação a condição inicial. No que se refere a estabilidade no sentido mais usual, apresentamos resultados parciais, dependentes de uma condição adicional sobre a cadeia de Markov, bem como uma conjectura. O estudo da estabilidade do filtro de Kalman é relevante, pois filtros instáveis oferecem estimativas de baixa qualidade. O tema tem interesse teórico inerente e é bastante relevante para aplicações.O filtro de Kalman é amplamente conhecido e utilizado em aplicações, em virtude de apresentar diversas propriedades interessantes. Este trabalho aborda uma das características mais importantes, a estabilidade do filtro de Kalman aplicado a sistemas lineares discretos com saltos Markovianos. Sistemas desta classe são muito empregados em problemas práticos. Neste trabalho mostramos que o conceito de controlabilidade fraca e detetabilidade estocástica são condições suficientes para estabilidade do filtro de Kalman com relação a condição inicial. No que se refere a estabilidade no sentido mais usual, apresentamos resultados parciais, dependentes de uma condição adicional sobre a cadeia de Markov, bem como uma conjectura. O estudo da estabilidade do filtro de Kalman é relevante, pois filtros instáveis oferecem estimativas de baixa qualidade. O tema tem interesse teórico inerente e é bastante relevante para aplicações / Kalman filters present several interesting features that make them relevant for many applications. In this work we study one of the main issues in Kalman filtering - stability. We deal with Kalman filters for Markov jump linear systems, a class of systems with applications in many different areas. We consider the concepts of weak controllability and stochastic detectability and we show that they ensure stability of the Kalman filter with respect to the initial condition. As for the stability, we present some results relying in a conjecture and an additional condition on the Markov chain. The study of the stability of the Kalman filter is important, since unstable filters may lead to poor estimates. The stability issue has inherent theoretical interest and is relevant for applications

Orientador: Cristian Favio Coletti. / Dissertação (mestrado) - Universidade Federal do ABC. Programa de Pós-Graduação em Matemática, 2012.

Made available in DSpace on 2014-06-12T17:41:39Z (GMT). No. of bitstreams: 2 arquivo7326_1.pdf: 1202400 bytes, checksum: a85b1fc731f434bf7654d913dbfa3b5a (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2006 / Petróleo Brasileiro S/A / Neste trabalho, é proposta uma metodologia de modelagem de indicadores de desempenho de Confiabilidade ((In)Disponibilidade, Confiabilidade, Manutenibilidade) de sistemas complexos baseada na integração entre processos semi Markovianos (PSMs) e Redes Bayesianas (RBs). Basicamente, um PSM pode ser entendido como um processo estocástico no qual as probabilidades de transição dependem do intervalo de tempo decorrido desde o qual um sistema possui determinadas características. Já as Redes Bayesianas são estruturas probabilísticas que representam qualitativa e quantitativamente relações de causa e efeito entre determinadas variáveis aleatórias de interesse. A integração entre os PSMs e as RBs origina um modelo estocástico híbrido o qual é capaz de representar a dinamicidade de um sistema ao mesmo tempo em que trata como as relações de causa e efeito entre fatores não necessariamente temporais influenciam tal evolução. Para desenvolver tal modelo híbrido, faz-se necessário propor e formular o método numérico computacional de resolução das equações de probabilidades de transição dos PSMs definidos através de taxas de transição as quais são equações integrais do tipo convolução. Tal método é baseado na aplicação de transformadas de Laplace as quais serão invertidas utilizando o método de Quadratura Gaussiana conhecido como Gauss Legendre. Aplicações do modelo híbrido proposto são realizadas em sistemas tolerantes à falha com o objetivo de avaliar a evolução temporal dos indicadores de desempenho de Confiabilidade

Nosso objeto de estudo são os sistemas de spins com interações de longo alcance; em particular, estamos interessados em sistemas cuja probabilidade invariante é o modelo de Ising em A^S, onde A = {-1, 1} é o espaço de spins e S = Z^d é o espaço de sítios. Apresentamos dois resultados originais que são consequências da aplicação de algoritmos de simulação perfeita e de acoplamento no contexto da construção deste tipo de sistemas e de suas respectivas probabilidades invariantes. / Our object of interest are spin systems with long-range interactions. As a special case, we are interested in systems whose invariant measure is the Ising model on A^S, where A = {-1, 1} is the space of spins and S = Z^d is the space of sites. We present two original results that are byproducts of the application of Perfect Simulation and Coupling algorithms in the context of the construction of these spin systems and their respective invariant measures.