Esta dissertação desenvolve filtro de informação, algoritmos array para estimador do erro médio mínimo quadrático para sistemas lineares sujeitos a saltos Markovianos e algoritmos array rápidos para filtragem de sistemas singulares convencionais. Exemplos numéricos serão apresentados para mostrarem as vantagens dos algoritmos array deduzidos. Parte dos resultados obtidos nesta pesquisa serão publicados no seguinte artigo: Terra et al. (2007). Terra, M. H., Ishihara, J. Y. and Jesus, G. Q. (2007). Information filtering and array algorithms for discrete-time Markovian jump linear systems. Proceedings of the American Control Conference ACC07. / This dissertation develops information filter and array algorithms for linear minimum mean square error estimator (LMMSE) of discrete-time Markovian jump linear systems (MJLSs) and fast array algorithms for filtering of standard singular systems. Numerical examples to show the advantage of the array algorithms are presented. Some results obtained in this research are published in the following paper: Terra et al. (2007). Terra, M. H., Ishihara, J. Y. and Jesus, G. Q. (2007). Information filtering and array algorithms for discrete-time Markovian jump linear systems. Proceedings of the American Control Conference ACC07.

Este projeto de doutorado apresenta uma nova abordagem MAP-MRF para a classificação contextual de imagens multiespectrais utilizando combinação de modelos de Campos Aleatórios Markovianos definidos em sistemas de ordens superiores. A modelagem estatística para o problema de classificação segue o paradigma Bayesiano, com a definição de um modelo Markoviano para os dados observados (Gaussian Markov Random Field multiespectral) e outro modelo para representar o conhecimento a priori (Potts). Nesse cenário, o parâmetro β do modelo de Potts atua como um parâmetro de regularização, tendo papel fundamental no compromisso entre as observações e o conhecimento a priori, de modo que seu correto ajuste é necessário para a obtenção de bons resultados. A introdução de sistemas de vizinhança de ordens superiores requer a definição de novos métodos para a estimação dos parâmetros dos modelos Markovianos. Uma das contribuições desse trabalho é justamente propor novas equações de pseudo-verossimilhança para a estimação desses parâmetros no modelo de Potts em sistemas de segunda e terceira ordens. Apesar da abordagem por máxima pseudo-verossimilhança ser amplamente utilizada e conhecida na literatura de campos aleatórios, pouco se conhece acerca da acurácia dessa estimação. Foram derivadas aproximações para a variância assintótica dos estimadores propostos, caracterizando-os completamente no caso limite, com o intuito de realizar inferências e análises quantitativas sobre os parâmetros dos modelos Markovianos. A partir da definição dos modelos e do conhecimento dos parâmetros, o próximo estágio é a classificação das imagens multiespectrais. A solução para esse problema de inferência Bayesiana é dada pelo critério de estimação MAP, onde a solução ótima é determinada maximizando a probabilidade a posteriori, o que define um problema de otimização. Como não há solução analítica para esse problema no caso de prioris Markovianas, algoritmos iterativos de otimização combinatória foram empregados para aproximar a solução ótima. Nesse trabalho, adotam-se três métodos sub-ótimos: Iterated Conditional Modes, Maximizer of the Posterior Marginals e Game Strategy Approach. Porém, é demonstrado na literatura que tais métodos convergem para máximos locais e não globais, pois são altamente dependentes de sua condição inicial. Isto motivou o desenvolvimento de uma nova abordagem para combinação de classificadores contextuais, que utiliza múltiplas inicializações simultâneas providas por diferentes classificadores estatísticos pontuais. A metodologia proposta define um framework MAP-MRF bastante robusto para solução de problemas inversos, pois permite a utilização e a integração de diferentes condições iniciais em aplicações como classificação, filtragem e restauração de imagens. Como medidas quantitativas de desempenho, são adotados o coeficiente Kappa de Cohen e o coeficiente Tau de Kendall para verificar a concordância entre as saídas dos classificadores e a verdade terrestre (amostras pré-rotuladas). Resultados obtidos mostram que a inclusão de sistemas de vizinhança de ordens superiores é de fato capaz de melhorar significativamente não apenas o desempenho da classificação como também a estimação dos parâmetros dos modelos Markovianos, reduzindo tanto o erro de estimação quanto a variância assintótica. Além disso, a combinação de classificadores contextuais através da utilização de múltiplas inicializações simultâneas melhora significativamente o desempenho da classificação se comparada com a abordagem tradicional com apenas uma inicialização. / This work presents a novel MAP-MRF approach for multispectral image contextual classification by combining higher-order Markov Random Field models. The statistical modeling follows the Bayesian paradigm, with the definition of a multispectral Gaussian Markov Random Field model for the observations and a Potts MRF model to represent the a priori knowledge. In this scenario, the Potts MRF model parameter (β) plays the role of a regularization parameter by controlling the tradeoff between the likelihood and the prior knowledge, in a way that a suitable tunning for this parameter is required for a good performance in contextual classification. The introduction of higher-order MRF models requires the specification of novel parameter estimation methods. One of the contributions of this work is the definition of novel pseudo-likelihood equations for the estimation of these MRF parameters in second and third order neighborhood systems. Despite its widely usage in practical MRF applications, little is known about the accuracy of maximum pseudo-likelihood approach. Approximations for the asymptotic variance of the proposed MPL estimators were derived, completely characterizing their behavior in the limiting case, allowing statistical inference and quantitative analysis. From the statistical modeling and having the model parameters estimated, the next step is the multispectral image classification. The solution for this Bayesian inference problem is given by the MAP criterion, where the optimal solution is obtained by maximizing the a posteriori distribution, defining an optimization problem. As there is no analytical solution for this problem in case of Markovian priors, combinatorial optimization algorithms are required to approximate the optimal solution. In this work, we use three suboptimal methods: Iterated Conditional Modes, Maximizer of the Posterior Marginals and Game Strategy Approach, a variant approach based on non-cooperative game theory. However, it has been shown that these methods converge to local maxima solutions, since they are extremelly dependent on the initial condition. This fact motivated the development of a novel approach for combination of contextual classifiers, by making use of multiple initializations at the same time, where each one of these initial conditions is provided by different pointwise pattern classifiers. The proposed methodology defines a robust MAP-MRF framework for the solution of general inverse problems since it allows the use and integration of several initial conditions in a variety of applications as image classification, denoising and restoration. To evaluate the performance of the classification results, two statistical measures are used to verify the agreement between the classifiers output and the ground truth: Cohens Kappa and Kendalls Tau coefficient. The obtained results show that the use of higher-order neighborhood systems is capable of significantly improve not only the classification performance, but also the MRF parameter estimation by reducing both the estimation error and the asymptotic variance. Additionally, the combination of contextual classifiers through the use of multiple initializations also improves the classificatoin performance, when compared to the traditional single initialization approach.

Neste trabalho estudamos as noções de alcançabilidade e controlabilidade para sistemas lineares a tempo contínuo com perturbações aditivas e saltos nos parâmetros sujeitos a uma cadeia de Markov geral. Definimos conceitos de alcançabilidade e controlabilidade médios de maneira natural exigindo que os valores esperados dos gramianos correspondentes sejam definidos positivos. Visando obter uma condição testável para ambos os conceitos, introduzimos conjuntos de matrizes de alcançabilidade e de controlabilidade para esta classe de sistemas e usamos certas propriedades de invariância para mostrar que: o sistema é alcançável em média, e, analogamente, controlável em média, se e somente se as matrizes respectivas, de alcançabilidade e de controlabilidade, têm posto completo. Usamos alcançabilidade média de sistemas para mostrar que a matriz de segundo momento do estado é definida positiva com uma margem uniforme. Uma consequência deste resultado no problema de estimação linear do estado é que a matriz de covariância do erro de estimação é positiva definida em média, no sentido que existe um nível mínimo de ruído nas estimativas. Na sequência, para estimadores lineares markovianos, estudamos a limitação do valor esperado da matriz de covariância do erro para mostrar que o filtro é estável num certo sentido, sendo esta uma propriedade desejável em aplicações reais. Quanto às aplicações da controlabilidade média, usamos este conceito para estabelecer condições necessárias e suficientes que garantem a existência de um processo de controle que leva a componente contínua do estado do sistema para a origem em tempo finito e com probabilidade positiva. / In this work we study the reachability and controllability notions for continuous-time linear systems with exogenous inputs and jump parameters driven by a quite general Markov chain. We define a rather natural average reachability and controllability concepts by requiring that the associated gramians are average positive definite, respectively. Aiming at testable conditions for each concept, we introduce certain sets of matrices linked with the gramians, and employ some invariance properties to find rank-based conditions. We show for average reachable systems that the state second moment is positive definite. One consequence of this result in the context of linear estimation for reachable systems is that the expectation of the error covariance matrix is positive definite. Moreover, for linear markovian filters we study the average boundedness of the error covariance matrix to show that the filter is stable in an appropriate sense, which consists in a property that is desirable in real applications. Regarding the average controllability concept, we show that it is a necessary and sufficient condition for the feasibility of the following control problem: find a control process that drives the continuous component of the state to zero in finite time with positive probability.

Nessa tese, estudamos o limite hidrodinâmico de um sistema estocástico de neurônios cujas interações são dadas por potenciais de Kac que imitam sinapses elétricas e químicas, e as correntes de vazamento. Esse sistema consiste de $\\ep^$ neurônios imersos em $[0,1)^2$, cada um disparando aleatoriamente de acordo com um processo pontual com taxa que depende tanto do seu potential de membrana como da posição. Quando o neurônio $i$ dispara, seu potential de membrana é resetado para $0$, enquanto que o potencial de membrana do neurônio $j$ é aumentado por um valor positivo $\\ep^2 a(i,j)$, se $i$ influencia $j$. Além disso, entre disparos consecutivos, o sistema segue uma movimento determinístico devido às sinapses elétricas e às correntes de vazamento. As sinapses elétricas estão envolvidas na sincronização do potencial de membrana dos neurônios, enquanto que as correntes de vazamento inibem a atividade de todos os neurônios, atraindo simultaneamente todos os potenciais de membrana para $0$. No principal resultado dessa tese, mostramos que a distribuição empírica dos potenciais de membrana converge, quando o parâmetro $\\ep$ tende à 0 , para uma densidade de probabilidade $ho_t(u,r)$ que satisfaz uma equação diferencial parcial nâo linear do tipo hiperbólica . / We study the hydrodynamic limit of a stochastic system of neurons whose interactions are given by Kac Potentials that mimic chemical and electrical synapses and leak currents. The system consists of $\\ep^$ neurons embedded in $[0,1)^2$, each spiking randomly according to a point process with rate depending on both its membrane potential and position. When neuron $i$ spikes, its membrane potential is reset to $0$ while the membrane potential of $j$ is increased by a positive value $\\ep^2 a(i,j)$, if $i$ influences $j$. Furthermore, between consecutive spikes, the system follows a deterministic motion due both to electrical synapses and leak currents. The electrical synapses are involved in the synchronization of the membrane potentials of the neurons, while the leak currents inhibit the activity of all neurons, attracting simultaneously their membrane potentials to 0. We show that the empirical distribution of the membrane potentials converges, as $\\ep$ vanishes, to a probability density $ho_t(u,r)$ which is proved to obey a nonlinear PDE of Hyperbolic type.

In this thesis we propose to use a penalized maximum conditional likelihood criterion to estimate the graph of a general discrete Markov random field. We prove the almost sure convergence of the estimator of the graph in the case of a finite or countable infinite set of variables. Our method requires minimal assumptions on the probability distribution and contrary to other approaches in the literature, the usual positivity condition is not needed. We present several examples with a finite set of vertices and study the performance of the estimator on simulated data from theses examples. We also introduce an empirical procedure based on k-fold cross validation to select the best value of the constant in the estimators definition and show the application of this method in two real datasets. / Nesta tese propomos um critério de máxima verossimilhança penalizada para estimar o grafo de dependência condicional de um campo aleatório Markoviano discreto. Provamos a convergência quase certa do estimador do grafo no caso de um conjunto finito ou infinito enumerável de variáveis. Nosso método requer condições mínimas na distribuição de probabilidade e contrariamente a outras abordagens da literatura, a condição usual de positividade não é necessária. Introduzimos alguns exemplos com um conjunto finito de vértices e estudamos o desempenho do estimador em dados simulados desses exemplos. Também propomos um procedimento empírico baseado no método de validação cruzada para selecionar o melhor valor da constante na definição do estimador, e mostramos a aplicação deste procedimento em dois conjuntos de dados reais.

Este estudo considera o modelo de controle ótimo estocástico sob um critério de média-variância para sistemas lineares a tempo discreto sujeitos a saltos Markovianos e ruídos multiplicativos sob dois critérios. Inicialmente, consideramos como critério de desempenho a minimização multiperíodo de uma combinação entre a média e a variância da saída do sistema sem restrições. Em seguida, consideramos o critério de minimização multiperíodo da variância da saída do sistema ao longo do tempo com restrições sobre o valor esperado mínimo. Condições necessárias e suficientes explícitas para a existência de um controle ótimo são determinadas generalizando resultados anteriores existentes na literatura. O controle ótimo é escrito como uma realimentação de estado adicionado de um termo constante. Esta solução é obtida através de um conjunto de equações generalizadas a diferenças de Riccati interconectadas com um conjunto de equações lineares recursivas. Como aplicação, apresentamos alguns exemplos numéricos práticos para um problema de seleção de portfólio multiperíodo com mudança de regime, incluindo uma estratégia de ALM (Asset and Liability Management). Neste problema, deseja-se obter a melhor alocação de portfólio de forma a otimizar seu desempenho entre risco e retorno em cada passo de tempo até o nal do horizonte de investimento e sob um dos dois critérios citados acima. / In this work we consider the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noise under two criterions. First, we consider an unconstrained multiperiod mean-variance trade-off performance criterion. In the sequence, we consider a multiperiod minimum variance criterion subject to constraints on the minimum expected output along the time. We present explicit necessary and sufficient conditions for the existence of an optimal control strategy for the problems, generalizing previous results in the literature. The optimal control law is written as a state feedback added with a deterministic sequence. This solution is derived from a set of coupled generalized Riccati difference equations interconnected with a set of coupled linear recursive equations. As an application, we present some practical numerical examples on a multiperiod portfolio selection problem with regime switching, including an Asset and Liability Management strategy. In this problem it is desired to nd the best portfolio allocation in order to optimize its risk-return performance in every time step along the investment horizon, under one of the two criterions stated above.In this work we consider the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noise under two criterions. First, we consider an unconstrained multiperiod mean-variance trade-off performance criterion. In the sequence, we consider a multiperiod minimum variance criterion subject to constraints on the minimum expected output along the time. We present explicit necessary and sufficient conditions for the existence of an optimal control strategy for the problems, generalizing previous results in the literature. The optimal control law is written as a state feedback added with a deterministic sequence. This solution is derived from a set of coupled generalized Riccati difference equations interconnected with a set of coupled linear recursive equations. As an application, we present some practical numerical examples on a multiperiod portfolio selection problem with regime switching, including an Asset and Liability Management strategy. In this problem it is desired to nd the best portfolio allocation in order to optimize its risk-return performance in every time step along the investment horizon, under one of the two criterions stated above.

Neste trabalho estudamos a estabilidade assintótica de Lagrange para duas classes de sistemas, sob as hipóteses de detetabilidade fraca e de limitação do custo medio a longo prazo. Para sistemas lineares com saltos markovianos com rudo aditivo, a equivalência entre estabilidade e as condições mencionadas sera provada. Para sistemas dinâmicos generalizados, provaremos a estabilidade sob uma condição adicional / In this work we study Lagrange asymptotic stability for two classes of systems, under conditions of weak detectability and boundedness of the long run average cost. For Markov jump linear systems with additive noise, the equivalence between stability and the aforementioned conditions is proved. For generalized dynamical systems, we prove stability under an additional condition

Neste trabalho estudamos um controlador denominado rastreador linear quadrático (RLQ) com custo médio de longo prazo (CMLP) para sistemas lineares com saltos markovianos (SLSM). Mostramos que o conceito de detetabilidade uniforme, juntamente com a hipótese de que o regulador linear quadrático associado ao RLQ tenha custo uniformemente limitado, são suficientes para que o controle obtido seja estabilizante em um certo sentido. A partir deste resultado, e considerando as mesmas hipóteses, demonstramos a existência do CMLP. Com isto, estendemos os resultados dispostos na literatura desde que consideramos um sistema variante no tempo e uma estrutura mais geral para a cadeia deMarkov. Além disto, avaliamos a aplicação deste controlador no planejamento da operação de um sistema hidrotérmico. Para isto, utilizamos o sistema de usinas do rio São Francisco, em dois casos de estudo, para comparar o desempenho do controlador estudado em relação à solução ótima para o problema, encontrada com o uso da programação dinâmica estocástica, e em relação à solução obtida via programação dinâmica determinística. Os resultados sugerem que o RLQ pode representar uma alternativa interessante para o problema de planejamento hidrotérmico / In the present work we study the reference tracking controller (RTC) for the long run average cost (LRAC) problem for Markov jump linear systems. We show that uniform detectability and an hypothesis that the linear quadratic regulator associated with the RTC has uniformly bounded cost, together, are sufficient conditions for the obtained control be exponentially stabilizing in a certain sense. This result allows us to demonstrate the existence of the LTAC under the same hypotheses. The results can be regarded as an extension of previous works, since we have considered a more general framework with time-varying systems and quite general Markov chains. As an applicatioin, we consider the operational planning of hydrothermal systems. We have considered some power plants of the Sao Francisco river, in two different scenarios, and we have compared the performances of the RTC and standard controls obtained by deterministic and stochastic dynamic programming, indicating that the RTC may be an interesting alternative for the hydrothermal planning problem

Neste trabalho é apresentada uma abordagem fuzzy para a estabilização de uma classe de sistemas não-lineares com parâmetros descritos por saltos Markovianos. Uma nova modelagem fuzzy de sistemas é formulada para representar esta classe de sistemas na vizinhança de pontos de operação escolhidos. A estrutura deste sistema fuzzy é composta de dois níveis, um para descrição dos saltos Markovianos e outro para descrição das não-linearidades no estado do sistema. Condições suficientes para a estabilização estocástica do sistema fuzzy considerado são derivadas usando uma função de Lyapunov acoplada. O projeto de controle fuzzy é então formulado a partir de um conjunto de desigualdades matriciais lineares. Em adição, um exemplo de aplicação, envolvendo a representação da operação de um sistema elétrico de potência em esquema de co-geração por um sistema com saltos Markovianos, é construído para validação dos resultados. / This work deals with the fuzzy-model-based control design for a class of Markovian jump nonlinear systems. A new fuzzy system modeling is proposed to approximate the dynamics of this class of systems. The structure of the new fuzzy system is composed of two levels, a crisp level which describes the Markovian jumps and a fuzzy level which describes the system nonlinearities. A sufficient condition on the existence of a stochastically stabilizing controller using a Lyapunov function approach is presented. The fuzzy-model-based control design is formulated in terms of a set of linear matrix inequalities. In addition, simulation results for a single-machine infinite-bus power system in cogeneration scheme, whose operation is modeled as an Markovian jump nonlinear system, are presented to illustrate the applicability of the technique.

Neste trabalho é apresentada uma abordagem fuzzy para a estabilização de uma classe de sistemas não-lineares com parâmetros descritos por saltos Markovianos. Uma nova modelagem fuzzy de sistemas é formulada para representar esta classe de sistemas na vizinhança de pontos de operação escolhidos. A estrutura deste sistema fuzzy é composta de dois níveis, um para descrição dos saltos Markovianos e outro para descrição das não-linearidades no estado do sistema. Condições suficientes para a estabilização estocástica do sistema fuzzy considerado são derivadas usando uma função de Lyapunov acoplada. O projeto de controle fuzzy é então formulado a partir de um conjunto de desigualdades matriciais lineares. Em adição, um exemplo de aplicação, envolvendo a representação da operação de um sistema elétrico de potência em esquema de co-geração por um sistema com saltos Markovianos, é construído para validação dos resultados. / This work deals with the fuzzy-model-based control design for a class of Markovian jump nonlinear systems. A new fuzzy system modeling is proposed to approximate the dynamics of this class of systems. The structure of the new fuzzy system is composed of two levels, a crisp level which describes the Markovian jumps and a fuzzy level which describes the system nonlinearities. A sufficient condition on the existence of a stochastically stabilizing controller using a Lyapunov function approach is presented. The fuzzy-model-based control design is formulated in terms of a set of linear matrix inequalities. In addition, simulation results for a single-machine infinite-bus power system in cogeneration scheme, whose operation is modeled as an Markovian jump nonlinear system, are presented to illustrate the applicability of the technique.