Nesta tese de doutorado são apresentados sistemas globais de estimativa baseados em modelos Markovianos aplicados na área de reabilitação robótica. Os sistemas propostos foram desenvolvidos para estimar as posições angulares dos elos de exoesqueletos para membros inferiores, desenvolvidos para reabilitação motora em pacientes que sofreram Acidente Vascular Cerebral (AVC) ou lesão medular. Filtros baseados no filtro de Kalman, um nominal e outro considerando incertezas no modelo, foram utilizados em estratégias de fusão de dados de sensores provenientes de sensores inerciais, possibilitando estimativas de posicionamentos angulares. Algoritmos genéticos são utilizados na otimização dos filtros, ajustando as matrizes de peso destes. Em oposição as modelagens tradicionais, via estimativa local, utilizando somente uma unidade inercial para cada modelo, propõe-se um sistema global de estimativa, obtendo-se a melhor informação de cada sensor combinando-os em um modelo Markoviano. Resultados experimentais com um exoesqueleto foram utilizados para comparar a abordagem Markoviana às convencionais. / In this thesis are presented global estimation systems based on Markov models applied in robotic rehabilitation area. The proposed systems have been developed to estimate the angular positions of the exoskeletons for lower limbs, designed to provide motor rehabilitation of stroke and spinal cord injured people. Filters based on the Kalman filter, one nominal and other considering uncertainties in the model, were used in sensor data fusion strategies from inertial sensors, to estimate angular positions. Genetic algorithms are used to the optimization of filters, tuning the weighting matrices. In opposition to these modelling via local estimation, using only one inertial unit, we also chose a global modelling getting the best information from each sensor, combining them in a Markov model. Experimental results with an exoskeleton were used to compare the Markovian approach to conventional.

Este estudo considera o modelo de controle ótimo estocástico sob um critério de média-variância para sistemas lineares a tempo discreto sujeitos a saltos Markovianos e ruídos multiplicativos sob dois critérios. Inicialmente, consideramos como critério de desempenho a minimização multiperíodo de uma combinação entre a média e a variância da saída do sistema sem restrições. Em seguida, consideramos o critério de minimização multiperíodo da variância da saída do sistema ao longo do tempo com restrições sobre o valor esperado mínimo. Condições necessárias e suficientes explícitas para a existência de um controle ótimo são determinadas generalizando resultados anteriores existentes na literatura. O controle ótimo é escrito como uma realimentação de estado adicionado de um termo constante. Esta solução é obtida através de um conjunto de equações generalizadas a diferenças de Riccati interconectadas com um conjunto de equações lineares recursivas. Como aplicação, apresentamos alguns exemplos numéricos práticos para um problema de seleção de portfólio multiperíodo com mudança de regime, incluindo uma estratégia de ALM (Asset and Liability Management). Neste problema, deseja-se obter a melhor alocação de portfólio de forma a otimizar seu desempenho entre risco e retorno em cada passo de tempo até o nal do horizonte de investimento e sob um dos dois critérios citados acima. / In this work we consider the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noise under two criterions. First, we consider an unconstrained multiperiod mean-variance trade-off performance criterion. In the sequence, we consider a multiperiod minimum variance criterion subject to constraints on the minimum expected output along the time. We present explicit necessary and sufficient conditions for the existence of an optimal control strategy for the problems, generalizing previous results in the literature. The optimal control law is written as a state feedback added with a deterministic sequence. This solution is derived from a set of coupled generalized Riccati difference equations interconnected with a set of coupled linear recursive equations. As an application, we present some practical numerical examples on a multiperiod portfolio selection problem with regime switching, including an Asset and Liability Management strategy. In this problem it is desired to nd the best portfolio allocation in order to optimize its risk-return performance in every time step along the investment horizon, under one of the two criterions stated above.In this work we consider the stochastic optimal control problem of discrete-time linear systems subject to Markov jumps and multiplicative noise under two criterions. First, we consider an unconstrained multiperiod mean-variance trade-off performance criterion. In the sequence, we consider a multiperiod minimum variance criterion subject to constraints on the minimum expected output along the time. We present explicit necessary and sufficient conditions for the existence of an optimal control strategy for the problems, generalizing previous results in the literature. The optimal control law is written as a state feedback added with a deterministic sequence. This solution is derived from a set of coupled generalized Riccati difference equations interconnected with a set of coupled linear recursive equations. As an application, we present some practical numerical examples on a multiperiod portfolio selection problem with regime switching, including an Asset and Liability Management strategy. In this problem it is desired to nd the best portfolio allocation in order to optimize its risk-return performance in every time step along the investment horizon, under one of the two criterions stated above.

Neste trabalho estudamos a estabilidade assintótica de Lagrange para duas classes de sistemas, sob as hipóteses de detetabilidade fraca e de limitação do custo medio a longo prazo. Para sistemas lineares com saltos markovianos com rudo aditivo, a equivalência entre estabilidade e as condições mencionadas sera provada. Para sistemas dinâmicos generalizados, provaremos a estabilidade sob uma condição adicional / In this work we study Lagrange asymptotic stability for two classes of systems, under conditions of weak detectability and boundedness of the long run average cost. For Markov jump linear systems with additive noise, the equivalence between stability and the aforementioned conditions is proved. For generalized dynamical systems, we prove stability under an additional condition

Esta tese trata das propriedades estruturais e do controle de sistemas lineares singulares sujeitos a saltos Markovianos (SLSSM). Três questões fundamentais são consideradas para esta classe de sistemas. A primeira estabelece condições necessárias para que o sistema seja estocasticamente regular em um período de tempo determinado. A segunda trata da estabilidade exponencial estocástica de SLSSM. Equações de Lyapunov acopladas generalizadas são deduzidas para caracterizar estabilidade deste tipo de sistema. Em virtude da complexidade das soluções numéricas dessas equações, cada equação de Lyapunov do conjunto acoplado está em função de duas variáveis desconhecidas, estamos propondo um algoritmo para resolver este problema. A terceira questão diz respeito à síntese de um regulador para este tipo de sistema singular definida em termos de equações algébricas generalizadas de Riccati acopladas. / This thesis deals with the structural features and with the control of singular linear systems with Markovian jump parameters (SLSMJP). Three fundamental questions are considered to this class of systems. The first provides necessary conditions to characterize stochastic regularity in a determined period of time. The second deals with exponential stability of SLSMJP. Coupled generalized Lyapunov Equations are deduced to check the stability of this class of systems. In virtue of the complexity of the numerical solutions of these equations, there exist two unknown variables for each equation of the set of coupled Lyapunov equations, we are proposing an algorithm to solve this problem. The third question is related with the synthesis of a regulator for this class of singular systems defined in terms of coupled algebraic generalized Riccati equations.

Esta tese aborda o problema de regulação para sistemas lineares sujeitos a saltos Markovianos de tempo discreto com matrizes de transição incertas. Considera-se que as incertezas são limitadas em norma e os estados da cadeia de Markov podem não ser completamente observados pelo controlador. No cenário com observação completa dos estados, a solução é deduzida com base em um funcional quadrático dado em termos das probabilidades de transição incertas. Enquanto que no cenário sem observação, a solução é obtida por meio da reformulação do sistema Markoviano como um sistema determinístico, independente da cadeia de Markov. Três modelos são propostos para essa reformulação: um modelo é baseado no primeiro momento do sistema Markoviano, o segundo é obtido a partir da medida de Dirac e resulta em um sistema aumentado, e o terceiro fornece um sistema aumentado singular. Os reguladores recursivos robustos são projetados a partir de critérios de custo quadrático, dados em termos de problemas de otimização restritos. A solução é derivada da técnica de mínimos quadrados regularizados robustos e apresentada em uma estrutura matricial. A recursividade é estabelecida por equações de Riccati, que se assemelham às soluções dos reguladores clássicos, para essa classe de sistemas, quando não estão sujeitos a incertezas. / This thesis deals with regulation problem for discrete-time Markovian jump linear systems with uncertain transition matrix. The uncertainties are assumed to be normbounded type. The states of the Markov chain can not be completely observed by the controller. In the scenario with complete observation of the states, the solution is deduced based on a quadratic functional given in terms of uncertain transition probabilities. While in the scenario without observation, the solution is obtained from reformulation of the Markovian system as a deterministic system, independent of the Markov chain. Three models are proposed for the reformulation process: a model is based on the first moment of the Markovian system, the second is obtained from Dirac measure which results in an augmented system, and the third provides a singular augmented system. Recursive robust regulators are designed from quadratic cost criteria given in terms of constrained optimization problems. The solution is derived from the robust regularized least-square approach, whose framework is given in terms of a matrix structure. The recursiveness is established by Riccati equations which resemble the solutions of standard regulators for this class of systems, when they are not subject to uncertainties.

Este trabalho é dedicado ao estudo do erro de estimação em filtragem linear para sistemas lineares com parâmentros sujeitos a saltos markovianos a tempo discreto. Indroduzimos o conceito de alcançabilidade média para uma classe de sistemas. Construímos um conjunto de matrizes de alcançabilidade e mostramos que o conceito usual de alcan- çabilidade definido através da positividade do gramiano é caracterizado pela definição por posto completo destas matrizes. A alcançabilidade média funciona como condição necessária e suficiente para positividade do segundo momento do estado do sistema, resultado esse que auxilia na caracterização da positividade uniforme da matriz de covariância do erro de estimação. Abordamos a estabilidade de estimadores com a interpretação de que a covariância do erro permanece limitada na presença de erro de qualquer magnitude no modelo do ruído, que é uma característica relevante para aplicações. Apresentamos uma prova de que filtros markovianos são estáveis sempre que o segundo momento condicionado é positivo. Exemplos numéricos encontram-se inclusos. / This work studies linear filtering for discrete-time systems with Markov jump parameters. We introduce a notion of average reachability for these systems and present a set of matrices playing the role of reachability matrices, in the sense that their rank is full if and only if the system is average reachable. Reachability is also a sufficient condition for the second moment of the system to be positive. Uniform positiveness of the error covariance matrix is studied for general (possibly non-markovian) linear estimators, relying on the state second moment positiveness. Satbility of linear markovian estimators is also addressed, allowing to show that markovian estimators are stable whenever the system is reachable, with the interpretation that the error covariance remains bounded in the presence of error of any magnitude in the model of the noise, which is a relevant feature for applications. Numerical examples are included.

Neste trabalho estudamos as noções de alcançabilidade e controlabilidade para sistemas lineares a tempo contínuo com perturbações aditivas e saltos nos parâmetros sujeitos a uma cadeia de Markov geral. Definimos conceitos de alcançabilidade e controlabilidade médios de maneira natural exigindo que os valores esperados dos gramianos correspondentes sejam definidos positivos. Visando obter uma condição testável para ambos os conceitos, introduzimos conjuntos de matrizes de alcançabilidade e de controlabilidade para esta classe de sistemas e usamos certas propriedades de invariância para mostrar que: o sistema é alcançável em média, e, analogamente, controlável em média, se e somente se as matrizes respectivas, de alcançabilidade e de controlabilidade, têm posto completo. Usamos alcançabilidade média de sistemas para mostrar que a matriz de segundo momento do estado é definida positiva com uma margem uniforme. Uma consequência deste resultado no problema de estimação linear do estado é que a matriz de covariância do erro de estimação é positiva definida em média, no sentido que existe um nível mínimo de ruído nas estimativas. Na sequência, para estimadores lineares markovianos, estudamos a limitação do valor esperado da matriz de covariância do erro para mostrar que o filtro é estável num certo sentido, sendo esta uma propriedade desejável em aplicações reais. Quanto às aplicações da controlabilidade média, usamos este conceito para estabelecer condições necessárias e suficientes que garantem a existência de um processo de controle que leva a componente contínua do estado do sistema para a origem em tempo finito e com probabilidade positiva. / In this work we study the reachability and controllability notions for continuous-time linear systems with exogenous inputs and jump parameters driven by a quite general Markov chain. We define a rather natural average reachability and controllability concepts by requiring that the associated gramians are average positive definite, respectively. Aiming at testable conditions for each concept, we introduce certain sets of matrices linked with the gramians, and employ some invariance properties to find rank-based conditions. We show for average reachable systems that the state second moment is positive definite. One consequence of this result in the context of linear estimation for reachable systems is that the expectation of the error covariance matrix is positive definite. Moreover, for linear markovian filters we study the average boundedness of the error covariance matrix to show that the filter is stable in an appropriate sense, which consists in a property that is desirable in real applications. Regarding the average controllability concept, we show that it is a necessary and sufficient condition for the feasibility of the following control problem: find a control process that drives the continuous component of the state to zero in finite time with positive probability.

Nesta tese de doutorado são apresentados sistemas globais de estimativa baseados em modelos Markovianos aplicados na área de reabilitação robótica. Os sistemas propostos foram desenvolvidos para estimar as posições angulares dos elos de exoesqueletos para membros inferiores, desenvolvidos para reabilitação motora em pacientes que sofreram Acidente Vascular Cerebral (AVC) ou lesão medular. Filtros baseados no filtro de Kalman, um nominal e outro considerando incertezas no modelo, foram utilizados em estratégias de fusão de dados de sensores provenientes de sensores inerciais, possibilitando estimativas de posicionamentos angulares. Algoritmos genéticos são utilizados na otimização dos filtros, ajustando as matrizes de peso destes. Em oposição as modelagens tradicionais, via estimativa local, utilizando somente uma unidade inercial para cada modelo, propõe-se um sistema global de estimativa, obtendo-se a melhor informação de cada sensor combinando-os em um modelo Markoviano. Resultados experimentais com um exoesqueleto foram utilizados para comparar a abordagem Markoviana às convencionais. / In this thesis are presented global estimation systems based on Markov models applied in robotic rehabilitation area. The proposed systems have been developed to estimate the angular positions of the exoskeletons for lower limbs, designed to provide motor rehabilitation of stroke and spinal cord injured people. Filters based on the Kalman filter, one nominal and other considering uncertainties in the model, were used in sensor data fusion strategies from inertial sensors, to estimate angular positions. Genetic algorithms are used to the optimization of filters, tuning the weighting matrices. In opposition to these modelling via local estimation, using only one inertial unit, we also chose a global modelling getting the best information from each sensor, combining them in a Markov model. Experimental results with an exoskeleton were used to compare the Markovian approach to conventional.

Esta tese aborda o problema de regulação para sistemas lineares sujeitos a saltos Markovianos de tempo discreto com matrizes de transição incertas. Considera-se que as incertezas são limitadas em norma e os estados da cadeia de Markov podem não ser completamente observados pelo controlador. No cenário com observação completa dos estados, a solução é deduzida com base em um funcional quadrático dado em termos das probabilidades de transição incertas. Enquanto que no cenário sem observação, a solução é obtida por meio da reformulação do sistema Markoviano como um sistema determinístico, independente da cadeia de Markov. Três modelos são propostos para essa reformulação: um modelo é baseado no primeiro momento do sistema Markoviano, o segundo é obtido a partir da medida de Dirac e resulta em um sistema aumentado, e o terceiro fornece um sistema aumentado singular. Os reguladores recursivos robustos são projetados a partir de critérios de custo quadrático, dados em termos de problemas de otimização restritos. A solução é derivada da técnica de mínimos quadrados regularizados robustos e apresentada em uma estrutura matricial. A recursividade é estabelecida por equações de Riccati, que se assemelham às soluções dos reguladores clássicos, para essa classe de sistemas, quando não estão sujeitos a incertezas. / This thesis deals with regulation problem for discrete-time Markovian jump linear systems with uncertain transition matrix. The uncertainties are assumed to be normbounded type. The states of the Markov chain can not be completely observed by the controller. In the scenario with complete observation of the states, the solution is deduced based on a quadratic functional given in terms of uncertain transition probabilities. While in the scenario without observation, the solution is obtained from reformulation of the Markovian system as a deterministic system, independent of the Markov chain. Three models are proposed for the reformulation process: a model is based on the first moment of the Markovian system, the second is obtained from Dirac measure which results in an augmented system, and the third provides a singular augmented system. Recursive robust regulators are designed from quadratic cost criteria given in terms of constrained optimization problems. The solution is derived from the robust regularized least-square approach, whose framework is given in terms of a matrix structure. The recursiveness is established by Riccati equations which resemble the solutions of standard regulators for this class of systems, when they are not subject to uncertainties.

Esta tese trata das propriedades estruturais e do controle de sistemas lineares singulares sujeitos a saltos Markovianos (SLSSM). Três questões fundamentais são consideradas para esta classe de sistemas. A primeira estabelece condições necessárias para que o sistema seja estocasticamente regular em um período de tempo determinado. A segunda trata da estabilidade exponencial estocástica de SLSSM. Equações de Lyapunov acopladas generalizadas são deduzidas para caracterizar estabilidade deste tipo de sistema. Em virtude da complexidade das soluções numéricas dessas equações, cada equação de Lyapunov do conjunto acoplado está em função de duas variáveis desconhecidas, estamos propondo um algoritmo para resolver este problema. A terceira questão diz respeito à síntese de um regulador para este tipo de sistema singular definida em termos de equações algébricas generalizadas de Riccati acopladas. / This thesis deals with the structural features and with the control of singular linear systems with Markovian jump parameters (SLSMJP). Three fundamental questions are considered to this class of systems. The first provides necessary conditions to characterize stochastic regularity in a determined period of time. The second deals with exponential stability of SLSMJP. Coupled generalized Lyapunov Equations are deduced to check the stability of this class of systems. In virtue of the complexity of the numerical solutions of these equations, there exist two unknown variables for each equation of the set of coupled Lyapunov equations, we are proposing an algorithm to solve this problem. The third question is related with the synthesis of a regulator for this class of singular systems defined in terms of coupled algebraic generalized Riccati equations.