Made available in DSpace on 2016-08-17T14:53:16Z (GMT). No. of bitstreams: 1 Leandro Rocha Lopes.pdf: 1075564 bytes, checksum: 01e184ed6d7c65323c0dfc1515da19a3 (MD5) Previous issue date: 2011-04-04 / Due to the increasing of technological development and its associated industrial applications, control design methods to attend high performance requests and reinforcement learning are been developed, not only, to solve new problems, as well as, to improve the performance of implemented controllers in the real systems. The reinforcement learning (RL) and discrete linear quadratic regulator (DLQR) approaches are connected by adaptive dynamic programming (ADP). This connection is oriented to the design of optimal controller for multivariable systems (MIMO). The proposed method for DLQR controllers tuning can been heuristic guidance for biased variations in weighting matrices of instantenous reward. The heuristics performance are evaluated in terms of convergence of heuristic dynamic programming (HDP) and action dependent (AD-HDP) algorithms. The algorithms and tuning are evaluated by the capability to map the plane-Z in MIMO dynamic system of third order. / Em decorrência do crescente desenvolvimento tecnológico e das consequentes aplicações industriais, técnicas de controle de alto desempenho e aprendizado por reforço estão sendo desenvolvidas não só para solucionar novos problemas, mas também para melhorar o desempenho de controladores já implementados em sistemas do mundo real. As abordagens do aprendizado por reforço e do regulador linear quadrático discreto (DLQR) são conectadas pelos métodos de programação dinâmica adaptativa. Esta união é orientada para o projeto de controladores ótimos em sistemas multivariáveis (MIMO). O método proposto para sintonia de controladores DLQR fornece diretrizes para construção de heurísticas polarizadas que são aplicadas na seleção das matrizes de ponderação da recompensa instantânea. Investiga-se o desempenho das heurísticas associadas com a sintonia de controladores lineares discretos e aspectos de convergência que estão relacionados com as variações QR nos algoritmos de programação dinâmica heurística (HDP) e Ação Dependente (ADHDP). Os algoritmos e a sintonia são avaliados pela capacidade em estabelecer a política de controle ótimo que mapeia o plano-Z em um sistema dinãmico multivariável de terceira ordem.

Having a accurate model of a system is essential for many applications today, especially those related to advanced process control. When executing a project often a lot of time is spent performing experiments on the real system to estimate a model. By designing higher quality experiments the time needed to estimate and identify these models can be reduced saving both resources and engineering efforts. This masters thesis investigates optimal input design to minimize the time needed to identify a linear time-invariant multivariable system fulfilling certain requirements on the model accuracy. Previous input designs mostly focused on sequential excitation but here the effects of using combined simultaneous and sequential excitation is investigated. The design is performed in simulations and evaluated in closed loop using a model predictive controller to further guarantee that the output constraints are not violated. The results indicate that there are many cases where using combined simultaneous and sequential excitation outperforms the previous methods. The effects of the color of the noise on the input design is investigated and the ability of different designs to estimate system delay is also studied. In addition it is shown how an iterative scheme can be used to guarantee that the accuracy requirements on the estimated model are met. / Att ha en god modell av ett system är viktigt för många applikationer idag, särskilt de som är relaterade till avancerad processtyrning. När man genomför ett projekt läggs ofta mycket tid på att utföra experiment på det verkliga systemet för att identifiera en modell. Genom att utforma experiment av hög kvalitet kan den tid som behövs för att identifiera dessa modeller minskas, vilket minimerar både processpåverkan och ingenjörsinsatsen. Denna masteruppsats undersöker metoder för optimal experimentdesign för att minimera tiden som behövs för att identifiera ett multivariabelt system där det finns krav på modellens noggrannhet. Tidigare metoder fokuserade mest på sekventiella experiment, men här undersöks effekterna av att använda en kombination av samtidiga och sekventiella experiment. Här används simuleringar som utvärderas i sluten loop med hjälp av en modellprediktiv regulator för att undvika att utsignalbegränsningarna inte överskrids. Resultatet indikerar att det finns många fall där användning av kombinerade samtidiga och sekventiella experiment överträffar tidigare metoder. Effekterna av färgat brus på ingångsdesignen undersöks och olika metoders förmåga att uppskatta systemfördröjning studeras också. Dessutom visas hur ett iterativt schema kan användas för att garantera att noggrannhetskraven på den uppskattade modellen uppfylls.

[ES] Esta tesis de doctorado está dedicada al problema de descomposición de señales no estacionarias en componentes modales, entendida como componentes oscilatorias independientes, con amplitud y fase dependientes del tiempo. Para este fin, se propone un enfoque metodológico basado en representaciones en espacio de estados diagonales en bloques. Una contribución teórica primaria de esta tesis consiste en demostrar que la respuesta de un sistema de espacio de estados diagonal en bloques puede ser representada en una forma modal con amplitudes y frecuencias dependientes del tiempo. Subsecuentemente, construyendo sobre este resultado, un marco de trabajo basado en filtros de Kalman se propone para la descomposición modal de señales no estacionarias. Como resultado, una familia de métodos paramétricos para la descomposición modal de señales no estacionarias univariadas y multivariadas basadas en representaciones de espacio de estados diagonales en bloques y filtros de Kalman ha sido postulada. La representación básica está construida en bloques de segundo orden, cada uno de los cuales representa los componentes en fase y en cuadratura de un único componente oscilatorio no estacionario. Así, la respuesta total es construida como la suma ponderada de cada uno de estos modos. La identificación de estos modelos requiere la estimación conjunta de las trayectorias y los parámetros modales dependientes del tiempo, así como los hiperparámetros del modelo, constituidos por la matriz de mezcla de modos, las matrices de covarianza del vector de estados, de parámetros y del ruido de medición, y las condiciones iniciales. Para este propósito, un algoritmo de Expectación-Maximización ha sido adaptado como parte de esta tesis. La metodología obtenida es entonces evaluada en la descomposición y eliminación de ruido de registros electrocardiográficos (ECG), los cuales consisten en componentes no-estacionarias pseudo-periódicas y son susceptibles a diferentes tipos de interferencias. La estructura de estas señales las hace susceptibles a las descomposiciones modales basadas propuestas en esta tesis. A diferencia de otros métodos populares de descomposición de señales, las descomposiciones obtenidas con la metodología propuesta proveen componentes oscilatorios con interpretabilidad física y que proveen resultados consistentes para señales multivariadas, como en el caso de registros de ECG con múltiples derivaciones. Otra estrategia que se desarrolló en este proyecto investigativo lo constituye la aplicación de la transformada delta u operador de Euler al filtro de Kalman, esto condujo a resultados de alta precisión en la extracción de componentes de banda angosta. La metodología propuesta constituye una herramienta confiable para la descomposición modal en línea de señales no estacionarias multicomponentes, con resultados excelentes / [CA] Esta tesi de doctorat està dedicada al problema de descomposició de senyals no-estacionaris en components modals, entesa com a components oscil·latòries independents amb amplitud i fase dependents del temps. Per a este fi, es proposa un enfocament metodològic basat en representacions en espai d'estats diagonals en blocs. Una contribució teòrica primària d'esta tesi consistix a demostrar que la resposta d'un sistema d'espai d'estats diagonal en blocs pot ser representada en una forma modal amb amplituds i freqüències dependents del temps. Subseqüentment, construint sobre este resultat, un marc de treball basat en filtres de Kalman es proposa per a la descomposició modal de senyals no estacionaris. Com a resultat, una família de mètodes paramètrics per a la descomposició modal de senyals no estacionaris univariadas i multivariades basades en representacions d'espai d'estats diagonals en blocs i filtres de Kalman ha sigut postulada. La representació bàsica està construïda en blocs de segon ordre, cadascun dels quals representa els components en fase i en quadratura d'un únic component oscil·latori no estacionari. Així, la resposta total és construïda com la suma ponderada de cadascun d'estos modes. La identificació d'estos models requerix l'estimació conjunta de les trajectòries i els paràmetres modals dependents del temps, així com els hiperparámetros del model, constituïts per la matriu de mescla de modes, les matrius de covariància del vector d'estats, de paràmetres i del soroll de mesurament, i les condicions inicials. Per a este propòsit, un algorisme d'Expectació-Maximització ha sigut adaptat com a part d'esta tesi. La metodologia obtinguda és llavors avaluada en la descomposició i eliminació de soroll de registres electrocardiogràfics (ECG), els quals consistixen en components no-estacionàries pseudo-periòdiques i són susceptibles a diferents tipus d'interferències. L'estructura d'estos senyals les fa susceptibles a les descomposicions modals basades propostes en esta tesi. A diferència d'altres mètodes populars de descomposició de senyals, les descomposicions obtingudes amb la metodologia proposada proveïxen components oscil·latoris amb interpretabilidad física i que proveïxen resultats consistents per a senyals multivariats, com en el cas de registres d'ECG amb múltiples derivacions. Una altra estratègia que es va desenvolupar en este projecte investigativo el constituïx l'aplicació de la transformada delta o operador d'Euler al filtre de Kalman, això va conduir a resultats d'alta precisió en l'extracció de components de banda estreta. La metodologia proposada constituïx una eina de confiança per a la descomposició modal en línia de senyals no estacionaris multicomponents, amb resultats excel·lents. / [EN] This PhD thesis is devoted to the problem of the decomposition of non-stationary signals in modal components, understood as independent oscillatory components with time-dependent amplitude and frequency. To this end, a methodological approach based on diagonal time-dependent state space models is postulated. A primary theoretical contribution of this work is to demonstrate that the response of a system in diagonal time-dependent state space form can be cast in a modal form characterized by time-dependent amplitudes and frequencies. Subsequently, building up on this result, a Kalman filter based framework for non-stationary modal decomposition is proposed. As a result, a family of parametric modal decomposition methods is postulated for univariate and multivariate non-stationary signals based on block-diagonal time-dependent state space representations and Kalman filtering/smoothing. The representation is built upon second order blocks, each representing the in-phase and quadrature components of a single non-stationary oscillatory component. The total response is then constructed as the weighted sum of each of these modes. Accordingly, the model identification involves the joint estimation of the modal trajectories and the time-dependent modal parameters, along with the model hyperparameters, constituted by the mode mixing matrix, the state, parameter and noise covariances, and initial conditions. A tailored Expectation-Maximization algorithm is designed for this purpose as part of this thesis. The obtained methodology is assessed in the decomposition and denoising of electrocardiographic (ECG) signals, which consist of pseudo-periodic non-stationary signals and are susceptible to significant interference. The ECG signal structure makes them amenable to the proposed non-stationary modal decompositions. In contrast to other popular non-stationary signal decomposition methods, the proposed method provides a physically meaningful decomposition of oscillatory components, with consistent results for multivariate signals, such as multi-lead ECG records. Another strategy that was developed in this research project is the application of the delta transform or Euler operator to the Kalman filter, which led to highly precise results in extracting narrowband components. The proposed methodology constitutes a reliable tool for on-line modal decomposition of multi-component non-stationary signals, with results comparable and even better than other state-of-the-art methods. / Avendaño, LE. (2024). Método de descomposición modal no estacionaria basado en representación de espacio de estados con aplicación al análisis de señales ECG [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/211185