El objetivo de esta tesis es estudiar los problemas de gerencia de recursos renovables desde un punto de vista de control, específicamente del problema de sobreexplotación de recursos. La posible solución a este problema es la aplicación de un control denominado política de umbral (PU).

Esta tesis estudia los observadores de estados basados en sistemas de estructura variable con modos deslizantes, como una solución alterna al algoritmo de modelo múltiple interactivo (IMM) basado en filtros Kalman y filtro de partículas, para la estimación robusta de posición, velocidad y aceleración de un blanco aéreo de alta maniobrabilidad, tales como misiles antibuque o aviones de combate, a pesar de la existencia de incertidumbres o perturbaciones del modelo y utilizando mediciones de posición o velocidad con ruido angular. En el capítulo I se efectúa el estudio del estado del arte, se expone la problemática y la solución actual a esta. Posteriormente, en el capítulo II se efectúa un estudio de los distintos modelos dinámicos y de medición de blancos aéreos de alta maniobrabilidad existentes en la literatura, proponiéndose al final del capítulo un modelo lineal incierto del blanco aéreo (misil antibuque) y presentándose una simulación de la trayectoria completa de este. En el capítulo III se expone la teoría de sistemas de estructura variable con modos deslizantes aplicada a observadores de estado, se efectúa el diseño de los observadores más resaltantes y se presentan simulaciones de las estimaciones de la trayectoria del blanco aéreo de alta maniobrabilidad, comparándose al final del capítulo los resultados en base a criterios de desempeño establecidos. Los resultados muestran que en la ausencia de ruido los observadores “clásicos” de Edwards-Spurgeon (ESSMO), Walcott-Zak (WZSMO) y el diferenciador robusto exacto adaptativo (ARED) obtienen los mejores desempeños. Asimismo, para hacer uso de los observadores anteriormente mencionados en un ambiente de ruido angular se propone un nuevo algoritmo de filtrado, denominado diferenciador robusto exacto y uniforme filtrado (UREDF), que combina las características de filtrado estándar del diferenciador de Levant con un filtro de mediana no lineal intra pulso. Cabe resaltar que el desempeño de este algoritmo fue demostrado paralelamente al desarrollo de esta tesis en el manuscrito “Highly Maneuverable Target Tracking Under Glint Noise via Uniform Robust Exact Filtering Differentiator with Intra Pulse Median Filter”, publicado en la revista IEEE “Transactions on Aerospace and Electronic Systems” y escrito por el Dr. Gustavo Pérez y el suscrito. En este manuscrito se concluye que el UREDF muestra un desempeño superior al de otros algoritmos de estimación y filtrado del estado del arte tales como el Extended Kalman Filter (EKF), Unscented Kalman Filter (UKF), Cubature Kalman Filter (CKF), Particle Filter (PF), y el Robust Student-t based Kalman Filter. En el capítulo IV dos soluciones al problema en estudio son brindadas, siendo la primera solución (SMO1) basada en la combinación de la capacidad de filtrado del diferenciador Robusto Exacto y Uniforme filtrado (UREDF) y la robustez para estimación de variables de estado del diferenciador robusto exacto adaptativo (ARED). Por otro lado, la segunda solución (SMO2) involucra la estimación de variables de estado de un radar de traqueo pulse-doppler mediante el filtrado de las mediciones de posición y velocidad por medio de Diferenciadores Robustos Exactos y Uniformes filtrados (UREDF) y la posterior estimación de variables de estado por medio del Observador de modos deslizantes de Walcott-Zak (WZSMO). Asimismo, un diferenciador robusto exacto adaptativo es utilizado para estimar el vector de entrada de control necesario para que funcione el WZSMO. En el capítulo V se efectuaron simulaciones en MATLAB® que comprueban que las soluciones de modos deslizantes propuestas tienen mejor capacidad de filtrado de ruido angular y robustez que el algoritmo de modelo múltiple interactivo (IMM) durante los cambios de rumbo y maniobra terminal. Finalmente, en el capítulo VI se propone la propuesta de implementación en un hardware PXI de National Instruments y en el capítulo VII se brindan conclusiones y trabajo future a realizar. / This thesis studies state observers based on sliding mode variable structure systems, as an alternative solution to the interactive multiple model algorithm (IMM) based on Kalman and Particle Filters, for the robust estimation of position, velocity, and acceleration of a high maneuverability air target, such as anti-ship missiles or combat aircraft, despite model uncertainties or disturbances and using fire control radar’s position or velocity measurements corrupted by glint noise. In chapter I a study of the state of the art is done, exposing the problem and the current solution to it. Subsequently, in chapter II a study is made of the different dynamic and measurement models of high maneuverability air targets existing in the literature, proposing at the end of the chapter an uncertain linear model of the air target (anti-ship missile) and presenting a simulation of the complete trajectory of it. In chapter III the theory of sliding mode variable structure systems applied to state observers is exposed, the design of the most representative observers is carried out, and simulations of the air target’s estimated trajectory are conducted, comparing at the end of the chapter the results of all state observers based on established performance criteria. Results show that in the absence of noise the Edwards-Spurgeon observer (ESSMO) and Walcott-Zak observer (WZSMO) and Adaptive Robust Exact Differentiator obtain the best performances. In addition, in order to use the observers and differentiators mentioned above a new filtering algorithm is proposed, named Uniform Robust Exact filtering differentiator (UREDF), which combines Levant’s standard filtering with a non-linear median intra pulse filter. It is important to state that the performance of this algorithm was demonstrated along with the writing of this thesis in the manuscript “Highly Maneuverable Target Tracking Under Glint Noise via Uniform Robust Exact Filtering Differentiator with Intra Pulse Median Filter”, which has been published in the IEEE journal “Transactions on Aerospace and Electronic Systems” by Dr. Gustavo Pérez and myself. In this manuscript, it is concluded that the UREDF shows a superior performance than other state-of-the-art estimation and filtering algorithms such as the Extended Kalman Filter (EKF), Unscented Kalman Filter (UKF), Cubature Kalman Filter (CKF), Particle Filter (PF), and the Robust Student-t based Kalman Filter. In chapter IV two solutions to the studied problem are proposed, being the first solution (SMO1) based on the combination of the Uniform robust exact filtered differentiator’s (UREDF) filtering capability and the Adaptive Robust Exact Differentiator’s robustness, exactness, and convergence speed capabilities for state variable estimation. On the other hand, the second solution (SMO2) involves state variable estimation of a pulse-doppler tracking radar by filtering both position and doppler velocity measurements with Uniform Robust Exact Filtered Differentiators (UREDF) and estimating state variables with the Walcott-Zak Sliding Mode Observer (WZSMO). Also, an adaptive robust exact differentiator (ARED) is used to provide the estimated input control vector necessary for the WZSMO to work. In chapter V, MATLAB® simulations were conducted, proving that the sliding mode solutions proposed in chapter IV have better glint noise filtering and robustness capabilities that the Interactive Multiple Model (IMM) algorithm during the misil’s course changes and terminal maneuver. Finally, in chapter VI is proposed the implementation solution in a National Instruments’ PXI and in chapter VII conclusions and future work remarks are given.

El tratamiento intrínseco de cuestiones relacionadas con la Teoría de Control no lineal a través de la aplicación de técnicas propias de la geometría diferencial ha sido en los últimos años un tema de interés para muy diversos grupos de investigación. Cuestiones como controlabilidad de sistemas, seguimiento y estabilización de trayectorias, planificación de movimientos, etc, han dado lugar a un gran número de trabajos obtenidos desde puntos de vista muy variados. La línea en la que se desarrolla esta tesis es el estudio de la formulación y las propiedades geométricas de sistemas mecánicos y sistemas no holónomos y las consecuencias que para su control se derivan. Se estudia, en primer lugar, la estabilidad de los sistemas mecánicos disipativos y parcialmente disipativos desde un punto de vista geométrico. Ya que el ambiente geométrico apropiado para llevar a cabo este estudio son las variedades de Riemann, lo primero que se aborda es la generalización de los teoremas de estabilidad y estabilidad asintótica de La Salle de puntos de equilibrio de sistemas dinámicos al caso de variedades de Riemann completas. Posteriormente esta generalización se amplia al caso de subvariedades de puntos de equilibrio. Con las herramientas antes desarrolladas, se trata la estabilidad de los sistemas mecánicos simples no holónomos, es decir, aquellos en los que el espacio de configuración es una variedad de Riemann (Q,g), la Lagrangiana es de tipo mecánico y la subvariedad de ligaduras viene definida por una distribución D < TQ no integrable. Se generalizan también las propiedades de estabilidad al caso de sistemas lagrangianos cualesquiera.Por medio de la aplicación de los resultados obtenidos para la estabilidad, se trata la estabilización por pasividad de los sistemas mecánicos con control. Este tipo de técnicas se diseñan para estabilizar puntos de equilibrio. También se trabaja el caso de sistemas parcialmente disipativos y se usan extensiones dinámicas para estabilizar el sistema en una configuración deseada. Para ello ha sido necesario interpretar geométricamente la noción de extensión dinámica. Se estudia la generalización de estos resultados a los sistemas mecánicos simples no holónomos con control, centrándose en el diseño de controles que permitan estabilizar un sistema en su variedad de puntos de equilibrio utilizando el control por pasividad o en una variedad prefijada mediante extensiones dinámicas. Por otro lado, se analiza la equivalencia entre las ecuaciones de segundo orden que rigen la dinámica de los sistemas mecánicos y las ecuaciones del sistema cinemático asociado, primero en el caso de sistemas no holónomos con control y después en el de sistemas mecánicos con simetrías. En el primer caso si el sistema está completamente actuado se prueba que las curvas solución del sistema mecánico y las del sistema cinemático son las mismas. Si por el contrario es infractuado, hay que imponer una condición sobre las fuerzas exteriores para asegurar la equivalencia débil. En el segundo caso se reduce la dinámica del sistema a la de un sistema no holónomo y se aplican los teoremas de equivalencia del caso anterior.Finalmente, se estudia si mediante la reducción de la formulación de contacto para sistemas lagrangianos dependientes del tiempo que poseen una simetría infinitesimal, se obtiene otro sistema lagrangiano sobre una variedad adecuada. También se trabaja esta situación en el caso de sistemas no holónomos lagrangianos dependientes del tiempo con simetría.

[ES] Los sistemas de ingeniería o físicos suelen ser inciertos. Su incertidumbre se manifiesta cuando el sistema muestra comportamientos que son relativamente diferentes a los que su modelo predice; estando principalmente causada por: errores de modelado; dinámicas desconocidas; cambios en las propiedades del sistema; interacciones aleatorias con otros sistemas; o cambios en las condiciones de operación. Durante los últimos 40 años, se ha demostrado reiteradamente que las incertidumbres de los sistemas pueden tener efectos muy negativos sobre el comportamiento de un controlador si éstas no se consideran adecuadamente sus formulaciones matemáticas. Por esta razón, una parte importante de la investigación actual está centrada en este tema; buscando las formas mas adecuadas para representar matemáticamente las incertidumbres de los sistemas, así como buscando nuevas herramientas matemáticas que permitan hacer uso de ésta representación de la incertidumbre con el objetivo de diseñar algoritmos de control robustos. En esta tesis se presentan nuevas aportaciones en esta línea. Concretamente, se desarrollan nuevas metodologías para diseñar controladores (DOBCs) y predictores (DOBPs) para sistemas dinámicos inciertos basados en observadores de perturbaciones. La principal aportación es demostrar que los DOBCs se pueden sintetizar desde un enfoque de control óptimo; siendo su principal criterio de diseño el de aproximar la -irrealizable- señal de control óptima que minimiza un índice de coste cuadrático sujeto a un modelo dinámico lineal (LTI). Este nuevo enfoque de diseño es indistintamente válido para modelos SISO/MIMO con múltiples o únicas perturbaciones. Además permite un ajuste del controlador muy intuitivo gracias a las matrices de ponderación del coste. De forma similar; los DOBPs se construyen con el objetivo de aproximar la solución temporal un sistema dinámico perturbado. Con el objetivo de contextualizar la aportación, el documento también incluye un breve resumen de los principales métodos de control robusto y el impacto que han tenido en la revolución tecnológica del siglo XXI; algunas discusiones sobre la utilidad de los modelos LTI perturbados para representar sistemas dinámicos inciertos; y algunas relaciones, comparaciones y simulaciones numéricas de los métodos propuestos con otras técnicas de control. / [CA] Els sistemes d'enginyeria o físics solen ser incerts. La seua incertesa es manifesta quan el sistema mostra comportaments que són relativament diferents als que el seu model prediu; sent principalment causada per: errors de modelatge; dinàmiques desconegudes; canvis en les propietats del sistema; interaccions aleatòries amb altres sistemes; o canvis en les condicions d'operació. Durant els últims 40 anys, s'ha demostrat reiteradament que les incerteses dels sistemes poden tindre efectes molt negatius sobre el comportament d'un controlador si aquestes no es consideren adequadament les seues formulacions matemàtiques. Per aquesta raó, una part important de la investigació actual està centrada en aquest tema; buscant les formes mes adequades per a representar matemàticament les incerteses dels sistemes, així com buscant noves tècniques matemàtiques que permeten fer ús d'aquesta representació de la incertesa amb l'objectiu de dissenyar algorismes de control robustos. En aquesta tesi es presenten noves aportacions en aquesta línia. Concretament, es desenvolupen noves metodologies per a dissenyar controladors (DOBCs) i predictors (DOBPs) per a sistemes dinàmics incerts basats en observadors de pertorbacions. La principal aportació és demostrar que els DOBCs es poden sintetitzar des d'un punt de vista de control òptim; sent el seu principal criteri de disseny el d'aproximar la -irrealitzable- senyal de control òptima que minimitza un índex de cost quadràtic restringit a un model dinàmic lineal (LTI). Aquest nou plantejament és indistintament vàlid per a models SISO/MIMO amb múltiples o úniques pertorbacions. A més permet un ajust del controlador molt intuïtiu gràcies a les matrius de ponderació del cost. De manera similar; els DOBPs es construeixen amb l'objectiu d'aproximar la solució temporal un sistema dinàmic pertorbat. Amb l'objectiu de contextualitzar l'aportació, el document també inclou un breu resum dels principals mètodes de control robust i l'impacte que han tingut en la revolució tecnològica del segle XXI; algunes discussions sobre la utilitat dels models LTI pertorbats per a representar sistemes dinàmics incerts; i algunes relacions, comparacions i simulacions numèriques dels mètodes proposats amb altres tècniques de control. / [EN] Engineering or physical systems are used to be uncertain. Its uncertainty is manifested whenever the system shows behaviors that are relatively different than the ones predicted by its model; being mostly caused by: modeling errors; unknown dynamics; changes in the system properties; random interactions with other systems; or changes in the operating conditions. Through the last 40 years, it has been persistently proved that the system uncertainties could have very negative effects in the performance of a feedback regulator if they are not properly considered in the mathematical formulations of the employed algorithms. Thus, an important part of the recent research is focused on this topic; searching for the most appropriate ways to mathematically represent the system uncertainties and looking for new mathematical-tools that permit to make use of such uncertainty-representation in order to design robust control algorithms. In this thesis, new contributions in this line are provided. Concretely, novel methodologies to design Disturbance Observer-Based Controllers (DOBCs) and Predictors (DOBPs) for uncertain dynamic systems are developed. The main contribution is to show that the DOBCs can be constructed from an optimality-based approach, with the main objective of approximating the -unrealizable- optimal control signal that minimizes a quadratic-cost performance index subject to a LTI disturbed model constraint. This novel robust control design is indistinctly valid for SISO/MIMO models with single/multiple matched/mismatched disturbances; offering also a highly intuitive and versatile tuning through the weighting matrices. Similarly, the DOBPs are synthesized in order to approximate the time-domain solution of LTI disturbed models. For the sake of completeness, the document also includes a brief review of the main robust control methods and the impact that they have had on the technological revolution of the 21st century; some discussions about the usefulness of the LTI disturbed models for representing uncertain dynamic systems; and different relationships, comparisons and numerical simulations, of the proposed methods with other control approaches. / Castillo Frasquet, A. (2021). Novel Strategies to design Controllers and State Predictors based on Disturbance Observers [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/165034 / TESIS

In the last decades, significant theoretical advances have been made on the field of distributed mulit-agent control theory. One of the most common systems that can be modelled as multi-agent systems are the so called formation control problems, in which a network of mobile agents is controlled to move towards a desired final formation. These problems additionally pose practical challenges, namely limited access to information about the global state of the system, which justify the use distributed and localized approaches for solving the control problem. The problem is further complicated if partial or no information is known about the dynamic model of the system. A widely used fundamental challenge of this approach in this setting is that the state-action space size scales exponentially with the number of agents, rendering the problem intractable for a large networks. This thesis presents a scalable and localized reinforcement learning approach to a traditional multi-agent formation control problem, with collision avoidance. A scalable reinforcement learning advantage actor critic algorithm is presented, based on previous work in the literature. Sub-optimal bounds are calculated for the accumulated reward and policy gradient localized approximations. The algorithm is tested on a two dimensional setting, with a network of mobile agents following simple integrator dynamics and stochastic localized policies. Neural networks are used to approximate the continuous value functions and policies. The formation control with collisions avoidance formulation and the algorithm presented show good scalability properties, with a polynomial increase in the number of function approximations parameters with number of agents. The reduced number of parameters decreases learning time for bigger networks, although the efficiency of computation is decreased compared to state of the art machine learning implementations. The policies obtained achieve probably safe trajectories although the lack of dynamic model makes it impossible to guarantee safety. / Under de senaste decennierna har betydande framsteg gjorts inom området för distribuerad mulit-agent reglerteori. Ett av de vanligaste systemen som kan modelleras som multiagentsystem är de så kallade formationskontrollproblemen, där ett nätverk av mobila agenter styrs för att röra sig mot en önskad slutlig formation. om systemets globala tillstånd, vilket motiverar användningen av distribuerade och lokaliserade tillvägagångssätt för att lösa det reglertekniska problemet. Problemet kompliceras ytterligare om delvis eller ingen information är känd om systemets dynamiska modell. Ett allmänt använt tillvägagångssätt för modellfri kontroll är reinforcement learning (RL). En grundläggande utmaning med detta tillvägagångssätt i den här miljön är att storleken på state-action utrymmet skalas exponentiellt med antalet agenter, vilket gör problemet svårlöst för ett stort nätverk. Detta examensarbete presenterar en skalbar och lokaliserad reinforcement learning metod på ett traditionellt reglertekniskt problem med flera agenter, med kollisionsundvikande. En reinforcement learning advantage actor critic algoritm presenteras, baserad på tidigare arbete i litteraturen. Suboptimala gränser beräknas för den ackumulerade belönings- och policygradientens lokaliserade approximationer. Algoritmen testas i en tvådimensionell miljö, med ett nätverk av mobila agenter som följer enkel integratordynamik och stokastiska lokaliserade policyer. Neurala nätverk används för att approximera de kontinuerliga värdefunktionerna och policyerna. Den presenterade formationsstyrningen med kollisionsundvikande formulering och algoritmen visar goda skalbarhetsegenskaper, med en polynomisk ökning av antalet funktionsapproximationsparametrar med antalet agenter. Det minskade antalet parametrar minskar inlärningstiden för större nätverk, även om effektiviteten i beräkningen minskar jämfört med avancerade maskininlärningsimplementeringar. De erhållna policyerna uppnår troligen säkra banor även om avsaknaden av dynamisk modell gör det omöjligt att garantera säkerheten. / En las últimas décadas, se han realizado importantes avances teóricos en el campo de la teoría del control multiagente distribuido. Uno de los sistemas más comunes que se pueden modelar como sistemas multiagente son los llamados problemas de control de formación, en los que se controla una red de agentes móviles para alcanzar una formación final deseada. Estos problemas plantean desafíos prácticos como el acceso limitado a la información del estado global del sistema, que justifican el uso de algoritmos distribuidos y locales para resolver el problema de control. El problema se complica aún más si solo se conoce información parcial o nada sobre el modelo dinámico del sistema. Un enfoque ampliamente utilizado para el control sin conocimiento del modelo dinámico es el reinforcement learning (RL). Un desafío fundamental de este método en este entorno es que el tamaño de la acción y el estado aumenta exponencialmente con la cantidad de agentes, lo que hace que el problema sea intratable para una red grande. Esta tesis presenta un algoritmo de RL escalable y local para un problema tradicional de control de formación con múltiples agentes, con prevención de colisiones. Se presenta un algoritmo “advantage actor-”critic, basado en trabajos previos en la literatura. Los límites subóptimos se calculan para las aproximaciones locales de la función Q y gradiente de la política. El algoritmo se prueba en un entorno bidimensional, con una red de agentes móviles que siguen una dinámica de integrador simple y políticas estocásticas localizadas. Redes neuronales se utilizan para aproximar las funciones y políticas de valor continuo. La formulación de del problema de formación con prevención de colisiones y el algoritmo presentado muestran buenas propiedades de escalabilidad, con un aumento polinómico en el número de parámetros con el número de agentes. El número reducido de parámetros disminuye el tiempo de aprendizaje para redes más grandes, aunque la eficiencia de la computación disminuye en comparación con las implementaciones de ML de última generación. Las politicas obtenidas alcanzan trayectorias probablemente seguras, aunque la falta de un modelo dinámico hace imposible garantizar la completa prevención de colisiones. / A les darreres dècades, s'han realitzat importants avenços teòrics en el camp de la teoria del control multiagent distribuït. Un dels sistemes més comuns que es poden modelar com a sistemes multiagent són els anomenats problemes de control de formació, en els què es controla una xarxa d'agents mòbils per assolir una formació final desitjada. Aquests problemes plantegen reptes pràctics com l'accés limitat a la informació de l'estat global del sistema, que justifiquen l'ús d'algorismes distribuïts i locals per resoldre el problema de control. El problema es complica encara més si només es coneix informació parcial sobre el model dinàmic del sistema. Un mètode àmpliament utilitzat per al control sense coneixement del model dinàmic és el reinforcement learning (RL). Un repte fonamental d'aquest mètode en aquest entorn és que la mida de l'acció i l'estat augmenta exponencialment amb la quantitat d'agents, cosa que fa que el problema sigui intractable per a una xarxa gran. Aquesta tesi presenta un algorisme de RL escalable i local per a un problema tradicional de control de formació amb múltiples agents, amb prevenció de col·lisions. Es presenta un algorisme “advantage actor-”critic, basat en treballs previs a la literatura. Els límits subòptims es calculen per a les aproximacions locals de la funció Q i gradient de la política.’ Lalgoritme es prova en un entorn bidimensional, amb una xarxa ’dagents mòbils que segueixen una dinàmica ’dintegrador simple i polítiques estocàstiques localitzades. Xarxes neuronals s'utilitzen per aproximar les funcions i les polítiques de valor continu. La formulació del problema de formació amb prevenció de col·lisions i l'algorisme presentat mostren bones propietats d'escalabilitat, amb un augment polinòmic en el nombre de paràmetres amb el nombre d'agents. El nombre reduït de paràmetres disminueix el temps d'aprenentatge per a les xarxes més grans, encara que l'eficiència de la computació disminueix en comparació amb les implementacions de ML d'última generació. Les polítiques obtingudes aconsegueixen trajectòries probablement segures, tot i que la manca d'un model dinàmic fa impossible garantir la prevenció completa de col·lisions.