En aquesta tesi, presentem una solució per a dos problemes rellevants en la teoria de control: el problema del cost quadràtic garantit i el problema del control H∞, per a un cert tipus de sistemes. Considerem els sistemes interconnectats lineals amb incerteses, sota la presència de fallades en els actuadors, i dissenyem controls descentralitzats que a més a més d'assegurar estabilitat, resolen aquests dos problemes. Treballem amb tres models diferents d'incerteses: incerteses normades o acotades, incerteses definides sobre un politop i incerteses que segueixen el model multiconvex. El model de fiabilitat emprat permet plantejar-se tant una fallada total en l'actuador com una fallada parcial. Els dos problemes tractats són:· Problema del control RGC. Sintetitzar el control fiable sota fallada en els actuadors, que assegura estabilitat i garanteix un cert nivell de rendiment o de cost, calculant una cota mínima per a la funció de cost.· Problema del control robust. Dissenyar el control que assegura estabilitat interna sota pertorbacions en el sistema, obtenint una cota per a la relació entre la pertorbació i la sortida controlable. Es considera la norma H∞ del sistema, que representa l'increment màxim en energia, entre l'entrada i la sortida del sistema..A l'hora de dissenyar ambdos controls, utilitzem les tècniques donades per les inequacions lineals matricials (LMI), que permeten una fàcil implementació numèrica. Així doncs, a part de tractar els problemes de la llei RGC i del control robust, hem determinat una relació general entre inequacions matricials lineals i no lineals, que permet obtenir caracteritzacions LMI per a un gran ventall de problemes de teoria de control. Les LMI que hem obtingut separen les dades del problema i les variables de disseny, permetent una resolució menys restrictiva. En particular, faciliten l'ús de funcions de Lyapunov paramètriques que asseguren l'estabilitat del sistema quan una funció no paramètrica no arriba a fer-ho. La formulació per mitjà de les tècniques LMI ens ha permès obtenir implementacions numèriques efectives, així com relaxacions en les condicions d'estabilitat. En el cas del problema del control RGC, trobem que quan es consideren fallades en el sistema, el model d'incerteses es veu reduït en certa manera, perdent també llibertat en la definició de la funció de cost. Un cop sintetitzat el control RGC, presentem dues maneres que permeten obtenir una cota òptima del cost garantit, així com treure'n la dependència respecte les condicions inicials. Hem dut a terme exemples numèrics que mostren l'eficiència dels mètodes enunciats, tractant els models d'incerteses normat i politòpic. Els resultats s'han obtingut usant el Toolbox LMI Control del programa Matlab.El segon problema que ens plantejem és el del control estàtic realimentat per l'estat, tal que la norma H∞ del sistema es troba acotada. Aquest fet assegura que l'efecte de pertorbacions en el sistema està dins de marges desitjats. A més a més, la síntesi obtinguda és independent del model de incerteses i, en el cas dels models normat i politòpic, hem obtingut una caracterització LMI. També fem un breu estudi del control robust realimentat per la sortida, obtenint una caracterització en termes LMI, en el cas que no se suposin errors en la medició de la sortida. / This thesis presents a design of a reliable decentralized state feedback control for a class of uncertain interconnected systems. We present a solution for two outstanding problems in the control theory: the problem of the guaranteed quadratic cost control and the H∞ problem. We have designed decentralized controls that besides assuring stability, they solve these two problems. We have considered three uncertainty models: born-normed model, polytopic model and multiconvex model. A model of failures in actuators is adopted which considers outages or partial degradation in independent actuators. The two treated problems are: · RGC Control. This problem is related to the decentralized reliable guaranteed cost control problem for interconnected systems. The presented reliable control shows that the admission of control failures imposes some restriction in the control weighting matrices in the performance criterion. Thus the designer can take some trade-off between control performance and admitted reliability.· Robust Control. The control problem considered is to design feedback controller, such that the closed loop structure is stable and has a specified performance. In the standard H problem, stability means internal stability and the performance is taken to be the H norm of the transfer function from the exogenous inputs and the regulators outputs. An estimation of worst-case H norm is required. A key point in the control design has been the formulation of a new linear matrix inequality (LMI) characterization, which uses parameter-dependent Lyapunov functions and slack variables. The obtained LMI separate the unknown variables from the system parameter data, which smoothes the numerical solution. This characterization can be useful for different classes of problems, such as guaranteed cost control, H2 or H∞ control design.We use this type of LMI to proof that the proposed decentralized control scheme guarantees the quadratic stability and a cost bound, for RGC control problem, and a H∞ norm bound for a robust control problem, for a class of failure model which considers outage or partial degradation of any independent specific actuator. We make this for the three uncertainties models. A numerical example has been included to illustrate the proposed decentralized control approach. Computations have been made by using standard Matlab's LMI Control Toolbox.

El propósito de la presente tesis es el estudio de la disipatividad en sistemas no lineales discretos. Dicho trabajo de investigación presenta nuevas contribuciones en la teoría de control no lineal discreto basado en disipatividad y en el estudio de las propiedades de sistemas disipativos no lineales. Los resultados conseguidos se dividen en tres objetivos principales:1. La caracterización de sistemas disipativos múltiple entrada múltiple salida (MIMO) no lineales discretos de estructura general, lo que también se conoce como condiciones de Kalman-Yakubovich-Popov (KYP). Las condiciones de KYP ya existentes se extienden a una clase de sistemas disipativos discretos no lineales MIMO que son no afines en el control. La clase de sistemas disipativos estudiada se denomina disipatividad QSS. También se proporcionan condiciones necesarias y suficientes para la caracterización de sistemas conservativos QSS discretos no afines en el control.2. El problema de disipatividad por realimentación en sistemas no lineales discretos. Se proponen dos formas de abordar dicho problema:2.1. El problema de la disipatividad por realimentación a través de la relación fundamental de la disipatividad. Se da solución al problema de la disipatividad por realimentación para sistemas única entrada única salida (UEUS) discretos no lineales no afines en el control, mediante cuatro metodologías basadas en la igualdad fundamental de la disipatividad. Se proponen condiciones suficientes bajo las cuales la disipatividad por realimentación es posible.2.2. El problema de pasivización mediante las propiedades del grado relativo y la dinámica cero del sistema no pasivo original. El problema de transformarción de un sistema no pasivo a uno que lo es se resuelve mediante realimentación de estado para una clase de sistemas MIMO no lineales discretos afines en el control, usando las propiedades del grado relativo y la dinámica cero del sistema no pasivo original. Se puede considerar como una extensión al caso pasivo de los resultados ya existentes, referentes al problema de transformar un sistema que no es conservativo a uno que lo es mediante realimentación de estado.3. El problema de estabilización basado en disipatividad en sistemas no lineales discretos. El método de Moldeo de Energía e Inyección de Amortiguamiento (MEIA) se extiende a sistemas generales no lineales discretos UEUS, además de analizar algunas de las propiedades de estabilidad de una clase de sistemas disipativos y de sistemas que se pueden transformar a disipativos por realimentación. También, se establecen condiciones suficientes bajo las cuales dichos sistemas son estabilizables.Otros objetivos secundarios han sido alcanzados, como son: el estudio del grado relativo y la dinámica cero de sistemas pasivos no lineales discretos, algunas conclusiones acerca de la conservación de la pasividad bajo la interconexión por retroalimentación negativa y la interconexión paralela, algunas notas acerca de la conservación y pérdida de la disipatividad y pasividad con el muestreo, además, las propiedades en el dominio de la frecuencia de los sistemas disipativos se usan y se relacionan con algunos de los criterios de estabilidad basados en la respuesta en frecuencia más importantes. También, los métodos de control basados en disipatividad diseñados se aplican al problema de regulación de un modelo discreto con interpretación física: un convertidor buck, para el que se mejora la respuesta en lazo abierto.El hecho de haber tratado sistemas discretos generales nos ha permitido dar una serie de resultados para sistemas no lineales continuos no afines en el control. Dos problemas se han propuesto, principalmente: el estudio de la disipatividad por realimentación para sistemas no lineales no afines UEUS y el uso de los resultados de disipatividad por realimentación, con el fin de extender al caso no lineal no afín UEUS el método de estabilización de MEIA. / This dissertation is devoted to dissipativity-related concepts in the nonlinear discrete-time setting, and presents several new contributions which are not covered by the existing nonlinear discrete-time dissipativity-based control theory and the study of the properties of nonlinear discrete-time dissipative systems.The study of dissipativity given in this dissertation is concentrated in the state-space or internal description representation of systems. The results achieved are classified into three main goals or problems to solve, such as:1. The characterization of dissipative multiple-input multiple-output (MIMO) nonlinear discrete-time systems of general form, what is regarded as Kalman-Yakubovich-Popov (KYP) conditions. The KYP conditions existing in the literature are extended to a class of nonlinear MIMO dissipative discrete-time systems which are non-affine in the control input. The class of dissipativity characterized is regarded as QSS-dissipativity. Necessary and sufficient conditions for the characterization of QSS-lossless discrete-time systems which are non-affine in the control input are also given.2. The feedback dissipativity problem in the nonlinear discrete-time setting. Two approaches are proposed to deal with this topic:2.1. The feedback dissipativity problem through the fundamental dissipativity inequality. The feedback dissipativity problem is solved for single-input single-output (SISO) nonlinear discrete-time non-affine-in-the-control-input systems by means of four methodologies based on the fundamental dissipativity equality. Sufficient conditions under which feedback dissipativity is possible are proposed. 2.2. The feedback passivity problem through the properties of the relative degree and zero dynamics of the non-passive system. The problem of rendering a system passive via state feedback is solved for a class of MIMO nonlinear discrete-time systems which are affine in the control input using the properties of the relative degree and the zero dynamics of the non-passive system. It is an extension to the passivity case of the results reported in the literature for the losslessness feedback problem. 3. The dissipativity-based stabilization problem in nonlinear discrete-time systems. The dissipativity-based controller design methodology of the Energy Shaping and Damping Injection (ESDI) is extended to general nonlinear SISO discrete-time systems, in addition to, the analysis of some stability properties of a class of dissipative and feedback dissipative SISO nonlinear discrete-time systems. Furthermore, sufficient conditions under which a class of feedback dissipative systems is stabilizable are proposed.Other secondary goals in the dissipativity properties exploration in discrete-time systems are achieved, mainly: the study of the relative degree and zero dynamics of passive nonlinear discrete-time systems, some conclusions about passivity preservation under feedback and parallel interconnections, some notes on the non-preservation and preservation of dissipativity, and its special case of passivity, under sampling, in addition, dissipativity frequency-domain properties have been used and related to some of the most important frequency-based feedback stability criteria. Furthermore, the feedback dissipativity and dissipativity-based control results are applied to solve the regulation problem in a discrete-time model with physical interpretation: the DC-to-DC buck converter, whose open-loop response is improved by means of the use of some of the stabilization methods proposed.The fact of treating general discrete-time systems has allowed us to extend some dissipativity-related definitions to the case of continuous-time nonlinear non-affine-in-the-input systems. Two main problems are presented, namely: the study of the feedback dissipativity problem for nonlinear non-affine SISO systems based upon the fundamental dissipativity equality, and the use of the feedback dissipativity results in order to extend the ESDI controller design method to the case of non-affine SISO nonlinear systems.

In the last decades, significant theoretical advances have been made on the field of distributed mulit-agent control theory. One of the most common systems that can be modelled as multi-agent systems are the so called formation control problems, in which a network of mobile agents is controlled to move towards a desired final formation. These problems additionally pose practical challenges, namely limited access to information about the global state of the system, which justify the use distributed and localized approaches for solving the control problem. The problem is further complicated if partial or no information is known about the dynamic model of the system. A widely used fundamental challenge of this approach in this setting is that the state-action space size scales exponentially with the number of agents, rendering the problem intractable for a large networks. This thesis presents a scalable and localized reinforcement learning approach to a traditional multi-agent formation control problem, with collision avoidance. A scalable reinforcement learning advantage actor critic algorithm is presented, based on previous work in the literature. Sub-optimal bounds are calculated for the accumulated reward and policy gradient localized approximations. The algorithm is tested on a two dimensional setting, with a network of mobile agents following simple integrator dynamics and stochastic localized policies. Neural networks are used to approximate the continuous value functions and policies. The formation control with collisions avoidance formulation and the algorithm presented show good scalability properties, with a polynomial increase in the number of function approximations parameters with number of agents. The reduced number of parameters decreases learning time for bigger networks, although the efficiency of computation is decreased compared to state of the art machine learning implementations. The policies obtained achieve probably safe trajectories although the lack of dynamic model makes it impossible to guarantee safety. / Under de senaste decennierna har betydande framsteg gjorts inom området för distribuerad mulit-agent reglerteori. Ett av de vanligaste systemen som kan modelleras som multiagentsystem är de så kallade formationskontrollproblemen, där ett nätverk av mobila agenter styrs för att röra sig mot en önskad slutlig formation. om systemets globala tillstånd, vilket motiverar användningen av distribuerade och lokaliserade tillvägagångssätt för att lösa det reglertekniska problemet. Problemet kompliceras ytterligare om delvis eller ingen information är känd om systemets dynamiska modell. Ett allmänt använt tillvägagångssätt för modellfri kontroll är reinforcement learning (RL). En grundläggande utmaning med detta tillvägagångssätt i den här miljön är att storleken på state-action utrymmet skalas exponentiellt med antalet agenter, vilket gör problemet svårlöst för ett stort nätverk. Detta examensarbete presenterar en skalbar och lokaliserad reinforcement learning metod på ett traditionellt reglertekniskt problem med flera agenter, med kollisionsundvikande. En reinforcement learning advantage actor critic algoritm presenteras, baserad på tidigare arbete i litteraturen. Suboptimala gränser beräknas för den ackumulerade belönings- och policygradientens lokaliserade approximationer. Algoritmen testas i en tvådimensionell miljö, med ett nätverk av mobila agenter som följer enkel integratordynamik och stokastiska lokaliserade policyer. Neurala nätverk används för att approximera de kontinuerliga värdefunktionerna och policyerna. Den presenterade formationsstyrningen med kollisionsundvikande formulering och algoritmen visar goda skalbarhetsegenskaper, med en polynomisk ökning av antalet funktionsapproximationsparametrar med antalet agenter. Det minskade antalet parametrar minskar inlärningstiden för större nätverk, även om effektiviteten i beräkningen minskar jämfört med avancerade maskininlärningsimplementeringar. De erhållna policyerna uppnår troligen säkra banor även om avsaknaden av dynamisk modell gör det omöjligt att garantera säkerheten. / En las últimas décadas, se han realizado importantes avances teóricos en el campo de la teoría del control multiagente distribuido. Uno de los sistemas más comunes que se pueden modelar como sistemas multiagente son los llamados problemas de control de formación, en los que se controla una red de agentes móviles para alcanzar una formación final deseada. Estos problemas plantean desafíos prácticos como el acceso limitado a la información del estado global del sistema, que justifican el uso de algoritmos distribuidos y locales para resolver el problema de control. El problema se complica aún más si solo se conoce información parcial o nada sobre el modelo dinámico del sistema. Un enfoque ampliamente utilizado para el control sin conocimiento del modelo dinámico es el reinforcement learning (RL). Un desafío fundamental de este método en este entorno es que el tamaño de la acción y el estado aumenta exponencialmente con la cantidad de agentes, lo que hace que el problema sea intratable para una red grande. Esta tesis presenta un algoritmo de RL escalable y local para un problema tradicional de control de formación con múltiples agentes, con prevención de colisiones. Se presenta un algoritmo “advantage actor-”critic, basado en trabajos previos en la literatura. Los límites subóptimos se calculan para las aproximaciones locales de la función Q y gradiente de la política. El algoritmo se prueba en un entorno bidimensional, con una red de agentes móviles que siguen una dinámica de integrador simple y políticas estocásticas localizadas. Redes neuronales se utilizan para aproximar las funciones y políticas de valor continuo. La formulación de del problema de formación con prevención de colisiones y el algoritmo presentado muestran buenas propiedades de escalabilidad, con un aumento polinómico en el número de parámetros con el número de agentes. El número reducido de parámetros disminuye el tiempo de aprendizaje para redes más grandes, aunque la eficiencia de la computación disminuye en comparación con las implementaciones de ML de última generación. Las politicas obtenidas alcanzan trayectorias probablemente seguras, aunque la falta de un modelo dinámico hace imposible garantizar la completa prevención de colisiones. / A les darreres dècades, s'han realitzat importants avenços teòrics en el camp de la teoria del control multiagent distribuït. Un dels sistemes més comuns que es poden modelar com a sistemes multiagent són els anomenats problemes de control de formació, en els què es controla una xarxa d'agents mòbils per assolir una formació final desitjada. Aquests problemes plantegen reptes pràctics com l'accés limitat a la informació de l'estat global del sistema, que justifiquen l'ús d'algorismes distribuïts i locals per resoldre el problema de control. El problema es complica encara més si només es coneix informació parcial sobre el model dinàmic del sistema. Un mètode àmpliament utilitzat per al control sense coneixement del model dinàmic és el reinforcement learning (RL). Un repte fonamental d'aquest mètode en aquest entorn és que la mida de l'acció i l'estat augmenta exponencialment amb la quantitat d'agents, cosa que fa que el problema sigui intractable per a una xarxa gran. Aquesta tesi presenta un algorisme de RL escalable i local per a un problema tradicional de control de formació amb múltiples agents, amb prevenció de col·lisions. Es presenta un algorisme “advantage actor-”critic, basat en treballs previs a la literatura. Els límits subòptims es calculen per a les aproximacions locals de la funció Q i gradient de la política.’ Lalgoritme es prova en un entorn bidimensional, amb una xarxa ’dagents mòbils que segueixen una dinàmica ’dintegrador simple i polítiques estocàstiques localitzades. Xarxes neuronals s'utilitzen per aproximar les funcions i les polítiques de valor continu. La formulació del problema de formació amb prevenció de col·lisions i l'algorisme presentat mostren bones propietats d'escalabilitat, amb un augment polinòmic en el nombre de paràmetres amb el nombre d'agents. El nombre reduït de paràmetres disminueix el temps d'aprenentatge per a les xarxes més grans, encara que l'eficiència de la computació disminueix en comparació amb les implementacions de ML d'última generació. Les polítiques obtingudes aconsegueixen trajectòries probablement segures, tot i que la manca d'un model dinàmic fa impossible garantir la prevenció completa de col·lisions.