Formation control in multi-agent systems represents a groundbreaking intersection of various research fields with lots of emerging applications in various technologies. The realm of space exploration also can benefit significantly from formation control, facilitating a wide range of functions from astronomical observations, and climate monitoring to enhancing telecommunications, and on-orbit servicing and assembly. In this thesis, we present a novel 3D formation control scheme for directed graphs in a leader-follower configuration, achieving (almost) global convergence to the desired shape. Specifically, we introduce three controlled variables representing bispherical coordinates that uniquely describe the formation in 3D. Acyclic triangulated directed graphs (a class of minimally acyclic persistent graphs) are used to model the inter-agent sensing topology, while the agents’ dynamics are governed by the single-integrator model and 2nd order nonlinear version representing spacecraft formation flight. The analysis demonstrates that the proposed decentralized robust formation controller using prescribed performance control ensures (almost) global asymptotic stability while avoiding potential shape ambiguities in the final formation. Furthermore, the control laws are implementable in arbitrarily oriented local coordinate frames of follower agents using only low-cost onboard vision sensors, making them suitable for practical applications. Formation maneuvering and collision avoidance among agents are also addressed which play crucial roles in the safety of space operations. Finally, we validate our formation control approach by simulation studies. / Formationskontroll i system med flera agenter representerar en banbrytande skärningspunkt av olika forskningsområden med massor av nya tillämpningar inom olika teknologier. Rymdutforskningens rike kan också dra stor nytta av formationskontroll, underlättar ett brett utbud av funktioner från astronomiska observationer och klimat övervakning för att förbättra telekommunikation och service och montering i omloppsbana. I denna avhandling presenterar vi ett nytt 3D-formationskontrollschema för riktade grafer i en ledare-följare-konfiguration, vilket uppnår (nästan) global konvergens till önskad form. Specifikt introducerar vi tre kontrollerade variabler som representerar bisfäriska koordinater som unikt beskriver formationen i 3D. Acykliska triangulerade riktade grafer (en klass av minimalt acykliska beständiga grafer) används för att modellera avkänningstopologin mellan agenter, medan agenternas dynamik styrs av singelintegratormodellen och 2:a ordningen olinjär version som representerar rymdfarkostbildningsflygning. Analysen visar att den föreslagna decentraliserade robusta formationskontrollanten använder föreskriven prestanda kontroll säkerställer (nästan) global asymptotisk stabilitet samtidigt som potentiell form undviks oklarheter i den slutliga formationen. Dessutom är kontrolllagarna implementerbara i godtyckligt orienterade lokala koordinatramar för efterföljare som endast använder lågkostnad ombord visionsensorer, vilket gör dem lämpliga för praktiska tillämpningar. Formationsmanövrering och undvikande av kollisioner mellan agenter tas också upp som spelar avgörande roller i säkerheten vid rymdoperationer. Slutligen validerar vi vår strategi för formningskontroll genom simuleringsstudier

In the past decade, the integration of spatiotemporal constraints into control systems has emerged as a crucial necessity, driven by the demand for enhanced performance, guaranteed safety, and the execution of complex tasks. Spatiotemporal constraints involve criteria that are dependent on both space and time, which can be represented by time-varying constraints in nonlinear control systems. Funnel-based control methods provide computationally tractable and robust feedback control laws to enforce time-varying constraints in uncertain nonlinear systems. This thesis begins by exploring the application of funnel-based control designs to address performance specifications in coordinate-free formation control of multi-agent systems. Moreover, we develop new robust feedback control schemes dealing with coupled spatiotemporal constraints in uncertain nonlinear systems that cannot be directly addressed by conventional funnel-based control methods. In the first part of the thesis, we present a novel coordinate-free formation control scheme for directed leader-follower multi-agent systems, exhibiting almost global convergence to the desired shape. The synthesis of fully decentralized robust controllers for agents is achieved through the application of the Prescribed Performance Control (PPC) method. This method imposes spatiotemporal funnel constraints on each agent's formation errors, ensuring a predefined transient and steady-state performance while maintaining robustness to system uncertainties. The core idea in this work is the utilization of bipolar coordinates to achieve orthogonal (decoupled) formation errors for each follower agent. This approach not only ensures the global convergence to the desired shape but also facilitates the effective application of the PPC method. In the second part of the thesis, first, we introduce a novel approach that extends funnel-based control schemes to deal with a specific class of time-varying hard and soft constraints. In this work, we employ an online Constraint Consistent Funnel (CCF) planning scheme to tackle couplings between hard and soft constraints. By satisfying these CCF constraints, we ensure adherence to hard (safety) constraints, while soft (performance) constraints are met only when they do not conflict with the hard constraints. Subsequently, we directly employ the PPC design method to craft a robust, low-complexity control law, ensuring that the system's outputs consistently stay within the online planned CCF constraints. In subsequent work, we tackle the challenge of satisfying a generalized class of potentially coupled time-varying output constraints. We show that addressing multiple constraints effectively boils down to formulating a single consolidating constraint. Ensuring the fulfillment of this consolidating constraint guarantees both convergence to and invariance of the time-varying output-constrained set within a user-defined finite time. Building on the PPC design method, we introduce a novel, robust low-complexity feedback control framework to handle this issue in uncertain high-order MIMO nonlinear control systems. Additionally, we present a mechanism for online modification of the consolidating constraint to secure a least-violating solution when constraint infeasibilities occur for an unknown time interval. / Under det senaste decenniet har integrationen av bivillkor i tid och rum för reglersystem framstått som en nödvändighet, driven av efterfrågan på förbättrad prestanda, garanterad säkerhet och utförandet av komplexa uppgifter. Bivillkor i tid och rum för icke-linjära reglersystem kan representeras av tidsvarierande bivillkor. Trattbaserade reglermetoder ("funnel-based control") tillhandahåller beräkningsmässigt hanterbara och robusta återkopplingslagar för att garantera tidsvarier-ande bivillkor i osäkra icke-linjära system. Denna avhandling börjar med att utforska tillämpningen av trattbaserade kontrollmetoder för att hantera prestanda-specifikationer i koordinatfri formationskontroll av multiagentsystem. Dessutom utvecklar vi nya robusta återkopplingslagar som hanterar kopplade bivillkor i tid och rum för osäkra icke-linjära system som inte direkt kan hanteras av konventionella trattbaserade kontrollmetoder. I den första delen av avhandlingen presenterar vi en ny koordinatfri formationskontrollmetod för riktade ledare-följare multiagentsystem, vilken uppvisar nästan global konvergens till den önskade formen. Syntesen av helt decentraliserade robusta regulatorer för agenter uppnås genom tillämpning av Prescribed Performance Control (PPC)-metoden. Denna metod lägger på trattbivillkor i tid och rum på varje agents formationsfel och säkerställer en fördefinierad transient och stationär prestanda samtidigt som robusthet mot systemosäkerheter bibehålls. Kärnan i detta arbete är användningen av bipolära koordinater för att uppnå ortogonala (frikopplade) formationsfel för varje följande agent. Detta tillvägagångssätt säkerställer inte bara global konvergens till den önskade formen utan underlättar också en effektiva tillämpning av PPC-metoden. I den andra delen av avhandlingen introducerar vi först ett nytt tillvägagångssätt som utökar trattbaserade kontrollmetoder för att hantera en specifik klass av tidsvar-ierande hårda och mjuka bivillkor. I detta arbete använder vi en online Constraint Consistent Funnel (CCF)-planeringsmetod för att tackla sammankopplingar mellan hårda och mjuka bivillkor. Genom att uppfylla dessa CCF-bivillkor säkerställer vi efterlevnad av hårda (säkerhets-) bivillkor, medan mjuka (prestanda-) bivillkor uppfylls endast när de inte strider mot de hårda bivillkoren. Därefter tillämpar vi direkt PPC-designmetoden för att utforma en robust reglerlag med låg komplexitet som säkerställer att systemets utsignal konsekvent håller sig inom de online planerade CCF-bivillkoren. Därefter hanterar vi utmaningen med att uppfylla en generaliserad klass av potentiellt kopplade tidsvarierande utsignals-bivillkor. Vi visar att effektiv hantering av flera bivillkor i grund och botten handlar om att formulera ett sammanfattande bivillkor. Uppfyllandet av detta sammanfattande bivillkor garanterar både konvergens till och invarians av den tidsvarierande mängden som uppfyller utsignalsbivillkoren, inom en användardefinierad begränsad tid. Baserat på PPC-designmetoden introducerar vi en ny, robust återkopplingsregulatorstruktur för att hantera detta problem i osäkra högordnings MIMO icke-linjära reglersystem. Dessutom presenterar vi en mekanism för online-modifiering av det sammanfattande bivillkoret för att säkra en lösning med minsta möjliga kränkning då bivillkoren blir omöjliga att uppfylla under en okänd tidsperiod. / <p>QC 20231229</p>

In the last decades, significant theoretical advances have been made on the field of distributed mulit-agent control theory. One of the most common systems that can be modelled as multi-agent systems are the so called formation control problems, in which a network of mobile agents is controlled to move towards a desired final formation. These problems additionally pose practical challenges, namely limited access to information about the global state of the system, which justify the use distributed and localized approaches for solving the control problem. The problem is further complicated if partial or no information is known about the dynamic model of the system. A widely used fundamental challenge of this approach in this setting is that the state-action space size scales exponentially with the number of agents, rendering the problem intractable for a large networks. This thesis presents a scalable and localized reinforcement learning approach to a traditional multi-agent formation control problem, with collision avoidance. A scalable reinforcement learning advantage actor critic algorithm is presented, based on previous work in the literature. Sub-optimal bounds are calculated for the accumulated reward and policy gradient localized approximations. The algorithm is tested on a two dimensional setting, with a network of mobile agents following simple integrator dynamics and stochastic localized policies. Neural networks are used to approximate the continuous value functions and policies. The formation control with collisions avoidance formulation and the algorithm presented show good scalability properties, with a polynomial increase in the number of function approximations parameters with number of agents. The reduced number of parameters decreases learning time for bigger networks, although the efficiency of computation is decreased compared to state of the art machine learning implementations. The policies obtained achieve probably safe trajectories although the lack of dynamic model makes it impossible to guarantee safety. / Under de senaste decennierna har betydande framsteg gjorts inom området för distribuerad mulit-agent reglerteori. Ett av de vanligaste systemen som kan modelleras som multiagentsystem är de så kallade formationskontrollproblemen, där ett nätverk av mobila agenter styrs för att röra sig mot en önskad slutlig formation. om systemets globala tillstånd, vilket motiverar användningen av distribuerade och lokaliserade tillvägagångssätt för att lösa det reglertekniska problemet. Problemet kompliceras ytterligare om delvis eller ingen information är känd om systemets dynamiska modell. Ett allmänt använt tillvägagångssätt för modellfri kontroll är reinforcement learning (RL). En grundläggande utmaning med detta tillvägagångssätt i den här miljön är att storleken på state-action utrymmet skalas exponentiellt med antalet agenter, vilket gör problemet svårlöst för ett stort nätverk. Detta examensarbete presenterar en skalbar och lokaliserad reinforcement learning metod på ett traditionellt reglertekniskt problem med flera agenter, med kollisionsundvikande. En reinforcement learning advantage actor critic algoritm presenteras, baserad på tidigare arbete i litteraturen. Suboptimala gränser beräknas för den ackumulerade belönings- och policygradientens lokaliserade approximationer. Algoritmen testas i en tvådimensionell miljö, med ett nätverk av mobila agenter som följer enkel integratordynamik och stokastiska lokaliserade policyer. Neurala nätverk används för att approximera de kontinuerliga värdefunktionerna och policyerna. Den presenterade formationsstyrningen med kollisionsundvikande formulering och algoritmen visar goda skalbarhetsegenskaper, med en polynomisk ökning av antalet funktionsapproximationsparametrar med antalet agenter. Det minskade antalet parametrar minskar inlärningstiden för större nätverk, även om effektiviteten i beräkningen minskar jämfört med avancerade maskininlärningsimplementeringar. De erhållna policyerna uppnår troligen säkra banor även om avsaknaden av dynamisk modell gör det omöjligt att garantera säkerheten. / En las últimas décadas, se han realizado importantes avances teóricos en el campo de la teoría del control multiagente distribuido. Uno de los sistemas más comunes que se pueden modelar como sistemas multiagente son los llamados problemas de control de formación, en los que se controla una red de agentes móviles para alcanzar una formación final deseada. Estos problemas plantean desafíos prácticos como el acceso limitado a la información del estado global del sistema, que justifican el uso de algoritmos distribuidos y locales para resolver el problema de control. El problema se complica aún más si solo se conoce información parcial o nada sobre el modelo dinámico del sistema. Un enfoque ampliamente utilizado para el control sin conocimiento del modelo dinámico es el reinforcement learning (RL). Un desafío fundamental de este método en este entorno es que el tamaño de la acción y el estado aumenta exponencialmente con la cantidad de agentes, lo que hace que el problema sea intratable para una red grande. Esta tesis presenta un algoritmo de RL escalable y local para un problema tradicional de control de formación con múltiples agentes, con prevención de colisiones. Se presenta un algoritmo “advantage actor-”critic, basado en trabajos previos en la literatura. Los límites subóptimos se calculan para las aproximaciones locales de la función Q y gradiente de la política. El algoritmo se prueba en un entorno bidimensional, con una red de agentes móviles que siguen una dinámica de integrador simple y políticas estocásticas localizadas. Redes neuronales se utilizan para aproximar las funciones y políticas de valor continuo. La formulación de del problema de formación con prevención de colisiones y el algoritmo presentado muestran buenas propiedades de escalabilidad, con un aumento polinómico en el número de parámetros con el número de agentes. El número reducido de parámetros disminuye el tiempo de aprendizaje para redes más grandes, aunque la eficiencia de la computación disminuye en comparación con las implementaciones de ML de última generación. Las politicas obtenidas alcanzan trayectorias probablemente seguras, aunque la falta de un modelo dinámico hace imposible garantizar la completa prevención de colisiones. / A les darreres dècades, s'han realitzat importants avenços teòrics en el camp de la teoria del control multiagent distribuït. Un dels sistemes més comuns que es poden modelar com a sistemes multiagent són els anomenats problemes de control de formació, en els què es controla una xarxa d'agents mòbils per assolir una formació final desitjada. Aquests problemes plantegen reptes pràctics com l'accés limitat a la informació de l'estat global del sistema, que justifiquen l'ús d'algorismes distribuïts i locals per resoldre el problema de control. El problema es complica encara més si només es coneix informació parcial sobre el model dinàmic del sistema. Un mètode àmpliament utilitzat per al control sense coneixement del model dinàmic és el reinforcement learning (RL). Un repte fonamental d'aquest mètode en aquest entorn és que la mida de l'acció i l'estat augmenta exponencialment amb la quantitat d'agents, cosa que fa que el problema sigui intractable per a una xarxa gran. Aquesta tesi presenta un algorisme de RL escalable i local per a un problema tradicional de control de formació amb múltiples agents, amb prevenció de col·lisions. Es presenta un algorisme “advantage actor-”critic, basat en treballs previs a la literatura. Els límits subòptims es calculen per a les aproximacions locals de la funció Q i gradient de la política.’ Lalgoritme es prova en un entorn bidimensional, amb una xarxa ’dagents mòbils que segueixen una dinàmica ’dintegrador simple i polítiques estocàstiques localitzades. Xarxes neuronals s'utilitzen per aproximar les funcions i les polítiques de valor continu. La formulació del problema de formació amb prevenció de col·lisions i l'algorisme presentat mostren bones propietats d'escalabilitat, amb un augment polinòmic en el nombre de paràmetres amb el nombre d'agents. El nombre reduït de paràmetres disminueix el temps d'aprenentatge per a les xarxes més grans, encara que l'eficiència de la computació disminueix en comparació amb les implementacions de ML d'última generació. Les polítiques obtingudes aconsegueixen trajectòries probablement segures, tot i que la manca d'un model dinàmic fa impossible garantir la prevenció completa de col·lisions.