Over the last decades, autonomous robots have been considered in a variety of applications such  as persistent monitoring, package delivery and cooperative transportation. These applications often require the satisfaction of a set of complex tasks that need to be possibly performed in a timely manner. For example, in search and rescue missions, UAVs are expected to cover a set of regions within predetermined time intervals in order to increase the probability of identifying the victims of an accident. Spatio-temporal tasks of this form can be easily expressed in Signal Temporal Logic (STL), a predicate language that allow us to formally introduce time-constrained tasks such as visit area A between 0 and 5 min or robot 1 should move in a formation with robot 2 until robot 1 reaches region B between 5 and 20 sec. Existing approaches in control under spatio-temporal tasks encode the STL constraints using mixed-integer expressions. In the majority of these works, receding horizon schemes are designed and long planning horizons are considered that depend on the temporal constraints of the STL tasks. As a result, the complexity of these problems may increase with the number of the tasks or the length of the time interval within which a STL task needs to be satisfied. Other approaches, consider a limited STL fragment and propose computationally efficient feedback controllers that ensure the satisfaction of the STL task with a minimum, desired robustness. Nevertheless, these approaches do not consider actuation limitations that are always present in real-world systems and thus, yield controllers of arbitrarily large magnitude.  In this thesis, we consider the control problem under spatio-temporal constraints for systems that are subject to actuation limitations. In the first part, receding horizon control schemes (RHS) are proposed that ensure the satisfaction or minimal violation of a given set of STL tasks. Contrary to existing approaches, the planning horizon of the RHS scheme can be chosen independent of the STL task and hence, arbitrarily small, given the initial feasibility of the problem. Combining the advantages of the RHS and feedback strategies, we encode the STL tasks using control barrier functions that are designed either online or offline and design controllers that aim at maximizing the robustness of the STL task. The recursive feasibility property of the framework is established and a lower bound on the violation of the STL formula is derived. In the next part, we consider a multi-agent system that is subject to a STL task whose satisfaction may involve a large number of agents in the team. Then, the goal is to decompose the global task into local ones the satisfaction of each one of which  depends only on a given sub-team of agents. The proposed decomposition method enables the design of decentralized controllers under local STL tasks avoiding unnecessary communication among agents.  In the last part of the thesis, the coordination problem of multiple platoons is considered and related tasks such as splitting, merging and distance maintenance are expressed as Signal Temporal Logic tasks. Then, feedback control techniques are employed ensuring the satisfaction the STL formula, or alternatively minimal violation in presence of actuation limitations. / De senaste ̊artiondena har autonoma robotar sett en rad nya användningsområden, såsom ̈overvakning, paketleverans och kooperativ transport. Dessa innebär ofta att en samling komplexa uppgifter måste lösas på kort tid. Inom Search and Rescue (SAR), till exempel, krävs att drönare hinner genomsöka vissa geografiska regioner inom givna tidsintervall. Detta för att ̈oka chansen att identifierade drabbade vid en olycka. Den här typen av uppgift i tid och rum (spatio-temporal) kan enkelt uttryckas med hjälp av Signal Temporal Logic (STL). STL ̈är ett språk som tillåter oss att på ett formellt sätt formulera tidsbegränsade uppgifter, såsom besök område A mellan o och 5 minuter, eller robot 1 ska röra sig i formationtillsammans med robot 2 till dess att robot 1 når område B mellan 5 och 20 sekunder. Nuvarande lösningar till styrproblem av spatio-temporal-typen kodar STL-begränsningar med hjälp av mixed-integer-uttryck. Majoriteten av lösningarna involverar receding-horizon-metoder med långa tidshorisonter som beror av tidsbegränsningarna i STL-uppgifterna. Detta leder till att problemens komplexitet ̈ökar med antalet deluppgifter inom och tiden för STL-uppgifterna. Andra lösningar bygger på restriktiva STL-fragment och beräkningsmässigt effektiva ̊aterkopplingsregulatorer som garanterar STL-begränsningarna med minimal önskad robusthet. Dessvärre tar dessa sällan hänsyn till fysiska begräsningar hos regulatorn och ger ofta godtyckligt stora styrsignaler. I den här licentiatuppsatsen behandlar vi styrproblem med begräsningar i rum och tid, samt den ovan nämnda typen av fysiska regulatorbegränsningar. I den första delen presenterar vi receding-horizon-metoder (RHS) som uppfyller kraven i STL-uppgifter, eller minimalt bryter mot dessa. Till skillnad från tidigare lösningar så kan tidshorisonten i våra RHS-metoder väljas oberoende av STL-uppgifterna och därmed göras godtyckligt kort, så länge ursprungsproblemet ̈ar lösbart. Genom att formulera STL-uppgifterna som control barrier funktioner kan vi kombinera fördelarna hos RHS och ̊återkoppling. Vi härleder en rekursiv lösbarhetsegenskap och en undre gräns på ̈overträdelsen av STL-kraven. I den andra delen behandlar vi multi-agent-system med uppgifter i tid och rum som berör många agenter. Målet är att bryta ner den globala uppgiften i fler men enklare lokala uppgifter som var och en bara involverar en given delmängd av agenterna. Vår nedbrytning till ̊åter oss att konstruera decentraliserade regulatorer som löser lokala STL-uppgifter, och kan i och med det markant minska kommunikationskostnaderna i j̈ämförelse med centraliserad styrning. I den sista delen av uppsatsen behandlar vi samordning av flera grupper. Vi uttrycker uppgifter såsom delning, sammanslagning och avståndshållning med hjälp av STL, och utnyttjar sedan ̊aterkoppling för att uppfylla eller minimalt bryta mot kraven. / <p>QC 20220311</p>

Dynamical systems that provably satisfy given specifications have become increasingly important in many engineering areas. For instance, safety-critical systems such as human-robot networks or autonomous driving systems are required to be safe and to also satisfy some complex specifications that may include timing constraints, i.e., when or in which order some tasks should be accomplished. Temporal logics have recently proven to be a valuable tool for these control systems by providing a rich specification language. Existing temporal logic-based control approaches discretize the underlying dynamical system in space and/or time, which is commonly referred to as the abstraction process. In other words, the continuous dynamical system is abstracted into a finite system representation, e.g., into a finite state automaton. Such approaches may lead to high computational burdens due to the curse of dimensionality, which makes it hard to use them in practice. Especially with respect to multi-agent systems, these methods do not scale computationally when the number of agents increases. We will address this open research question by deriving abstraction-free control methods for single- and multi-agent systems under signal temporal logic tasks. Another aim of this research is to consider robustness, which is partly taken care of by the robust semantics admitted by signal temporal logic as well as by the robustness properties of the derived control methods. In this work, we propose computationally-efficient frameworks that deal with the aforementioned problems for single- and multi-agent systems by using feedback control strategies such as optimization-based techniques, prescribed performance control, and control barrier functions in combination with hybrid systems theory that allows us to model some higher level decision-making. In each of these approaches, the temporal properties of the employed control methods are used to impose a temporal behavior on the closed-loop system dynamics, which eventually results in the satisfaction of the signal temporal logic task. With respect to the multi-agent case, we consider a bottom-up approach where each agent is subject to a local (individual) task. These tasks may depend on the behavior of other agents. Hence, the multi-agent system is subject to couplings induced on the task level as well as on the dynamical level. The main challenge then is to deal with these couplings and derive control methods that can still satisfy the given tasks or alternatively result in least violating solutions. The efficacy of the theoretical findings is demonstrated in simulations of single- and multi-agent systems under complex specifications. / <p>QC 20180502</p>

Autonomous systems are slowly moving into the mainstream with things like self driving cars and autonomous robots in storage facilities already in use today. The aim of this project is to simulate a virtual bakery with a baker-robot (agent)that is able to complete recipes within strict deadlines.Signal temporal logic (STL) is used to define instructions that can be understood by the agent. In order to carry out these instructions, a control barrier function (CBF) is used.CBFs are time and state dependent, are used to describe the desired behavior of the agent, and are designer made. If the CBF corresponding to the task is non-negative from beginning to end during the task, the task has been completed successfully.A virtual robot was used in this project and was tasked with moving to and staying in different areas, which represents picking up and dropping off ingredients, all whilst staying within the boundaries of the bakery. The focus of this work is on completing the large amount (10+) of sequential tasks required to completea recipe. The CBF remained positive during the task, and the task was completed successfully. / Autonoma system börjar ta mer och mer plats i vardagen med saker som självkörande bilar och autonoma robotar i lagerlokaler som redan används idag. Syftet med det här projektet är att simulera ett virtuellt bageri med en bagarrobot (agent) som kan laga recept under strikta tidskrav. Signal temporal logic (STL) används för att definiera instruktioner som kan förstås av agenten. För att genomföra dessa instruktioner korrekt används en control barrier function (CBF). CBF:er är tidsoch tillståndsberoende, används för att beskriva agentens önskade beteende, och är skapade av en designer. Om CBF:en är positiv från början till slut under uppgiftens gång så har uppgiften genomförts som önskat. En virtuell robot användes i det här projektet och fick i uppdrag att flytta till och stanna inom olika områden, vilket representerar att plocka upp och lämna ingredienser, allt medan den vistas inom bageriets gränser. Fokus för detta arbete ligger på att slutföra den stora mängd (10+) av sekventiella uppgifter sim krävs för att laga ett recept. CBF:en var positiv under hela uppgiften, och uppgiften genomfördes framgångsrikt. / Kandidatexjobb i elektroteknik 2022, KTH, Stockholm

Autonomous robots have the potential to accomplisha wide variety of assignments. For this to work in reality, therobots need to be able to perform specific tasks while safety forboth them and their environment is ensured. Signal temporallogic (STL) was used to define timed tasks for the agents toperform and control barrier functions (CBFs) were used to designa controller for their movements. In this paper, a set of STL taskswere considered, which two robots were instructed to satisfy in asimulation of a warehouse environment. The two agents startednext to each other, then the set of tasks instructed them to move totwo separate areas, then meet up again and move in a formationback towards their starting area. Control barrier functions wereemployed to ensure the satisfaction of the set of STL tasks.The agents designed their actions towards satisfying the giventasks without considering a safety distance to the other robot atfirst. To later ensure safety, a collision avoidance mechanism wasintroduced. The scenario without collision avoidance proved moreeffective paths for the agents. They moved to satisfy the tasks withless disturbance than the scenario where collision avoidance wasconsidered. However, the scenario with the collision avoidancemechanism proved successful and the agents satisfied their taskswithout colliding with each other. / Autonoma robotar har potential att utföra en stor mängd olika uppgifter. För att detta ska fungera i verkligheten, behöver robotarna kunna genomföra specifika uppgifter medans både deras egen och omgivningens säkerhet är säkerställd. Signal temporal logic (STL) användes för att definiera tidsinställda uppgifter åt robotarna att utföra och control barrier functions (CBFs) användes för att designa en controller för deras rörelser. I den här rapporten betraktades en uppsättning av STL-uppgifter, vilka två robotar instruerades att uppfylla i en simulering av en lagermiljö. De två robotarna startade bredvid varandra, sen instruerade STL-uppgifterna dem att röra sig till två separata områden, sen mötas upp igen och röra sig i formation tillbaka mot sitt startområde. Control barrier functions användes för att garantera uppfyllandet av STL-uppgifterna. Robotarna anpassade sina rörelser till att uppfylla de givna uppgifterna, först utan hänsyn till någon säkerhetsmarginal till den andra roboten. För att senare garantera säkerhet introducerades en extra mekanism för att undvika kollision. Scenariot utan att undvika kollision visade på effektivare rörelsebanor hos robotarna. De rörde sig mot att uppfylla uppgifterna med färre störningar än scenariot då kollision aktivt undveks. Scenariot med mekanismen för att dock framgångsrikt och robotarna e sina uppgifter utan att kollidera med varandra. / Kandidatexjobb i elektroteknik 2021, KTH, Stockholm

Recent urbanization and industrialization have brought tremendous pressure and challenges to modern autonomous systems. When considering multiple complex tasks, cooperation and coordination between multiple agents can improve efficiency in a system. In real-world applications, multi-agent systems (MAS) are widely used in various fields, such as robotics, unmanned aerial systems, autonomous vehicles, distributed sensor networks, etc. Unlike traditional MAS systems based on pre-defined algorithms and rules, a special human-in-loop (HIL) based MAS involves human interactions to enhance the system’s adaptability for special scenarios, as well as apply human preferences for robot control. However, existing HIL strategies are primarily based on human involvement at a low level, such as mixed-initiative control and mixed-agent scenarios with both human-driven and intelligent robots. There are fewer investigations on applying HIL in high-level coordination. In particular, designing a coordination strategy for multi-task multi-agent scenarios, which can also deal with real-time human commands, will be one of the key topics of this Master’s thesis project. In this thesis work, different kinds of tasks described by signal temporal logic (STL) are created for agents, which can be enforced by control barrier function (CBF) constraints. Both centralized and distributed frameworks are designed for agent coordination. In detail, the centralized strategy is developed for machine-to-infrastructure (M2I) communication, by using the nonlinear model predictive control (NMPC) method to obtain collision-free trajectories. The distributed strategy utilizing graph theory is proposed for machine-to-machine (M2M), in order to reduce computation time by offloading. Most importantly, a HIL model is generated for both frameworks to apply online human commands to the coordination, with a novel task allocation protocol. Simulations and experiments are carried out on both Matlab and Python-based ROS simulators, to show that proposed frameworks can achieve obvious performance advantages in safety, smoothness, and stability for task completion. Numerical results are provided to validate the feasibility and applicability of our algorithms. / Den senaste urbaniseringen och industrialiseringen har medfört enormt tryck och utmaningar för moderna autonoma system. Vid beaktande av flera komplexa uppgifter kan samarbete och samordning mellan flera agenter förbättra effektiviteten i ett system. I verkliga tillämpningar används multiagent-system (MAS) i stor utsträckning inom olika områden, såsom robotik, obemannade luftfarkoster, autonoma fordon, distribuerade sensorsystem etc. Till skillnad från traditionella MAS-system baserade på fördefinierade algoritmer och regler, innebär ett särskilt människa-i-loop (HIL)-baserat MAS mänsklig interaktion för att förbättra systemets anpassningsförmåga till speciella scenarier samt anpassa mänskliga preferenser för robotstyrning. Emellertid är befintliga HIL-strategier främst baserade på mänsklig inblandning på en låg nivå, såsom mixad-initiativkontroll och mixade agentscenarier med både människa-drivna och intelligenta robotar. Det finns färre undersökningar om att tillämpa HIL på högnivåkoordination. Särskilt att utforma en koordineringsstrategi för fleruppgiftsfleragent-scenarier, som också kan hantera mänskliga kommandon i realtid, kommer att vara ett av huvudämnena för detta masterprojekt. I detta examensarbete skapas olika typer av uppgifter beskrivna av signaltemporallogik (STL) för agenter, som kan upprätthållas genom styrbarriärfunktions (CBF) -begränsningar. Både centraliserade och distribuerade ramverk utformas för agentkoordination. Mer specifikt utvecklas den centraliserade strategin för maskin-till-infrastruktur (M2I)-kommunikation genom att använda icke-linjär modellprediktiv reglering (NMPC) för att erhålla kollisionsfria trajektorier. Den distribuerade strategin med användning av grafteori föreslås för maskin-till-maskin (M2M) för att minska beräkningstiden genom avlastning. Viktigast av allt genereras en HIL-modell för båda ramverken för att tillämpa online-mänskliga kommandon på koordinationen med en ny protokoll för uppgiftstilldelning. Simuleringar och experiment utförs på både Matlab och Python-baserade ROS-simulatorer för att visa att de föreslagna ramverken kan uppnå tydliga prestandafördelar när det gäller säkerhet, smidighet och stabilitet för uppgiftsslutförande. Numeriska resultat presenteras för att validera genomförbarheten och tillämpligheten hos våra algoritmer.

Robotics is an interdisciplinary field that integrates computer science, electrical engineering, mechanical engineering, control engineering and other related fields. As the quick development of these fields, people have been building more complex robots with more advanced control strategies in order to solve more challenging tasks. In addition, it is always a target for researchers to achieve autonomous operation of robots so that the manpower can be saved and the robot can work in harsh environment like on Mars. In this project, I focus on the trajectory planning problem of a unicycle model running in 2D environment. I choose Path Integral Policy Improvement (PI2) control algorithm in this project as the main study object. And Model Predictive Control (MPC) is chosen as a reference in order to be compared with PI2 to evaluate the performance of PI2. In order to simulate the tasks that the robot needs to handle in practice, I use obstacles to represent the complex environment and I use Signal Temporal Logic (STL) to represent the complex tasks. Furthermore, I also incorporate the deep dynamics model in the project so that the the method put forward in this project is able to handle complex robot models and complex working environments. To evaluate the performances of PI2 and MPC, five criteria are put forward in this project. Finally, based on the evaluation results, possible improvement and future research are proposed. / Robotics är ett tvärvetenskapligt område som integrerar datavetenskap, elektroteknik, maskinteknik, styrteknik och andra relaterade områden. Som den snabba utvecklingen av dessa fält har människor byggt mer komplexa robotar med mer avancerade kontrollstrategier för att lösa mer utmanande uppgifter. Dessutom är det alltid ett mål för forskare att uppnå autonom drift av robotar så att arbetskraften kan sparas och roboten kan arbeta i tuffa miljöer som på Mars. I det här projektet fokuserar jag på banplaneringsproblemet för en enhjulingsmodell som körs i 2D-miljö. Jag väljer Path Integral Policy Improvement (PI2) kontrollalgoritm i detta projekt som huvudstudieobjekt. Och Model Predictive Control (MPC) väljs som referens för att kunna jämföras med PI2 för att utvärdera prestandan för PI2. För att simulera de uppgifter som roboten behöver hantera i praktiken använder jag hinder för att representera den komplexa miljön och jag använder Signal Temporal Logic (STL) för att representera de komplexa uppgifterna. Dessutom införlivar jag också den djupa dynamikmodellen i projektet så att metoden som läggs fram i detta projekt kan hantera komplexa robotmodeller och komplexa arbetsmiljöer. För att utvärdera prestanda för PI2 och MPC presenteras fem kriterier i detta projekt. Slutligen, baserat på utvärderingsresultaten, föreslås möjliga förbättringar och framtida forskning.