Optimal kontroll är studien om hur man på bästa sätt kan kontrollera ett system, givet kontrollvariabler, för att minimera ett specifikt prestationsindex. Denna teori användes för att studera hur en cykel optimalt skulle kunna balanseras. Cykeln modellerades med tre tillståndsparametrar, dess lutning theta, vinkelhastigheten hos lutningen theta' samt dess styrvinkeln alpha, som togs fram ifrån två differentialekvationer. Dessa tillstånd, tillsammans med en kontrollvariabel delta=alpha' (styrets vinkelhastighet), användes sedan med dynamisk programmering samt LQR-kontroll, två grenar inom optimal kontroll, för att undersöka kontroll av cykeln. Resultaten visar på att alla tillståndsparametrar konvergerar mot noll för båda metoderna innan sluttiden vilket indikerar på att cykeln lyckades balanseras, i teorin. Kontrollen som användes, styrets vinkelhastighet, var även rimlig och uppfattades som intuitiva.

In thiswork, we develop a learning model predictive controller (LMPC) for energy-optimaltracking of periodic trajectories for a quadcopter. The main advantage of this controller isthat it is “reference-free”. Moreover, the controller is able to improve its performance overiterations by incorporating learning from the previous iterations. The proposed learningmodel predictive controller aims to learn the “best” energy-optimal trajectory over timeby learning a terminal constraint set and a terminal cost from the history data of previousiterations. We have shown howto recursively construct terminal constraint set and terminalcost as a convex hull and a convex piece-wise linear approximation of state and inputtrajectories of previous iterations, respectively. These steps allow us to formulate theonline planning problem for the controller as a convex optimization program, therebyavoiding the complex combinatorial optimization problems that alternative formulationsin the literature need to solve. The data-driven terminal constraint set and terminal costnot only ensure recursive feasibility and stability of LMPC but also guarantee convergenceto the neighbourhood of the optimal performance at steady state. Our LMPC formulationincludes linear time-varying system dynamics which is also learnt from stored state andinput trajectories of previous iterations.To show the performance of LMPC, a quadcopter trajectory learning problem in thevertical plane is simulated in MATLAB/SIMULINK. This particular trajectory learningproblem involves non-convex state constraints, which makes the resulting optimal controlproblem difficult to solve. A tangent cut method is implemented to approximate the nonconvexconstraints by convex ones, which allows the optimal control problem to be solvedby efficient convex optimization solvers. Simulation results illustrate the effectiveness ofthe proposed control strategy. / Vi utvecklar en lärande modell-prediktiv regulator för energi-optimalt följande av periodiskatrajektorier för en quadkopter. Den huvudsakliga fördelen med denna regulator äratt den är “referensfri”. Dessutom så klarar regulatorn att förbättra sin prestanda medtiden genom att inkorporera inlärning från föregående iterationer. Syftet med den föreslagnalärande modell-prediktiva regulatorn är att över en viss tid lära sig den “bästa”energioptimala trajektorian genom att lära sig den terminala bivillkorsmängden och denterminala kostnaden från historiskt data från tidigare iterationer. Vi har visat hur man kanrekursivt konstruera terminala bivillkorsmängder och terminala kostnader som konvexahöljen respektive konvexa styckvis linjära approximationer av tillstånds- och insignalstrajektoriernafrån tidigare iterationer. Dessa steg gör det möjligt att formulera onlineplaneringsproblemet för regulatorn som ett konvext optimeringsproblem och på så visundvika de komplexa kombinatoriska optimeringsproblemen som ofta krävs för alternativametoder som kan hittas andra publikationer. Den datadrivna terminala bivillkorsmängdenoch terminala kostnaden garanterar inte bara rekursiv tillåtenhet och stabilitet av LMPC,utan även konvergens till en omgivning av den optimala prestandan efter att ha uppnåttjämvikt. Vår LMPC-formulering innehåller linjär och tidsvarierande systemdynamik, somockså lärs från lagrade tillstånds- och insignalstrajektorier från tidigare iterationer.För att visa prestandan av LMPC så simuleras iMATLAB/SIMULINK ett problem ominlärning av quadkopter-trajektorier i det vertikala planet. Just det trajektorieinlärningsproblemetinnehåller icke-konvexa tillståndsbivillkor, vilket gör det resulterande optimeringsproblemetsvårt att lösa. En tangentsnitt-metod är implementerad för att approximera deicke-konvexa bivillkoren med hjälp av konvexa bivillkor, vilket möjliggör lösningen avdet optimala regleringsproblemet med effektiva lösare för konvexa optimeringsproblem.Simuleringsresultaten visar effektivitet av den föreslagna regleringsmetoden.

Heating, Ventilation and Air Conditioning (HVAC) systems in buildings are energy consuming and traditional methods used for building control results in energy losses. The methods cannot account for non-linear dependencies in the thermal behaviour. Deep Reinforcement Learning (DRL) is a powerful method for reaching optimal control in many different control environments. DRL utilizes neural networks to approximate the optimal actions to take given that the system is in a given state. Therefore, DRL is a promising method for building control and this fact is highlighted by several studies. However, neural network polices are known to be vulnerable to adversarial attacks, which are small, indistinguishable changes to the input, which make the network choose a sub-optimal action. Two of the main approaches to attack DRL policies are: (1) the Fast Gradient Sign Method, which uses the gradients of the control agent’s network to conduct the attack; (2) to train a a DRL-agent with the goal to minimize performance of control agents. The aim of this thesis is to investigate different strategies for solving the building control problem with DRL using the building simulator IDA ICE. This thesis is also going to use the concept of adversarial machine learning by applying the attacks on the agents controlling the temperature inside the building. We first built a DRL architecture to learn how to efficiently control temperature in a building. Experiments demonstrate that exploration of the agent plays a crucial role in the training of the building control agent, and one needs to fine-tune the exploration strategy in order to achieve satisfactory performance. Finally, we tested the susceptibility of the trained DRL controllers to adversarial attacks. These tests showed, on average, that attacks trained using DRL methods have a larger impact on building control than those using FGSM, while random perturbation have almost null impact. / Ventilationssystem i byggnader är energiförbrukande och traditionella metoder som används för byggnadskontroll resulterar i förlust av energisparande. Dessa metoder kan inte ta hänsyn till icke-linjära beroenden i termisk beteenden. Djup förstärkande inlärning (DRL) är en kraftfull metod för att uppnå optimal kontroll i många kontrollmiljöer. DRL använder sig av neurala nätverk för att approximera optimala val som kan tas givet att systemet befinner sig i en viss stadie. Därför är DRL en lovande metod för byggnadskontroll och detta faktumet är markerat av flera studier. Likväl, neurala nätverk i allmänhet är kända för att vara svaga mot adversarial attacker, vilket är små ändringar i inmatningen, som gör att neurala nätverket väljer en åtgärd som är suboptimal. Syftet med denna anvhandling är att undersöka olika strategier för att lösa byggnadskontroll-problemet med DRL genom att använda sig av byggnadssimulatorn IDA ICE. Denna avhandling kommer också att använda konceptet av adversarial machine learning för att attackera agenterna som kontrollerar temperaturen i byggnaden. Det finns två olika sätt att attackera neurala nätverk: (1) Fast Gradient Sign Method, som använder gradienterna av kontrollagentens nätverk för att utföra sin attack; (2) träna en inlärningsagent med DRL med målet att minimera kontrollagenternas prestanda. Först byggde vi en DRL-arkitektur som lärde sig kontrollera temperaturen i en byggad. Experimenten visar att utforskning av agenten är en grundläggande faktor för träningen av kontrollagenten och man måste finjustera utforskningen av agenten för att nå tillfredsställande prestanda. Slutligen testade vi känsligheten av de tränade DRL-agenterna till adversarial attacker. Dessa test visade att i genomsnitt har det större påverkan på kontrollagenterna att använda DRL metoder än att använda sig av FGSM medans att attackera helt slumpmässigt har nästan ingen påverkan.

The phenomenon of financial bubbles is known to have impacted various markets since the seventeenth century. Such bubbles are known to form when the market drastically overvalues the price of an asset, causing its market value to increase hyperbolically, only to suddenly collapse once the untenable perceived future prospects of the asset are realized. Hence, it remains crucial for investors to be able to sell off assets residing within a bubble before they burst and their value is significantly diminished. Thus, portfolio optimization methods capable of accounting for financial bubbles in stock dynamics is a field of great value and interest for market participants. Portfolio optimization with respect to the mean-field is a relatively novel approach to accounting for the bubble-phenomenon. Hence, this paper investigates a previously unattempted method of portfolio optimization, providing a mean-field solution to the mean-variance trade-off problem, as well as providing new definitions of stock dynamics capable of diverting investors from bubbles. / Finansiella bubblor är ett fenomen som har påverkat marknader sedan 1600-talet. Bubblor tenderar att skapas när marknaden kraftigt övervärderar en tillgång vilket orsakar en hyperbolisk tillväxt i marknadspriset. Detta följs av en plötslig kollaps. Därför är det viktigt för investerare att kunna minska sin exponering mot aktier som befinner sig i en bubbla, så att risken för stora plötsliga förluster reduceras. Således är portföljoptimering där aktiedynamiken tar hänsyn till bubblor av högt intresse för marknadsdeltagare. Portföljoptimering med avseende på medelfältet är ett relativt nytt tillvägagångssätt för att behandla bubbelfenomen. Av denna anledning undersöks i detta arbete en hittills oprövad lösningsmetod som möjliggör en medelfältslösning till avvägningen mellan förväntad avkastning och risk. Där-utöver presenteras även ett antal nya modeller för aktier som kan bortleda investerare från bubblor.

The space industry and the technological developments regarding space exploration hasn’t been this popular since the first moon landing. The privatization of space exploration and the vertical landing rockets made rocket science mainstream again. While being able to reuse rockets is efficient both in terms of profitability and popularity, these developments are still in their early stages. Vertical landing has challenges that, if neglected, can cause disastrous consequences. The existing studies on the matter usually don’t account for aerodynamics forces and corresponding controls, which results in higher fuel consumption thus lessening the economical benefits of vertical landing. Similar problems have been tackled in studies not regarding booster landings but regarding planetary landings. And while multiple solutions have been proposed for these problems regarding planetary landings, the fact that the reinforcement learning concepts work well and provide robustness made them a valid candidate for applying to booster landings. In this study, we focus on developing a vertical booster descent guidance and control law that’s robust by applying reinforcement learning concept. Since reinforcement learning method that is chosen requires solving Optimal Control Problems (OCP), we also designed and developed an OCP solver software. The robustness of resulting hybrid guidance and control policy will be examined against various different uncertainties including but not limited to wind, delay and aerodynamic uncertainty. / Rymdindustrin och den tekniska utvecklingen av rymdutforskningen har inte varit så populär sedan den första månlandningen. Privatiseringen av utforskningen av rymden och de vertikala landningsraketerna medförde att raketvetenskapen återkom som en viktig huvudfråga igen. Även om det är effektivt att återanvända raketer i form av lönsamhet och popularitet, är denna utveckling fortfarande i sina tidiga stadier. Vertikal landning har utmaningar som, om de försummas, kan orsaka katastrofala konsekvenser. De befintliga studierna i frågan redovisar vanligtvis inte aerodynamikkrafter och motsvarande regulatorer, vilket resulterar i högre bränsleförbrukning som minskar de ekonomiska fördelarna med vertikal landning. Liknande problem har hanterats i studier som inte avsåg boosterlandningar utan om planetariska landningar. Även om flera lösningar har föreslagits för dessa problem beträffande planetariska landningar, det faktum att förstärkningsinlärningskonceptet fungerar bra och ger robusthet gjorde dem till en giltig kandidat för att ansöka om boosterlandningar. I den här studien fokuserar vi på att utveckla en lagstiftning för styrning av vertikala booster-nedstigningar som är robust genom att tillämpa koncepten inom förstärkningsinlärning. Ef- tersom förstärkt inlärningsmetod som väljs kräver lösning av optimala kontrollproblem (OCP), designade och utvecklade vi också en OCP-lösningsmjukvara. Robustheten för resulterande hybridstyrning och kontrollpolicy kommer att undersökas mot olika osäkerheter inklusive, men inte begränsat till vind, fördröjning och aerodynamisk osäkerhet.

Fuel Cell Hybrid Electric vehicles are hybrid vehicles that consist of both fuel cells and batteries as energy conversion systems. The Energy Management System plays an important role in the operation of the fuel cell hybrid system, as it helps in reducing the hydrogen consumption of the system. This study investigates an optimal control algorithm with an aim to reduce the hydrogen consumption of the fuel cell system for five different drive cycles operating in Europe. Model Predictive Control(MPC) is used to solve the optimal control problem, by formalizing a look ahead controller, utilizing its receding horizon approach. The optimal controller analysis is compared with a conventional rule-based controller, by analysing the hybrid system over various battery and fuel cell sizes, on the basis of the overall hydrogen consumption. Firstly, a simplified system model is developed, by modelling the fuel cell system with respect to the efficiency curve of the hydrogen power and fuel cell power. The battery system model with its State of Charge(SOC) is coupled with the fuel cell model to form an objective function satisfying the power demand from the drive cycles. The MPC controller and the rule-based controller are implemented in MATLAB and the powersplit analysis is simulated for all five routes. The results show that the energy management system with the MPC controller optimizes the powertrain configuration efficiently, with preparing for the uphill or downhill, such that the battery SOC stays in its limits and the fuel cell operates in the most efficient range. This ensures operating over different types of drive cycles with the most efficient battery and fuel cell size, hence concluding with the MPC controller outperforming the rule-based one. / Fuel Cell Hybrid Electric Vehicle (FCHEV) är hybridfordon som består av både bränsleceller och batterier som energiomvandlingssystem. Energy ManagementSystem (EMS) spelar en viktig roll i driften av bränslecellshybridsystemet, eftersom det hjälper till att minska systemets vätgasförbrukning. Denna studie undersöker en optimal styralgoritm framtagen i syfte att minska syfte att minska vätgasförbrukningen i bränslecellssystemet. Algoritmen testas på fem olika körcykler, baserade på verkliga Europeiska vägsträckor. Model Predictive Controller (MPC) används för att lösa det optimala styrproblemet, genom att formalisera en framåtblickskontroller med hjälp av dess vikande horisont. Den optimala kontroller jämförs med en konventionell regelbaserad kontroller, genom att analysera hybridsystemet över olika batteri- och bränslecellstorlekar, baserat på den totala väteförbrukningen. Först utvecklas en förenklad systemmodell, som modellerar bränslecellssystemet med avseende på effektivitetskurvan för vätgaskraften och bränslecellseffekten. Batterisystemmodellen med dess State of Charge (SOC) är kopplad till bränslecellsmodellen för att bilda en målfunktion som tillfredsställer kraftbehovet från drivcyklerna. MPC-styrningen och den regelbaserade styrningen är implementerade i matlab och effektdelningsanalysen simuleras för alla fem rutterna. Resultaten visar att energihanteringssystemet medMPC-styrningen optimerar drivlinans konfiguration effektivt, med förberedelser för uppförsbacke eller nedförsbacke, så att batteriets SOC håller sig inom sina gränser och bränslecellen arbetar i mest optimala räckvidden. Detta säkerställer drift över olika typer av körcykler med den mest effektiva batteri- och bränslecellsstorleken, och avslutar därför med att MPC-styrenheten överträffar den regelbaserade.

Transition delay in boundary-layer flows is achieved via reactive control of flow instabilities, i.e. Tollmien-Schlichting (TS) waves. Adaptive and model-based control techniques are investigated by means of direct numerical simulations (DNS) and experiments. The action of actuators localised in the wall region is prescribed based on localised measurement of the disturbance field; in particular, plasma actuators and surface hot-wire sensors are considered. Performances and limitations of this control approach are evaluated both for two-dimensional (2D) and three-dimensional (3D) disturbance scenarios. The focus is on the robustness properties of the investigated control techniques; it is highlighted that static model-based control, such as the linear-quadratic- Gaussian (LQG) regulator, is very sensitive to model-inaccuracies. The reason for this behaviour is found in the feed-forward nature of the adopted sensor/actuator scheme; hence, a second, downstream sensor is introduced and actively used to recover robustness via an adaptive filtered-x least-mean-squares (fxLMS) algorithm. Furthermore, the model of the flow required by the control algorithm is reduced to a time delay. This technique, called delayed-x least-mean-squares (dxLMS) algorithm, allows taking a step towards a self-tuning controller; by introducing a third sensor it is possible to compute on-line the suitable time-delay model with no previous knowledge of the controlled system. This self-tuning approach is successfully tested by in-flight experiments on a motor-glider. Lastly, the transition delay capabilities of the investigated control con- figuration are confirmed in a complex disturbance environment. The flow is perturbed with random localised disturbances inside the boundary layer and the laminar-to-turbulence transition is delayed via a multi-input-multi-output (MIMO) version of the fxLMS algorithm. A positive theoretical net-energy- saving is observed for disturbance amplitudes up to 2% of the free-stream velocity at the actuation location, reaching values around 1000 times the input power for the lower disturbance amplitudes that have been investigated. / I den här avhandlingen har reglertekniska metoder tillämpats för att försena omslaget från ett laminärt till ett turbulent gränsskikt genom att dämpa tillväxten av små instabiliteter, så kallade Tollmien-Schlichting vågor. Adaptiva och modellbaserade metoder för reglering av strömning har undersökts med hjälp av numeriska beräkningar av Navier-Stokes ekvationer, vindtunnelexperiment och även genom direkt tillämpning på flygplan. Plasmaaktuatorer och varmtrådsgivare vidhäftade på ytan av plattan eller vingen har använts i experimenten och modellerats i beräkningarna. Prestanda och begränsningar av den valda kontrollstrategin har utvärderats för både tvådimensionella och tredimensionella gränsskiktsinstabiliteter. Fokus har varit på metodernas robusthet, där vi visar att statiska metoder som linjär-kvadratiska regulatorer (LQG) är mycket känsliga för avvikelser från den nominella modellen. Detta beror främst på att regulatorer agerar i förkompenseringsläge (”feed-foward”) på grund av strömningens karaktär och placeringen av givare och aktuatorer. För att minska känsligheten mot avvikelser och därmed öka robustheten har en givare införts nedströms och en adaptiv fXLMS algoritm (filtered-x least-mean-squares) har tillämpats.                  Vidare har modelleringen av fXLMS-algoritmen förenklats genom att ersätta överföringsfunktionen mellan aktuatorer och givare med en lämplig tidsfördröjning.  Denna  metod som kallas för dxLMS (delayed-x least-mean-squares) kräver att ytterligare en givare införs långt uppströms för att kunna uppskatta hastigheten på de propagerande instabilitetsvågorna. Denna teknik har tillämpats framgångsrikt för reglering av gränsskiktet på vingen av ett segelflygplan. Slutligen har de reglertekniska metoderna testas för komplexa slumpmässiga tredimensionella störningar som genererats uppströms lokalt i gränsskiktet. Vi visar att en signifikant försening av laminärt-turbulentomslag äger rum med hjälp av en fXLMS algoritm. En analys av energibudgeten visar att för ideala aktuatorer och givare kan den sparade energiåtgången på grund av minskad väggfriktion vara upp till 1000 gånger större än den energi som använts för reglering.