1 |
Deep Reinforcement Learning for Temperature Control in Buildings and Adversarial AttacksAmmouri, Kevin January 2021 (has links)
Heating, Ventilation and Air Conditioning (HVAC) systems in buildings are energy consuming and traditional methods used for building control results in energy losses. The methods cannot account for non-linear dependencies in the thermal behaviour. Deep Reinforcement Learning (DRL) is a powerful method for reaching optimal control in many different control environments. DRL utilizes neural networks to approximate the optimal actions to take given that the system is in a given state. Therefore, DRL is a promising method for building control and this fact is highlighted by several studies. However, neural network polices are known to be vulnerable to adversarial attacks, which are small, indistinguishable changes to the input, which make the network choose a sub-optimal action. Two of the main approaches to attack DRL policies are: (1) the Fast Gradient Sign Method, which uses the gradients of the control agent’s network to conduct the attack; (2) to train a a DRL-agent with the goal to minimize performance of control agents. The aim of this thesis is to investigate different strategies for solving the building control problem with DRL using the building simulator IDA ICE. This thesis is also going to use the concept of adversarial machine learning by applying the attacks on the agents controlling the temperature inside the building. We first built a DRL architecture to learn how to efficiently control temperature in a building. Experiments demonstrate that exploration of the agent plays a crucial role in the training of the building control agent, and one needs to fine-tune the exploration strategy in order to achieve satisfactory performance. Finally, we tested the susceptibility of the trained DRL controllers to adversarial attacks. These tests showed, on average, that attacks trained using DRL methods have a larger impact on building control than those using FGSM, while random perturbation have almost null impact. / Ventilationssystem i byggnader är energiförbrukande och traditionella metoder som används för byggnadskontroll resulterar i förlust av energisparande. Dessa metoder kan inte ta hänsyn till icke-linjära beroenden i termisk beteenden. Djup förstärkande inlärning (DRL) är en kraftfull metod för att uppnå optimal kontroll i många kontrollmiljöer. DRL använder sig av neurala nätverk för att approximera optimala val som kan tas givet att systemet befinner sig i en viss stadie. Därför är DRL en lovande metod för byggnadskontroll och detta faktumet är markerat av flera studier. Likväl, neurala nätverk i allmänhet är kända för att vara svaga mot adversarial attacker, vilket är små ändringar i inmatningen, som gör att neurala nätverket väljer en åtgärd som är suboptimal. Syftet med denna anvhandling är att undersöka olika strategier för att lösa byggnadskontroll-problemet med DRL genom att använda sig av byggnadssimulatorn IDA ICE. Denna avhandling kommer också att använda konceptet av adversarial machine learning för att attackera agenterna som kontrollerar temperaturen i byggnaden. Det finns två olika sätt att attackera neurala nätverk: (1) Fast Gradient Sign Method, som använder gradienterna av kontrollagentens nätverk för att utföra sin attack; (2) träna en inlärningsagent med DRL med målet att minimera kontrollagenternas prestanda. Först byggde vi en DRL-arkitektur som lärde sig kontrollera temperaturen i en byggad. Experimenten visar att utforskning av agenten är en grundläggande faktor för träningen av kontrollagenten och man måste finjustera utforskningen av agenten för att nå tillfredsställande prestanda. Slutligen testade vi känsligheten av de tränade DRL-agenterna till adversarial attacker. Dessa test visade att i genomsnitt har det större påverkan på kontrollagenterna att använda DRL metoder än att använda sig av FGSM medans att attackera helt slumpmässigt har nästan ingen påverkan.
|
2 |
Pricing Financial Derivatives with the FiniteDifference Method / Prissättning av finansiella derivat med den finita differensmetodenDanho, Sargon January 2017 (has links)
In this thesis, important theories in financial mathematics will be explained and derived. These theories will later be used to value financial derivatives. An analytical formula for valuing European call and put option will be derived and European call options will be valued under the Black-Scholes partial differential equation using three different finite difference methods. The Crank-Nicholson method will then be used to value American call options and solve their corresponding free boundary value problem. The optimal exercise boundary can then be plotted from the solution of the free boundary value problem. The algorithm for valuing American call options will then be further developed to solve the stock loan problem. This will be achieved by exploiting a link that exists between American call options and stock loans. The Crank-Nicholson method will be used to value stock loans and their corresponding free boundary value problem. The optimal exit boundary can then be plotted from the solution of the free boundary value problem. The results that are obtained from the numerical calculations will finally be used to discuss how different parameters affect the valuation of American call options and the valuation of stock loans. In the end of the thesis, conclusions about the effect of the different parameters on the optimal prices will be presented. / I det här kandidatexamensarbetet kommer fundamentala teorier inom finansiell matematik förklaras och härledas. Dessa teorier kommer lägga grunden för värderingen av finansiella derivat i detta arbete. En analytisk formel för att värdera europeiska köp- och säljoptioner kommer att härledas. Dessutom kommer europeiska köpoptioner att värderas numeriskt med tre olika finita differensmetoder. Den finita differensmetoden Crank-Nicholson kommer sedan användas för att värdera amerikanska köpoptioner och lösa det fria gränsvärdesproblemet (free boundary value problem). Den optimala omvandlingsgränsen (Optimal Exercise Boundary) kan därefter härledas från det fria gränsvärdesproblemet. Algoritmen för att värdera amerikanska köpoptioner utökas därefter till att värdera lån med aktier som säkerhet. Detta kan åstadkommas genom att utnyttja ett samband mellan amerikanska köpoptioner med lån där aktier används som säkerhet. Den finita differensmetoden Crank-Nicholson kommer dessutom att användas för att värdera lån med aktier som säkerhet. Den optimala avyttringsgränsen (Optimal Exit Boundary) kan därefter härledas från det fria gränsvärdesproblemet. Resultaten från de numeriska beräkningarna kommer slutligen att användas för att diskutera hur olika parametrar påverkar värderingen av amerikanska köpoptioner, samt värdering av lån med aktier som säkerhet. Avslutningsvis kommer slutsatser om effekterna av dessa parametrar att presenteras.
|
3 |
The economic and environmental impacts of transportation decisions : A multi-objective optimization / De ekonomiska och miljömässiga effekterna av transportbeslut : En multi-objektiv optimeringEliasson, Joel, Segevall, Arvid January 2022 (has links)
Getinge AB is a global medical technology company. This master’s thesis is based on the outflow of capital equipments from Getinge’s factory in Växjö to four different sales and service units. The purpose of this thesis is to give Getinge a deeper insight of why the customers and the own organization do not know when they can expect their products. This makes most requests urgent and thus prohibits them from using the best environmental and cost efficient modes of transportation. Two sub-problems have been created in order to investigate this. Sub-problem 1 originates from an organizational perspective. The aim of this problem is to examine the possibilities to achieve less urgent transportations by improving the communication between sales and service units, factories and logistics services. This is evaluated based on semi-structured interviews containing both qualitative and quantitative questions with employees rep- resenting the different functions at the company. It appeared that different phrases, explaining the same thing, were used internally leading to confu- sion. Further, the different functions have harmonized follow-up sessions but do not share the information between each other. The resulting information vacuum creates trust issues and unnecessary time margins and buffers. Sub-problem 2 concerns the trade-off between the economic and environmen- tal impacts in relation to the Greenhouse Gas Protocol Scope 3. This trade- off is evaluated by a multi-objective optimization model, where emissions are priced based on the EU ETS market valuation. Current research argues that the choice of transportation mode is the simplest emissions abatement option in terms of implementation. This study indicates that it is possible for Getinge, in the short-term, to decrease costs and emissions by just chang- ing between current transportation modes. However, a long-term strategy should include evaluation of consolidations, alternative fuels and electrified vehicles since the cost of decreasing one kilogram of emissions by changing between current transportation modes will increase. Finally, increased transparency and communication between sales and ser- vice units, factory and logistics services could be achieved via a one point of contact solution. This could avoid unnecessary time margins and buffers and hence open up the possibility of better over all lead time utilization. This could make it easier to use more environmental friendly transportation modes and thus lower emissions and costs, while still satisfying the customers.
|
4 |
Road Segmentation and Optimal Route Prediction using Deep Neural Networks and Graphs / Vägsegmentering och förutsägelse av optimala rutter genom djupa neurala nätverk och graferOssmark, Viktor January 2021 (has links)
Observing the earth from above is a great way of understanding our world better. From space, many complex patterns and relationships on the ground can be identified through high-quality satellite data. The quality and availability of this data in combination with recent advancement in various deep learning techniques allows us to find these patterns more effectively then ever. In this thesis, we will analyze satellite imagery by using deep neural networks in an attempt to find road networks in different cities around the world. Once we have located networks of roads in the cities we will represent them as graphs and deploy the Dijkstra shortest path algorithm to find optimal routes within these networks. Having the ability to efficiently use satellite imagery for near real-time road detection and optimal route prediction has many possible applications, especially from a humanitarian and commercial point of view. For example, in the humanitarian realm, the frequency of natural disasters is unfortunately increasing due to climate change and the need for emergency real-time mapping for relief organisations in the case of a severe flood or similar is growing. The state-of-the-art deep neural network models that will be implemented, compared and contrasted for this task are mainly based on the U-net and ResNet architectures. However, before introducing these architectures the reader will be given a comprehensive introduction and theoretical background of deep neural networks to distinctly formulate the mathematical groundwork. The final results demonstrates an overall strong model performance across different metrics and data sets, with the highest obtained IoU-score being approximately 0.7 for the segmentation task. For some models we can also see a high degree of similarity between the predicted optimal paths and the ground truth optimal paths. / Att betrakta jorden från ovan är ett bra tillvägagångsätt för att förstå vår egen värld bättre. Från rymden, många komplexa mönster och samband på marken går att urskilja genom hög-upplöst satellitdata. Kvalitén och tillgängligheten av denna data, i kombination med de senaste framstegen inom djupa inlärningstekniker, möjliggör oss att hissa dessa mönster mer effektivt än någonsin. I denna avhandling kommer vi analysera satellitbilder med hjälp av djupa neurala nätverk i ett försök att hitta nätverk av vägar i olika städer runtom i världen. Efter vi har lokaliserat dessa nätverk av vägar så kommer vi att representera nätverken som grafer och använda oss av Dijkstras algoritm för att hitta optimala rutter inom dessa nätverk. Att ha förmågan att kunna effektivt använda sig av satellitbilder för att i nära realtid kunna identifiera vägar och optimala rutter har många möjliga applikationer. Speciellt ur ett humant och kommersiellt perspektiv. Exempelvis, inom det humanitära området, så ökar dessvärre frekvensen av naturkatastrofer på grund av klimatförändringar och därmed är behovet av nödkartläggning i realtid för hjälporganisationer större än någonsin. En effektiv nödkartläggning skulle exempelvis kunna underlätta enormt vid en allvarlig översvämning eller dylikt. Dem toppmoderna djupa neurala nätverksmodellerna som kommer implementeras, jämföras och nyanseras för denna uppgift är i huvudsak baserad på U-net och ResNet arkitekturerna. Innan vi presenterar dessa arkitekturer i denna avhandling så kommer läsaren att få en omfattande teoretisk bakgrund till djupa neurala nätverk för att tydligt formulera dem matematiska grundpelarna. Dem slutgiltiga resultaten visar övergripande stark prestanda för samtliga av våra modeller. Både på olika datauppsättningar samt utvärderingsmått. Den högste IoU poängen som uppnås är cirka 0,7 och vi kan även se en hög grad av likhet mellan vissa av våra förutsagda optimala rutter och mark sanningens optimala rutter.
|
5 |
Optimal Capital Structures under the Vasicek Stochastic Interest Rate Model / Optimala kapitalstrukturer med en Vasicek-stokastisk räntemodellDanielson, Oscar, Hagéus, Tom January 2023 (has links)
This study applies the Vasicek stochastic interest rate model in order to determine optimal capital structures for listed firms. A Swedish interest rate data set is used to estimate Vasicek model parameter that are reliable and independent of initial start values. These interest rate parameters are then used in a capital structure model which is evaluated through a sensitivity analysis and a firm-specific analysis which is applied to listed Swedish firms. The tax benefits of debt must be balanced against transaction costs and bankruptcy costs when determining optimal leverage ratio and optimal debt maturity. The results imply that firms should primarily focus on the long-term mean parameter of the interest rate process, the volatility of its firm value, the transaction cost of issuing debt and the effective corporate tax rate when choosing a capital structure. The capital structure model is well-founded in previous research and yields results which align with empirical data quite well. The conclusions of this study has implications for corporate finance, as the Vasicek model provides a better understanding of the stochastic nature of interest rates and its influence in determining optimal capital structures. / Denna studie tillämpar Vasiceks stokastiska räntemodell för att bestämma optimala kapitalstrukturer för noterade företag. Vasicekmodellen anpassas till ett Svensk dataset över räntor för att estimera parametrar. Dessa parametrar används sedan i en kapitalstruktursmodell för att analysera modellens känslighet för variationer i parametrar samt för att härleda optimala kapitalstrukturer för en rad Svenska noterade bolag. Skattefördelarna av skuld måste balanseras mot transaktionskostnader av skuldemissioner och konkurskostnader vid bestämning av optimal skuldsättningsgrad och optimal skuldlöptid. Resultaten antyder att företag bör primärt fokusera på det långsiktiga medelvärdet av den stokastiska ränteprocessen, volatiliteten av bolagsvärdet, transaktionskostnaden av skuldemissioner och effektiva bolagsskatten när de väljer en kapitalstruktur. Denna studie har implikationer för finansieringsteori då Vasiceks modell närmare modellerar räntors stokastiska dynamiker och dess påverkan på bestämning av bolags kapitalstrukturer.
|
6 |
Parameter extraction in lithium ion batteries using optimal experiments / Parameterbestämning av litium-jonbatterier med hjälp av optimala experimentPrathimala, Venu Gopal January 2021 (has links)
Lithium-ion (Li-Ion) batteries are widely used in various applications and are viable for automotive applications. The effective management of Li-Ion batteries in battery electric vehicles (BEV) plays a crucial role in performance and range. One can achieve good performance and range by using efficient battery models in battery management systems (BMS). Hence, these battery models play an essential part in the development process of battery electric vehicles. Physics-based battery models are used for design purposes, control, or to predict battery behaviour, and these require much information about materials and reaction and mass transport properties. Model parameterization, i.e., obtaining model parameters from different experimental sets (by fitting the model to experimental data sets), can be challenging depending on model complexity and the type and quality of experimental data. Based on the idea of parameter sensitivity, certain current/voltage data sets could be chosen that theoretically has a more considerable sensitivity for a given model parameter that is of interest to extract. In this thesis work, different methods for extracting model parameters for a Nickel-Manganese-Cobalt (NMC) battery composite electrode are experimentally tested and compared. Specifically, model parameterization using \emph{optimal experiments} based on performed parameter sensitivity analysis has been benchmarked against a 1C discharge test and low rate pulse tests. The different parameter sets obtained have then been validated on a drive cycle and 2C pulse tests. Comparing the methods show some promising results for the optimal experiment design (OED) method, but consideration regarding the state of charge (SOC) dependencies, the number of parameters has to be further evaluated. / Litiumjonbatterier (Li-jon) används i olika applikationer och är ett bra alternativ förfordonsapplikationer. Den effektiva hanteringen av litiumjonbatterier i elbilar har en viktigroll för fordonens prestanda och räckvidd. Man kan nå bra prestanda och räckviddgenom att använda bra batterimodeller i batteriets övervakningssystem (BMS). Därförspelar dessa batterimodeller en viktig roll i utvecklingen av elbilar. Fysikbaseradebatterimodeller används för design, reglering eller för att prediktera beteendet hos batteriet,vilket kräver mycket information om material samt dess reaktion och andra beskaffenheter.Modellparametrisering, dvs. att införskaffa modellparametrar från olika experiment (genom attanpassa modell till experimentella data) kan vara utmanande beroende på modellkomplexitetoch typen samt kvalitén på experimentell data. Baserat på idén om parametersensitivitet kan data om ström och spänning väljas så att de teoretiskt har mer sensitivitet för engiven modellparameter som är av intresse att extrahera. I detta examensarbete testas ochjämförs olika metoder för att extrahera modellparametrar för en Nickelmangankobolt (NMC)batterielektrod. Mer specifikt, modellparametrisering genom optimala experiment baseradepå genomförd parametersesitivitetsanalys jämförts med 1C urladdningstest och låg nivåpulstest. Jämförande av metoderna visar goda resultat för OED metoden men flera parametrarmåste fortsatt utvärderas gällande laddningstatusberoenden (SOC).
|
Page generated in 0.0549 seconds