Market microstructure studies the process of exchanging assets underexplicit trading rules. With algorithmic trading and high-frequencytrading, modern financial markets have seen profound changes in marketmicrostructure in the last 5 to 10 years. As a result, previously establishedmethods in the field of market microstructure becomes oftenfaulty or insufficient. Machine learning and, in particular, reinforcementlearning has become more ubiquitous in both finance and otherfields today with applications in trading and optimal execution. This thesisuses reinforcement learning to understand market microstructureby simulating a stock market based on NASDAQ Nordics and trainingmarket maker agents on this stock market. Simulations are run on both a dealer market and a limit orderbook marketdifferentiating it from previous studies. Using DQN and PPO algorithmson these simulated environments, where stochastic optimal controltheory has been mainly used before. The market maker agents successfullyreproduce stylized facts in historical trade data from each simulation,such as mean reverting prices and absence of linear autocorrelationsin price changes as well as beating random policies employed on thesemarkets with a positive profit & loss of maximum 200%. Other tradingdynamics in real-world markets have also been exhibited via theagents interactions, mainly: bid-ask spread clustering, optimal inventorymanagement, declining spreads and independence of inventory and spreads, indicating that using reinforcement learning with PPO and DQN arerelevant choices when modelling market microstructure. / Marknadens mikrostruktur studerar hur utbytet av finansiella tillgångar sker enligt explicita regler. Algoritmisk och högfrekvenshandel har förändrat moderna finansmarknaders strukturer under de senaste 5 till 10 åren. Detta har även påverkat pålitligheten hos tidigare använda metoder från exempelvis ekonometri för att studera marknadens mikrostruktur. Maskininlärning och Reinforcement Learning har blivit mer populära, med många olika användningsområden både inom finans och andra fält. Inom finansfältet har dessa typer av metoder använts främst inom handel och optimal exekvering av ordrar. I denna uppsats kombineras både Reinforcement Learning och marknadens mikrostruktur, för att simulera en aktiemarknad baserad på NASDAQ i Norden. Där tränas market maker - agenter via Reinforcement Learning med målet att förstå marknadens mikrostruktur som uppstår via agenternas interaktioner. I denna uppsats utvärderas och testas agenterna på en dealer – marknad tillsammans med en limit - orderbok. Vilket särskiljer denna studie tillsammans med de två algoritmerna DQN och PPO från tidigare studier. Främst har stokastisk optimering använts för liknande problem i tidigare studier. Agenterna lyckas framgångsrikt med att återskapa egenskaper hos finansiella tidsserier som återgång till medelvärdet och avsaknad av linjär autokorrelation. Agenterna lyckas också med att vinna över slumpmässiga strategier, med maximal vinst på 200%. Slutgiltigen lyckas även agenterna med att visa annan handelsdynamik som förväntas ske på en verklig marknad. Huvudsakligen: kluster av spreads, optimal hantering av aktielager och en minskning av spreads under simuleringarna. Detta visar att Reinforcement Learning med PPO eller DQN är relevanta val vid modellering av marknadens mikrostruktur.

Das moderne Finanzsystem ist komplex, dynamisch, hochdimensional und oftmals nicht stationär. All diese Faktoren stellen große Herausforderungen beim Messen des zugrundeliegenden Finanzrisikos dar, das speziell für Marktteilnehmer von oberster Priorität ist. Hochdimensionalität, die aus der ansteigenden Vielfalt an Finanzprodukten entsteht, ist ein wichtiges Thema für Ökonometriker. Ein Standardansatz, um mit hoher Dimensionalität umzugehen, ist es, Schlüsselvariablen auszuwählen und kleine Koeffizientenen auf null zu setzen, wie etwa Lasso. In der Finanzmarktanalyse kann eine solche geringe Annahme helfen, die führenden Risikofaktoren aus dem extrem großen Portfolio, das letztendlich das robuste Maß für finanzielles Risiko darstellt, hervorzuheben. In dieser Arbeit nutzen wir penalisierte Verfahren, um die ökonometrischen Maße für das finanzielle Risiko in hoher Dimension zu schätzen, sowohl mit nieder-, als auch hochfrequenten Daten. Mit Fokus auf dem Finanzmarkt, können wir das Risikonetzwerk des ganzen Systems konstruieren, das die Identifizierung individualspezifischen Risikos erlaubt. / Modern financial system is complex, dynamic, high-dimensional and often possibly non-stationary. All these factors pose great challenges in measuring the underlying financial risk, which is of top priority especially for market participants. High-dimensionality, which arises from the increasing variety of the financial products, is an important issue among econometricians. A standard approach dealing with high dimensionality is to select key variables and set small coefficient to zero, such as lasso. In financial market analysis, such sparsity assumption can help highlight the leading risk factors from the extremely large portfolio, which constitutes the robust measure for financial risk in the end. In this paper we use penalized techniques to estimate the econometric measures of financial risk in high dimensional, with both low-frequency and high-frequency data. With focus on financial market, we could construct the risk network of the whole system which allows for identification of individual-specific risk.

A stochastic model for the dynamics of a limit order book is evaluated and tested on empirical data. Arrival of limit, market and cancellation orders are described in terms of a Markovian queuing system with exponentially distributed occurrences. In this model, several key quantities can be analytically calculated, such as the distribution of times between price moves, price volatility and the probability of an upward price move, all conditional on the state of the order book. We show that the exponential distribution poorly fits the occurrences of order book events and further show that little resemblance exists between the analytical formulas in this model and the empirical data. The log-normal and Weibull distribution are suggested as replacements as they appear to fit the empirical data better.

Market making – the process of simultaneously and continuously providing buy and sell prices in a financial asset – is rather complicated to optimize. Applying reinforcement learning (RL) to infer optimal market making strategies is a relatively uncharted and novel research area. Most published articles in the field are notably opaque concerning most aspects, including precise methods, parameters, and results. This thesis attempts to explore and shed some light on the techniques, problem formulations, algorithms, and hyperparameters used to construct RL-derived strategies for market making. First, a simple probabilistic model of a limit order book is used to compare analytical and RL-derived strategies. Second, a market making agent is trained on a more complex Markov chain model of a limit order book using tabular Q-learning and deep reinforcement learning with double deep Q-learning. Results and strategies are analyzed, compared, and discussed. Finally, we propose some exciting extensions and directions for future work in this research field. / Likviditetsgarantering (eng. ”market making”) – processen att simultant och kontinuerligt kvotera köp- och säljpriser i en finansiell tillgång – är förhållandevis komplicerat att optimera. Att använda förstärkningsinlärning (eng. ”reinforcement learning”) för att härleda optimala strategier för likviditetsgarantering är ett relativt outrett och nytt forskningsområde. De flesta publicerade artiklarna inom området är anmärkningsvärt återhållsamma gällande detaljer om de tekniker, problemformuleringar, algoritmer och hyperparametrar som används för att framställa förstärkningsinlärningsbaserade strategier. I detta examensarbete så gör vi ett försök på att utforska och bringa klarhet över dessa punkter. Först används en rudimentär probabilistisk modell av en limitorderbok som underlag för att jämföra analytiska och förstärkningsinlärda strategier. Därefter brukas en mer sofistikerad Markovkedjemodell av en limitorderbok för att jämföra tabulära och djupa inlärningsmetoder. Till sist presenteras även spännande utökningar och direktiv för framtida arbeten inom området.

Limit-Orderbücher sind das Standardinstrument der Preisbildung in modernen Finanzmärkten. Während Strom traditionell in Auktionen gehandelt wird, gibt es Intraday Strommärkte wie beispielsweise den SIDC-Markt, in welchem Käufer und Verkäufer über Limit-Orderbücher zusammentreffen. In dieser Arbeit werden wir stochastische Modelle von Limit-Orderbüchern auf der Grundlage der zugrundeliegenden Marktmikrostruktur entwickeln. Einen besonderen Schwerpunkt legen wir dabei auf die Berücksichtigung besonderer Merkmale der Intraday-Strommärkte, die sich zum Teil deutlich von denen der Finanzmärkte unterscheiden. Die in dieser Arbeit entwickelten Modelle beginnen mit einer realistischen und mikroskopischen Beschreibung der Marktdynamik. Große Preisänderungen über kurze Zeiträume werden ebenso berücksichtigt wie begrenzte grenzüberschreitende Aktivitäten. Diese mikroskopischen Modelle sind im Allgemeinen zu rechenintensiv für praktische Anwendungen. Das Hauptziel dieser Arbeit ist es daher, geeignete Approximationen dieser mikroskopischen Modelle durch sogenannte Skalierungsgrenzprozesse herzuleiten. Zu diesem Zweck werden sorgfältig Skalierungsannahmen formuliert und in die mikroskopischen Modelle eingebaut. Diese Annahmen ermöglichen es uns, ihr Hochfrequenzverhalten zu untersuchen, vorausgesetzt, dass die Größe eines einzelnen Auftrags gegen Null konvergiert, während die Auftragseingangsrate gegen unendlich tendiert. Die Kalibrierung mathematischer Modelle ist aus Anwendersicht eines der Hauptanliegen. Dabei ist bekannt, dass Änderungspunkte (abrupte Schwankungen) in hochfrequenten Finanzdaten vorhanden sind. Falls sie durch endogene Effekte verursacht wurden, muss bei der Schätzung solcher Änderungspunkte die Abhängigkeit von den zugrundeliegenden Daten berücksichtigt werden. Daher erweitern wir im letzten Teil dieser Arbeit die bestehende Literatur zur Erkennung von Änderungspunkten, so dass auch zufällige, von den Daten abhängige Änderungspunkte gehandhabt werden können. / Limit order books are the standard instrument for price formation in modern financial markets. While electricity has traditionally been traded through auctions, there are intraday electricity markets, such as the SIDC market, in which buyers and sellers meet via limit order books. In this thesis, stochastic models of limit order books are developed based on the underlying market microstructure. A particular focus is set on incorporating unique characteristics of intraday electricity markets, some of which are quite different from those of financial markets. The developed models in this thesis start with a realistic and microscopic description of the market dynamics. Large price changes over short time periods are considered, as well as limited cross-border activities. These microscopic models are generally computationally too intensive for practical applications. The main goal of this thesis is therefore to derive suitable approximations of these microscopic models by so-called scaling limits. For this purpose, appropriate scaling assumptions are carefully formulated and incorporated into the microscopic models which allow us to study their high-frequency behavior when the size of an individual order converges to zero while the order arrival rate tends to infinity. Calibration of mathematical models is one of the main concerns from a practitioner’s point of view. It is well known that change points (abrupt variations) are present in high-frequency financial data. If they are caused by endogenous effects, the dependence on the underlying data must be considered when estimating such change points. In the final part of this thesis, we extend the existing literature on change point detection so that random change points depending on the data can also be handled.