Diese Arbeit untersucht eine Reihe multiplikativer Preiseinflussmodelle für das Handeln in einer riskanten Anlage. Unser risikoneutraler Investor versucht seine zu erwartenden Handelserlöse zu maximieren. Zunächst modellieren wir den vorübergehende Preiseinfluss als deterministisches Funktional der Handelsstrategie. Wir stellen den Zusammenhang mit Limit-Orderbüchern her und besprechen die optimale Strategie zum Auf- bzw. Abbau einer Anlageposition bei a priori unbeschränkem Anlagehorizont. Anschließend lösen wir das Optimierungsproblem mit festem Anlagehorizon in zwei Schritten. Mittels Variationsrechnung lässt sich die freie Grenzefläche, die Kauf- und Verkaufsregionen trennt, als lokales Optimum identifizieren, was entscheidend für die Verifikation globaler Optimalität ist. Im zweiten Teil der Arbeit erweitern wir den zwischengeschalteten Markteinflussprozess um eine stochastische Komponente, wodurch optimale Strategien dynamisch an zufällige Liquiditätsschwankungen adaptieren. Wir bestimmen die optimale Liquidierungsstrategie im zeitunbeschränkten Fall als die reflektierende Lokalzeit, die den Markteinfluss unterhalb eines explizit beschriebenen nicht-konstanten Grenzlevels hält. Auch dieser Beweis kombiniert Variationsrechnung und direkten Methoden. Um nun eine Zeitbeschränkung zu ermöglichen, müssen wir Semimartingalstrategien zulassen. Skorochods M1-Toplogie ist der Schlüssel, um die Klasse der möglichen Strategien in einer umfangreichen Familie von Preiseinflussmodellen, welche sowohl additiven, als auch multiplikativen Preiseinfluss umfasst, mit deterministischer oder stochastischer Liquidität, eindeutig von endlichen Variations- auf allgemeine càdlàg Strategien zu erweitern. Nach Einführung proportionaler Transaktionskosten lösen wir das entsprechende eindimensionale freie Grenzproblem des optimalen unbeschränkten Handels und beleuchten mögliche Lösungsansätze für das Liquidierungsproblem, das mit dem Verkauf der letzten Anleihe endet. / In this thesis, we study a class of multiplicative price impact models for trading a single risky asset. We model price impact to be multiplicative so that prices are guaranteed to stay non-negative. Our risk-neutral large investor seeks to maximize expected gains from trading. We first introduce a basic variant of our model, wherein the transient impact is a deterministic functional of the trading strategy. We draw the connection to limit order books and give the optimal strategy to liquidate or acquire an asset position infinite time horizon. We then solve the optimization problem for finite time horizon two steps. Calculus of variations allows to identify the free boundary surface that separates buy and sell regions and moreover show its local optimality, which is a crucial ingredient for the verification giving (global) optimality. In the second part of the thesis, we add stochasticity to the auxiliary impact process. This causes optimal strategies to dynamically adapt to random changes in liquidity. We identify the optimal liquidation strategy in infinite horizon as the reflection local time which keeps the market impact process below an explicitly described non-constant free boundary level. Again the proof technique combines classical calculus of variations and direct methods. To now impose a time constraint, we need to admit semimartingale strategies. Skorokhod's M1 topology is key to uniquely extend the class of admissible controls from finite variation to general càdlàg strategies in a broad class of market models including multiplicative and additive price impact, with deterministic or stochastic liquidity. After introducing proportional transaction costs in our model, we solve the related one-dimensional free boundary problem of unconstrained optimal trading and highlight possible solution methods for the corresponding liquidation problem where trading stops as soon as all assets are sold.

Diese Dissertation behandelt zwei Hauptthemen: Mean-Field-Kontrollprobleme (MFC)/-Spiele (MFG) mit mehrdimensionalen singulären Kontrollen sowie den Kontrollrandomisierungsansatz und dessen Anwendungen im Reinforcement Learning. Das erste Kapitel führt MFC-Probleme mit singulären Kontrollen ein, bei denen die Kosten von Zustand, Kontrolle und deren gemeinsamer Verteilung abhängen. Mittels Two-Layer-Parametrisierungen stellen wir die Zielfunktion über stetige Funktionen von Parametrisierung dar, leiten ein dynamisches Programmierungsprinzip (DPP) her und charakterisieren die Wertfunktion als minimale Supersolution einer quasi-variationellen Ungleichung im Wasserstein-Raum. Im zweiten Kapitel betrachten wir MFGs, bei denen Einfluss und Kosten der singulären Kontrolle vom Zustand und der Kontrolle abhängen. Wir führen MFGs von Parametrisierungen ein und zeigen, dass die Zielfunktion auf der Menge der Parametrisierungen stetig ist. Wir beweisen die Existenz von Nash-Gleichgewichten sowohl im MFG der Parametrisierungen als auch im MFG mit singulären Kontrollen. Das dritte Kapitel behandelt MFC-Probleme mit gemeinsamem Rauschen mittels des Kontrollrandomisierungsansatzes, bei dem wir den Kontrollprozess durch einen Poisson-Punktprozess ersetzen und stattdessen dessen Intensität kontrollieren. Nach Reformulierung zulässiger Kontrollen als L0-wertige Prozesse, nur angepasst an das gemeinsame Rauschen, konstruieren wir ein äquivalentes randomisiertes Kontrollproblem und stellen die Wertfunktion mittels einer Rückwärts-Stochastischen-Differentialgleichung (BSDE) dar und leiten ein DPP her. Das vierte Kapitel entwickelt ein Policy-Gradient-Framework für Continuous-Time Reinforcement Learning, basierend auf dem Zusammenhang zwischen stochastischen Kontrollproblemen und randomisierten Problemen. Wir leiten eine Policy-Gradient-Darstellung mit Intensität-Policies her und entwickeln Actor-Critic-Algorithmen, veranschaulicht anhand von Optimal-Switching-Problemen im Energiesektor. / This thesis explores two main areas: mean-field control (MFC)/games (MFG) with multi-dimensional singular controls and the control randomisation approach together with its applications to reinforcement learning. The first chapter introduces MFC problems with singular controls and costs depending on the state, control, and their joint law. Using novel two-layer parametrisations, we rewrite rewards in terms of continuous functions of parametrisation of the control process, derive a dynamic programming principle (DPP) and characterise the value function as the minimal supersolution to a quasi-variational inequality in the Wasserstein space. The second chapter extends this framework to MFGs where both the impact and costs of singular controls depend on the state and control. We introduce a novel class of MFGs with a broader set of admissible controls, called MFGs of parametrisations, prove that the reward functional is continuous on the set of parametrisations and establish the existence of Nash equilibria in both the MFG of parametrisations and the underlying MFG with singular controls. The third chapter addresses MFC problems with common noise using the control randomisation technique, replacing the control process with a Poisson point process, controlling its intensity instead. By reformulating admissible controls as L0-valued processes adapted only to the common noise, we construct an equivalent randomised control problem and represent the value function via a backward stochastic differential equation (BSDE) with constrained jumps and derive a randomised DPP. The fourth chapter develops a policy gradient framework for continuous-time reinforcement learning based on the connection between stochastic control and randomised problems. We derive a new policy gradient representation featuring parametrised intensity policies and develop tailored actor-critic algorithms, demonstrated via numerical case studies of optimal switching problems in the energy sector.