Cette thèse se compose de deux parties. Dans la première partie, nous étudions les stratégies de temps minimum pour le traitement de la pollution dans de grandes ressources en eau, par exemple des lacs ou réservoirs naturels, à l'aide d'un bioréacteur continu qui fonctionne à un état quasi stationnaire. On contrôle le débit d'entrée d'eau au bioréacteur, dont la sortie revient à la ressource avec le même débit. Nous disposons de l'hypothèse d'homogénéité de la concentration de polluant dans la ressource en proposant trois modèles spatialement structurés. Le premier modèle considère deux zones connectées l'une à l'autre par diffusion et seulement une d'entre elles connectée au bioréacteur. Avec l'aide du Principe du Maximum de Pontryagin, nous montrons que le contrôle optimal en boucle fermée dépend seulement des mesures de pollution dans la zone traitée, sans influence des paramètres de volume, diffusion, ou la concentration dans la zone non traitée. Nous montrons que l'effet d'une pompe de recirculation qui aide à homogénéiser les deux zones est avantageux si opérée à vitesse maximale. Nous prouvons que la famille de fonctions de temps minimal en fonction du paramètre de diffusion est décroissante. Le deuxième modèle consiste en deux zones connectées l'une à l'autre par diffusion et les deux connectées au bioréacteur. Ceci est un problème dont l'ensemble des vitesses est non convexe, pour lequel il n'est pas possible de prouver directement l'existence des solutions. Nous surmontons cette difficulté et résolvons entièrement le problème étudié en appliquant le principe de Pontryagin au problème de contrôle relaxé associé, obtenant un contrôle en boucle fermée qui traite la zone la plus polluée jusqu'au l'homogénéisation des deux concentrations. Nous obtenons des limites explicites sur la fonction valeur via des techniques de Hamilton-Jacobi-Bellman. Nous prouvons que la fonction de temps minimal est non monotone par rapport au paramètre de diffusion. Le troisième modèle consiste en deux zones connectées au bioréacteur en série et une pompe de recirculation entre elles. L'ensemble des contrôles dépend de l'état, et nous montrons que la contrainte est active à partir d'un temps jusqu'à la fin du processus. Nous montrons que le contrôle optimal consiste à l'atteinte d'un temps à partir duquel il est optimal de recirculer à vitesse maximale et ensuite ré-polluer la deuxième zone avec la concentration de la première. Ce résultat est non intuitif. Des simulations numériques illustrent les résultats théoriques, et les stratégies optimales obtenues sont testées sur des modèles hydrodynamiques, en montrant qu'elles sont de bonnes approximations de la solution du problème inhomogène. La deuxième partie consiste au développement et l'étude d'un modèle stochastique de réacteur biologique séquentiel. Le modèle est obtenu comme une limite des processus de naissance et de mort. Nous établissons l'existence et l'unicité des solutions de l'équation contrôlée qui ne satisfait pas les hypothèses habituelles. Nous prouvons que pour n'importe quelle loi de contrôle la probabilité d'extinction de la biomasse est positive. Nous étudions le problème de la maximisation de la probabilité d'atteindre un niveau de pollution cible, avec le réacteur à sa capacité maximale, avant l'extinction. Ce problème ne satisfait aucune des suppositions habituelles (la dynamique n'est pas lipschitzienne, diffusion dégénérée localement hölderienne, contraintes d'état, ensembles cible et absorbant s'intersectent), donc le problème doit être étudié dans deux étapes: en premier lieu, nous prouvons la continuité de la fonction de coût non contrôlée pour les conditions initiales avec le volume maximal et ensuite nous développons un principe de programmation dynamique pour une modification du problème original comme un problème de contrôle optimal avec coût final sans contrainte sur l'état. / This thesis consists of two parts. In the first part we study minimal time strategies for the treatment of pollution in large water volumes, such as lakes or natural reservoirs, using a single continuous bioreactor that operates in a quasi-steady state. The control consists of feeding the bioreactor from the resource, with clean output returning to the resource with the same flow rate. We drop the hypothesis of homogeneity of the pollutant concentration in the water resource by proposing three spatially structured models. The first model considers two zones connected to each other by diffusion and only one of them treated by the bioreactor. With the help of the Pontryagin Maximum Principle, we show that the optimal state feedback depends only on the measurements of pollution in the treated zone, with no influence of volume, diffusion parameter, or pollutant concentration in the untreated zone. We show that the effect of a recirculation pump that helps to mix the two zones is beneficial if operated at full speed. We prove that the family of minimal time functions depending on the diffusion parameter is decreasing. The second model consists of two zones connected to each other by diffusion and each of them connected to the bioreactor. This is a problem with a non convex velocity set for which it is not possible to directly prove the existence of its solutions. We overcome this difficulty and fully solve the studied problem applying Pontryagin's principle to the associated problem with relaxed controls, obtaining a feedback control that treats the most polluted zone up to the homogenization of the two concentrations. We also obtain explicit bounds on its value function via Hamilton-Jacobi-Bellman techniques. We prove that the minimal time function is nonmonotone as a function of the diffusion parameter. The third model consists of a system of two zones connected to the bioreactor in series, and a recirculation pump between them. The control set depends on the state variable; we show that this constraint is active from some time up to the final time. We show that the optimal control consists of waiting up to a time from which it is optimal the mixing at maximum speed, and then to repollute the second zone with the concentration of the first zone. This is a non intuitive result. Numerical simulations illustrate the theoretical results, and the obtained optimal strategies are tested in hydrodynamic models, showing to be good approximations of the solution of the inhomogeneous problem. The second part consists of the development and study of a stochastic model of sequencing batch reactor. We obtain the model as a limit of birth and death processes. We establish the existence and uniqueness of solutions of the controlled equation that does not satisfy the usual assumptions. We prove that with any control law the probability of extinction is positive, which is a non classical result. We study the problem of the maximization of the probability of attaining a target pollution level, with the reactor at maximum capacity, prior to extinction. This problem does not satisfy any of the usual assumptions (non Lipschitz dynamics, degenerate locally H"older diffusion parameter, restricted state space, intersecting reach and avoid sets), so the problem must be studied in two stages: first, we prove the continuity of the uncontrolled cost function for initial conditions with maximum volume, and then we develop a dynamic programming principle for a modification of the problem as an optimal control problem with final cost and without state constraint.

L'objectif de ce travail de thèse est une étude quantitive des differents problèmes mathematiques qui apparaissent en trading algorithmique. Concrètement, on propose une approche scientifique pour optimiser des processus relatifs a la capture et provision de liquidités pour des marchés electroniques.Du au fort caractère appliqué de ce travail, on n'est pas seulement intéressés par la rigeur mathématique de nos résultats, mais on souhaite aussi a comprendre ce travail de recherche dans le contexte des differentes étapes qui font partie de l'implementation pratique des outils que l'on developpe; par exemple l'interpretation du modèle, l'estimation de parametres, l'implementation informatique etc.Du point de vue scientifique, le coeur de notre travail est fondé sur deux techniques empruntées au monde de l'optimisation et des probabilités, celles sont : le contrôle stochastique et l'approximation stochastique.En particulier, on présente des resultats academiques originaux pour le probleme de market-making haute fréquence et le problème de liquidation de portefeuille en utilisant des limit-orders; dans le deux cas on utilise une approche d'optimisation dite backwards. De la même façon, on résout le problème de market-making en utilisant une approche "forward", ceci étant innovateur dans la litterature du trading optimal car il ouvre la porte à des techniques d'apprentissage automatique.Du pont de vue pratique, cette thèse cherches à creer un point entre la recherche academique et l'industrie financière. Nos resultats sont constamment considérés dans la perspective de leur implementation pratique. Ainsi, on concentre une grande partie de notre travail a étudier les differents facteurs qui sont importants a comprendre quand on transforme nos techniques quantitatives en valeur industrielle: comprendre la microstructure des marchés, des faits stylisés, traitrement des données, discussions sur les modèles, limitations de notre cadre scientifique etc. / This PhD thesis focuses on the quantitative analysis of mathematical problems arising in the field of optimal algorithmic trading. Concretely, we propose a scientific approach in order to optimize processes related to the capture and provision of liquidity in electronic markets. Because of the strongly industry-focused character of this work, not only we are interested in giving rigorous mathematical results but also to understand this research project in the context of the different stages that come into play during the practical implementation of the tools developed throughout the following chapters (e.g. model interpretation, parameter estimation, programming etc.).From a scientific standpoint the core of our work focuses on two techniques taken from the world of optimization and probability; these are, stochastic control and stochastic approximation. In particular, we provide original academic results for the problem of high frequency market making and the problem of portfolio liquidation by using limit orders; both by using a backward optimization approach. We also propose a forward optimization framework to solve the market making problem; the latter approach being quite innovative for optimal trading, as it opens the door for machine learning techniques.From a practical angle, this PhD thesis seeks to create a bridge between academic research and practitioners. Our mathematical findings are constantly put in perspective in terms of their practical implementation. Hence, we focus a large part of our work on studying the different factors that are of paramount importance to understand when transforming our quantitative techniques into industrial value: understanding the underlying market microstructure, empirical stylized facts, data processing, discussion about the models, limitations of our scientific framework etc.

京都大学 / 新制・課程博士 / 博士(理学) / 甲第22973号 / 理博第4650号 / 新制||理||1668(附属図書館) / 京都大学大学院理学研究科数学・数理解析専攻 / (主査)教授 日野 正訓, 教授 泉 正己, 准教授 矢野 孝次 / 学位規則第4条第1項該当 / Doctor of Science / Kyoto University / DFAM

Les processus markoviens déterministes par morceaux (PDMP) forment une vaste classe de processus stochastiques caractérisés par une évolution déterministe entre des sauts à mécanisme aléatoire. Ce sont des processus de type hybride, avec une composante discrète de mode et une composante d’état qui évolue dans un espace continu. Entre les sauts du processus, la composante continue évolue de façon déterministe, puis au moment du saut un noyau markovien sélectionne la nouvelle valeur des composantes discrète et continue. Dans cette thèse, nous construisons des PDMP évoluant dans des espaces de mesures (de dimension infinie), pour modéliser des population de cellules en tenant compte des caractéristiques individuelles de chaque cellule. Nous exposons notre construction des PDMP sur des espaces de mesure, et nous établissons leur caractère markovien. Sur ces processus à valeur mesure, nous étudions un problème d'arrêt optimal. Un problème d'arrêt optimal revient à choisir le meilleur temps d'arrêt pour optimiser l'espérance d'une certaine fonctionnelle de notre processus, ce qu'on appelle fonction valeur. On montre que cette fonction valeur est solution des équations de programmation dynamique et on construit une famille de temps d'arrêt $epsilon$-optimaux. Dans un second temps, nous nous intéressons à un PDMP en dimension finie, le TCP, pour lequel on construit un schéma d'Euler afin de l'approcher. Ce choix de modèle simple permet d'estimer différents types d'erreurs. Nous présentons des simulations numériques illustrant les résultats obtenus. / Piecewise deterministic Markov processes (PDMP) form a large class of stochastic processes characterized by a deterministic evolution between random jumps. They fall into the class of hybrid processes with a discrete mode and an Euclidean component (called the state variable). Between the jumps, the continuous component evolves deterministically, then a jump occurs and a Markov kernel selects the new value of the discrete and continuous components. In this thesis, we extend the construction of PDMPs to state variables taking values in some measure spaces with infinite dimension. The aim is to model cells populations keeping track of the information about each cell. We study our measured-valued PDMP and we show their Markov property. With thoses processes, we study a optimal stopping problem. The goal of an optimal stopping problem is to find the best admissible stopping time in order to optimize some function of our process. We show that the value fonction can be recursively constructed using dynamic programming equations. We construct some $epsilon$-optimal stopping times for our optimal stopping problem. Then, we study a simple finite-dimension real-valued PDMP, the TCP process. We use Euler scheme to approximate it, and we estimate some types of errors. We illustrate the results with numerical simulations.

Game theory is the study of tactical interactions involving conflicts and cooperations among multiple decision makers called players with applications in diverse disciplines such as economics, biology, management, communication networks, electric power systems and control. This dissertation studies a statistical differential game problem where finite N players optimize their system performance by shaping the distribution of their cost function through cost cumulants. This research integrates game theory with statistical optimal control theory and considers a statistical Nash non-cooperative nonzero-sum game for a nonlinear dynamic system with nonquadratic cost functions. The objective of the statistical Nash game is to find the equilibrium solution where no player has the incentive to deviate once other players maintain their equilibrium strategy. The necessary condition for the existence of the Nash equilibrium solution is given for the m-th cumulant cost optimization using the Hamilton-Jacobi-Bellman (HJB) equations. In addition, the sufficient condition which is the verification theorem for the existence of Nash equilibrium solution is given for the m-th cumulant cost optimization using the Hamilton-Jacobi-Bellman (HJB) equations. However, solving the HJB equations even for relatively low dimensional game problem is not trivial, we propose to use neural network approximate method to find the solution of the HJB partial differential equations for the statistical game problem. Convergence proof of the neural network approximate method solution to exact solution is given. In addition, numerical examples are provided for the statistical game to demonstrate the applicability of the proposed theoretical developments. / Electrical and Computer Engineering

Le but de cette thèse est d'apporter une contribution à la problématique de valorisation de produits dérivés en marchés incomplets. Nous considérons tout d'abord les cibles stochastiques introduites par Soner et Touzi (2002) afin de traiter le problème de sur-réplication, et récemment étendues afin de traiter des approches plus générales par Bouchard, Elie et Touzi (2009). Nous généralisons le travail de Bouchard {\sl et al} à un cadre plus général où les diffusions sont sujettes à des sauts. Nous devons considérer dans ce cas des contrôles qui prennent la forme de fonctions non bornées, ce qui impacte de façon non triviale la dérivation des EDP correspondantes. Notre deuxième contribution consiste à établir une version des cibles stochastiques qui soit robuste à l'incertitude de modèle. Dans un cadre abstrait, nous établissons une version faible du principe de programmation dynamique géométrique de Soner et Touzi (2002), et nous dérivons, dans un cas d'EDS controllées, l'équation aux dérivées partielles correspondantes, au sens des viscosités. Nous nous intéressons ensuite à un exemple de couverture partielle sous incertitude de Knightian. Finalement, nous nous concentrons sur le problème de valorisation de produits dérivées {\sl hybrides} (produits dérivés combinant finance de marché et assurance). Nous cherchons plus particulièrement à établir une condition suffisante sous laquelle une règle de valorisation (populaire dans l'industrie), consistant à combiner l'approches actuarielle de mutualisation avec une approche d'arbitrage, soit valable.

Es wird ein Ansatz und ein Algorithmus zur Lösung von stochastischen Stoppproblemen vorgestellt, der auf einer dualen Formulierung zum klassischen Lösungsansatz für Stoppprobleme mittels Variationsungleichungen basiert. Unter bestimmten Voraussetzungen kann man für diese duale Formulierung ein äquivalentes unendlichdimensionales lineares Programm aufstellen, das die Momente des Aufenthaltsmaßes des stochastischen Prozesses bis zum Stoppzeitpunkt und die Momente der Verteilung des Prozesses zum Zeitpunkt des Stoppens als Variablen enthält. Für dieses unendlichdimensionale Problem werden endlichdimensionale Approximationen formuliert und gelöst, wobei die Momente nur bis zu einer endlichen Ordnung berücksichtigt werden. Die Güte der numerischen Resultate hängt davon ab, wie genau der Träger des Maßes zum Stoppzeitpunkt identifiziert werden kann. Aus diesem Grund wird ein Verfeinerungsalgorithmus entwickelt, mit dem diese Identifizierung in einer Reihe von Fällen gelingt und sich sehr genaue Ergebnisse erzielen lassen. Der für Stoppprobleme entwickelte Algorithmus kann auch bei der Ermittlung von optimalen Steuerungen für stetige stochastische Prozesse angewandt werden. Für einzelne Beispiele wird gezeigt, welche Resultate dabei erzielt werden können. / We present an approach to, and an algorithm for solving optimal stopping problems. The approach is based on a dual formulation of the classical method for solving stopping problems using variational inequalities. Under suitable conditions it is possible to express the dual formulation as an infinite-dimensional linear program. This linear program uses the moments of the occupation measure and the moments of the stopping measure as variables. We formulate and solve finite-dimensional approximations to this infinite-dimensional program by restricting the number of moments. The accuracy of the numerical results depend on how well the support of the stopping measure can be identified. To this end we develop an iterative procedure which works very well in many cases. In the second part of the dissertation we show how the algorithm, developed for stopping problems, can be used for solving stochastic control problems.

Wir studieren optimale Handelsstrategien für einen risikoaversen Investor, der bis zu einem Zeitpunkt T ein Portfolio aufzulösen hat. Dieser kann auf einem traditionellen Markt (dem "Primärmarkt") handeln, wodurch er den Preis beeinflusst, und gleichzeitig Aufträge in einem Dark Pool erteilen. Dort ist die Liquidität nicht öffentlich bekannt, und es findet keine Preisfindung statt: Aufträge werden zum Preis des Primärmarkts abgewickelt. Deshalb haben sie keinen Preiseinfluss, die Ausführung ist aber unsicher; es muss zwischen den Preiseinflusskosten am Primärmarkt und den indirekten Kosten durch die Ausübungsunsicherheit im Dark Pool abgewogen werden. In einem zeitdiskreten Handelsmodell betrachten wir ein Kostenfunktional aus erwarteten Preiseinfluss- und Marktrisikokosten. Für linearen Preiseinfluss ist dieses linear-quadratisch und wir erhalten eine Rekursion für die optimale Handelsstrategie. Eine Position in einem einzelnen Wertpapier wird langsam am Primärmarkt abgebaut während der Rest im Dark Pool angeboten wird. Für eine Position in mehreren Wertpapieren ist dies wegen der Korrelation der Wertpapiere nicht optimal. Tritt im eindimensionalen Fall adverse Selektion auf, so wird die Attraktivität des Dark Pools verringert. In stetiger Zeit impliziert die Liquidationsbedingung eine Singularität der Wertfunktion am Endzeitpunkt T. Diese wird im linear-quadratischen Fall ohne adverse Selektion durch den Grenzwert einer Folge von Lösungen einer Matrix Differentialgleichung beschrieben. Mit Hilfe einer Matrixungleichung erhalten wir Schranken für diese Lösungen, die Existenz des Grenzwertes sowie ein Verifikationsargument mittels HJB Gleichung. Tritt adverse Selektion auf, ergeben umfangreiche heuristische Betrachtungen eine ungewöhnliche Struktur der Wertfunktion: Sie ist ein quadratisches "Quasi-Polynom", dessen Koeffizienten in nicht-trivialer Weise von der Position abhängen. Wir bestimmen dieses semi-explizit und führen ein Verifikationsargument durch. / We study optimal trading strategies of a risk-averse investor who has to liquidate a portfolio within a finite time horizon [0,T]. The investor has the option to trade at a traditional exchange (the "primary venue") which yields price impact and to place orders in a dark pool. The liquidity in dark pools is not openly displayed and dark pools do not contribute to the price formation process: orders are executed at the price of the primary venue. Hence, they have no price impact, but their execution is uncertain. The investor thus faces the trade-off between the price impact costs at the primary venue and the indirect costs resulting from the execution uncertainty in the dark pool. In a discrete-time market model we consider a cost functional which incorporates the expected price impact costs and market risk costs. For linear price impact, it is linear-quadratic and we obtain a recursion for the optimal trading strategy. For single asset liquidation, the investor trades out of her position at the primary venue, with the remainder being placed in the dark pool. For multi asset liquidation this is not optimal because of the correlation of the assets. In the presence of adverse selection in the one dimensional setting the dark pool is less attractive. In continuous time the liquidation constraint implies a singularity of the value function at the terminal time T. In the linear-quadratic case without adverse selection it is described by the limit of a sequence of solutions of a matrix differential equation. By means of a matrix inequality we obtain bounds of these solutions, the existence of the limit and a verification argument via HJB equation. In the presence of adverse selection the value function has an unusual structure, which we obtain via extensive heuristic considerations: it is a "quasi-polynomial" whose coefficients depend on the asset position in a non-trivial way. We characterize the value function semi-explicitly and carry out a verification argument.

Optimal control of energy flows in a Hybrid Electric Vehicle (HEV) is crucial to maximising the benefits of hybridisation. The problem is complex because the optimal solution depends on future power demands, which are often unknown. Stochastic Dynamic Programming (SDP) is among the most advanced control optimisation algorithms proposed and incorporates a stochastic representation of the future. The potential of a fully developed SDP controller has not yet been demonstrated on a real vehicle; this work presents what is believed to be the most concerted and complete attempt to do so. In characterising typical driving patterns of the target vehicles this work included the development and trial of an eco-driving driver assistance system; this aims to reduce fuel consumption by encouraging reduced rates of acceleration and efficient use of the gears via visual and audible feedback. Field trials were undertaken using 15 light commercial vehicles over four weeks covering a total of 39,300 km. Average fuel savings of 7.6% and up to 12% were demonstrated. Data from the trials were used to assess the degree to which various legislative test cycles represent the vehicles’ real-world use and the LA92 cycle was found to be the closest statistical match. Various practical considerations in SDP controller development are addressed such as the choice of discount factor and how charge sustaining characteristics of the policy can be examined and adjusted. These contributions are collated into a method for robust implementation of the SDP algorithm. Most reported HEV controllers neglect the significant complications resulting from extensive use of the electrical powertrain at high power, such as increased heat generation and battery stress. In this work a novel cost function incorporates the square of battery C-rate as an indicator of electric powertrain stress, with the aim of lessening the affliction of real-world concerns such as temperatures and battery health. Controllers were tested in simulation and then implemented on a test vehicle; the challenges encountered in doing so are discussed. Testing was performed on a chassis dynamometer using the LA92 test cycle and the novel cost function was found to enable the SDP algorithm to reduce electrical powertrain stress by 13% without sacrificing any fuel savings, which is likely to be beneficial to battery health.

In this dissertation, certain problems of stochastic optimal control and relevant analysis of random vibrations are considered. Dynamic Programming approach is used to find an optimal control law for a linear single-degree-of-freedom system subjected to Gaussian white-noise excitation. To minimize a system's mean response energy, a bounded in magnitude control force is applied. This approach reduces the problem of finding the optimal control law to a problem of finding a solution to the Hamilton-Jacobi-Bellman (HJB) partial differential equation. A solution to this partial differential equation (PDE) is obtained by developed 'hybrid' solution method. The application of bounded in magnitude control law will always introduce a certain type of nonlinearity into the system's stochastic equation of motion. These systems may be analyzed by the Energy Balance method, which introduced and developed in this dissertation. Comparison of analytical results obtained by the Energy Balance method and by stochastic averaging method with numerical results is provided. The comparison of results indicates that the Energy Balance method is more accurate than the well-known stochastic averaging method.