Stochastic control problems that arise in sequential decision making applications typically assume that information used for decision-making is obtained according to a predetermined sampling schedule. In many real applications however, there is a high sampling cost associated with collecting such data. It is therefore of equal importance to determine when information should be collected as it is to decide how this information should be utilized for optimal decision-making. This type of joint optimization has been a long-standing problem in the operations research literature, and very few results regarding the structure of the optimal sampling and control policy have been published. In this thesis, the joint optimization of sampling and control is studied in the context of maintenance optimization. New theoretical results characterizing the structure of the optimal policy are established, which have practical interpretation and give new insight into the value of condition-based maintenance programs in life-cycle asset management. Applications in other areas such as healthcare decision-making and statistical process control are discussed. Statistical parameter estimation results are also developed with illustrative real-world numerical examples.

Nous explorons l'étendue du champ applicatif des processus markoviens décisionnels au travers de deux problématiques. La première, de nature industrielle, propose l'étude numérique de l'optimisation d'un processus d'intégration lanceur en collaboration avec Airbus DS. Il s'agit d'un cas particulier des problèmes de gestion d'inventaire dans lequel un calendrier de tirs joue un rôle central. La modélisation adoptée entraîne l'impossibilité d'appliquer les procédures d'optimisation classiques liées au formalisme des processus markoviens décisionnels. Nous étudions alors des algorithmes basés sur des simulations qui rendent des stratégies optimales non triviales et qui sont utilisables dans la pratique. La deuxième problématique, de nature théorique, se concentre sur les questions d'arrêt optimal partiellement observables. Nous proposons une méthode d'approximation par quantification de ces problèmes lorsque les espaces d'états sont quelconques. Nous étudions la convergence de la valeur optimale approchée vers la valeur optimale réelle ainsi que sa vitesse. Nous appliquons notre méthode à un exemple numérique. / We investigate the potential of the Markov decision processes theory through two applications. The first part of this work is dedicated to the numerical study of an industriallauncher integration process in co-operation with Airbus DS. It is a particular case of inventory control problems where a launch calendar has a key role. The model we propose implies that standard optimization techniques cannot be used. We then investigate two simulation-based algorithms. They return non trivial optimal policies which can be applied in actual practice. The second part of this work deals with the study of partially observable optimal stopping problems. We propose an approximation method using optimal quantization for problems with general state space. We study the convergence of the approximated optimal value towards the real optimal value. The convergence rate is also under study. We apply our method to a numerical example.

Notre thèse s’articule autour du thème de l’utilisation optimale de l’information contenue dans un modèle probabiliste flexible. Dans le premier chapitre, nous couvrons des résultats bien connus des martingales comme le théorème de convergence dit L1 des martingales et le théorème d’arrêt. Nous discutons de problèmes ouverts similaires au «last arrival problem» (Bruss et Yor, 2012) qui sont des vrais défis du point de vue théorique et nous ne pouvons que conjecturer la stratégie optimale.Dans les chapitres suivants, nous résolvons des extensions de problèmes d’arrêt optimal proposés par R. R. Weber (U. Cambridge), basés sur le «théorème des odds» (Bruss, 2000). En résumé, il s’agit d’effectuer une seule action (un seul arrêt) lorsque deux suites d’observations indépendantes sont observées simultanément. Nous donnons la solution à ces problèmes pour un nombre (fixé) choisi de processus.Le chapitre suivant passe en revue la plupart des développements récents (depuis 2000) réalisés autour du «théorème des odds» (Bruss, 2000). Le matériel présenté fut publié (2013), il a donc été mis à jour dans cette thèse pour inclure les derniers résultats depuis cette date.Puis nous réservons un chapitre pour une solution explicite pour un cas particulier du Problème d’arrêt optimal de Robbins. Ce chapitre est basé sur un article publié par l’auteur en collaboration avec le professeur Swan (Université de Liège). Ce chapitre offre une belle illustration des difficultés rencontrées lorsque trop d’information sur les variables est contenue dans le modèle. La solution optimale de ce problème dans le cas général n’est pas connue. Par contre, contre-intuitivement, dans le «last arrival problem» mentionné plus haut, moins d’information permet, comme nous le montrons, de trouver en effet la solution optimale.La thèse contient un dernier chapitre sur un problème de nature plus combinatoire que nous pouvons lier à la théorie des graphes dans une certaine mesure. Nous étudions le processus de création d’un graphe aléatoire particulier et les propriétés des cycles créés par celui-ci. Le problème est séquentiel et permet d’envisager des problèmes d’arrêt intéressants. Cette étude a des conséquences en théorie des graphes, en analyse combinatoire ainsi qu’en science de la chimie combinatoire pour les applications. Un de nos résultats est analogue au résultat de Janson (1987) relatif au premier cycle créé pendant la création de graphes aléatoires. / Doctorat en Sciences / info:eu-repo/semantics/nonPublished

We develop the robust control theories of stopping-time nonlinear systems and switching-control nonlinear systems. We formulate a robust optimal stopping-time control problem for a state-space nonlinear system and give the connection between various notions of lower value function for the associated game (and storage function for the associated dissipative system) with solutions of the appropriate variational inequality (VI). We show that the stopping-time rule can be obtained by solving the VI in the viscosity sense. It also happens that a positive definite supersolution of the VI can be used for stability analysis. We also show how to solve the VI for some prototype examples with one-dimensional state space. For the robust optimal switching-control problem, we establish the Dynamic Programming Principle (DPP) for the lower value function of the associated game and employ it to derive the appropriate system of quasivariational inequalities (SQVI) for the lower value vector function. Moreover we formulate the problem in the <I>L</I>₂-gain/dissipative system framework. We show that, under appropriate assumptions, continuous switching-storage (vector) functions are characterized as viscosity supersolutions of the SQVI, and that the minimal such storage function is equal to the lower value function for the game. We show that the control strategy achieving the dissipative inequality is obtained by solving the SQVI in the viscosity sense; in fact this solution is also used to address stability analysis of the switching system. In addition we prove the comparison principle between a viscosity subsolution and a viscosity supersolution of the SQVI satisfying a boundary condition and use it to give an alternative derivation of the characterization of the lower value function. Finally we solve the SQVI for a simple one-dimensional example by a direct geometric construction. / Ph. D.

Diese Dissertation behandelt sowohl die Theorie, als auch beobachtetes Verhalten in Stoppproblemen. In einem Stoppproblem, beobachtet ein Agent die Entwicklung eines stationären, stochastischen Prozesses über die Zeit. Zu jedem Zeitpunkt genießt der Agent das Recht den Prozess zu stoppen, um eine Auszahlung einzustreichen die Funktion des gegenwärtigen und der vergangenen Realisationen des Prozesses sind. Das Ziel des Agenten ist es den Stoppzeitpunkt so zu wählen, dass die erwartete Auszahlung oder der erwartete Verlust durch Stoppen maximiert bzw. minimiert wird. Stoppprobleme dieser Art konstituieren können als die einfachsten, jedoch wirklich dynamischen Entscheidungsprobleme in der ökonomischen Theorie angesehen werden Das erste Kapitel legt neue theoretische Resultate hinsichtlich der optimalen Stoppstrategien unter Erwartungsnutzentheorie, sog. gain-loss utilities und Bedauerungspräferenzen vor. Das zweite Kapitel behandelt sodann die Ergebnisse eines Laborexperiments in dem die theoretischen Vorhersagen getestet werden. Kapitel drei beschäftigt sich mit der Situation in der die Agenten nicht vollständig über Wahrscheinlichkeiten für künftige Ereignisse informiert sind, d.h. es herrscht Ambiguität. / This dissertation is concerned with theory and behavior in stopping problems. In a stopping problem an agent or individual observes the realization of some exogenous and stationary stochastic process over time. At every point in time, she has the right or the once-only option to stop the process in order to earn a function of the past and current values of the process. The agent''s objective then is to choose the point in time to exercise the option in order to maximize an expected reward or to minimize an expected loss. Such problems constitute the most rudimentary, yet truly dynamic class of choice problems that is studied in economics. The first chapter provides new theoretical results about optimal stopping both under expected utility, as well as gain-loss utility and regret preferences. The second chapter presents a laboratory experiment that tests several of the theoretical predictions about behavior made in the first chapter. The third chapter is concerned with stopping behavior in a setting, where the probability law that drives the observed process is not perfectly known to the decision maker, i.e. there is ambiguity.

Gegenstand der vorliegenden Dissertation sind stochastische Kontrollprobleme, denen sich Agenten im Zusammenhang mit Entscheidungen auf Finanzmärkten gegenübersehen. Der erste Teil der Arbeit behandelt die Maximierung des erwarteten Nutzens des Endvermögens eines Finanzmarktinvestors. Für den Investor ist eine Beschreibung der optimalen Handelsstrategie, die zur numerischen Approximation geeignet ist sowie eine Stabilitätsanalyse der optimalen Handelsstrategie bzgl. kleinerer Fehlspezifikationen in Nutzenfunktion und Anfangsvermögen, von höchstem Interesse. In stetigen Marktmodellen beweisen wir Stabilitätsresultate für die optimale Handeslsstrategie in geeigneten Topologien. Für hinreichend differenzierbare Nutzenfunktionen und zeitstetige Marktmodelle erhalten wir eine Beschreibung der optimalen Handelsstrategie durch die Lösung eines Systems von stochastischen Vorwärts-Rückwärts-Differentialgleichungen (FBSDEs). Der zweite Teil der Arbeit beschäftigt sich mit optimalen Stopproblemen für einen Agenten, dessen Ertragsprozess von einem Ausfallsereignis abhängt. Unser Hauptinteresse gilt der Beschreibung der Lösungen vor und nach dem Ausfallsereignis und damit dem besseren Verständnis des Verhaltens des Agenten bei Auftreten eines Ausfallsereignisses. Wir zeigen wie sich das optimale Stopproblem in zwei einzelne Teilprobleme zerlegen lässt: eines, für das der zugrunde liegende Informationsfluss das Ausfallereignis nicht beinhaltet, und eines, in welchem der Informationsfluss das Ausfallereignis berücksichtigt. Aufbauend auf der Zerlegung des Stopproblems und der Verbindung zwischen der Optimalen Stoptheorie und der Theorie von reflektierenden stochastischen Rückwärts-Differentialgleichungen (RBSDEs), leiten wir einen entsprechenden Zerlegungsansatz her, um RBSDEs mit genau einem Sprung zu lösen. Wir beweisen neue Existenz- und Eindeutigkeitsresultate von RBSDEs mit quadratischem Wachstum. / This thesis studies stochastic control problems faced by agents in financial markets when making decisions. The first part focuses on the maximization of expected utility from terminal wealth for an investor trading in a financial market. Of utmost concern to the investor is a description of optimal trading strategy that is amenable to numerical approximation, and the stability analysis of the optimal trading strategy w.r.t. "small" misspecification in his utility function and initial capital. In the setting of a continuous market model, we prove stability results for the optimal wealth process in the Emery topology and the uniform topology on semimartingales, and stability results for the optimal trading strategy in suitable topologies. For sufficiently differentiable utility functions, we obtain a description of the optimal trading strategy in terms of the solution of a system of forward-backward stochastic differential equations (FBSDEs). The second part of the thesis deals with the optimal stopping problem for an agent with a reward process exposed to a default event. Our main concern is to give a description of the solutions before and after the default event and thereby better understand the behavior of the agent in the presence of default. We show how the stopping problem can be decomposed into two individual stopping problems: one with information flow for which the default event is not visible, and another one with information flow which captures the default event. We build on the decomposition of the optimal stopping problem, and the link between the theories of optimal stopping and reflected backward stochastic differential equations (RBSDEs) to derive a corresponding decomposition approach to solve RBSDEs with a single jump. This decomposition allows us to establish existence and uniqueness results for RBSDEs with drivers of quadratic growth.

Les Processus Markoviens Déterministes par Morceaux (PDMP) ont été introduits dans la littérature par M.H.A Davis comme une classe générale de modèles stochastiques. Les PDMP forment une famille de processus markoviens qui décrivent une trajectoire déterministe ponctuée par des sauts aléatoires. Dans une première partie, les PDMP sont utilisés pour calculer des probabilités d'événements redoutés pour un cas-test de la fiabilité dynamique (le réservoir chauffé) par deux méthodes numériques différentes : la première est basée sur la résolution du système différentieldécrivant l'évolution physique du réservoir et la seconde utilise le calcul de l'espérancede la fonctionnelle d'un PDMP par un système d'équations intégro-différentielles.Dans la seconde partie, nous proposons une méthode numérique pour approcher lafonction valeur du problème d'arrêt optimal pour un PDMP. Notre approche estbasée sur la quantification de la position après saut et le temps inter-sauts de lachaîne de Markov sous-jacente au PDMP, et la discréetisation en temps adaptée à latrajectoire du processus. Ceci nous permet d'obtenir une vitesse de convergence denotre schéma numérique et de calculer un temps d'arrêt ε-optimal. / Piecewise Deterministic Markov Processes (PDMP's) have been introduced inthe literature by M.H.A. Davis as a general class of stochastics models. PDMP's area family of Markov processes involving deterministic motion punctuated by randomjumps. In a first part, PDMP's are used to compute probabilities of top eventsfor a case-study of dynamic reliability (the heated tank system) with two di#erentmethods : the first one is based on the resolution of the differential system giving thephysical evolution of the tank and the second uses the computation of the functionalof a PDMP by a system of integro-differential equations. In the second part, wepropose a numerical method to approximate the value function for the optimalstopping problem of a PDMP. Our approach is based on quantization of the post-jump location and inter-arrival time of the Markov chain naturally embedded in thePDMP, and path-adapted time discretization grids. It allows us to derive boundsfor the convergence rate of the algorithm and to provide a computable ε-optimalstopping time.

本論文共一冊，分八章八節。 內容：本論文所擬探討之對象為多變量統計分配函數模擬（Simulation）之最佳停止 法則問題（Optimal Stopping Rule Problem ），此類問題之目的在於如何利用盡量 小的樣本數之觀察值來求得未知母數（Unknoron Parameter）的信區間（域）（Co－ nfidence interval ）（Confidence Region），而此信賴區間（域）之寬度（Width ）及包含機率（Coverage Probability）均已事先指定。 以往研究對象多傴限於單變量統計分配函數，而多變量統計分配函數模擬之最佳停止 法則問題，仍尚在研究階段，因此本論文之重點乃在於探討如何求得滿足最佳停止法 則之最小樣本數。在此以多變量常態分配函數為重心，並進而嗜試推廣至其他多數量 統計分配函數。

This thesis treats a range of stochastic methods with various applications, most notably in finance. It is comprised of five articles, and a summary of the key concepts and results these are built on. The first two papers consider a jump-to-default model, which is a model where some quantity, e.g. the price of a financial asset, is represented by a stochastic process which has continuous sample paths except for the possibility of a sudden drop to zero. In Paper I prices of European-type options in this model are studied together with the partial integro-differential equation that characterizes the price. In Paper II the price of a perpetual American put option in the same model is found in terms of explicit formulas. Both papers also study the parameter monotonicity and convexity properties of the option prices. The third and fourth articles both deal with valuation problems in a jump-diffusion model. Paper III concerns the optimal level at which to exercise an American put option with finite time horizon. More specifically, the integral equation that characterizes the optimal boundary is studied. In Paper IV we consider a stochastic game between two players and determine the optimal value and exercise strategy using an iterative technique. Paper V employs a similar iterative method to solve the statistical problem of determining the unknown drift of a stochastic process, where not only running time but also each observation of the process is costly.

<p>This thesis, consisting of six papers and a summary, studies the area of continuous time financial mathematics. A unifying theme for many of the problems studied is the implications of possible mis-specifications of models. Intimately connected with this question is, perhaps surprisingly, convexity properties of option prices. We also study qualitative behavior of different optimal stopping boundaries appearing in option pricing.</p><p>In Paper I a new condition on the contract function of an American option is provided under which the option price increases monotonically in the volatility. It is also shown that American option prices are continuous in the volatility.</p><p>In Paper II an explicit pricing formula for the perpetual American put option in the Constant Elasticity of Variance model is derived. Moreover, different properties of this price are studied.</p><p>Paper III deals with the Russian option with a finite time horizon. It is shown that the value of the Russian option solves a certain free boundary problem. This information is used to analyze the optimal stopping boundary.</p><p>A study of perpetual game options is performed in Paper IV. One of the main results provides a condition under which the value of the option is increasing in the volatility.</p><p>In Paper V options written on several underlying assets are considered. It is shown that, within a large class of models, the only model for the stock prices that assigns convex option prices to all convex contract functions is geometric Brownian motion.</p><p>Finally, in Paper VI it is shown that the optimal stopping boundary for the American put option is convex in the standard Black-Scholes model. </p>