Spelling suggestions: "subject:"amilton bellman equations"" "subject:"amilton billman equations""
1 |
Discontinuous Galerkin finite element approximation of Hamilton-Jacobi-Bellman equations with Cordes coefficientsSmears, Iain Robert Nicholas January 2015 (has links)
We propose a discontinuous Galerkin finite element method (DGFEM) for fully nonlinear elliptic Hamilton--Jacobi--Bellman (HJB) partial differential equations (PDE) of second order with Cordes coefficients. Our analysis shows that the method is both consistent and stable, with arbitrarily high-order convergence rates for sufficiently regular solutions. Error bounds for solutions with minimal regularity show that the method is generally convergent under suitable choices of meshes and polynomial degrees. The method allows for a broad range of hp-refinement strategies on unstructured meshes with varying element sizes and orders of approximation, thus permitting up to exponential convergence rates, even for nonsmooth solutions. Numerical experiments on problems with nonsmooth solutions and strongly anisotropic diffusion coefficients demonstrate the significant gains in accuracy and computational efficiency over existing methods. We then extend the DGFEM for elliptic HJB equations to a space-time DGFEM for parabolic HJB equations. The resulting method is consistent and unconditionally stable for varying time-steps, and we obtain error bounds for both rough and regular solutions, which show that the method is arbitrarily high-order with optimal convergence rates with respect to the mesh size, time-step size, and temporal polynomial degree, and possibly suboptimal by an order and a half in the spatial polynomial degree. Exponential convergence rates under combined hp- and τq-refinement are obtained in numerical experiments on problems with strongly anisotropic diffusion coefficients and early-time singularities. Finally, we show that the combination of a semismooth Newton method with nonoverlapping domain decomposition preconditioners leads to efficient solvers for the discrete nonlinear problems. The semismooth Newton method has a superlinear convergence rate, and performs very effectively in computations. We analyse the spectral bounds of nonoverlapping domain decomposition preconditioners for a model problem, where we establish sharp bounds that are explicit in both the mesh sizes and polynomial degrees. We then go beyond the model problem and show computationally that these algorithms lead to efficient and competitive solvers in practical applications to fully nonlinear HJB equations.
|
2 |
Stochastic Infinity-Laplacian equation and One-Laplacian equation in image processing and mean curvature flows : finite and large time behavioursWei, Fajin January 2010 (has links)
The existence of pathwise stationary solutions of this stochastic partial differential equation (SPDE, for abbreviation) is demonstrated. In Part II, a connection between certain kind of state constrained controlled Forward-Backward Stochastic Differential Equations (FBSDEs) and Hamilton-Jacobi-Bellman equations (HJB equations) are demonstrated. The special case provides a probabilistic representation of some geometric flows, including the mean curvature flows. Part II includes also a probabilistic proof of the finite time existence of the mean curvature flows.
|
3 |
Deux études en gestion de risque: assurance de portefeuille avec contrainte en risque et couverture quadratique dans les modèles a sautsDe Franco, Carmine 29 June 2012 (has links) (PDF)
Dans cette thèse, je me suis interessé a deux aspects de la gestion de portefeuille : la maximisation de l'utilité e d'un portefeuille financier lorsque on impose une contrainte sur l'exposition au risque, et la couverture quadratique en marché incomplet. Part I. Dans la première partie, j' étudie un problème d'assurance de portefeuille du point de vue du manager d'un fond d'investissement, qui veut structurer un produit financier pour les investisseurs du fond avec une garantie sur la valeur du portefeuille a la maturité . Si, a la maturité, la valeur du portefeuille est au dessous d'un seuil x e, l'investisseur sera remboursé a la hauteur de ce seuil par une troisième partie, qui joue le rôle d'assureur du fond (on peut imaginer que le fond appartient à une banque et que donc c'est la banque elle même qui joue le rôle d'assureur). En échange de cette assurance, la troisième partie impose une contrainte sur l'exposition au risque que le manager du fond peut tolérer, mesurée avec une mesure de risque monétaire convexe. Je donne la solution complet e de ce problème de maximisation non convexe en marché complet et je prouve que le choix de la mesure de risque est un point crucial pour avoir existence d'un portefeuille optimal. J'applique donc mes résultats lorsque on utilise la mesure de risque entropique (pour laquelle le portefeuille optimal existe toujours), les mesures de risque spectrales (pour lesquelles le portefeuille optimal peut ne pas exister dans certains cas) et la G-divergence. Mots-cl es : Assurance de portefeuille ; maximisation d'utilité ; mesure de risque convexe ; VaR, CVaR et mesure de risque spectrale ; entropie et G-divergence. Part II. Dans la deuxième partie, je m'intéresse au problème de couverture quadratique en marché incomplet. J'assume que le marché est d écrit par un processus Markovien tridimensionnel avec sauts. La premi ère variable d' état décrit l'actif - financier, échangeable sur le marché, qui sert comme instrument de couverture ; la deuxième variable d' état modélise un actif financier que intervient dans la dynamique de l'instrument de couverture mais qui n'est pas échangeable sur le march é : il peut donc être vu comme un facteur de volatilité de l'instrument de couverture, ou comme un actif financier que l'on ne peut pas acheter (pour de raisons légales par exemple) ; la troisième et dernière variable d' état représente une source externe de risque qui affecte l'option Européenne qu'on veut couvrir, et qui, elle aussi, n'est pas échangeable sur le marché. Pour résoudre le problème j'utilise l'approche de la programmation dynamique, qui me permet d' écrire l' équation de Hamilton-Jacobi- Bellman associé e au problème de couverture quadratique, qui est non locale en non linéaire. Je prouve que la fonction valeur associée au problème de couverture quadratique peut être caractérisée par un système de trois équations integro- différentielles aux dérivées partielles, dont l'une est semilinéaire et ne dépends pas du choix de l'option a couvrir, et les deux autres sont simplement linéaires , et que ce système a une unique solution r régulière dans un espace de Hölder approprié, qui me permet donc de caractériser la stratégie de couverture optimale . Ce résultat est démontré lorsque le processus est non dégénéré (c'est a dire que la composante Brownienne est strictement elliptique) et lorsque le processus est a sauts purs. Je conclus avec une application de mes résultats dans le cadre du marché de l' électricité. Mots-cl es : Couverture quadratique ; modèle a sauts ; programmation dynamique ; équation de Hamilton-Jacobi-Bellman ; équations aux dérivées partielles integro-différentielles.
|
4 |
Multigrid Methods for Hamilton-Jacobi-Bellman and Hamilton-Jacobi-Bellman-Isaacs EquationsHan, Dong January 2011 (has links)
We propose multigrid methods for solving Hamilton-Jacobi-Bellman (HJB) and Hamilton-Jacobi-Bellman-Isaacs (HJBI) equations. The methods are based on the full approximation scheme. We propose a damped-relaxation method as smoother for multigrid. In contrast with policy iteration, the relaxation scheme is convergent for both HJB and HJBI equations. We show by local Fourier analysis that the damped-relaxation smoother effectively reduces high frequency error. For problems where the control has jumps, restriction and interpolation methods are devised to capture the jump on the coarse grid as well as during coarse grid correction. We will demonstrate the effectiveness of the proposed multigrid methods for solving HJB and HJBI equations arising from option pricing as well as problems where policy iteration does not converge or converges slowly.
|
5 |
Multigrid Methods for Hamilton-Jacobi-Bellman and Hamilton-Jacobi-Bellman-Isaacs EquationsHan, Dong January 2011 (has links)
We propose multigrid methods for solving Hamilton-Jacobi-Bellman (HJB) and Hamilton-Jacobi-Bellman-Isaacs (HJBI) equations. The methods are based on the full approximation scheme. We propose a damped-relaxation method as smoother for multigrid. In contrast with policy iteration, the relaxation scheme is convergent for both HJB and HJBI equations. We show by local Fourier analysis that the damped-relaxation smoother effectively reduces high frequency error. For problems where the control has jumps, restriction and interpolation methods are devised to capture the jump on the coarse grid as well as during coarse grid correction. We will demonstrate the effectiveness of the proposed multigrid methods for solving HJB and HJBI equations arising from option pricing as well as problems where policy iteration does not converge or converges slowly.
|
6 |
Sensitivity Relations and Regularity of Solutions of HJB Equations arising in Optimal Control / Relations de sensibilité et régularité des solutions d'une classe d'équations d'HJB en controle optimalScarinci, Teresa 30 November 2015 (has links)
Dans cette thèse nous étudions une classe d’équations de Hamilton-Jacobi-Bellman provenant de la théorie du contrôle optimal des équations différentielles ordinaires. Nous nous intéressons principalement à l’analyse de la sensibilité de la fonction valeur des problèmes de contrôle optimal associés à de telles équations de H-J-B. Dans la littérature, les relations de sensibilité fournissent une “mesure” de la robustesse des stratégies optimales par rapport aux variations de la variable d’état. Ces résultats sont des outils très importants pour le contrôle appliqué, parce qu’ils permettent d’étudier les effets que des approximations des données du système peuvent avoir sur les politiques optimales. Cette thèse est dédiée également à l’étude des problèmes de Mayer et de temps minimal. Nous supposons que la dynamique du problème soit une inclusion différentielle, afin de permettre aux données d’être non régulières et d’embrasser un ensemble plus grand d’applications. Néanmoins, cette tâche rend notre analyse plus difficile. La première contribution de cette étude est une extension de quelques résultats classiques de la théorie de la sensibilité au domaine des problèmes non paramétrées. Ces relations prennent la forme d’inclusions d’état adjoint, figurant dans le principe du maximum de Pontryagin, dans certains gradients généralisés de la fonction valeur évalués le long des trajectoires optimales. En deuxième lieu, nous développons des nouvelles relations de sensibilité impliquant des approximations du deuxième ordre de la fonction valeur. Cette analyse mène à de nouvelles applications concernant la propagation, tant ponctuel que local, de la régularité de la fonction valeur le long des trajectoires optimales. Nous proposons également des applications aux conditions d’optimalité. / This dissertation investigates a class of Hamilton-Jacobi-Bellman equations arising in optimal control of O.D.E.. We mainly focus on the sensitivity analysis of the optimal value function associated with the underlying control problems. In the literature, sensitivity relations provide a measure of the robustness of optimal control strategies with respect to variations of the state variable. This is a central tool in applied control, since it allows to study the effects that approximations of the inputs of the system may produce on the optimal policies. In this thesis, we deal whit problems in the Mayer or in the minimum time form. We assume that the dynamic is described by a differential inclusion, in order to allow data to be nonsmooth and to embrace a large area of concrete applications. Nevertheless, this task makes our analysis more challenging. Our main contribution is twofold. We first extend some classical results on sensitivity analysis to the field of nonparameterized problems. These relations take the form of inclusions of the co-state, featuring in the Pontryagin maximum principle, into suitable gradients of the value function evaluated along optimal trajectories. Furthermore, we develop new second-order sensitivity relations involving suitable second order approximations of the optimal value function. Besides being of intrinsic interest, this analysis leads to new consequences regarding the propagation of both pointwise and local regularity of the optimal value functions along optimal trajectories. As applications, we also provide refined necessary optimality conditions for some class of differential inclusions.
|
7 |
Sequential/parallel reusability study on solving Hamilton-Jacobi-Bellman equations / Etude de la réutilisabilité séquentielle/parallèle pour la résolution des équations Hamilton-Jacobi-BellmanDang, Florian 22 July 2015 (has links)
La simulation numérique est indissociable du calcul haute performance. Ces vingt dernières années,l'informatique a connu l'émergence d'architectures parallèles multi-niveaux. Exploiter efficacement lapuissance de calcul de ces machines peut s'avérer être une tâche délicate et requérir une expertise à la foistechnologique sur des notions avancées de parallélisme ainsi que scientifique de part la nature même desproblèmes traités.Le travail de cette thèse est pluri-disciplinaire s'appuyant sur la conception d'une librairie de calculparallèle réutilisable pour la résolution des équations Hamilton-Jacobi-Bellman. Ces équations peuventse retrouver dans des domaines diverses et variés tels qu'en biomédical, géophysique, ou encore robotiqueen l'occurence sur les applications de planification de mouvement et de reconstruction de formestri-dimensionnelles à partir d'images bi-dimensionnelles. Nous montrons que les principaux algorithmesnumériques amenant a résoudre ces équations telles que les méthodes de type fast marching, ne sont pasappropriés pour être efficaces dans un contexte parallèle. Nous proposons la méthode buffered fast iterativequi permet d'obtenir une scalabilité parallèle non obtenue jusqu'alors. Un des points sensibles relevésdans cette thèse est de parvenir à trouver une recette de compromis entre abstraction, performance etmaintenabilité afin de garantir non seulement une réutilisabilitédans le sens classique du domaine de génielogiciel mais également en terme de réutilisabilité séquentielle/parallèle / Numerical simulation is strongly bound with high performance computing. Programming scientificsoftwares requires at the same time good knowledge on the mathematical numerical models and alsoon the techniques to make them efficient on today's computers. Indeed, these last twenty years, wehave experienced the rising of multi-level parallel architectures. The work in this thesis dissertation ismultidisciplinary by designing a reusable parallel numerical library for solving Hamilton-Jacobi-Bellmanequations. Such equations are involved in various fields such as in biomedical, geophysics or robotics. Inparticular, we will show interests in path planning and shape from shading applications. We show thatthe methods to solve these equations such as the widely used fast marching method, are not designedto be used effciently in a parallel context. We propose a buffered fast iterative method which givesan interesting parallel scalability. This dissertation takes interest in the challenge to find compromisesbetween abstraction, performance and maintainability in order to combine both software reusability andalso sequential/parallel reusability. We propose code abstraction allowing algorithmic and data genericitywhile trying to keep a maintainable and performant code potentially parallelizable
|
8 |
Représentation probabiliste d'équations HJB pour le contrôle optimal de processus à sauts, EDSR (équations différentielles stochastiques rétrogrades) et calcul stochastique. / Probabilistic representation of HJB equations foroptimal control of jumps processes, BSDEs and related stochastic calculusBandini, Elena 07 April 2016 (has links)
Dans le présent document on aborde trois divers thèmes liés au contrôle et au calcul stochastiques, qui s'appuient sur la notion d'équation différentielle stochastique rétrograde (EDSR) dirigée par une mesure aléatoire. Les trois premiers chapitres de la thèse traitent des problèmes de contrôle optimal pour différentes catégories de processus markoviens non-diffusifs, à horizon fini ou infini. Dans chaque cas, la fonction valeur, qui est l'unique solution d'une équation intégro-différentielle de Hamilton-Jacobi-Bellman (HJB), est représentée comme l'unique solution d'une EDSR appropriée. Dans le premier chapitre, nous contrôlons une classe de processus semi-markoviens à horizon fini; le deuxième chapitre est consacré au contrôle optimal de processus markoviens de saut pur, tandis qu'au troisième chapitre, nous examinons le cas de processus markoviens déterministes par morceaux (PDMPs) à horizon infini. Dans les deuxième et troisième chapitres les équations d'HJB associées au contrôle optimal sont complètement non-linéaires. Cette situation survient lorsque les lois des processus contrôlés ne sont pas absolument continues par rapport à la loi d'un processus donné. Etant donné ce caractère complètement non-linéaire, ces équations ne peuvent pas être représentées par des EDSRs classiques. Dans ce cadre, nous avons obtenu des formules de Feynman-Kac non-linéaires en généralisant la méthode de la randomisation du contrôle introduite par Kharroubi et Pham (2015) pour les diffusions. Ces techniques nous permettent de relier la fonction valeur du problème de contrôle à une EDSR dirigée par une mesure aléatoire, dont une composante de la solution subit une contrainte de signe. En plus, on démontre que la fonction valeur du problème de contrôle originel non dominé coïncide avec la fonction valeur d'un problème de contrôle dominé auxiliaire, exprimé en termes de changements de mesures équivalentes de probabilité. Dans le quatrième chapitre, nous étudions une équation différentielle stochastique rétrograde à horizon fini, dirigée par une mesure aléatoire à valeurs entières sur $R_+ times E$, o`u $E$ est un espace lusinien, avec compensateur de la forme $nu(dt, dx) = dA_t phi_t(dx)$. Le générateur de cette équation satisfait une condition de Lipschitz uniforme par rapport aux inconnues. Dans la littérature, l'existence et unicité pour des EDSRs dans ce cadre ont été établies seulement lorsque $A$ est continu ou déterministe. Nous fournissons un théorème d'existence et d'unicité même lorsque $A$ est un processus prévisible, non décroissant, continu à droite. Ce résultat s’applique par exemple, au cas du contrôle lié aux PDMPs. En effet, quand $mu$ est la mesure de saut d'un PDMP sur un domaine borné, $A$ est prévisible et discontinu. Enfin, dans les deux derniers chapitres de la thèse nous traitons le calcul stochastique pour des processus discontinus généraux. Dans le cinquième chapitre, nous développons le calcul stochastique via régularisations des processus à sauts qui ne sont pas nécessairement des semimartingales. En particulier nous poursuivons l'étude des processus dénommés de Dirichlet faibles, dans le cadre discontinu. Un tel processus $X$ est la somme d'une martingale locale et d'un processus adapté $A$ tel que $[N, A] = 0$, pour toute martingale locale continue $N$. Pour une fonction $u: [0, T] times R rightarrow R$ de classe $C^{0,1}$ (ou parfois moins), on exprime un développement de $u(t, X_t)$, dans l'esprit d'une généralisation du lemme d'Itô, lequel vaut lorsque $u$ est de classe $C^{1,2}$. Le calcul est appliqué dans le sixième chapitre à la théorie des EDSRs dirigées par des mesures aléatoires. Dans de nombreuses situations, lorsque le processus sous-jacent $X$ est une semimartingale spéciale, ou plus généralement, un processus de Dirichlet spécial faible, nous identifions les solutions des EDSRs considérées via le processus $X$ et la solution $u$ d’une EDP intégro-différentielle associée. / In the present document we treat three different topics related to stochastic optimal control and stochastic calculus, pivoting on thenotion of backward stochastic differential equation (BSDE) driven by a random measure.After a general introduction, the three first chapters of the thesis deal with optimal control for different classes of non-diffusiveMarkov processes, in finite or infinite horizon. In each case, the value function, which is the unique solution to anintegro-differential Hamilton-Jacobi-Bellman (HJB) equation, is probabilistically represented as the unique solution of asuitable BSDE. In the first chapter we control a class of semi-Markov processes on finite horizon; the second chapter isdevoted to the optimal control of pure jump Markov processes, while in the third chapter we consider the case of controlled piecewisedeterministic Markov processes (PDMPs) on infinite horizon. In the second and third chapters the HJB equations associatedto the optimal control problems are fully nonlinear. Those situations arise when the laws of the controlled processes arenot absolutely continuous with respect to the law of a given, uncontrolled, process. Since the corresponding HJB equationsare fully nonlinear, they cannot be represented by classical BSDEs. In these cases we have obtained nonlinear Feynman-Kacrepresentation formulae by generalizing the control randomization method introduced in Kharroubi and Pham (2015)for classical diffusions. This approach allows us to relate the value function with a BSDE driven by a random measure,whose solution hasa sign constraint on one of its components.Moreover, the value function of the original non-dominated control problem turns out to coincide withthe value function of an auxiliary dominated control problem, expressed in terms of equivalent changes of probability measures.In the fourth chapter we study a backward stochastic differential equation on finite horizon driven by an integer-valued randommeasure $mu$ on $R_+times E$, where $E$ is a Lusin space, with compensator $nu(dt,dx)=dA_t,phi_t(dx)$. The generator of thisequation satisfies a uniform Lipschitz condition with respect to the unknown processes.In the literature, well-posedness results for BSDEs in this general setting have only been established when$A$ is continuous or deterministic. We provide an existence and uniqueness theorem for the general case, i.e.when $A$ is a right-continuous nondecreasing predictable process. Those results are relevant, for example,in the frameworkof control problems related to PDMPs. Indeed, when $mu$ is the jump measure of a PDMP on a bounded domain, then $A$ is predictable and discontinuous.Finally, in the two last chapters of the thesis we deal with stochastic calculus for general discontinuous processes.In the fifth chapter we systematically develop stochastic calculus via regularization in the case of jump processes,and we carry on the investigations of the so-called weak Dirichlet processes in the discontinuous case.Such a process $X$ is the sum of a local martingale and an adapted process $A$ such that $[N,A] = 0$, for any continuouslocal martingale $N$.Given a function $u:[0,T] times R rightarrow R$, which is of class $C^{0,1}$ (or sometimes less), we provide a chain rule typeexpansion for $u(t,X_t)$, which constitutes a generalization of It^o's lemma being valid when $u$ is of class $C^{1,2}$.This calculus is applied in the sixth chapter to the theory of BSDEs driven by random measures.In several situations, when the underlying forward process $X$ is a special semimartingale, or, even more generally,a special weak Dirichlet process,we identify the solutions $(Y,Z,U)$ of the considered BSDEs via the process $X$ and the solution $u$ to an associatedintegro PDE.
|
Page generated in 0.1083 seconds