This thesis focuses on optimization on a generic objective function based on reflected Brownian motion (RBM). We investigate in several approaches including the partial differential equation approach where we write our objective function in terms of a Hamilton-Jacobi-Bellman equation using the dynamic programming principle and the gradient descent approach where we use two different gradient estimators. We provide extensive numerical results with the gradient descent approach and we discuss the difficulties and future study opportunities for this problem.

Dans cette thèse, je me suis interessé a deux aspects de la gestion de portefeuille : la maximisation de l'utilité e d'un portefeuille financier lorsque on impose une contrainte sur l'exposition au risque, et la couverture quadratique en marché incomplet. Part I. Dans la première partie, j' étudie un problème d'assurance de portefeuille du point de vue du manager d'un fond d'investissement, qui veut structurer un produit financier pour les investisseurs du fond avec une garantie sur la valeur du portefeuille a la maturité . Si, a la maturité, la valeur du portefeuille est au dessous d'un seuil x e, l'investisseur sera remboursé a la hauteur de ce seuil par une troisième partie, qui joue le rôle d'assureur du fond (on peut imaginer que le fond appartient à une banque et que donc c'est la banque elle même qui joue le rôle d'assureur). En échange de cette assurance, la troisième partie impose une contrainte sur l'exposition au risque que le manager du fond peut tolérer, mesurée avec une mesure de risque monétaire convexe. Je donne la solution complet e de ce problème de maximisation non convexe en marché complet et je prouve que le choix de la mesure de risque est un point crucial pour avoir existence d'un portefeuille optimal. J'applique donc mes résultats lorsque on utilise la mesure de risque entropique (pour laquelle le portefeuille optimal existe toujours), les mesures de risque spectrales (pour lesquelles le portefeuille optimal peut ne pas exister dans certains cas) et la G-divergence. Mots-cl es : Assurance de portefeuille ; maximisation d'utilité ; mesure de risque convexe ; VaR, CVaR et mesure de risque spectrale ; entropie et G-divergence. Part II. Dans la deuxième partie, je m'intéresse au problème de couverture quadratique en marché incomplet. J'assume que le marché est d écrit par un processus Markovien tridimensionnel avec sauts. La premi ère variable d' état décrit l'actif - financier, échangeable sur le marché, qui sert comme instrument de couverture ; la deuxième variable d' état modélise un actif financier que intervient dans la dynamique de l'instrument de couverture mais qui n'est pas échangeable sur le march é : il peut donc être vu comme un facteur de volatilité de l'instrument de couverture, ou comme un actif financier que l'on ne peut pas acheter (pour de raisons légales par exemple) ; la troisième et dernière variable d' état représente une source externe de risque qui affecte l'option Européenne qu'on veut couvrir, et qui, elle aussi, n'est pas échangeable sur le marché. Pour résoudre le problème j'utilise l'approche de la programmation dynamique, qui me permet d' écrire l' équation de Hamilton-Jacobi- Bellman associé e au problème de couverture quadratique, qui est non locale en non linéaire. Je prouve que la fonction valeur associée au problème de couverture quadratique peut être caractérisée par un système de trois équations integro- différentielles aux dérivées partielles, dont l'une est semilinéaire et ne dépends pas du choix de l'option a couvrir, et les deux autres sont simplement linéaires , et que ce système a une unique solution r régulière dans un espace de Hölder approprié, qui me permet donc de caractériser la stratégie de couverture optimale . Ce résultat est démontré lorsque le processus est non dégénéré (c'est a dire que la composante Brownienne est strictement elliptique) et lorsque le processus est a sauts purs. Je conclus avec une application de mes résultats dans le cadre du marché de l' électricité. Mots-cl es : Couverture quadratique ; modèle a sauts ; programmation dynamique ; équation de Hamilton-Jacobi-Bellman ; équations aux dérivées partielles integro-différentielles.

Questa tesi è una raccolta di tre articoli riguardanti l’economia dell’informazione. Il primo articolo riguarda i possibili effetti negativi delle elezioni sul benessere degli elettori. Infatti, il controllo ottimo nei confronti di un politico dipende in modo non banale dalla relazione tra effetto disciplinante, effetto di selezione e effetto di riduzione della rendita. Il risultato è che un eccessivo controllo nei confronti di un politico può ridurre il benessere sociale. Il secondo articolo analizza un modello di competizione elettorale nel quale l’abilità del politico è sconosciuta anche al politico stesso oltre che agli elettori. L’analisi è in tempo continuo e sviluppata mediante tecniche di programmazione dinamica e di filtraggio. Le credenze sull’abilità vengono aggiornate secondo la regola di Bayes tramite l’osservazione del processo diffusivo che descrive il valore del settore pubblico. Il politico trae utilità da una rendita che è però inferiore in presenza di una scadenza elettorale. Il terzo articolo descrive una relazione principale-agente in tempo continuo dove l’output è rappresentato da un processo diffusivo il cui drift è determinato dallo sforzo dell’agente, che il principale non osserva, e dall’abilità dell’agente, che non è osservata nemmeno dall’agente stesso. Vengono analizzati sia gli incentivi espliciti dati dal contratto che gli incentivi impliciti legati ai career-concerns. L’analisi è sviluppata in tempo continuo; vengono applicate tecniche di programmazione dinamica e di filtraggio. / This thesis is a collection of three essays about information economics. The first essay studies the possible negative effects of elections on voters’ welfare. In fact, the optimal control of politicians depends on the interplay of disciplining, selection and rent-shrinking effects in a non-trivial way. We show that too much control on the politician may reduce social welfare. The second essay studies an agency model of electoral competition where the incumbent’s ability is unknown to the voters as well as to the politician herself. The analysis is developed in a continuous-time stochastic framework using dynamic programming techniques. Competence is unobservable to everyone and learned over time in a Bayesian fashion through the observation of the value of the public sector. Politicians can divert resources being in office thus reducing the economy wealth but this rent is lower (all other things the same) with an electoral constraint. The third essay describes a continuous-time principal-agent model in which the output is a diffusion process whose drift is determined by the agent’s unobserved effort and by manager’s competence (it is assumed symmetric information about it). We study separately both explicit incentives arising from the contract and implicit incentives arising from career concerns.. All the analysis is developed in a continuous-time stochastic framework; we apply dynamic programming and filtering techniques.

Cette thèse porte sur l'approche de Programmation dynamique et Hamilton-Jacobi- Bellman pour une classe générale de problèmes déterministes de contrôle optimal avec des coefficients discontinus. Les outils utilisés dans ce travail se basent essentiellement sur la théorie de contrôle, la théorie de viscosité pour les équations aux dérivées partielles, l'analyse nonlisse et les systèmes dynamiques. La première partie de la thèse concerne le problème des trajectoires discontinues sous contraintes sur l'état, où les trajectoires sont solutions de systèmes dynamiques impulsionnels. Un résultat de caractérisation de la fonction de valeur pour de tels problème a été obtenu. Une autre contribution issue de cette partie consiste en l'extension de l'approche HJB pour des problèmes gouvernés par des systèmes dynamiques mesurables en temps et en présence de contraintes sur l'état dépendantes du temps. La deuxième partie est consacrée au problème de contrôle optimal sur domaine stratifié, qui consiste en une réunion de sous-domaines séparés par plusieurs interfaces. Une de motivations de ce travail vient du problème de contrôle hybride. Ici on obtient de nouvelles conditions de transmission sur les interfaces qui garantissent l'unicité et la caractérisation de la fonction de valeur. La troisième partie consiste à étudier l'homogénéisation des équations d'Hamilton-Jacobi dans le cadre d'Hamiltonians discontinus en état. Ce travail considère la perturbation singulière des problèmes de contrôle optimal sur une structure périodique stratifié. Le problème limite est analysé et une équation d'Hamilton-Jacobi associée est établie. Cette équation décrit le comportement limite de la fonction de valeur du problème perturbé lorsque l'échelle de périodicité tend vers 0.

Submitted by Yuri Pereira (yurimedeiros_@hotmail.com) on 2016-09-01T15:24:06Z No. of bitstreams: 1 Dissertação YURI PEREIRA.pdf: 507288 bytes, checksum: b86dbb4b5f173ac7d43a83d591ab6a7b (MD5) / Approved for entry into archive by Renata de Souza Nascimento (renata.souza@fgv.br) on 2016-09-01T19:29:40Z (GMT) No. of bitstreams: 1 Dissertação YURI PEREIRA.pdf: 507288 bytes, checksum: b86dbb4b5f173ac7d43a83d591ab6a7b (MD5) / Made available in DSpace on 2016-09-01T19:33:44Z (GMT). No. of bitstreams: 1 Dissertação YURI PEREIRA.pdf: 507288 bytes, checksum: b86dbb4b5f173ac7d43a83d591ab6a7b (MD5) Previous issue date: 2016-08-05 / In Øksendal (1998), we can see the derivation of a classical stochastic optimization between an asset, or a class of assets, risky and other risk-free. But, after the decision of which portion of the resources to allocate in the risky investment class, questions arise about how would the division of the resources between the assets that comprise it. We assume that some investor choose to invest in two risky assets and, following the classic studies of portfolio stochastic optimization, mainly by Øksendal, the proposal is to introduce a new technique of trading consisting in recurrent rebalancing approach stochastic optimization investments with risk. Following the short-term concept provided by Ang, Hodrick, Xing and Zhang (2006) for the stock market, it was considered a sequence of short rebalancing time horizons and, at the beginning of each period, the parameters are recalculated and a new optimal control is established. By adopting this technique, the volatilities of the assets constituting the portfolio are recalculated and, therefore, it is a proxy to solution of the heteroscedasticity problem. Also noteworthy, being something new in literature, the fact of having been derived from an optimal control for a portfolio containing two investments with risk. The stochastic optimization procedure was similar to that adopted by Øksendal, namely, the application of the Hamilton-Jacobi-Bellman theorem to transform the problem of minimizing the cost functional a partial differential equation known as HJB equation, in reference to the authors. The steps followed by Øksenal are the same for us, from the optimization’s point of view, and are well summarized by Ross (2008). / Em Øksendal (1998), podemos ver a derivação de um modelo clássico de otimização estocástica entre um ativo, ou classe de ativos, com risco e outro sem risco. Mas, após a decisão do quanto alocar na classe de investimento com risco, ficou o questionamento sobre como ficaria a divisão dos recursos entre os ativos que a compõem. Partimos do princípio que determinado investidor optou por escolher investir em dois ativos com risco e, seguindo os estudos clássicos de otimização estocástica de portfólio, principalmente o promovido por Øksendal, a proposta é apresentar uma nova técnica de trading que consiste na abordagem de rebalanceamentos sucessivos por otimização estocástica em investimentos com risco. Seguindo a noção de curto prazo fornecida por Ang, Hodrick, Xing e Zhang (2006) para o mercado de ações, foi considerada uma sequência de horizontes curtos de rebalanceamento e, ao início de cada período, os parâmetros são recalculados e um novo controle ótimo é estabelecido. Ao adotar esta técnica, as volatilidades dos ativos que constituem o portfólio são recalculadas e, com isso, diminui-se o problema de heterocedasticidade. Também merece destaque, por ser algo novo na literatura, o fato de ter sido derivado um controle ótimo para um portfólio que contém dois investimentos com risco. O procedimento de otimização estocástica foi similar ao adotado por Øksendal, qual seja, a aplicação do teorema de Hamilton-Jacobi-Bellman para transformar o problema de minimização da funcional custo numa equação diferencial parcial conhecida como equação HJB, em referência aos autores. Os passos seguidos por Øksenal e por nós serão os mesmos, do ponto de vista de otimização, e estão bem resumidos por Ross (2008).

Dans cette thèse nous étudions une classe d’équations de Hamilton-Jacobi-Bellman provenant de la théorie du contrôle optimal des équations différentielles ordinaires. Nous nous intéressons principalement à l’analyse de la sensibilité de la fonction valeur des problèmes de contrôle optimal associés à de telles équations de H-J-B. Dans la littérature, les relations de sensibilité fournissent une “mesure” de la robustesse des stratégies optimales par rapport aux variations de la variable d’état. Ces résultats sont des outils très importants pour le contrôle appliqué, parce qu’ils permettent d’étudier les effets que des approximations des données du système peuvent avoir sur les politiques optimales. Cette thèse est dédiée également à l’étude des problèmes de Mayer et de temps minimal. Nous supposons que la dynamique du problème soit une inclusion différentielle, afin de permettre aux données d’être non régulières et d’embrasser un ensemble plus grand d’applications. Néanmoins, cette tâche rend notre analyse plus difficile. La première contribution de cette étude est une extension de quelques résultats classiques de la théorie de la sensibilité au domaine des problèmes non paramétrées. Ces relations prennent la forme d’inclusions d’état adjoint, figurant dans le principe du maximum de Pontryagin, dans certains gradients généralisés de la fonction valeur évalués le long des trajectoires optimales. En deuxième lieu, nous développons des nouvelles relations de sensibilité impliquant des approximations du deuxième ordre de la fonction valeur. Cette analyse mène à de nouvelles applications concernant la propagation, tant ponctuel que local, de la régularité de la fonction valeur le long des trajectoires optimales. Nous proposons également des applications aux conditions d’optimalité. / This dissertation investigates a class of Hamilton-Jacobi-Bellman equations arising in optimal control of O.D.E.. We mainly focus on the sensitivity analysis of the optimal value function associated with the underlying control problems. In the literature, sensitivity relations provide a measure of the robustness of optimal control strategies with respect to variations of the state variable. This is a central tool in applied control, since it allows to study the effects that approximations of the inputs of the system may produce on the optimal policies. In this thesis, we deal whit problems in the Mayer or in the minimum time form. We assume that the dynamic is described by a differential inclusion, in order to allow data to be nonsmooth and to embrace a large area of concrete applications. Nevertheless, this task makes our analysis more challenging. Our main contribution is twofold. We first extend some classical results on sensitivity analysis to the field of nonparameterized problems. These relations take the form of inclusions of the co-state, featuring in the Pontryagin maximum principle, into suitable gradients of the value function evaluated along optimal trajectories. Furthermore, we develop new second-order sensitivity relations involving suitable second order approximations of the optimal value function. Besides being of intrinsic interest, this analysis leads to new consequences regarding the propagation of both pointwise and local regularity of the optimal value functions along optimal trajectories. As applications, we also provide refined necessary optimality conditions for some class of differential inclusions.

Portfolio selection has always been a fundamental challenge in the field of finance and captured the attention of researchers in the financial area. Merton's portfolio problem is an optimization problem in finance and aims to maximize an investor's portfolio. This thesis studies Merton's Optimal Investment-Consumption Problem under the Jourdain--Sbai stochastic volatility model and seeks to maximize the expected discounted utility of consumption and terminal wealth. The results of our study can be split into three main parts. First, we derived the Hamilton--Jacobi--Bellman equation related to our stochastic optimal control problem.  Second, we simulated the optimal controls, which are the weight of the risky asset and consumption. This has been done for all the three models within the scope of the Jourdain--Sbai model: Quadratic Gaussian, Stein & Stein, and Scott's model. Finally, we developed the system of equations after applying the Crank-Nicolson numerical scheme when solving our HJB partial differential equation.

We aim at generalizing the celebrated portfolio optimization problem "à la Merton", where the asset evolution is steered by a self-exciting jump-diffusion process. We first define the rigorous mathematical framework needed to introduce the stochastic optimal control problem we are interesting in. Then, we provide a proof for a specific version of the Dynamic Programming Principle (DPP) with respect to the general class of self-exciting processes under study. After, we state the Hamilton-Jacobi-Bellman (HJB) equation, whose solution gives the value function for the corresponding optimal control problem. The resulting HJB equation takes the form of a Partial-Integro Differential Equation (PIDE), for which we prove both existence and uniqueness for the solution in the viscosity sense. We further derive a suitable numerical scheme to solve the HJB equation corresponding to the portfolio optimizationproblem. To this end, we also provide a detailed study of solution dependence on the parameters of the problem. The analysis is performed by calibrating the model on ENI asset levels during the COVID-19 worldwide breakout. In particular, the calibration routine is based on a sophisticated Sequential Monte Carlo algorithm.

Les problèmes abordés et les résultats obtenus dans cette thèse se divisent en deux parties. La première concerne l'étude de la valeur asymptotique de jeux dépendant de la fréquence (jeux-FD). Nous introduisons un jeu différentiel associé au jeu-FD dont la valeur se ramène à une équation de Hamilton-Jacobi-Bellman-lsaacs. En affrontant un problème d'irrégularité à l'origine, nous prouvons l’existence de la valeur du jeu différentiel sur [0.1 ] et ceci nous permet de prouver que la valeur du jeu FD converge vers la valeur du jeu continu qui débute à l'état initial 0. Dans la deuxième partie, l'objectif fondamental est la décomposition de l'espace des jeux finis en sous espaces des jeux adéquats et plus faciles à étudier vu que leurs équilibres sont distingués. Cette partie est divisée en deux chapitres. Dans le premier chapitre, nous établissons une décomposition canonique de tout jeu arbitraire fini en trois composantes et nous caractérisons les équilibres approximatifs d'un jeu donné par les équilibres uniformément mixtes et en stratégies dominantes lesquels apparaissent sur ses composantes. Dans le deuxième chapitre, nous introduisons sur l'espace des jeux finis une famille de produits scalaires et nous définissons la classe des jeux harmoniques relativement au produit scalaire choisi dans cette famille. Inspiré par la décomposition de Helmholtz-Hodge appliquée aux jeux par Candogan et al. (2011), nous établissons une décomposition orthogonale de l'espace des jeux finis, par rapport au produit scalaire choisi, en les sous espaces des jeux potentiels, des jeux harmoniques et des jeux non­stratégiques c nous généralisons les résultats de Candogan et al. (2011). / The problems addressed and results obtained in this thesis are divided in two parts. The first part concerns the study of the asymptotic value of frequency-dependent games (FD-games). We introduce a differential game associated to the FD-game whose value leads to a Hamilton-Jacob-Bellman-lsaacs equation. Although an irregularity occurs at the origin, we prove existence of the value in the differential game played over [0.1 ], which allows to prove that the value of the FD-game, as the number of stages tend to infinity, converges to the value of the continuous-time game with initial state 0. ln the second part, the objective is the decomposition of the space of finite games in subspaces of suitable games which admit disguised equilibria and more tractable analysis. This part is divided in two chapters. In the first chapter, we establish a canonical decomposition of an arbitrary game into three components and we characterize the approximate equilibria of a given game in terms of the uniform equilibrium and the equilibrium in dominant strategies that appear in its components. In the second part, we introduce a family of inner products in the space of finite games and we define the class of harmonic games relatively to the chosen inner product. Inspired of the Helmholtz-Hodge decomposition applied to games by Candogan et al (2011 ), we establish an orthogonal decomposition of the space of finite games with respect to the chosen inner product, in the subspaces of potential harmonic and non-strategic games and we further generalize several results of Candogan et al (2011).

In dieser Arbeit wird erstmalig der Einfluss stochastischer Schwankungen auf endoreversible Modelle untersucht. Hierfür wird die Novikov-Maschine mit drei verschieden Wärmetransportgesetzen (Newton, Fourier, asymmetrisch) betrachtet. Während die maximale verrichtete Arbeit und der dazugehörige Wirkungsgrad recht einfach im Falle konstanter Wärmebadtemperaturen hergeleitet werden können, ändern sich dies, falls die Temperaturen stochastisch fluktuieren können. Im letzteren Fall muss die stochastische optimale Kontrolltheorie genutzt werden, um das Maximum der zu erwartenden Arbeit und die dazugehörige Kontrollstrategie zu ermitteln. Im Allgemeinen kann die Lösung derartiger Probleme auf eine nichtlineare, partielle Differentialgleichung, welche an eine Optimierung gekoppelt ist, zurückgeführt werden. Diese Gleichung wird stochastische Hamilton-Jacobi-Bellman-Gleichung genannt. Allerdings können, wie in dieser Arbeit dargestellt, die Berechnungen vereinfacht werden, wenn man annimmt, dass die Fluktuationen unabhängig von der betrachteten Kontrollvariablen sind. In diesem Fall zeigen analytische Betrachtungen, dass die Gleichungen für die verrichtete Arbeit and den Wirkungsgrad ihre ursprüngliche Form behalten, aber manche Terme müssen durch entsprechende Zeitmittel bzw. Erwartungswerte ersetzt werden, jeweils abhängig von der betrachteten Art der Kontrolle. Basierend auf einer Analyse der Leistungsparameter im Falle einer Gleichverteilung der heißen Temperatur der Novikov-Maschine können Schlussfolgerungen auf deren Monotonieverhalten gezogen werden. Der Vergleich verschiedener, zeitunabhängiger, symmetrischer Verteilungen führt zu einer bis dato unbekannten Erweiterung des Curzon-Ahlborn-Wirkungsgrades im Falle kleiner Schwankungen. Weiterhin wird eine Analyse einer Novikov-Maschine mit asymmetrischen Wärmetransport, bei der das Verhalten der heißen Temperatur durch einen Ornstein-Uhlenbeck-Prozess beschrieben wird, durchgeführt. Abschließend wird eine Novikov-Maschine mit Fourierscher Wärmeleitung, bei der die Dynamik der heißen Temperatur von der Kontrollvariable abhängt, betrachtet. Durch das Lösen der Hamilton-Jacobi-Bellman-Gleichung können neuartige Schlussfolgerungen gezogen werden, wie derartige Systeme optimal zu steuern sind. / In this thesis, the influence of stochastic fluctuations on the performance of endoreversible engines is investigated for the first time. For this, a Novikov-engine with three different heat transport laws (Newtonian, Fourier, asymmetric) is considered. While the maximum work output and corresponding efficiency can be deduced easily in the case of constant heat bath temperatures, this changes, if these temperatures are allowed to fluctuate stochastically. In the latter case, stochastic optimal control theory has to be used to find the maximum of the expected work output and the corresponding control policy. In general, solving such problems leads to a non-linear, partial differential equation coupled to an optimization, called the stochastic Hamilton-Jacobi-Bellman equation. However, as presented in this thesis, calculations can be simplified, if one assumes that the fluctuations are independent of the considered control variable. In this case, analytic considerations show that the equations for performance measures like work output and efficiency keep their original form, but terms have to be replaced by appropriate time averages and expectation values, depending on the considered control type. Based on an analysis of the performance measures in the case of a uniform distribution of the hot temperature of the Novikov engine, conclusions on their monotonicity behavior are drawn. The comparison of several, time independent, symmetric distributions reveals a to date unknown extension to the Curzon-Ahlborn efficiency in the case of small fluctuations. Furthermore, an analysis of a Novikov engine with asymmetric heat transport, where the behavior of the hot temperature is described by an Ornstein-Uhlenbeck process, is performed. Finally, a Novikov engine with Fourier heat transport is considered, where the dynamics of the hot temperature depends on the control variable. By solving the corresponding Hamilton-Jacobi-Bellman equation, new conclusions how to optimally control such systems are drawn.