L'objectif de cette thèse est de développer la théorie du contrôle stochastique et ses applications en dynamique des populations. D'un point de vue théorique, nous présentons l'étude de problèmes de contrôle stochastique à horizon fini sur des processus de diffusion, de branchement non linéaire et de branchement-diffusion. Dans chacun des cas, nous raisonnons par la méthode de la programmation dynamique en veillant à démontrer soigneusement un argument de conditionnement analogue à la propriété de Markov forte pour les processus contrôlés. Le principe de la programmation dynamique nous permet alors de prouver que la fonction valeur est solution (régulière ou de viscosité) de l'équation de Hamilton-Jacobi-Bellman correspondante. Dans le cas régulier, nous identifions également un contrôle optimal markovien par un théorème de vérification. Du point de vue des applications, nous nous intéressons à la modélisation mathématique du cancer et de ses stratégies thérapeutiques. Plus précisément, nous construisons un modèle hybride de croissance de tumeur qui rend compte du rôle fondamental de l'acidité dans l'évolution de la maladie. Les cibles de la thérapie apparaissent explicitement comme paramètres du modèle afin de pouvoir l'utiliser comme support d'évaluation de stratégies thérapeutiques.

The existence of pathwise stationary solutions of this stochastic partial differential equation (SPDE, for abbreviation) is demonstrated. In Part II, a connection between certain kind of state constrained controlled Forward-Backward Stochastic Differential Equations (FBSDEs) and Hamilton-Jacobi-Bellman equations (HJB equations) are demonstrated. The special case provides a probabilistic representation of some geometric flows, including the mean curvature flows. Part II includes also a probabilistic proof of the finite time existence of the mean curvature flows.

In this dissertation, certain problems of stochastic optimal control and relevant analysis of random vibrations are considered. Dynamic Programming approach is used to find an optimal control law for a linear single-degree-of-freedom system subjected to Gaussian white-noise excitation. To minimize a system's mean response energy, a bounded in magnitude control force is applied. This approach reduces the problem of finding the optimal control law to a problem of finding a solution to the Hamilton-Jacobi-Bellman (HJB) partial differential equation. A solution to this partial differential equation (PDE) is obtained by developed 'hybrid' solution method. The application of bounded in magnitude control law will always introduce a certain type of nonlinearity into the system's stochastic equation of motion. These systems may be analyzed by the Energy Balance method, which introduced and developed in this dissertation. Comparison of analytical results obtained by the Energy Balance method and by stochastic averaging method with numerical results is provided. The comparison of results indicates that the Energy Balance method is more accurate than the well-known stochastic averaging method.

This thesis focuses on optimization on a generic objective function based on reflected Brownian motion (RBM). We investigate in several approaches including the partial differential equation approach where we write our objective function in terms of a Hamilton-Jacobi-Bellman equation using the dynamic programming principle and the gradient descent approach where we use two different gradient estimators. We provide extensive numerical results with the gradient descent approach and we discuss the difficulties and future study opportunities for this problem.

Dans cette thèse, je me suis interessé a deux aspects de la gestion de portefeuille : la maximisation de l'utilité e d'un portefeuille financier lorsque on impose une contrainte sur l'exposition au risque, et la couverture quadratique en marché incomplet. Part I. Dans la première partie, j' étudie un problème d'assurance de portefeuille du point de vue du manager d'un fond d'investissement, qui veut structurer un produit financier pour les investisseurs du fond avec une garantie sur la valeur du portefeuille a la maturité . Si, a la maturité, la valeur du portefeuille est au dessous d'un seuil x e, l'investisseur sera remboursé a la hauteur de ce seuil par une troisième partie, qui joue le rôle d'assureur du fond (on peut imaginer que le fond appartient à une banque et que donc c'est la banque elle même qui joue le rôle d'assureur). En échange de cette assurance, la troisième partie impose une contrainte sur l'exposition au risque que le manager du fond peut tolérer, mesurée avec une mesure de risque monétaire convexe. Je donne la solution complet e de ce problème de maximisation non convexe en marché complet et je prouve que le choix de la mesure de risque est un point crucial pour avoir existence d'un portefeuille optimal. J'applique donc mes résultats lorsque on utilise la mesure de risque entropique (pour laquelle le portefeuille optimal existe toujours), les mesures de risque spectrales (pour lesquelles le portefeuille optimal peut ne pas exister dans certains cas) et la G-divergence. Mots-cl es : Assurance de portefeuille ; maximisation d'utilité ; mesure de risque convexe ; VaR, CVaR et mesure de risque spectrale ; entropie et G-divergence. Part II. Dans la deuxième partie, je m'intéresse au problème de couverture quadratique en marché incomplet. J'assume que le marché est d écrit par un processus Markovien tridimensionnel avec sauts. La premi ère variable d' état décrit l'actif - financier, échangeable sur le marché, qui sert comme instrument de couverture ; la deuxième variable d' état modélise un actif financier que intervient dans la dynamique de l'instrument de couverture mais qui n'est pas échangeable sur le march é : il peut donc être vu comme un facteur de volatilité de l'instrument de couverture, ou comme un actif financier que l'on ne peut pas acheter (pour de raisons légales par exemple) ; la troisième et dernière variable d' état représente une source externe de risque qui affecte l'option Européenne qu'on veut couvrir, et qui, elle aussi, n'est pas échangeable sur le marché. Pour résoudre le problème j'utilise l'approche de la programmation dynamique, qui me permet d' écrire l' équation de Hamilton-Jacobi- Bellman associé e au problème de couverture quadratique, qui est non locale en non linéaire. Je prouve que la fonction valeur associée au problème de couverture quadratique peut être caractérisée par un système de trois équations integro- différentielles aux dérivées partielles, dont l'une est semilinéaire et ne dépends pas du choix de l'option a couvrir, et les deux autres sont simplement linéaires , et que ce système a une unique solution r régulière dans un espace de Hölder approprié, qui me permet donc de caractériser la stratégie de couverture optimale . Ce résultat est démontré lorsque le processus est non dégénéré (c'est a dire que la composante Brownienne est strictement elliptique) et lorsque le processus est a sauts purs. Je conclus avec une application de mes résultats dans le cadre du marché de l' électricité. Mots-cl es : Couverture quadratique ; modèle a sauts ; programmation dynamique ; équation de Hamilton-Jacobi-Bellman ; équations aux dérivées partielles integro-différentielles.

Questa tesi è una raccolta di tre articoli riguardanti l’economia dell’informazione. Il primo articolo riguarda i possibili effetti negativi delle elezioni sul benessere degli elettori. Infatti, il controllo ottimo nei confronti di un politico dipende in modo non banale dalla relazione tra effetto disciplinante, effetto di selezione e effetto di riduzione della rendita. Il risultato è che un eccessivo controllo nei confronti di un politico può ridurre il benessere sociale. Il secondo articolo analizza un modello di competizione elettorale nel quale l’abilità del politico è sconosciuta anche al politico stesso oltre che agli elettori. L’analisi è in tempo continuo e sviluppata mediante tecniche di programmazione dinamica e di filtraggio. Le credenze sull’abilità vengono aggiornate secondo la regola di Bayes tramite l’osservazione del processo diffusivo che descrive il valore del settore pubblico. Il politico trae utilità da una rendita che è però inferiore in presenza di una scadenza elettorale. Il terzo articolo descrive una relazione principale-agente in tempo continuo dove l’output è rappresentato da un processo diffusivo il cui drift è determinato dallo sforzo dell’agente, che il principale non osserva, e dall’abilità dell’agente, che non è osservata nemmeno dall’agente stesso. Vengono analizzati sia gli incentivi espliciti dati dal contratto che gli incentivi impliciti legati ai career-concerns. L’analisi è sviluppata in tempo continuo; vengono applicate tecniche di programmazione dinamica e di filtraggio. / This thesis is a collection of three essays about information economics. The first essay studies the possible negative effects of elections on voters’ welfare. In fact, the optimal control of politicians depends on the interplay of disciplining, selection and rent-shrinking effects in a non-trivial way. We show that too much control on the politician may reduce social welfare. The second essay studies an agency model of electoral competition where the incumbent’s ability is unknown to the voters as well as to the politician herself. The analysis is developed in a continuous-time stochastic framework using dynamic programming techniques. Competence is unobservable to everyone and learned over time in a Bayesian fashion through the observation of the value of the public sector. Politicians can divert resources being in office thus reducing the economy wealth but this rent is lower (all other things the same) with an electoral constraint. The third essay describes a continuous-time principal-agent model in which the output is a diffusion process whose drift is determined by the agent’s unobserved effort and by manager’s competence (it is assumed symmetric information about it). We study separately both explicit incentives arising from the contract and implicit incentives arising from career concerns.. All the analysis is developed in a continuous-time stochastic framework; we apply dynamic programming and filtering techniques.

In this work, hybrid systems with regional dynamics are considered. These are systems where transitions between different dynamical regimes occur as the continuous state of the system reaches given switching surfaces. In particular, the attention is focused on the optimal control problem associated with such systems. More precisely, given a specific cost function, the goal is to determine the optimal path of going from a given starting point to a fixed final state during an a priori specified time horizon. The key characteristic of the approach presented in this thesis is a hierarchical decomposition of the hybrid optimal control problem, yielding to a framework which allows a solution on different levels of control. On the highest level of abstraction, the regional structure of the state space is taken into account and a discrete representation of the connections between the different regions provides global accessibility relations between regions. These are used on a lower level of control to formulate the main theorem of this work, namely, the Hybrid Bellman Equation for multimodal systems, which, in fact, provides a characterization of global optimality, given an upper bound on the number of transitions along a hybrid trajectory. Not surprisingly, the optimal solution is hybrid in nature, in that it depends on not only the continuous control signals, but also on discrete decisions as to what domains the system's continuous state should go through in the first place. The main benefit with the proposed approach lies in the fact that a hierarchical Dynamic Programming algorithm can be used to representing both a theoretical characterization of the hybrid solution's structural composition and, from a more application-driven point of view, a numerically implementable calculation rule yielding to globally optimal solutions in a regional dynamics framework. The operation of the recursive algorithm is highlighted by the consideration of numerous examples, among them, a heterogeneous multi-agent problem.

Cette thèse porte sur l'approche de Programmation dynamique et Hamilton-Jacobi- Bellman pour une classe générale de problèmes déterministes de contrôle optimal avec des coefficients discontinus. Les outils utilisés dans ce travail se basent essentiellement sur la théorie de contrôle, la théorie de viscosité pour les équations aux dérivées partielles, l'analyse nonlisse et les systèmes dynamiques. La première partie de la thèse concerne le problème des trajectoires discontinues sous contraintes sur l'état, où les trajectoires sont solutions de systèmes dynamiques impulsionnels. Un résultat de caractérisation de la fonction de valeur pour de tels problème a été obtenu. Une autre contribution issue de cette partie consiste en l'extension de l'approche HJB pour des problèmes gouvernés par des systèmes dynamiques mesurables en temps et en présence de contraintes sur l'état dépendantes du temps. La deuxième partie est consacrée au problème de contrôle optimal sur domaine stratifié, qui consiste en une réunion de sous-domaines séparés par plusieurs interfaces. Une de motivations de ce travail vient du problème de contrôle hybride. Ici on obtient de nouvelles conditions de transmission sur les interfaces qui garantissent l'unicité et la caractérisation de la fonction de valeur. La troisième partie consiste à étudier l'homogénéisation des équations d'Hamilton-Jacobi dans le cadre d'Hamiltonians discontinus en état. Ce travail considère la perturbation singulière des problèmes de contrôle optimal sur une structure périodique stratifié. Le problème limite est analysé et une équation d'Hamilton-Jacobi associée est établie. Cette équation décrit le comportement limite de la fonction de valeur du problème perturbé lorsque l'échelle de périodicité tend vers 0.

Submitted by Yuri Pereira (yurimedeiros_@hotmail.com) on 2016-09-01T15:24:06Z No. of bitstreams: 1 Dissertação YURI PEREIRA.pdf: 507288 bytes, checksum: b86dbb4b5f173ac7d43a83d591ab6a7b (MD5) / Approved for entry into archive by Renata de Souza Nascimento (renata.souza@fgv.br) on 2016-09-01T19:29:40Z (GMT) No. of bitstreams: 1 Dissertação YURI PEREIRA.pdf: 507288 bytes, checksum: b86dbb4b5f173ac7d43a83d591ab6a7b (MD5) / Made available in DSpace on 2016-09-01T19:33:44Z (GMT). No. of bitstreams: 1 Dissertação YURI PEREIRA.pdf: 507288 bytes, checksum: b86dbb4b5f173ac7d43a83d591ab6a7b (MD5) Previous issue date: 2016-08-05 / In Øksendal (1998), we can see the derivation of a classical stochastic optimization between an asset, or a class of assets, risky and other risk-free. But, after the decision of which portion of the resources to allocate in the risky investment class, questions arise about how would the division of the resources between the assets that comprise it. We assume that some investor choose to invest in two risky assets and, following the classic studies of portfolio stochastic optimization, mainly by Øksendal, the proposal is to introduce a new technique of trading consisting in recurrent rebalancing approach stochastic optimization investments with risk. Following the short-term concept provided by Ang, Hodrick, Xing and Zhang (2006) for the stock market, it was considered a sequence of short rebalancing time horizons and, at the beginning of each period, the parameters are recalculated and a new optimal control is established. By adopting this technique, the volatilities of the assets constituting the portfolio are recalculated and, therefore, it is a proxy to solution of the heteroscedasticity problem. Also noteworthy, being something new in literature, the fact of having been derived from an optimal control for a portfolio containing two investments with risk. The stochastic optimization procedure was similar to that adopted by Øksendal, namely, the application of the Hamilton-Jacobi-Bellman theorem to transform the problem of minimizing the cost functional a partial differential equation known as HJB equation, in reference to the authors. The steps followed by Øksenal are the same for us, from the optimization’s point of view, and are well summarized by Ross (2008). / Em Øksendal (1998), podemos ver a derivação de um modelo clássico de otimização estocástica entre um ativo, ou classe de ativos, com risco e outro sem risco. Mas, após a decisão do quanto alocar na classe de investimento com risco, ficou o questionamento sobre como ficaria a divisão dos recursos entre os ativos que a compõem. Partimos do princípio que determinado investidor optou por escolher investir em dois ativos com risco e, seguindo os estudos clássicos de otimização estocástica de portfólio, principalmente o promovido por Øksendal, a proposta é apresentar uma nova técnica de trading que consiste na abordagem de rebalanceamentos sucessivos por otimização estocástica em investimentos com risco. Seguindo a noção de curto prazo fornecida por Ang, Hodrick, Xing e Zhang (2006) para o mercado de ações, foi considerada uma sequência de horizontes curtos de rebalanceamento e, ao início de cada período, os parâmetros são recalculados e um novo controle ótimo é estabelecido. Ao adotar esta técnica, as volatilidades dos ativos que constituem o portfólio são recalculadas e, com isso, diminui-se o problema de heterocedasticidade. Também merece destaque, por ser algo novo na literatura, o fato de ter sido derivado um controle ótimo para um portfólio que contém dois investimentos com risco. O procedimento de otimização estocástica foi similar ao adotado por Øksendal, qual seja, a aplicação do teorema de Hamilton-Jacobi-Bellman para transformar o problema de minimização da funcional custo numa equação diferencial parcial conhecida como equação HJB, em referência aos autores. Os passos seguidos por Øksenal e por nós serão os mesmos, do ponto de vista de otimização, e estão bem resumidos por Ross (2008).

No description available.