Cette thèse se compose de deux parties principales. Dans la première partie, le Chapitre 3 est consacré à l'étude du comportement limite d'un système contrôlé singulièrement perturbé avec deux variables d'état qui sont faiblement couplées. Afin de prouver notre résultat d'approximation, nous utilisons la méthode de moyennisation et un résultat récent sur le contrôle nonexpansif. La principale nouveauté de notre approche est de permettre la dynamique limite de dépendre de l'état initial du système rapide. Notons que dans la littérature, le comportement limite d'un tel système a été généralement traité dans des conditions qui garantissent que la limite est indépendante de l'état initial du système rapide. Dans le Chapitre 4, nous généralisons les résultats du Chapitre 3 supposant une condition de nonexpansivité plus générale. De plus, nous considérons un exemple ou la nouvelle condition de nonexpansivité est satisfaite, mais pas la condition de nonexpansivité du Chapitre 3. Dans la deuxième partie de la thèse, le Chapitre 5 porte sur les représentations stables des Hamiltoniens convexes associant à un Hamiltonien donné des fonctions correspondant au problème de Bolza en controle optimal. Dans le Chapitre 6 nous étudions également la stabilité des solutions des équations d'Hamilton-Jacobi-Bellman sous contraintes d'état en exploitant la stabilité des fonctions valeur d'une famille de problèmes de contrôle optimal de Bolza sous contraintes d'état. Nous montrons que sous des hypothèses appropriées, la fonction valeur est la solution unique d'équation d'Hamilton-Jacobi-Bellman et que les solutions sont stables par rapport à l'Hamiltonien et les contraintes d'état. / This thesis consists of two main parts. In the first part, Chapter 3 is devoted to the investigation of the limit behavior of a singularly perturbed control system with two state variables which are weakly coupled. In order to prove our approximation result we use the so called averaging method and a recent result on nonexpansive control. The main novelty of our averaging approach lies in the fact that the limit dynamic may depend on the initial condition of the fast system. In the literature, the investigation of the limit behavior of such systems has been usually addressed under conditions that ensure that the limit dynamic is independent from the initial condition of the fast system. In Chapter 4, we generalise the results of Chapter 3 by considering a more general nonexpansivity condition. Moreover, we consider an example where the new nonexpansity condition is satisfied but the nonexpansivity condition of Chapter 3 does not hold true. The second part deals with Hamilton-Jacobi equations under state constraints. Chapter 5 focuses on the stable representation of convex Hamiltonians by functions describing a Bolza optimal control problem. In Chapter 6 we investigate stability of solutions of Hamilton-Jacobi-Bellman equations under state constraints by studying stability of value functions of a suitable family of Bolza optimal control problems under state constraints. We show that under suitable assumptions, the value function is a unique viscosity solution to Hamilton-Jacobi-Bellman equation and that solutions are stable with respect to Hamiltonians and state constraints.

Dans cette thèse nous étudions une classe d’équations de Hamilton-Jacobi-Bellman provenant de la théorie du contrôle optimal des équations différentielles ordinaires. Nous nous intéressons principalement à l’analyse de la sensibilité de la fonction valeur des problèmes de contrôle optimal associés à de telles équations de H-J-B. Dans la littérature, les relations de sensibilité fournissent une “mesure” de la robustesse des stratégies optimales par rapport aux variations de la variable d’état. Ces résultats sont des outils très importants pour le contrôle appliqué, parce qu’ils permettent d’étudier les effets que des approximations des données du système peuvent avoir sur les politiques optimales. Cette thèse est dédiée également à l’étude des problèmes de Mayer et de temps minimal. Nous supposons que la dynamique du problème soit une inclusion différentielle, afin de permettre aux données d’être non régulières et d’embrasser un ensemble plus grand d’applications. Néanmoins, cette tâche rend notre analyse plus difficile. La première contribution de cette étude est une extension de quelques résultats classiques de la théorie de la sensibilité au domaine des problèmes non paramétrées. Ces relations prennent la forme d’inclusions d’état adjoint, figurant dans le principe du maximum de Pontryagin, dans certains gradients généralisés de la fonction valeur évalués le long des trajectoires optimales. En deuxième lieu, nous développons des nouvelles relations de sensibilité impliquant des approximations du deuxième ordre de la fonction valeur. Cette analyse mène à de nouvelles applications concernant la propagation, tant ponctuel que local, de la régularité de la fonction valeur le long des trajectoires optimales. Nous proposons également des applications aux conditions d’optimalité. / This dissertation investigates a class of Hamilton-Jacobi-Bellman equations arising in optimal control of O.D.E.. We mainly focus on the sensitivity analysis of the optimal value function associated with the underlying control problems. In the literature, sensitivity relations provide a measure of the robustness of optimal control strategies with respect to variations of the state variable. This is a central tool in applied control, since it allows to study the effects that approximations of the inputs of the system may produce on the optimal policies. In this thesis, we deal whit problems in the Mayer or in the minimum time form. We assume that the dynamic is described by a differential inclusion, in order to allow data to be nonsmooth and to embrace a large area of concrete applications. Nevertheless, this task makes our analysis more challenging. Our main contribution is twofold. We first extend some classical results on sensitivity analysis to the field of nonparameterized problems. These relations take the form of inclusions of the co-state, featuring in the Pontryagin maximum principle, into suitable gradients of the value function evaluated along optimal trajectories. Furthermore, we develop new second-order sensitivity relations involving suitable second order approximations of the optimal value function. Besides being of intrinsic interest, this analysis leads to new consequences regarding the propagation of both pointwise and local regularity of the optimal value functions along optimal trajectories. As applications, we also provide refined necessary optimality conditions for some class of differential inclusions.

Dans le présent document on aborde trois divers thèmes liés au contrôle et au calcul stochastiques, qui s'appuient sur la notion d'équation différentielle stochastique rétrograde (EDSR) dirigée par une mesure aléatoire. Les trois premiers chapitres de la thèse traitent des problèmes de contrôle optimal pour différentes catégories de processus markoviens non-diffusifs, à horizon fini ou infini. Dans chaque cas, la fonction valeur, qui est l'unique solution d'une équation intégro-différentielle de Hamilton-Jacobi-Bellman (HJB), est représentée comme l'unique solution d'une EDSR appropriée. Dans le premier chapitre, nous contrôlons une classe de processus semi-markoviens à horizon fini; le deuxième chapitre est consacré au contrôle optimal de processus markoviens de saut pur, tandis qu'au troisième chapitre, nous examinons le cas de processus markoviens déterministes par morceaux (PDMPs) à horizon infini. Dans les deuxième et troisième chapitres les équations d'HJB associées au contrôle optimal sont complètement non-linéaires. Cette situation survient lorsque les lois des processus contrôlés ne sont pas absolument continues par rapport à la loi d'un processus donné. Etant donné ce caractère complètement non-linéaire, ces équations ne peuvent pas être représentées par des EDSRs classiques. Dans ce cadre, nous avons obtenu des formules de Feynman-Kac non-linéaires en généralisant la méthode de la randomisation du contrôle introduite par Kharroubi et Pham (2015) pour les diffusions. Ces techniques nous permettent de relier la fonction valeur du problème de contrôle à une EDSR dirigée par une mesure aléatoire, dont une composante de la solution subit une contrainte de signe. En plus, on démontre que la fonction valeur du problème de contrôle originel non dominé coïncide avec la fonction valeur d'un problème de contrôle dominé auxiliaire, exprimé en termes de changements de mesures équivalentes de probabilité. Dans le quatrième chapitre, nous étudions une équation différentielle stochastique rétrograde à horizon fini, dirigée par une mesure aléatoire à valeurs entières sur $R_+ times E$, o`u $E$ est un espace lusinien, avec compensateur de la forme $nu(dt, dx) = dA_t phi_t(dx)$. Le générateur de cette équation satisfait une condition de Lipschitz uniforme par rapport aux inconnues. Dans la littérature, l'existence et unicité pour des EDSRs dans ce cadre ont été établies seulement lorsque $A$ est continu ou déterministe. Nous fournissons un théorème d'existence et d'unicité même lorsque $A$ est un processus prévisible, non décroissant, continu à droite. Ce résultat s’applique par exemple, au cas du contrôle lié aux PDMPs. En effet, quand $mu$ est la mesure de saut d'un PDMP sur un domaine borné, $A$ est prévisible et discontinu. Enfin, dans les deux derniers chapitres de la thèse nous traitons le calcul stochastique pour des processus discontinus généraux. Dans le cinquième chapitre, nous développons le calcul stochastique via régularisations des processus à sauts qui ne sont pas nécessairement des semimartingales. En particulier nous poursuivons l'étude des processus dénommés de Dirichlet faibles, dans le cadre discontinu. Un tel processus $X$ est la somme d'une martingale locale et d'un processus adapté $A$ tel que $[N, A] = 0$, pour toute martingale locale continue $N$. Pour une fonction $u: [0, T] times R rightarrow R$ de classe $C^{0,1}$ (ou parfois moins), on exprime un développement de $u(t, X_t)$, dans l'esprit d'une généralisation du lemme d'Itô, lequel vaut lorsque $u$ est de classe $C^{1,2}$. Le calcul est appliqué dans le sixième chapitre à la théorie des EDSRs dirigées par des mesures aléatoires. Dans de nombreuses situations, lorsque le processus sous-jacent $X$ est une semimartingale spéciale, ou plus généralement, un processus de Dirichlet spécial faible, nous identifions les solutions des EDSRs considérées via le processus $X$ et la solution $u$ d’une EDP intégro-différentielle associée. / In the present document we treat three different topics related to stochastic optimal control and stochastic calculus, pivoting on thenotion of backward stochastic differential equation (BSDE) driven by a random measure.After a general introduction, the three first chapters of the thesis deal with optimal control for different classes of non-diffusiveMarkov processes, in finite or infinite horizon. In each case, the value function, which is the unique solution to anintegro-differential Hamilton-Jacobi-Bellman (HJB) equation, is probabilistically represented as the unique solution of asuitable BSDE. In the first chapter we control a class of semi-Markov processes on finite horizon; the second chapter isdevoted to the optimal control of pure jump Markov processes, while in the third chapter we consider the case of controlled piecewisedeterministic Markov processes (PDMPs) on infinite horizon. In the second and third chapters the HJB equations associatedto the optimal control problems are fully nonlinear. Those situations arise when the laws of the controlled processes arenot absolutely continuous with respect to the law of a given, uncontrolled, process. Since the corresponding HJB equationsare fully nonlinear, they cannot be represented by classical BSDEs. In these cases we have obtained nonlinear Feynman-Kacrepresentation formulae by generalizing the control randomization method introduced in Kharroubi and Pham (2015)for classical diffusions. This approach allows us to relate the value function with a BSDE driven by a random measure,whose solution hasa sign constraint on one of its components.Moreover, the value function of the original non-dominated control problem turns out to coincide withthe value function of an auxiliary dominated control problem, expressed in terms of equivalent changes of probability measures.In the fourth chapter we study a backward stochastic differential equation on finite horizon driven by an integer-valued randommeasure $mu$ on $R_+times E$, where $E$ is a Lusin space, with compensator $nu(dt,dx)=dA_t,phi_t(dx)$. The generator of thisequation satisfies a uniform Lipschitz condition with respect to the unknown processes.In the literature, well-posedness results for BSDEs in this general setting have only been established when$A$ is continuous or deterministic. We provide an existence and uniqueness theorem for the general case, i.e.when $A$ is a right-continuous nondecreasing predictable process. Those results are relevant, for example,in the frameworkof control problems related to PDMPs. Indeed, when $mu$ is the jump measure of a PDMP on a bounded domain, then $A$ is predictable and discontinuous.Finally, in the two last chapters of the thesis we deal with stochastic calculus for general discontinuous processes.In the fifth chapter we systematically develop stochastic calculus via regularization in the case of jump processes,and we carry on the investigations of the so-called weak Dirichlet processes in the discontinuous case.Such a process $X$ is the sum of a local martingale and an adapted process $A$ such that $[N,A] = 0$, for any continuouslocal martingale $N$.Given a function $u:[0,T] times R rightarrow R$, which is of class $C^{0,1}$ (or sometimes less), we provide a chain rule typeexpansion for $u(t,X_t)$, which constitutes a generalization of It^o's lemma being valid when $u$ is of class $C^{1,2}$.This calculus is applied in the sixth chapter to the theory of BSDEs driven by random measures.In several situations, when the underlying forward process $X$ is a special semimartingale, or, even more generally,a special weak Dirichlet process,we identify the solutions $(Y,Z,U)$ of the considered BSDEs via the process $X$ and the solution $u$ to an associatedintegro PDE.