Dans un premier temps, nous étudions une nouvelle classe d'équations différentielles stochastiques rétrogrades (notées EDSRs) qui sont reliées à des conditions de Neumann semi-linéaires relatives à des phénomènes ergodiques. La particularité de ces problèmes est que la constante ergodique apparaît dans la condition au bord. Nous étudions l'existence et l'unicité de solutions pour de telles EDSRs ergodiques ainsi que le lien avec les équations aux dérivées partielles et nous appliquons ces résultats à des problèmes de contrôle ergodique optimal. Dans une deuxième partie nous généralisons des travaux de P. Briand et Y. Hu publiés en 2008. Ces derniers ont prouvé un résultat d'unicité pour les solutions d'EDSRs quadratiques de générateur convexe et de condition terminale non bornée ayant tous leurs moments exponentiels finis. Nous prouvons que ce résultat d'unicité reste vrai pour des solutions qui admettent uniquement certains moments exponentiels finis, ces moments étant reliés de manière naturelle à ceux présents dans le théorème d'existence. Nous améliorons aussi la formule de Feynman-Kac non linéaire prouvée par P. Briand et Y. Hu. Enfin, nous nous intéressons à la résolution numérique d'EDSRs quadratiques markoviennes dont la condition terminale est bornée. Nous estimons dans un premier temps des bornes déterministes sur le processus Z. Nous donnons ensuite un nouveau schéma de discrétisation en temps dont la particularité est que la grille de discrétisation est non uniforme. Enfin nous obtenons une vitesse de convergence pour ce schéma. Par ailleurs, quelques simulations numériques permettent d'étudier l'efficacité de notre nouveau schéma dans un cadre pratique.

L'objectif principal de cette thèse est d'étudier quelques problèmes de mathématiques financières dans un marché incomplet avec incertitude sur les modèles. Récemment, la théorie des équations différentielles stochastiques rétrogrades du second ordre (2EDSRs) a été développée par Soner, Touzi et Zhang sur ce sujet. Dans cette thèse, nous adoptons leur point de vue. Cette thèse contient quatre parties dans le domain des 2EDSRs. Nous commençons par généraliser la théorie des 2EDSRs initialement introduite dans le cas de générateurs lipschitziens continus à celui de générateurs à croissance quadratique. Cette nouvelle classe des 2EDSRs nous permettra ensuite d'étudier le problème de maximisation d'utilité robuste dans les modèles non-dominés. Dans la deuxième partie, nous étudions ce problème pour trois fonctions d'utilité.Dans chaque cas, nous donnons une caractérisation de la fonction valeur et d'une stratégie d'investissement optimale via la solution d'une 2EDSR. Dans la troisième partie, nous fournissons également une théorie d'existence et unicité pour des EDSRs réfléchies du second ordre avec obstacles inférieurs et générateurs lipschitziens, nous appliquons ensuite ce résultat à l'étude du problème de valorisation des options américaines dans un modèle financier à volatilité incertaine. Dans la quatrième partie, nous étudions des 2EDSRs avec sauts. En particulier, nous prouvons l'existence d'une unique solution dans un espace approprié. Comme application de ces résultats, nous étudions un problème de maximisation d'utilité exponentielle robuste avec incertitude sur les modèles. L'incertitude affecte à la fois le processus de volatilité, mais également la mesure des sauts.

Cette thèse est composée de deux parties indépendantes : la première partie traite des équations différentielles stochastiques dans le cadre de la G-espérance, tandis que la deuxième partie présente les résultats obtenus pour les équations différentielles stochastiques du seconde ordre. Dans un premier temps, on considère les intégrales stochastiques par rapport à un processus croissant, et on donne une extension de la formule d'Itô dans le cadre de la G-espérance. Ensuite, on étudie une classe d'équations différentielles stochastiques réfléchies unidimensionnelles dirigées par un G-mouvement brownien. Dans la suite, en utilisant une méthode de localisation, on prouve l'existence et l'unicité de solutions pour les équations différentielles stochastiques dirigées par un G-mouvement brownien, dont les coefficients sont localement lipschitziens. Enfin, dans le même cadre, on discute des problèmes de réflexion multidimensionnelle et on fournit quelques résultats de convergence. Dans un deuxième temps, on étudie une classe d'équations différentielles stochastiques rétrogrades du seconde ordre à croissance quadratique. Le but de ce travail est de généraliser le résultat obtenu par Possamaï et Zhou en 2012. On montre aussi l'existence et l'unicité des solutions pour ces équations, mais sous des hypothèses plus faibles. De plus, ce résultat théorique est appliqué aux problèmes de maximisation robuste de l'utilité du portefeuille en finance.

Cette thèse s'intéresse à une étude variée des EDSRs. Une grande partie des résultats sont obtenus sous l'hypothèse d'une croissance de type quadratique du générateur en sa dernière variable. Un premier lien entre EDSRs quadratiques unidimensionnelles et théorie des jeux nous amène à développer des résultats avec générateurs convexes. La théorie du contrôle optimal nécessite quant à elle de traiter du cas multidimensionnel, dans lequel existence et unicité globales ne sont obtenues que pour des générateurs diagonalement quadratiques. Les résultats majeurs sur les EDSRs réfléchies (dont la solution est contrainte à rester dans un domaine) concernent des générateurs Lipschitziens. C'est dans ce cadre que nous développons un résultat de propagation du chaos, avec une contrainte portant sur la loi de la solution plutôt que sur sa trajectoire. Nous dressons enfin un pont entre EDSRs quadratiques et EDSRs réfléchies grâce aux EDSRs quadratiques de type champ moyen. Nous donnons plusieurs nouveaux résultats sur la possibilité de résoudre une équation quadratique dont le générateur dépend également de la moyenne des deux variables. / In this thesis, we are interested in studying variously Backward Stochastic Differential Equations. A large proportion of the results are obtained under the assumption that the driver is of quadratic growth in its last variable. A first link between one-dimensional quadratic BSDEs and game theory leads us to develop results with convex drivers. Optimal control theory requires as for it to deal with the multidimensional case, in which global existence and uniqueness are obtained only for diagonaly quadratic drivers. Major achievements in reflected BSDEs (whose solution is constrained to remain in a domain) are reached for Lipschitz drivers. We develop a result of chaos propagation in this setting, with a constraint on the law of the solution rather than on its path. We finaly build bridge between quadratic BSDEs and reflected BSDEs thanks to mean field quadratic BSDEs. We give several new results on solvability of a quadratic BSDE whose driver depends also on the mean of both variables.

Cette thèse présente deux principaux sujets de recherche indépendants, le dernier étant décliné sous la forme de deux problèmes distincts. Dans toute la première partie de la thèse, nous nous intéressons à la notion d'équations différentielles stochastiques rétrogrades du second ordre (dans la suite 2EDSR), introduite tout d'abord par Cheredito, Soner, Touzi et Victoir puis reformulée récemment par Soner, Touzi et Zhang. Nous prouvons dans un premier temps une extension de leurs résultats d'existence et d'unicité lorsque le générateur considéré est seulement continu et à croissance linéaire. Puis, nous poursuivons notre étude par une nouvelle extension au cas d'un générateur quadratique. Ces résultats théoriques nous permettent alors de résoudre un problème de maximisation d'utilité pour un investisseur dans un marché incomplet, à la fois car des contraintes sont imposées sur ses stratégies d'investissement, et parce que la volatilité du marché est supposée être inconnue. Nous prouvons dans notre cadre l'existence de stratégies optimales, caractérisons la fonction valeur du problème grâce à une EDSR du second ordre et résolvons explicitement certains exemples qui nous permettent de mettre en exergue les modifications induites par l'ajout de l'incertitude de volatilité par rapport au cadre habituel. Nous terminons cette première partie en introduisant la notion d'EDSR du second ordre avec réflexion sur un obstacle. Nous prouvons l'existence et l'unicité des solutions de telles équations, et fournissons une application possible au problème de courverture d'options Américaines dans un marché à volatilité incertaine. Le premier chapitre de la seconde partie de cette thèse traite d'un problème de pricing d'options dans un modèle où la liquidité du marché est prise en compte. Nous fournissons des développements asymptotiques de ces prix au voisinage de liquidité infinie et mettons en lumière un phénomène de transition de phase dépendant de la régularité du payoff des options considérées. Quelques résultats numériques sont également proposés. Enfin, nous terminons cette thèse par l'étude d'un problème Principal/Agent dans un cadre d'aléa moral. Une banque (qui joue le rôle de l'agent) possède un certain nombre de prêts dont elle est prête à échanger les intérêts contre des flux de capitaux. La banque peut influencer les probabilités de défaut de ces emprunts en exerçant ou non une activité de surveillance coûteuse. Ces choix de la banque ne sont connus que d'elle seule. Des investisseurs (qui jouent le rôle de principal) souhaitent mettre en place des contrats qui maximisent leur utilité tout en incitant implicitement la banque à exercer une activité de surveillance constante. Nous résolvons ce problème de contrôle optimal explicitement, décrivons le contrat optimal associé ainsi que ses implications économiques et fournissons quelques simulations numériques.

Cette thèse traite d'une part, de questions de gestion, de mesure et de transfert du risque et d'autre part, de problèmes d'analyse stochastique à sauts avec incertitude de modèle. Le premier chapitre est consacré à l'analyse des intégrales de Choquet, comme mesures de risque monétaires non nécessairement invariantes en loi. Nous établissons d'abord un nouveau résultat de représentation des mesures de risque comonotones, puis un résultat de représentation des intégrales de Choquet en introduisant la notion de distorsion locale. Ceci nous permet de donner ensuite une forme explicite à l'inf-convolution de deux intégrales de Choquet, avec des exemples illustrant l'impact de l'absence de la propriété d'invariance en loi. Nous nous intéressons ensuite à un problème de tarification d'un contrat de réassurance non proportionnelle, contenant des clauses de reconstitution. Après avoir défini le prix d'indifférence relatif à la fois à une fonction d'utilité et à une mesure de risque, nous l'encadrons par des valeurs facilement implémentables. Nous passons alors à un cadre dynamique en temps. Pour cela, nous montrons, en adoptant une approche par point fixe, un théorème d'existence de solutions bornées pour une classe d'équations différentielles stochastiques rétrogrades (EDSRs dans la suite) avec sauts et à croissance quadratique. Sous une hypothèse additionnelle classique dans le cadre à sauts, ou sous une hypothèse de convexité du générateur, nous établissons un résultat d'unicité grâce à un principe de comparaison. Nous analysons les propriétés des espérances non linéaires correspondantes. En particulier, nous obtenons une décomposition de Doob-Meyer des surmartingales non-linéaires ainsi que leur régularité en temps. En conséquence, nous en déduisons facilement un principe de comparaison inverse. Nous appliquons ces résultats à l'étude des mesures de risque dynamiques associées, sur une filtration engendrée à la fois par un mouvement brownien et par une mesure aléatoire à valeurs entières, à leur repésentation duale, ainsi qu'à leur inf-convolution, avec des exemples explicites. La seconde partie de cette thèse concerne l'analyse de l'incertitude de modèle, dans le cas particulier des EDSRs du second ordre avec sauts. Nous imposons que ces équations aient lieu au sens presque-sûr, pour toute une famille non dominée de mesures de probabilités qui sont solution d'un problème de martingales sur l'espace de Skorohod. Nous étendons d'abord la définition des EDSRs du second ordre, telles que définies par Soner, Touzi et Zhang, au cas avec sauts. Pour ce faire, nous démontrons un résultat d'agrégation au sens de Soner, Touzi et Zhang sur l'espace des trajectoires càdlàg. Ceci nous permet, entre autres, d'utiliser une version quasi-sûre du compensateur de la mesure des sauts du processus canonique. Nous montrons alors un résultat d'existence et d'unicité pour notre classe d'EDSRs du second ordre. Ces équations sont affectées par l'incertitude portant à la fois sur la volatilité et sur les sauts du processus qui les dirige.

Depuis la publication de l'ouvrage de Choquet (1955), la théorie d'espérance non linéaire a attiré avec grand intérêt des chercheurs pour ses applications potentielles dans les problèmes d'incertitude, les mesures de risque et le super-hedging en finance. Shige Peng a construit une sorte d'espérance entièrement non linéaire dynamiquement cohérente par l'approche des EDP. Un cas important d'espérance non linéaire cohérente en temps est la G-espérance, dans laquelle le processus canonique correspondant (B_{t})_{t≥0} est appelé G-mouvement brownien et joue un rôle analogue au processus de Wiener classique. L'objectif de cette thèse est d'étudier, dans le cadre de la G-espérance, certaines équations différentielles stochastiques rétrogrades (G-EDSR) à croissance quadratique avec applications aux problèmes de maximisation d'utilité robuste avec incertitude sur les modèles, certaines équations différentielles stochastiques (G-EDS) réfléchies et équations différentielles stochastiques rétrogrades réfléchies avec générateurs lipschitziens. On considère d'abord des G-EDSRs à croissance quadratique. Dans le Chapitre 2 nous fournissons un resultat d'existence et unicité pour des G-EDSRs à croissance quadratique. D'une part, nous établissons des estimations a priori en appliquant le théorème de type Girsanov, d'où l'on en déduit l'unicité. D'autre part, pour prouver l'existence de solutions, nous avons d'abord construit des solutions pour des G-EDSRs discretes en résolvant des EDPs non-linéaires correspondantes, puis des solutions pour les G-EDSRs quadratiques générales dans les espaces de Banach. Dans le Chapitre 3 nous appliquons les G-EDSRs quadratiques aux problèmes de maximisation d'utilité robuste. Nous donnons une caratérisation de la fonction valeur et une stratégie optimale pour les fonctions d'utilité exponentielle, puissance et logarithmique. Dans le Chapitre 4, nous traitons des G-EDSs réfléchies multidimensionnelles. Nous examinons d'abord la méthode de pénalisation pour résoudre des problèmes de Skorokhod déterministes dans des domaines non convexes et établissons des estimations pour des fonctions α-Hölder continues. A l'aide de ces résultats obtenus pour des problèmes déterministes, nous définissons le G-mouvement Brownien réfléchi et prouvons son existence et son unicité dans un espace de Banach. Ensuite, nous prouvons l'existence et l'unicité de solution pour les G-EDSRs multidimensionnelles réfléchies via un argument de point fixe. Dans le Chapitre 5, nous étudions l'existence et l'unicité pour les équations différentielles stochastiques rétrogrades réfléchies dirigées par un G-mouvement brownien lorsque la barrière S est un processus de G-Itô. / Since the publication of Choquet's (1955) book, the theory of nonlinear expectation has attracted great interest from researchers for its potential applications in uncertainty problems, risk measures and super-hedging in finance. Shige Peng has constructed a kind of fully nonlinear expectation dynamically coherent by the PDE approach. An important case of time-consistent nonlinear expectation is G-expectation, in which the corresponding canonical process (B_{t})_{t≥0} is called G-Brownian motion and plays a similar role to the classical Wiener process. The objective of this thesis is to study, in the framework of the G-expectation, some backward stochastic differential equations (G-BSDE) under a quadratic growth condition on their coefficients with applications to robust utility maximization problems with uncertainty on models, Reflected stochastic differential equations (reflected G-SDE) and reflected backward stochastic differential equations with Lipschitz coefficients (reflected G-BSDE). We first consider G-BSDE with quadratic growth. In Chapter 2 we provide a result of existence and uniqueness for quadratic G-BSDEs. On the one hand, we establish a priori estimates by applying the Girsanov-type theorem, from which we deduce the uniqueness. On the other hand, to prove the existence of solutions, we first constructed solutions for discrete G-BSDEs by solving corresponding nonlinear PDEs, then solutions for the general quadratic G-BSDEs in the spaces of Banach. In Chapter 3 we apply quadratic G-BSDE to robust utility maximization problems. We give a characterization of the value function and an optimal strategy for exponential, power and logarithmic utility functions. In Chapter 4, we discuss multidimensional reflected G-SDE. We first examine the penalization method to solve deterministic Skorokhod problems in non-convex domains and establish estimates for continuous α-Hölder functions. Using these results for deterministic problems, we define the reflected G-Brownian motion and prove its existence and its uniqueness in a Banach space. Then we prove the existence and uniqueness of the solution for the multidimensional reflected G-SDE via a fixed point argument. In Chapter 5, we study the existence and uniqueness of the reflected backward stochastic differential equations driven by a G-Brownian motion when the obstacle S is a G-Itô process.

Cette thèse est composée de deux parties indépendantes : la première partie traite des équations différentielles stochastiques dans le cadre de la G-espérance, tandis que la deuxième partie présente les résultats obtenus pour les équations différentielles stochastiques du seconde ordre. Dans un premier temps, on considère les intégrales stochastiques par rapport à un processus croissant, et on donne une extension de la formule d'Itô dans le cadre de la G-espérance. Ensuite, on étudie une classe d'équations différentielles stochastiques réfléchies unidimensionnelles dirigées par un G-mouvement brownien. Dans la suite, en utilisant une méthode de localisation, on prouve l'existence et l'unicité de solutions pour les équations différentielles stochastiques dirigées par un G-mouvement brownien, dont les coefficients sont localement lipschitziens. Enfin, dans le même cadre, on discute des problèmes de réflexion multidimensionnelle et on fournit quelques résultats de convergence. Dans un deuxième temps, on étudie une classe d'équations différentielles stochastiques rétrogrades du seconde ordre à croissance quadratique. Le but de ce travail est de généraliser le résultat obtenu par Possamaï et Zhou en 2012. On montre aussi l'existence et l'unicité des solutions pour ces équations, mais sous des hypothèses plus faibles. De plus, ce résultat théorique est appliqué aux problèmes de maximisation robuste de l'utilité du portefeuille en finance. / This thesis consists of two relatively independent parts : the first part concerns stochastic differential equations in the framework of the G-expectation, while the second part deals with a class of second order backward stochastic differential equations. In the first part, we first consider stochastic integrals with respect to an increasing process and give an extension of Itô's formula in the G-framework. Then, we study a class of scalar valued reflected stochastic differential equations driven by G-Brownian motion. Subsequently, we prove the existence and the uniqueness of solutions for some locally Lipschitz stochastic differential equations driven by G-Brownian motion. At the end of this part, we consider multidimensional reflected problems in the G-framework, and some convergence results are obtained. In the second part, we study the wellposedness of a class of second order backward stochastic differential equations (2BSDEs) under a quadratic growth condition on their coefficients. The aim of this part is to generalize a wellposedness result for quadratic 2BSDEs by Possamaï and Zhou in 2012. In this thesis, we work under some usual assumptions and deduce the existence and uniqueness theorem as well. Moreover, this theoretical result for quadratic 2BSDEs is applied to solve some robust utility maximization problems in finance.