Cette thèse est composée de deux parties indépendantes : la première partie traite des équations différentielles stochastiques dans le cadre de la G-espérance, tandis que la deuxième partie présente les résultats obtenus pour les équations différentielles stochastiques du seconde ordre. Dans un premier temps, on considère les intégrales stochastiques par rapport à un processus croissant, et on donne une extension de la formule d'Itô dans le cadre de la G-espérance. Ensuite, on étudie une classe d'équations différentielles stochastiques réfléchies unidimensionnelles dirigées par un G-mouvement brownien. Dans la suite, en utilisant une méthode de localisation, on prouve l'existence et l'unicité de solutions pour les équations différentielles stochastiques dirigées par un G-mouvement brownien, dont les coefficients sont localement lipschitziens. Enfin, dans le même cadre, on discute des problèmes de réflexion multidimensionnelle et on fournit quelques résultats de convergence. Dans un deuxième temps, on étudie une classe d'équations différentielles stochastiques rétrogrades du seconde ordre à croissance quadratique. Le but de ce travail est de généraliser le résultat obtenu par Possamaï et Zhou en 2012. On montre aussi l'existence et l'unicité des solutions pour ces équations, mais sous des hypothèses plus faibles. De plus, ce résultat théorique est appliqué aux problèmes de maximisation robuste de l'utilité du portefeuille en finance.

Depuis la publication de l'ouvrage de Choquet (1955), la théorie d'espérance non linéaire a attiré avec grand intérêt des chercheurs pour ses applications potentielles dans les problèmes d'incertitude, les mesures de risque et le super-hedging en finance. Shige Peng a construit une sorte d'espérance entièrement non linéaire dynamiquement cohérente par l'approche des EDP. Un cas important d'espérance non linéaire cohérente en temps est la G-espérance, dans laquelle le processus canonique correspondant (B_{t})_{t≥0} est appelé G-mouvement brownien et joue un rôle analogue au processus de Wiener classique. L'objectif de cette thèse est d'étudier, dans le cadre de la G-espérance, certaines équations différentielles stochastiques rétrogrades (G-EDSR) à croissance quadratique avec applications aux problèmes de maximisation d'utilité robuste avec incertitude sur les modèles, certaines équations différentielles stochastiques (G-EDS) réfléchies et équations différentielles stochastiques rétrogrades réfléchies avec générateurs lipschitziens. On considère d'abord des G-EDSRs à croissance quadratique. Dans le Chapitre 2 nous fournissons un resultat d'existence et unicité pour des G-EDSRs à croissance quadratique. D'une part, nous établissons des estimations a priori en appliquant le théorème de type Girsanov, d'où l'on en déduit l'unicité. D'autre part, pour prouver l'existence de solutions, nous avons d'abord construit des solutions pour des G-EDSRs discretes en résolvant des EDPs non-linéaires correspondantes, puis des solutions pour les G-EDSRs quadratiques générales dans les espaces de Banach. Dans le Chapitre 3 nous appliquons les G-EDSRs quadratiques aux problèmes de maximisation d'utilité robuste. Nous donnons une caratérisation de la fonction valeur et une stratégie optimale pour les fonctions d'utilité exponentielle, puissance et logarithmique. Dans le Chapitre 4, nous traitons des G-EDSs réfléchies multidimensionnelles. Nous examinons d'abord la méthode de pénalisation pour résoudre des problèmes de Skorokhod déterministes dans des domaines non convexes et établissons des estimations pour des fonctions α-Hölder continues. A l'aide de ces résultats obtenus pour des problèmes déterministes, nous définissons le G-mouvement Brownien réfléchi et prouvons son existence et son unicité dans un espace de Banach. Ensuite, nous prouvons l'existence et l'unicité de solution pour les G-EDSRs multidimensionnelles réfléchies via un argument de point fixe. Dans le Chapitre 5, nous étudions l'existence et l'unicité pour les équations différentielles stochastiques rétrogrades réfléchies dirigées par un G-mouvement brownien lorsque la barrière S est un processus de G-Itô. / Since the publication of Choquet's (1955) book, the theory of nonlinear expectation has attracted great interest from researchers for its potential applications in uncertainty problems, risk measures and super-hedging in finance. Shige Peng has constructed a kind of fully nonlinear expectation dynamically coherent by the PDE approach. An important case of time-consistent nonlinear expectation is G-expectation, in which the corresponding canonical process (B_{t})_{t≥0} is called G-Brownian motion and plays a similar role to the classical Wiener process. The objective of this thesis is to study, in the framework of the G-expectation, some backward stochastic differential equations (G-BSDE) under a quadratic growth condition on their coefficients with applications to robust utility maximization problems with uncertainty on models, Reflected stochastic differential equations (reflected G-SDE) and reflected backward stochastic differential equations with Lipschitz coefficients (reflected G-BSDE). We first consider G-BSDE with quadratic growth. In Chapter 2 we provide a result of existence and uniqueness for quadratic G-BSDEs. On the one hand, we establish a priori estimates by applying the Girsanov-type theorem, from which we deduce the uniqueness. On the other hand, to prove the existence of solutions, we first constructed solutions for discrete G-BSDEs by solving corresponding nonlinear PDEs, then solutions for the general quadratic G-BSDEs in the spaces of Banach. In Chapter 3 we apply quadratic G-BSDE to robust utility maximization problems. We give a characterization of the value function and an optimal strategy for exponential, power and logarithmic utility functions. In Chapter 4, we discuss multidimensional reflected G-SDE. We first examine the penalization method to solve deterministic Skorokhod problems in non-convex domains and establish estimates for continuous α-Hölder functions. Using these results for deterministic problems, we define the reflected G-Brownian motion and prove its existence and its uniqueness in a Banach space. Then we prove the existence and uniqueness of the solution for the multidimensional reflected G-SDE via a fixed point argument. In Chapter 5, we study the existence and uniqueness of the reflected backward stochastic differential equations driven by a G-Brownian motion when the obstacle S is a G-Itô process.

Cette thèse est composée de deux parties indépendantes : la première partie traite des équations différentielles stochastiques dans le cadre de la G-espérance, tandis que la deuxième partie présente les résultats obtenus pour les équations différentielles stochastiques du seconde ordre. Dans un premier temps, on considère les intégrales stochastiques par rapport à un processus croissant, et on donne une extension de la formule d'Itô dans le cadre de la G-espérance. Ensuite, on étudie une classe d'équations différentielles stochastiques réfléchies unidimensionnelles dirigées par un G-mouvement brownien. Dans la suite, en utilisant une méthode de localisation, on prouve l'existence et l'unicité de solutions pour les équations différentielles stochastiques dirigées par un G-mouvement brownien, dont les coefficients sont localement lipschitziens. Enfin, dans le même cadre, on discute des problèmes de réflexion multidimensionnelle et on fournit quelques résultats de convergence. Dans un deuxième temps, on étudie une classe d'équations différentielles stochastiques rétrogrades du seconde ordre à croissance quadratique. Le but de ce travail est de généraliser le résultat obtenu par Possamaï et Zhou en 2012. On montre aussi l'existence et l'unicité des solutions pour ces équations, mais sous des hypothèses plus faibles. De plus, ce résultat théorique est appliqué aux problèmes de maximisation robuste de l'utilité du portefeuille en finance. / This thesis consists of two relatively independent parts : the first part concerns stochastic differential equations in the framework of the G-expectation, while the second part deals with a class of second order backward stochastic differential equations. In the first part, we first consider stochastic integrals with respect to an increasing process and give an extension of Itô's formula in the G-framework. Then, we study a class of scalar valued reflected stochastic differential equations driven by G-Brownian motion. Subsequently, we prove the existence and the uniqueness of solutions for some locally Lipschitz stochastic differential equations driven by G-Brownian motion. At the end of this part, we consider multidimensional reflected problems in the G-framework, and some convergence results are obtained. In the second part, we study the wellposedness of a class of second order backward stochastic differential equations (2BSDEs) under a quadratic growth condition on their coefficients. The aim of this part is to generalize a wellposedness result for quadratic 2BSDEs by Possamaï and Zhou in 2012. In this thesis, we work under some usual assumptions and deduce the existence and uniqueness theorem as well. Moreover, this theoretical result for quadratic 2BSDEs is applied to solve some robust utility maximization problems in finance.