Cette thèse s'intéresse à une étude variée des EDSRs. Une grande partie des résultats sont obtenus sous l'hypothèse d'une croissance de type quadratique du générateur en sa dernière variable. Un premier lien entre EDSRs quadratiques unidimensionnelles et théorie des jeux nous amène à développer des résultats avec générateurs convexes. La théorie du contrôle optimal nécessite quant à elle de traiter du cas multidimensionnel, dans lequel existence et unicité globales ne sont obtenues que pour des générateurs diagonalement quadratiques. Les résultats majeurs sur les EDSRs réfléchies (dont la solution est contrainte à rester dans un domaine) concernent des générateurs Lipschitziens. C'est dans ce cadre que nous développons un résultat de propagation du chaos, avec une contrainte portant sur la loi de la solution plutôt que sur sa trajectoire. Nous dressons enfin un pont entre EDSRs quadratiques et EDSRs réfléchies grâce aux EDSRs quadratiques de type champ moyen. Nous donnons plusieurs nouveaux résultats sur la possibilité de résoudre une équation quadratique dont le générateur dépend également de la moyenne des deux variables. / In this thesis, we are interested in studying variously Backward Stochastic Differential Equations. A large proportion of the results are obtained under the assumption that the driver is of quadratic growth in its last variable. A first link between one-dimensional quadratic BSDEs and game theory leads us to develop results with convex drivers. Optimal control theory requires as for it to deal with the multidimensional case, in which global existence and uniqueness are obtained only for diagonaly quadratic drivers. Major achievements in reflected BSDEs (whose solution is constrained to remain in a domain) are reached for Lipschitz drivers. We develop a result of chaos propagation in this setting, with a constraint on the law of the solution rather than on its path. We finaly build bridge between quadratic BSDEs and reflected BSDEs thanks to mean field quadratic BSDEs. We give several new results on solvability of a quadratic BSDE whose driver depends also on the mean of both variables.

Depuis la publication de l'ouvrage de Choquet (1955), la théorie d'espérance non linéaire a attiré avec grand intérêt des chercheurs pour ses applications potentielles dans les problèmes d'incertitude, les mesures de risque et le super-hedging en finance. Shige Peng a construit une sorte d'espérance entièrement non linéaire dynamiquement cohérente par l'approche des EDP. Un cas important d'espérance non linéaire cohérente en temps est la G-espérance, dans laquelle le processus canonique correspondant (B_{t})_{t≥0} est appelé G-mouvement brownien et joue un rôle analogue au processus de Wiener classique. L'objectif de cette thèse est d'étudier, dans le cadre de la G-espérance, certaines équations différentielles stochastiques rétrogrades (G-EDSR) à croissance quadratique avec applications aux problèmes de maximisation d'utilité robuste avec incertitude sur les modèles, certaines équations différentielles stochastiques (G-EDS) réfléchies et équations différentielles stochastiques rétrogrades réfléchies avec générateurs lipschitziens. On considère d'abord des G-EDSRs à croissance quadratique. Dans le Chapitre 2 nous fournissons un resultat d'existence et unicité pour des G-EDSRs à croissance quadratique. D'une part, nous établissons des estimations a priori en appliquant le théorème de type Girsanov, d'où l'on en déduit l'unicité. D'autre part, pour prouver l'existence de solutions, nous avons d'abord construit des solutions pour des G-EDSRs discretes en résolvant des EDPs non-linéaires correspondantes, puis des solutions pour les G-EDSRs quadratiques générales dans les espaces de Banach. Dans le Chapitre 3 nous appliquons les G-EDSRs quadratiques aux problèmes de maximisation d'utilité robuste. Nous donnons une caratérisation de la fonction valeur et une stratégie optimale pour les fonctions d'utilité exponentielle, puissance et logarithmique. Dans le Chapitre 4, nous traitons des G-EDSs réfléchies multidimensionnelles. Nous examinons d'abord la méthode de pénalisation pour résoudre des problèmes de Skorokhod déterministes dans des domaines non convexes et établissons des estimations pour des fonctions α-Hölder continues. A l'aide de ces résultats obtenus pour des problèmes déterministes, nous définissons le G-mouvement Brownien réfléchi et prouvons son existence et son unicité dans un espace de Banach. Ensuite, nous prouvons l'existence et l'unicité de solution pour les G-EDSRs multidimensionnelles réfléchies via un argument de point fixe. Dans le Chapitre 5, nous étudions l'existence et l'unicité pour les équations différentielles stochastiques rétrogrades réfléchies dirigées par un G-mouvement brownien lorsque la barrière S est un processus de G-Itô. / Since the publication of Choquet's (1955) book, the theory of nonlinear expectation has attracted great interest from researchers for its potential applications in uncertainty problems, risk measures and super-hedging in finance. Shige Peng has constructed a kind of fully nonlinear expectation dynamically coherent by the PDE approach. An important case of time-consistent nonlinear expectation is G-expectation, in which the corresponding canonical process (B_{t})_{t≥0} is called G-Brownian motion and plays a similar role to the classical Wiener process. The objective of this thesis is to study, in the framework of the G-expectation, some backward stochastic differential equations (G-BSDE) under a quadratic growth condition on their coefficients with applications to robust utility maximization problems with uncertainty on models, Reflected stochastic differential equations (reflected G-SDE) and reflected backward stochastic differential equations with Lipschitz coefficients (reflected G-BSDE). We first consider G-BSDE with quadratic growth. In Chapter 2 we provide a result of existence and uniqueness for quadratic G-BSDEs. On the one hand, we establish a priori estimates by applying the Girsanov-type theorem, from which we deduce the uniqueness. On the other hand, to prove the existence of solutions, we first constructed solutions for discrete G-BSDEs by solving corresponding nonlinear PDEs, then solutions for the general quadratic G-BSDEs in the spaces of Banach. In Chapter 3 we apply quadratic G-BSDE to robust utility maximization problems. We give a characterization of the value function and an optimal strategy for exponential, power and logarithmic utility functions. In Chapter 4, we discuss multidimensional reflected G-SDE. We first examine the penalization method to solve deterministic Skorokhod problems in non-convex domains and establish estimates for continuous α-Hölder functions. Using these results for deterministic problems, we define the reflected G-Brownian motion and prove its existence and its uniqueness in a Banach space. Then we prove the existence and uniqueness of the solution for the multidimensional reflected G-SDE via a fixed point argument. In Chapter 5, we study the existence and uniqueness of the reflected backward stochastic differential equations driven by a G-Brownian motion when the obstacle S is a G-Itô process.