Depuis la publication de l'ouvrage de Choquet (1955), la théorie d'espérance non linéaire a attiré avec grand intérêt des chercheurs pour ses applications potentielles dans les problèmes d'incertitude, les mesures de risque et le super-hedging en finance. Shige Peng a construit une sorte d'espérance entièrement non linéaire dynamiquement cohérente par l'approche des EDP. Un cas important d'espérance non linéaire cohérente en temps est la G-espérance, dans laquelle le processus canonique correspondant (B_{t})_{t≥0} est appelé G-mouvement brownien et joue un rôle analogue au processus de Wiener classique. L'objectif de cette thèse est d'étudier, dans le cadre de la G-espérance, certaines équations différentielles stochastiques rétrogrades (G-EDSR) à croissance quadratique avec applications aux problèmes de maximisation d'utilité robuste avec incertitude sur les modèles, certaines équations différentielles stochastiques (G-EDS) réfléchies et équations différentielles stochastiques rétrogrades réfléchies avec générateurs lipschitziens. On considère d'abord des G-EDSRs à croissance quadratique. Dans le Chapitre 2 nous fournissons un resultat d'existence et unicité pour des G-EDSRs à croissance quadratique. D'une part, nous établissons des estimations a priori en appliquant le théorème de type Girsanov, d'où l'on en déduit l'unicité. D'autre part, pour prouver l'existence de solutions, nous avons d'abord construit des solutions pour des G-EDSRs discretes en résolvant des EDPs non-linéaires correspondantes, puis des solutions pour les G-EDSRs quadratiques générales dans les espaces de Banach. Dans le Chapitre 3 nous appliquons les G-EDSRs quadratiques aux problèmes de maximisation d'utilité robuste. Nous donnons une caratérisation de la fonction valeur et une stratégie optimale pour les fonctions d'utilité exponentielle, puissance et logarithmique. Dans le Chapitre 4, nous traitons des G-EDSs réfléchies multidimensionnelles. Nous examinons d'abord la méthode de pénalisation pour résoudre des problèmes de Skorokhod déterministes dans des domaines non convexes et établissons des estimations pour des fonctions α-Hölder continues. A l'aide de ces résultats obtenus pour des problèmes déterministes, nous définissons le G-mouvement Brownien réfléchi et prouvons son existence et son unicité dans un espace de Banach. Ensuite, nous prouvons l'existence et l'unicité de solution pour les G-EDSRs multidimensionnelles réfléchies via un argument de point fixe. Dans le Chapitre 5, nous étudions l'existence et l'unicité pour les équations différentielles stochastiques rétrogrades réfléchies dirigées par un G-mouvement brownien lorsque la barrière S est un processus de G-Itô. / Since the publication of Choquet's (1955) book, the theory of nonlinear expectation has attracted great interest from researchers for its potential applications in uncertainty problems, risk measures and super-hedging in finance. Shige Peng has constructed a kind of fully nonlinear expectation dynamically coherent by the PDE approach. An important case of time-consistent nonlinear expectation is G-expectation, in which the corresponding canonical process (B_{t})_{t≥0} is called G-Brownian motion and plays a similar role to the classical Wiener process. The objective of this thesis is to study, in the framework of the G-expectation, some backward stochastic differential equations (G-BSDE) under a quadratic growth condition on their coefficients with applications to robust utility maximization problems with uncertainty on models, Reflected stochastic differential equations (reflected G-SDE) and reflected backward stochastic differential equations with Lipschitz coefficients (reflected G-BSDE). We first consider G-BSDE with quadratic growth. In Chapter 2 we provide a result of existence and uniqueness for quadratic G-BSDEs. On the one hand, we establish a priori estimates by applying the Girsanov-type theorem, from which we deduce the uniqueness. On the other hand, to prove the existence of solutions, we first constructed solutions for discrete G-BSDEs by solving corresponding nonlinear PDEs, then solutions for the general quadratic G-BSDEs in the spaces of Banach. In Chapter 3 we apply quadratic G-BSDE to robust utility maximization problems. We give a characterization of the value function and an optimal strategy for exponential, power and logarithmic utility functions. In Chapter 4, we discuss multidimensional reflected G-SDE. We first examine the penalization method to solve deterministic Skorokhod problems in non-convex domains and establish estimates for continuous α-Hölder functions. Using these results for deterministic problems, we define the reflected G-Brownian motion and prove its existence and its uniqueness in a Banach space. Then we prove the existence and uniqueness of the solution for the multidimensional reflected G-SDE via a fixed point argument. In Chapter 5, we study the existence and uniqueness of the reflected backward stochastic differential equations driven by a G-Brownian motion when the obstacle S is a G-Itô process.