L'objectif principal de cette thèse est d'étudier quelques problèmes de mathématiques financières dans un marché incomplet avec incertitude sur les modèles. Récemment, la théorie des équations différentielles stochastiques rétrogrades du second ordre (2EDSRs) a été développée par Soner, Touzi et Zhang sur ce sujet. Dans cette thèse, nous adoptons leur point de vue. Cette thèse contient quatre parties dans le domain des 2EDSRs. Nous commençons par généraliser la théorie des 2EDSRs initialement introduite dans le cas de générateurs lipschitziens continus à celui de générateurs à croissance quadratique. Cette nouvelle classe des 2EDSRs nous permettra ensuite d'étudier le problème de maximisation d'utilité robuste dans les modèles non-dominés. Dans la deuxième partie, nous étudions ce problème pour trois fonctions d'utilité.Dans chaque cas, nous donnons une caractérisation de la fonction valeur et d'une stratégie d'investissement optimale via la solution d'une 2EDSR. Dans la troisième partie, nous fournissons également une théorie d'existence et unicité pour des EDSRs réfléchies du second ordre avec obstacles inférieurs et générateurs lipschitziens, nous appliquons ensuite ce résultat à l'étude du problème de valorisation des options américaines dans un modèle financier à volatilité incertaine. Dans la quatrième partie, nous étudions des 2EDSRs avec sauts. En particulier, nous prouvons l'existence d'une unique solution dans un espace approprié. Comme application de ces résultats, nous étudions un problème de maximisation d'utilité exponentielle robuste avec incertitude sur les modèles. L'incertitude affecte à la fois le processus de volatilité, mais également la mesure des sauts.

Depuis la publication de l'ouvrage de Choquet (1955), la théorie d'espérance non linéaire a attiré avec grand intérêt des chercheurs pour ses applications potentielles dans les problèmes d'incertitude, les mesures de risque et le super-hedging en finance. Shige Peng a construit une sorte d'espérance entièrement non linéaire dynamiquement cohérente par l'approche des EDP. Un cas important d'espérance non linéaire cohérente en temps est la G-espérance, dans laquelle le processus canonique correspondant (B_{t})_{t≥0} est appelé G-mouvement brownien et joue un rôle analogue au processus de Wiener classique. L'objectif de cette thèse est d'étudier, dans le cadre de la G-espérance, certaines équations différentielles stochastiques rétrogrades (G-EDSR) à croissance quadratique avec applications aux problèmes de maximisation d'utilité robuste avec incertitude sur les modèles, certaines équations différentielles stochastiques (G-EDS) réfléchies et équations différentielles stochastiques rétrogrades réfléchies avec générateurs lipschitziens. On considère d'abord des G-EDSRs à croissance quadratique. Dans le Chapitre 2 nous fournissons un resultat d'existence et unicité pour des G-EDSRs à croissance quadratique. D'une part, nous établissons des estimations a priori en appliquant le théorème de type Girsanov, d'où l'on en déduit l'unicité. D'autre part, pour prouver l'existence de solutions, nous avons d'abord construit des solutions pour des G-EDSRs discretes en résolvant des EDPs non-linéaires correspondantes, puis des solutions pour les G-EDSRs quadratiques générales dans les espaces de Banach. Dans le Chapitre 3 nous appliquons les G-EDSRs quadratiques aux problèmes de maximisation d'utilité robuste. Nous donnons une caratérisation de la fonction valeur et une stratégie optimale pour les fonctions d'utilité exponentielle, puissance et logarithmique. Dans le Chapitre 4, nous traitons des G-EDSs réfléchies multidimensionnelles. Nous examinons d'abord la méthode de pénalisation pour résoudre des problèmes de Skorokhod déterministes dans des domaines non convexes et établissons des estimations pour des fonctions α-Hölder continues. A l'aide de ces résultats obtenus pour des problèmes déterministes, nous définissons le G-mouvement Brownien réfléchi et prouvons son existence et son unicité dans un espace de Banach. Ensuite, nous prouvons l'existence et l'unicité de solution pour les G-EDSRs multidimensionnelles réfléchies via un argument de point fixe. Dans le Chapitre 5, nous étudions l'existence et l'unicité pour les équations différentielles stochastiques rétrogrades réfléchies dirigées par un G-mouvement brownien lorsque la barrière S est un processus de G-Itô. / Since the publication of Choquet's (1955) book, the theory of nonlinear expectation has attracted great interest from researchers for its potential applications in uncertainty problems, risk measures and super-hedging in finance. Shige Peng has constructed a kind of fully nonlinear expectation dynamically coherent by the PDE approach. An important case of time-consistent nonlinear expectation is G-expectation, in which the corresponding canonical process (B_{t})_{t≥0} is called G-Brownian motion and plays a similar role to the classical Wiener process. The objective of this thesis is to study, in the framework of the G-expectation, some backward stochastic differential equations (G-BSDE) under a quadratic growth condition on their coefficients with applications to robust utility maximization problems with uncertainty on models, Reflected stochastic differential equations (reflected G-SDE) and reflected backward stochastic differential equations with Lipschitz coefficients (reflected G-BSDE). We first consider G-BSDE with quadratic growth. In Chapter 2 we provide a result of existence and uniqueness for quadratic G-BSDEs. On the one hand, we establish a priori estimates by applying the Girsanov-type theorem, from which we deduce the uniqueness. On the other hand, to prove the existence of solutions, we first constructed solutions for discrete G-BSDEs by solving corresponding nonlinear PDEs, then solutions for the general quadratic G-BSDEs in the spaces of Banach. In Chapter 3 we apply quadratic G-BSDE to robust utility maximization problems. We give a characterization of the value function and an optimal strategy for exponential, power and logarithmic utility functions. In Chapter 4, we discuss multidimensional reflected G-SDE. We first examine the penalization method to solve deterministic Skorokhod problems in non-convex domains and establish estimates for continuous α-Hölder functions. Using these results for deterministic problems, we define the reflected G-Brownian motion and prove its existence and its uniqueness in a Banach space. Then we prove the existence and uniqueness of the solution for the multidimensional reflected G-SDE via a fixed point argument. In Chapter 5, we study the existence and uniqueness of the reflected backward stochastic differential equations driven by a G-Brownian motion when the obstacle S is a G-Itô process.