Les modèles de matrices aléatoires, d'abord introduits en physique pour décrire les statistiques de niveaux d'énergie en physique nucléaire, ont par la suite trouvé des applications dans des domaines extrêmement variés, du chaos quantique et de la physique mésoscopique, à la chromodynamique quantique, la théorie des cordes et la gravité quantique via les modèles de surfaces aléatoires. Bien que certains modèles de matrices soient bien compris, il s'agit principalement des cas particuliers de matrices couplées en chaîne, correspondant à des théories de gravité quantique ou des théories des cordes de charge centrale conforme inférieure ou égale à un. Ainsi, tout un pan des modèles de matrices aléatoires, les modèles de matrices de charge centrale c>1, nous échappe. J'ai cherché, au cours de mon travail de thèse, à mieux comprendre et à résoudre ces modèles. La méthode de groupe de renormalisation nous a permis, par l'étude de l'évolution des flots en fonction de la charge centrale conforme, de mieux comprendre le lien entre celle-ci et le comportement des modèles de matrices [G. Bonnet, F. David, Nucl. Phys. B552 (1999) 511-528, hep-th/9811216]. Par la méthode des équations de boucles, nous avons résolu [G. Bonnet, Phys. Lett. B 459 (1999) 575, hep-th/9904058; B. Eynard, G. Bonnet Phys. Lett. B 453 (1999) 273, hep-th/9906130] des modèles de matrices couplées deux à deux : les modèles de Potts-q sur réseau aléatoire. Cette résolution ouvre la voie à celle d'une classe de modèles plus vaste que les simples modèles de matrices couplées en chaîne. Enfin, bien que dans notre étude nous nous soyons intéressés principalement à la limite planaire, où la taille N des matrices tend vers l'infini, nous avons aussi étudié l'effet, sous-dominant dans la fonction de partition du modèle, de la discrétisation des valeurs propres. Nous avons montré [G. Bonnet, F. David, B. Eynard, cond-mat/0003324] que, dans le cas d'un modèle où le support des valeurs propres est non-connexe, il n'y a pas de développement topologique en puissances de N. L'influence de la discrétisation des valeurs propres devient alors d'ordre dominant dans les fonctions de corrélation à deux points ou au-delà. Nous allons commencer ici par la signification physique des modèles de matrices, puis nous parlerons des techniques classiques de résolution, enfin, nous décrirons les résultats que nous avons obtenus au cours de cette thèse.

Cette thèse traite des aspects géométriques et d'intégrabilité associés aux modèles de matrices aléatoires. Son but est de présenter diverses applications des modèles de matrices aléatoires allant de la géométrie algébrique aux équations aux dérivées partielles des systèmes intégrables. Ces différentes applications permettent en particulier de montrer en quoi les modèles de matrices possèdent une grande richesse d'un point de vue mathématique. Ainsi, cette thèse abordera d'abord l'étude de la jonction de deux intervalles du support de la densité des valeurs propres au voisinage d'un point singulier. On montrera plus précisément en quoi ce régime limite particulier aboutit aux équations universelles de la hiérarchie de Painlevé II des systèmes intégrables. Ensuite, l'approche des polynômes (bi)-orthogonaux, introduite par Mehta pour le calcul des fonctions de partition, permettra d'énoncer des problèmes de Riemann-Hilbert et d'isomonodromies associés aux modèles de matrices, faisant ainsi le lien avec la théorie de Jimbo-Miwa-Ueno. On montrera en particulier que le cas des modèles à deux matrices hermitiens se transpose à un cas dégénéré de la théorie isomonodromique de Jimbo-Miwa-Ueno qui sera alors généralisé. La méthode des équations de boucles avec ses notions centrales de courbe spectrale et de développement topologique permettra quant à elle de faire le lien avec les invariants symplectiques de géométrie algébrique introduits récemment par Eynard et Orantin. Ce dernier point fera également l'objet d'une généralisation aux modèles de matrices non-hermitien ($\beta$ quelconque) ouvrant ainsi la voie à la ''géométrie algébrique quantique'' et à la généralisation de ces invariants symplectiques pour des courbes ''quantiques''. Enfin, une dernière partie sera consacrée aux liens étroits entre les modèles de matrices et les problèmes de combinatoire. En particulier, l'accent sera mis sur les aspects géométriques de la théorie des cordes topologiques avec la construction explicite d'un modèle de matrices aléatoires donnant le dénombrement des invariants de Gromov-Witten pour les variétés de Calabi-Yau toriques de dimension complexe trois utilisées en théorie des cordes topologiques.

Travail réalisé en cotutelle avec l'université Paris-Diderot et le Commissariat à l'Energie Atomique sous la direction de John Harnad et Bertrand Eynard. / Cette thèse traite des aspects géométriques et d'intégrabilité associés aux modèles de matrices aléatoires. Son but est de présenter diverses applications des modèles de matrices aléatoires allant de la géométrie algébrique aux équations aux dérivées partielles des systèmes intégrables. Ces différentes applications permettent en particulier de montrer en quoi les modèles de matrices possèdent une grande richesse d'un point de vue mathématique. Ainsi, cette thèse abordera d'abord l'étude de la jonction de deux intervalles du support de la densité des valeurs propres au voisinage d'un point singulier. On montrera plus précisément en quoi ce régime limite particulier aboutit aux équations universelles de la hiérarchie de Painlevé II des systèmes intégrables. Ensuite, l'approche des polynômes (bi)-orthogonaux, introduite par Mehta pour le calcul des fonctions de partition, permettra d'énoncer des problèmes de Riemann-Hilbert et d'isomonodromies associés aux modèles de matrices, faisant ainsi le lien avec la théorie de Jimbo-Miwa-Ueno. On montrera en particulier que le cas des modèles à deux matrices hermitiens se transpose à un cas dégénéré de la théorie isomonodromique de Jimbo-Miwa-Ueno qui sera alors généralisé. La méthode des équations de boucles avec ses notions centrales de courbe spectrale et de développement topologique permettra quant à elle de faire le lien avec les invariants symplectiques de géométrie algébrique introduits récemment par Eynard et Orantin. Ce dernier point fera également l'objet d'une généralisation aux modèles de matrices non-hermitien (beta quelconque) ouvrant ainsi la voie à la ``géométrie algébrique quantique'' et à la généralisation de ces invariants symplectiques pour des courbes ``quantiques''. Enfin, une dernière partie sera consacrée aux liens étroits entre les modèles de matrices et les problèmes de combinatoire. En particulier, l'accent sera mis sur les aspects géométriques de la théorie des cordes topologiques avec la construction explicite d'un modèle de matrices aléatoires donnant le dénombrement des invariants de Gromov-Witten pour les variétés de Calabi-Yau toriques de dimension complexe trois utilisées en théorie des cordes topologiques. L'étendue des domaines abordés étant très vaste, l'objectif de la thèse est de présenter de façon la plus simple possible chacun des domaines mentionnés précédemment et d'analyser en quoi les modèles de matrices peuvent apporter une aide précieuse dans leur résolution. Le fil conducteur étant les modèles matriciels, chaque partie a été conçue pour être abordable pour un spécialiste des modèles de matrices ne connaissant pas forcément tous les domaines d'application présentés ici. / This thesis deals with the geometric and integrable aspects associated with random matrix models. Its purpose is to provide various applications of random matrix theory, from algebraic geometry to partial differential equations of integrable systems. The variety of these applications shows why matrix models are important from a mathematical point of view. First, the thesis will focus on the study of the merging of two intervals of the eigenvalues density near a singular point. Specifically, we will show why this special limit gives universal equations from the Painlevé II hierarchy of integrable systems theory. Then, following the approach of (bi) orthogonal polynomials introduced by Mehta to compute partition functions, we will find Riemann-Hilbert and isomonodromic problems connected to matrix models, making the link with the theory of Jimbo, Miwa and Ueno. In particular, we will describe how the hermitian two-matrix models provide a degenerate case of Jimbo-Miwa-Ueno's theory that we will generalize in this context. Furthermore, the loop equations method, with its central notions of spectral curve and topological expansion, will lead to the symplectic invariants of algebraic geometry recently proposed by Eynard and Orantin. This last point will be generalized to the case of non-hermitian matrix models (arbitrary beta) paving the way to ``quantum algebraic geometry'' and to the generalization of symplectic invariants to ``quantum curves''. Finally, this set up will be applied to combinatorics in the context of topological string theory, with the explicit computation of an hermitian random matrix model enumerating the Gromov-Witten invariants of a toric Calabi-Yau threefold. Since the range of the applications encountered is large, we try to present every domain in a simple way and explain how random matrix models can bring new insights to those fields. The common element of the thesis being matrix models, each part has been written so that readers unfamiliar with the domains of application but familiar with matrix models should be able to understand it.

Cette thèse traite des aspects géométriques et d'intégrabilité associés aux modèles de matrices aléatoires. Son but est de présenter diverses applications des modèles de matrices aléatoires allant de la géométrie algébrique aux équations aux dérivées partielles des systèmes intégrables. Ces différentes applications permettent en particulier de montrer en quoi les modèles de matrices possèdent une grande richesse d'un point de vue mathématique. Ainsi, cette thèse abordera d'abord l'étude de la jonction de deux intervalles du support de la densité des valeurs propres au voisinage d'un point singulier. On montrera plus précisément en quoi ce régime limite particulier aboutit aux équations universelles de la hiérarchie de Painlevé II des systèmes intégrables. Ensuite, l'approche des polynômes (bi)-orthogonaux, introduite par Mehta pour le calcul des fonctions de partition, permettra d'énoncer des problèmes de Riemann-Hilbert et d'isomonodromies associés aux modèles de matrices, faisant ainsi le lien avec la théorie de Jimbo-Miwa-Ueno. On montrera en particulier que le cas des modèles à deux matrices hermitiens se transpose à un cas dégénéré de la théorie isomonodromique de Jimbo-Miwa-Ueno qui sera alors généralisé. La méthode des équations de boucles avec ses notions centrales de courbe spectrale et de développement topologique permettra quant à elle de faire le lien avec les invariants symplectiques de géométrie algébrique introduits récemment par Eynard et Orantin. Ce dernier point fera également l'objet d'une généralisation aux modèles de matrices non-hermitien (beta quelconque) ouvrant ainsi la voie à la ``géométrie algébrique quantique'' et à la généralisation de ces invariants symplectiques pour des courbes ``quantiques''. Enfin, une dernière partie sera consacrée aux liens étroits entre les modèles de matrices et les problèmes de combinatoire. En particulier, l'accent sera mis sur les aspects géométriques de la théorie des cordes topologiques avec la construction explicite d'un modèle de matrices aléatoires donnant le dénombrement des invariants de Gromov-Witten pour les variétés de Calabi-Yau toriques de dimension complexe trois utilisées en théorie des cordes topologiques. L'étendue des domaines abordés étant très vaste, l'objectif de la thèse est de présenter de façon la plus simple possible chacun des domaines mentionnés précédemment et d'analyser en quoi les modèles de matrices peuvent apporter une aide précieuse dans leur résolution. Le fil conducteur étant les modèles matriciels, chaque partie a été conçue pour être abordable pour un spécialiste des modèles de matrices ne connaissant pas forcément tous les domaines d'application présentés ici. / This thesis deals with the geometric and integrable aspects associated with random matrix models. Its purpose is to provide various applications of random matrix theory, from algebraic geometry to partial differential equations of integrable systems. The variety of these applications shows why matrix models are important from a mathematical point of view. First, the thesis will focus on the study of the merging of two intervals of the eigenvalues density near a singular point. Specifically, we will show why this special limit gives universal equations from the Painlevé II hierarchy of integrable systems theory. Then, following the approach of (bi) orthogonal polynomials introduced by Mehta to compute partition functions, we will find Riemann-Hilbert and isomonodromic problems connected to matrix models, making the link with the theory of Jimbo, Miwa and Ueno. In particular, we will describe how the hermitian two-matrix models provide a degenerate case of Jimbo-Miwa-Ueno's theory that we will generalize in this context. Furthermore, the loop equations method, with its central notions of spectral curve and topological expansion, will lead to the symplectic invariants of algebraic geometry recently proposed by Eynard and Orantin. This last point will be generalized to the case of non-hermitian matrix models (arbitrary beta) paving the way to ``quantum algebraic geometry'' and to the generalization of symplectic invariants to ``quantum curves''. Finally, this set up will be applied to combinatorics in the context of topological string theory, with the explicit computation of an hermitian random matrix model enumerating the Gromov-Witten invariants of a toric Calabi-Yau threefold. Since the range of the applications encountered is large, we try to present every domain in a simple way and explain how random matrix models can bring new insights to those fields. The common element of the thesis being matrix models, each part has been written so that readers unfamiliar with the domains of application but familiar with matrix models should be able to understand it. / Travail réalisé en cotutelle avec l'université Paris-Diderot et le Commissariat à l'Energie Atomique sous la direction de John Harnad et Bertrand Eynard.