Dans ma thèse j'etude les variétés abéliennes ordinaires définies avec multiplication réelle maximale. Je définis des polynômes modulaires dans ce situation et je donne un algorithme pour calculer sur les nombres complexes et pour les surfaces sur des corps finis. Je donne aussi un théorème de structure pour les graphs des isogénies dans ce contexte. Je donne une généralisation de Schoof-Elkies-Atkin aux courbes de genre 2 avec multiplication réelle maximale fixe en utilisant les polynômes modulaires. / My thesis looks at ordinary abelian varieties defined with maximal real multiplication. I define modular polynomials in this setting and give an algorithm to compute them over the complex numbers, and for surfaces over finite fields. I also give a structure theorem for isogeny graphs in this setting. I give a generalisation of Schoof-Elkies-Atkin to genus 2 curves with fixed maximal real multiplication using the modular polynomials.

Les polynômes modulaires sont utilisés dans le calcul de graphes d’isogénies, le calcul des polynômes de classes ou le comptage du nombre de points d’une courbe elliptique, et sont donc fondamentaux pour la cryptographie basée sur les courbes elliptiques. Des polynômes analogues sur les surfaces abéliennes principalement polarisées ont été introduits par Régis Dupont en 2006, qui a également proposé un algorithme pour les calculer, et des résultats théoriques sur ces polynômes ont été donnés dans un article de Bröker–Lauter, en 2009. Mais les polynômes sont très gros et ils n’ont pu être calculés que pour l’exemple minimal p = 2. Dans cette thèse, nous poursuivons les travaux de Dupont et Bröker–Lauter en permettant de calculer des polynômes modulaires pour des invariants basés sur les thêta constantes, avec lesquels nous avons pu calculer les polynômes jusqu’à p = 7, tout en démontrant des propriétés de ces polynômes. Mais des exemples plus grands ne semblent pas envisageables. Ainsi, nous proposons une nouvelle définition des polynômes modulaires dans laquelle l’on se restreint aux surfaces abéliennes principalement polarisées qui ont multiplication réelle par l’ordre maximal d’un corps quadratique réel afin d’obtenir des polynômes plus petits. Nous présentons alors de nombreux exemples de polynômes et des résultats théoriques. / Modular polynomials on elliptic curves are a fundamental tool used for the computation of graph of isogenies, class polynomials or for point counting. Thus, they are fundamental for the elliptic curve cryptography. A generalization of these polynomials for principally polarized abelian surfaces has been introduced by Régis Dupont in 2006, who has also described an algorithm to compute them, while theoretical results can been found in an article of Bröker– Lauter of 2009. But these polynomials being really big, they have been computed only in the minimal case p = 2. In this thesis, we continue the work of Dupont and Bröker–Lauter by defining and giving theoretical results on modular polynomials with new invariants, based on theta constants. Using these invariants, we have been able to compute the polynomials until p = 7 but bigger examples look intractable. Thus we define a new kind of modular polynomials where we restrict on the surfaces having real multiplication by the maximal order of a real quadratic field. We present many examples and theoretical results.