Thesis advisor: Mark Reeder / A polynomial is said to be invariant for a group of linear fractional transformations G if its roots are permuted by G. We begin by using a simple group of linear fractional transformations that is isomorphic to S_{3} and finding its invariant polynomials to build up the tools necessary to attack a larger group. We then follow a construction from Toth of the icosahedral group I, and derive a general formula for all polynomials of degree 60 that are invariant under I. / Thesis (BA) — Boston College, 2004. / Submitted to: Boston College. College of Arts and Sciences. / Discipline: Mathematics. / Discipline: College Honors Program.

Les polynômes modulaires sont utilisés dans le calcul de graphes d’isogénies, le calcul des polynômes de classes ou le comptage du nombre de points d’une courbe elliptique, et sont donc fondamentaux pour la cryptographie basée sur les courbes elliptiques. Des polynômes analogues sur les surfaces abéliennes principalement polarisées ont été introduits par Régis Dupont en 2006, qui a également proposé un algorithme pour les calculer, et des résultats théoriques sur ces polynômes ont été donnés dans un article de Bröker–Lauter, en 2009. Mais les polynômes sont très gros et ils n’ont pu être calculés que pour l’exemple minimal p = 2. Dans cette thèse, nous poursuivons les travaux de Dupont et Bröker–Lauter en permettant de calculer des polynômes modulaires pour des invariants basés sur les thêta constantes, avec lesquels nous avons pu calculer les polynômes jusqu’à p = 7, tout en démontrant des propriétés de ces polynômes. Mais des exemples plus grands ne semblent pas envisageables. Ainsi, nous proposons une nouvelle définition des polynômes modulaires dans laquelle l’on se restreint aux surfaces abéliennes principalement polarisées qui ont multiplication réelle par l’ordre maximal d’un corps quadratique réel afin d’obtenir des polynômes plus petits. Nous présentons alors de nombreux exemples de polynômes et des résultats théoriques. / Modular polynomials on elliptic curves are a fundamental tool used for the computation of graph of isogenies, class polynomials or for point counting. Thus, they are fundamental for the elliptic curve cryptography. A generalization of these polynomials for principally polarized abelian surfaces has been introduced by Régis Dupont in 2006, who has also described an algorithm to compute them, while theoretical results can been found in an article of Bröker– Lauter of 2009. But these polynomials being really big, they have been computed only in the minimal case p = 2. In this thesis, we continue the work of Dupont and Bröker–Lauter by defining and giving theoretical results on modular polynomials with new invariants, based on theta constants. Using these invariants, we have been able to compute the polynomials until p = 7 but bigger examples look intractable. Thus we define a new kind of modular polynomials where we restrict on the surfaces having real multiplication by the maximal order of a real quadratic field. We present many examples and theoretical results.