Depuis le milieu des années 1980, les variétés abéliennes ont été abondamment utilisées en cryptographie à clé publique: le problème du logarithme discret et les protocoles qui s'appuient sur celles-ci permettent le chiffrement asymétrique, la signature, l'authentification. Dans cette perspective, les jacobiennes de courbes hyperelliptiques constituent l'un des exemples les plus intéressants de variétés abéliennes principalement polarisées. L'utilisation des fonctions thêta permet d'avoir des algorithmes efficaces sur ces variétés. En particulier nous proposons dans cette thèse une variante de l'algorithme ECM utilisant les jacobiennes de courbes de genre 2 décomposables. Par ailleurs, nous étudions les correspondances entre les coordonnées de Mumford et les fonctions thêta. Ce travail a permis la construction de lois d'additions complètes en genre 2. Finalement nous présentons un algorithme de calcul d'isogénies entre variétés abéliennes. La majorité des résultats de cette thèse sont valides pour des courbes hyperelliptiques de genre quelconque. Nous nous sommes cependant concentré sur le cas du genre 2, le plus intéressant en pratique. Ces résultats ont été implémentés dans un package Magma appelé AVIsogenies / Since the mid 1980's, abelian varieties have been widely used in cryptography: the discrete logarithm problem and the protocols that rely on it allow asymmetric encryption, signatures, authentification... For cryptographic applications, one of the most interesting examples of principally polarized abelian varieties is given by the Jacobians of hyperelliptic curves. The theory of theta functions provides efficient algorithms to compute with abelian varieties. In particular, using decomposable curves of genus 2, we present a generalization of the ECM algorithm. In this thesis, we also study the correspondences between Mumford coordinates and theta functions. This led to the construction of complete addition laws in genus 2. Finally we present an algorithm to compute isogenies between abelian varieties. Most of the results of this thesis are valid for hyperelliptic curves of arbitrary genus. More specifically we emphasize on genus 2 hyperelliptic curves, which is the most relevant case in cryptography. These results have been implemented in a Magma package called AVIsogenies

L'objectif de cette thèse est d'obtenir une démonstration effective d'un résultat de Cohen, Shiga et Wolfart, généralisant aux espaces de Siegel $\mathfrak{H}_{g}$ de degré $g$ quelconque le théorème classique de Schneider sur l'invariant modulaire $j(\tau)$. Un premier pas dans cette direction consiste, étant donnée une variété abélienne $\mathcal{A}$ définie sur $\overline{\mathbb{Q}}$ et paramétrée par un point $\tau$ de l'espace de Siegel, à minorer $|||\tau-\beta|||$ où $\beta$ est un point algébrique de l'espace de Siegel, en fonction des données géométriques du problème. C'est ce qui est réalisé ici, en affinant des outils d'indépendance linéaire de logarithmes de la méthode de Gel'fond-Baker.

Un théorème célèbre de Faltings affirme que les points rationnels sur un corps de nombres d'une sous-variété d'une variété abélienne ne sont pas denses dans cette sous-variété sauf si elle possède elle-même une structure de variété abélienne. Grâce au thèorème de Mordell-Weil, cet énoncé est équivalent à la non-densité de l'intersection de la sous-variété considérée avec un sous-groupe de type fini. Nous montrons comment la méthode introduite par Vojta et étendue par Faltings permet d'étudier des intersections plus générales que celles-ci.

Cette thèse est consacrée aux problèmes de minorations de hauteur normalisée des points et des sous-variétés non de torsion. Le chapitre 1 est un chapitre de rappels, les autres sont originaux. On prouve au chapitre 2 un résultat de densité de petits points. Ceci nous permet d'obtenir, pour les sous-variétés de variétés abéliennes de type C.M., une minoration en fonction du degré de la sous-variété, optimale aux puissances de log du degré près. On montre en toute généralité qu'une ``bonne minoration'' de la hauteur des points entraîne une minoration analogue de la hauteur des sous-variétés. Ceci nous permet en particulier de prouver que, sur les variétés abéliennes, le problème de Lehmer pour les points est équivalent au problème de Lehmer pour les sous-variétés. Le chapitre 3 est un raffinement du précédent dans le cas des hypersurfaces. La preuve, qui passe par l'introduction d'une fonction auxiliaire, suit le schéma classique des preuves de transcendance. En utilisant l'inégalité des pentes, due à Bost, on retrouve ensuite au chapitre 4 le célèbre résultat de Dobrowolski concernant le problème originel de Lehmer sur la minoration de la hauteur des entiers algébriques. Le chapitre 5 étend un résultat de Amoroso et Zannier au cas des courbes elliptiques C.M. : on obtient une minoration du type Lehmer, mais où le degré de l'extension engendrée par le point P sur K est remplacé par le degré de l'extension engendrée par le point P sur la clôture abélienne de K. Ceci nous permet de simplifier la preuve d'un résultat de Viada. Enfin au chapitre 6, on fait le lien entre diverses conjectures relatives au problème de Lehmer sur les variétés abéliennes.

Cette thèse est consacrée à l'étude de la hauteur sur les variétés abéliennes, et plus précisément à la répartition des petits points dans les sous-variétés algébriques de variétés abéliennes. On a cherché à établir une version quantitative de la propriété de Bogomolov en minorant le minimum essentiel des sous-variétés algébriques de variétés abéliennes (sauf celles incluses dans un translaté de sous-variété abélienne stricte).

Le logarithme discret sur les courbes elliptiques fournit la panoplie standard de la cryptographie à clé publique: chiffrement asymétrique, signature, authentification. Son extension à des courbes hyperelliptiques de genre supérieur se heurte à la difficulté de construire de telles courbes qui soient sécurisées. Dans cette thèse nous utilisons la théorie des fonctions thêta développée par \name{Mumford} pour construire des algorithmes efficaces pour manipuler les variétés abéliennes. En particulier nous donnons une généralisation complète des formules de Vélu sur les courbes elliptiques pour le calcul d'isogénie sur des variétés abéliennes. Nous donnons également un nouvel algorithme pour le calcul efficace de couplage sur les variétés abéliennes en utilisant les coordonnées thêta. Enfin, nous présentons une méthode de compression des coordonnées pour améliorer l'arithmétique sur les coordonnées thêta de grand niveau. Ces applications découlent d'une analyse fine des formules d'addition sur les fonctions thêta. Si les résultats de cette thèse sont valables pour toute variété abélienne, pour les applications nous nous concentrons surtout sur les Jacobiennes de courbes hyperelliptiques de genre~$2$, qui est le cas le plus significatif cryptographiquement.

Les polynômes modulaires sont utilisés dans le calcul de graphes d’isogénies, le calcul des polynômes de classes ou le comptage du nombre de points d’une courbe elliptique, et sont donc fondamentaux pour la cryptographie basée sur les courbes elliptiques. Des polynômes analogues sur les surfaces abéliennes principalement polarisées ont été introduits par Régis Dupont en 2006, qui a également proposé un algorithme pour les calculer, et des résultats théoriques sur ces polynômes ont été donnés dans un article de Bröker–Lauter, en 2009. Mais les polynômes sont très gros et ils n’ont pu être calculés que pour l’exemple minimal p = 2. Dans cette thèse, nous poursuivons les travaux de Dupont et Bröker–Lauter en permettant de calculer des polynômes modulaires pour des invariants basés sur les thêta constantes, avec lesquels nous avons pu calculer les polynômes jusqu’à p = 7, tout en démontrant des propriétés de ces polynômes. Mais des exemples plus grands ne semblent pas envisageables. Ainsi, nous proposons une nouvelle définition des polynômes modulaires dans laquelle l’on se restreint aux surfaces abéliennes principalement polarisées qui ont multiplication réelle par l’ordre maximal d’un corps quadratique réel afin d’obtenir des polynômes plus petits. Nous présentons alors de nombreux exemples de polynômes et des résultats théoriques. / Modular polynomials on elliptic curves are a fundamental tool used for the computation of graph of isogenies, class polynomials or for point counting. Thus, they are fundamental for the elliptic curve cryptography. A generalization of these polynomials for principally polarized abelian surfaces has been introduced by Régis Dupont in 2006, who has also described an algorithm to compute them, while theoretical results can been found in an article of Bröker– Lauter of 2009. But these polynomials being really big, they have been computed only in the minimal case p = 2. In this thesis, we continue the work of Dupont and Bröker–Lauter by defining and giving theoretical results on modular polynomials with new invariants, based on theta constants. Using these invariants, we have been able to compute the polynomials until p = 7 but bigger examples look intractable. Thus we define a new kind of modular polynomials where we restrict on the surfaces having real multiplication by the maximal order of a real quadratic field. We present many examples and theoretical results.

Soient $K$ un corps de nombres et $A$ une variété abélienne sur $K$ dont nous notons $g$ la dimension. Pour tout premier $ell$, le module de Tate $ell$-adique de $A$ nous fournit une représentation $ell$-adique du groupe de Galois absolu de $K$, et c'est à l'image de ces représentations galoisiennes que l'on s'intéresse dans cette thèse.Pour de nombreuses classes de variétés abéliennes on possède une description de ces images à une erreur finie près : le premier but de ce travail est de quantifier explicitement cette erreur dans plusieurs cas différents. On parvient à résoudre complètement le problème pour une courbe elliptique sans multiplication complexe, ou plus généralement pour un produit de telles courbes elliptiques, et pour toute variété abélienne géométriquement simple admettant multiplication complexe. Pour d'autres classes de variétés abéliennes $A/K$ on obtient seulement une description de l'image de Galois pour tout premier $ell$ plus grand qu'une certaine borne (que l'on calcule explicitement, et qui est polynomiale en le degré de $K$ et en la hauteur de Faltings de $A$) : nous prouvons de tels résultats pour toute surface abélienne semistable et géométriquement simple et pour les variétés dites "de type $operatorname{GL}_2$''. On montre également un résultat semblable, mais un peu affaibli, pour de nombreuses variétés abéliennes de dimension impaire dont l'anneau des endomorphismes est réduit à $mathbb{Z}$.On s'intéresse ensuite à l'action de Galois sur des variétés abéliennes non simples, et on donne des conditions suffisantes pour que les représentations galoisiennes qui leur sont associées se décomposent elles-mêmes en produit. Finalement on étudie l'intersection entre les extensions cyclotomiques d'un corps de nombres $K$ et les corps engendrés par les points de torsion d'une variété abélienne sur $K$, et on établit des propriétés d'uniformité des degrés de ces intersections. / Let $K$ be a number field and $A$ be a $g$-dimensional abelian variety over $K$. For every prime $ell$, the $ell$-adic Tate module of $A$ gives rise to an $ell$-adic representation of the absolute Galois group of $K$; in this thesis we set out to study the images of the Galois representations arising in this way.For various classes of abelian varieties a description of these images is known up to finite error, and the first aim of this work is to explicitly quantify this error for a number of different cases. We provide a complete solution for the case of elliptic curves without complex multiplication (and more generally for products thereof) and for geometrically simple abelian varieties of CM type. For other classes of abelian varieties we can only describe the Galois image when the prime $ell$ is above a certain bound (which we compute explicitly in terms of $A$, and which is polynomial in $[K:mathbb{Q}]$ and in the Faltings height of $A$): we obtain such results for geometrically simple, semistable abelian surfaces and for "$operatorname{GL}_2$-type" varieties. We also prove similar (but slightly weaker) results for many abelian varieties of odd dimension with trivial endomorphism algebra.We then consider the Galois action on non-simple abelian varieties, and we give sufficient conditions for the associated Galois representations to decompose as a product.Finally, we investigate the structure of the intersection between the cyclotomic extensions of a number field $K$ and the fields generated by the torsion points of an abelian variety over $K$, proving a uniformity property for the degrees of such intersections.

Dans cette thèse, nous construisons des compactifications des variétés modulaires de Siegel en leurs places de mauvaise réduction de type parahorique. Nous construisons tout d'abord des compactifications toroïdales, qui sont relativement explicites et dont l'on contrôle les singularités. Ces compactifications ne sont pas canoniques, mais dépendent d'un choix combinatoire. L'étape essentielle de la construction est une approximation des variétés abéliennes de Mumford qui préserve un sous-groupe de torsion. Cette approximation nous permet de recoller les différentes cartes locales des compactifications. Nous utilisons ces résultats pour contruire les compactifications minimales, qui sont canoniques, mais moins explicites et plus singulières. Nous donnons comme application une nouvelle preuve de l'existence du sous-groupe canonique pour les variétés abéliennes. / In this thesis, we construct compactifications of Siegel modular varieties at bad reduction places of parahoric type. We first construct the toroidal compactifications, which are quite explicit and whose singularities are controlled. These compactifications are not canonical, but depend on some combinatorial choice. The main point in our construction is an approximation of Mumford degenerating abelian varieties that preserves a torsion subgroup. This allows us to glue together the different local charts of the compactifications. We use these results to construct the minimal compactifications, which are canonical but less explicit and more singular. As an application, we give a new proof of the existence of the canonical subgroup for abelian varieties.

La conjecture d'André-Pink affirme qu'une sous-variété d'une variété de Shimura ayant une intersection dense avec une orbite de Hecke est faiblement spéciale. On démontre cette conjecture dans le cas de courbes dans une variété de Shimura de type abélien, ainsi que dans certains cas de sous-variétés de dimension supérieure. Ceci est un cas spécial de la conjecture de Zilber-Pink. C'est une généralisation de théorèmes d'Edixhoven et Yafaev quand l'orbite de Hecke se compose de points spéciaux, de Pink quand l'orbite de Hecke se compose de points Galois génériques, et de Habegger et Pila quand la variété de Shimura est un produit de courbes modulaires. Notre démonstration de la conjecture d'André-Pink pour les courbes dans l'espace de modules des variétés abéliennes principalement polarisées est basée sur la méthode de Pila et Zannier, utilisant une variante forte du théorème de comptage de Pila-Wilkie. On obtient les bornes galoisiennes requises grâce au théorème d'isogénie de Masser et Wüstholz. Afin de relier les bornes sur les isogénies aux hauteurs, on démontre également diverses bornes concernant l'arithmétique des formes hermitiennes sur l'anneau d'endomorphismes d'une variété abélienne. Afin d'étendre le résultat sur la conjecture d'André-Pink aux courbes dans les variétés de Shimura de type abélien et à certains cas de sous-variétés de dimension supérieure, on étudie les propriétés fonctorielles de plusieurs variantes des orbites de Hecke. Un chapitre concerne les rangs des groupes de Mumford-Tate de variétés abéliennes complexes. On y démontre une minoration de ces rangs en fonction de la dimension de la variété abélienne, étant donné que ses sous-variétés abéliennes simples sont deux à deux non isogènes.