Depuis le milieu des années 1980, les variétés abéliennes ont été abondamment utilisées en cryptographie à clé publique: le problème du logarithme discret et les protocoles qui s'appuient sur celles-ci permettent le chiffrement asymétrique, la signature, l'authentification. Dans cette perspective, les jacobiennes de courbes hyperelliptiques constituent l'un des exemples les plus intéressants de variétés abéliennes principalement polarisées. L'utilisation des fonctions thêta permet d'avoir des algorithmes efficaces sur ces variétés. En particulier nous proposons dans cette thèse une variante de l'algorithme ECM utilisant les jacobiennes de courbes de genre 2 décomposables. Par ailleurs, nous étudions les correspondances entre les coordonnées de Mumford et les fonctions thêta. Ce travail a permis la construction de lois d'additions complètes en genre 2. Finalement nous présentons un algorithme de calcul d'isogénies entre variétés abéliennes. La majorité des résultats de cette thèse sont valides pour des courbes hyperelliptiques de genre quelconque. Nous nous sommes cependant concentré sur le cas du genre 2, le plus intéressant en pratique. Ces résultats ont été implémentés dans un package Magma appelé AVIsogenies / Since the mid 1980's, abelian varieties have been widely used in cryptography: the discrete logarithm problem and the protocols that rely on it allow asymmetric encryption, signatures, authentification... For cryptographic applications, one of the most interesting examples of principally polarized abelian varieties is given by the Jacobians of hyperelliptic curves. The theory of theta functions provides efficient algorithms to compute with abelian varieties. In particular, using decomposable curves of genus 2, we present a generalization of the ECM algorithm. In this thesis, we also study the correspondences between Mumford coordinates and theta functions. This led to the construction of complete addition laws in genus 2. Finally we present an algorithm to compute isogenies between abelian varieties. Most of the results of this thesis are valid for hyperelliptic curves of arbitrary genus. More specifically we emphasize on genus 2 hyperelliptic curves, which is the most relevant case in cryptography. These results have been implemented in a Magma package called AVIsogenies

Le problème du calcul d'isogénies est apparu dans l'algorithme SEA de comptage de points de courbes elliptiques définies sur des corps finis. L'apparition de nouvelles applications du calcul d'isogénies (crypto système à trappe, fonction de hachage, accélération de la multiplication scalaire, crypto système post quantique) ont motivé par ailleurs la recherche d'algorithmes plus rapides en dehors du contexte SEA. L'algorithme de Couveignes (1996), malgré ses améliorations par De Feo (2011), présente la meilleure complexité en le degré de l'isogénie mais ne peut s'appliquer dans le cas de grande caractéristique.L'objectif de cette thèse est donc de présenter une modification de l'algorithme de Couveignes (1996) utilisable en toute caractéristique avec une complexité en le degré de l'isogénie similaire à celui de Couveignes (1996).L'amélioration de l'algorithme de Couveignes (1996) se fait à travers deux axes: la construction de tours d'extensions de degré $ell$ efficaces pour rendre les opérations plus rapides, à l'image des travaux de De Feo (2011), et la détermination d'ensemble de points d'ordre $ell^k$ stables sous l'action d'isogénies.L'apport majeur de cette thèse est fait sur le second axe pour lequel nous étudions les graphes d'isogénies dans lesquels les points représentent les courbes elliptiques et les arrêtes représentent les isogénies. Nous utilisons pour notre travail les résultats précédents de Kohel (1996), Fouquet et Morain (2001), Miret emph{et al.} (2005,2006,2008), Ionica et Joux (2001). Nous présentons donc dans cette thèse, à l'aide d'une étude de l'action du Frobenius sur les points d'ordre $ell^k$, un nouveau moyen de déterminer les directions dans le graphe (volcan) d'isogénies. / Isogeny computation problem appeared in the SEA algorithm to count the number of points on an elliptic curve defined over a finite field. Algorithms using ideas of Elkies (1998) solved this problem with satisfying results in this context. The appearance of new applications of the isogeny computation problem (trapdoor crypto system, hash function, scalar multiplication acceleration, post quantic crypto system) motivated the search for a faster algorithm outside the SEA context. Couveignes's algorithm (1996) offers the best complexity in the degree of the isogeny but, despite improvements by DeFeo (2011), it proves being unpractical with great characteristic.The aim of this work is to present a modified version of Couveignes's algorithm (1996) that maintains the same complexity in the degree of the isogeny but is practical with any characteristic.Two approaches contribute to the improvement of Couveignes's algorithm (1996) : firstly, the construction of towers of degree $ell$ extensions which are efficient for faster arithmetic operations, as used in the work of De Feo (2011), and secondly, the specification of sets of points of order $ell^k$ that are stable under the action of isogenies.The main contribution of this document is done following the second approach. Our work uses the graph of isogeny where the vertices are elliptic curves and the edges are isogenies. We based our work on the previous results of David Kohel (1996), Fouquet and Morain (2001), Miret emph{& al.} (2005,2006,2008), Ionica and Joux (2001). We therefore present in this document, through the study of the action of the Frobenius endomorphism on points of order $ell^k$, a new way to specify directions in the isogeny graph (volcano).

Le logarithme discret sur les courbes elliptiques fournit la panoplie standard de la cryptographie à clé publique: chiffrement asymétrique, signature, authentification. Son extension à des courbes hyperelliptiques de genre supérieur se heurte à la difficulté de construire de telles courbes qui soient sécurisées. Dans cette thèse nous utilisons la théorie des fonctions thêta développée par \name{Mumford} pour construire des algorithmes efficaces pour manipuler les variétés abéliennes. En particulier nous donnons une généralisation complète des formules de Vélu sur les courbes elliptiques pour le calcul d'isogénie sur des variétés abéliennes. Nous donnons également un nouvel algorithme pour le calcul efficace de couplage sur les variétés abéliennes en utilisant les coordonnées thêta. Enfin, nous présentons une méthode de compression des coordonnées pour améliorer l'arithmétique sur les coordonnées thêta de grand niveau. Ces applications découlent d'une analyse fine des formules d'addition sur les fonctions thêta. Si les résultats de cette thèse sont valables pour toute variété abélienne, pour les applications nous nous concentrons surtout sur les Jacobiennes de courbes hyperelliptiques de genre~$2$, qui est le cas le plus significatif cryptographiquement.

Les polynômes modulaires sont utilisés dans le calcul de graphes d’isogénies, le calcul des polynômes de classes ou le comptage du nombre de points d’une courbe elliptique, et sont donc fondamentaux pour la cryptographie basée sur les courbes elliptiques. Des polynômes analogues sur les surfaces abéliennes principalement polarisées ont été introduits par Régis Dupont en 2006, qui a également proposé un algorithme pour les calculer, et des résultats théoriques sur ces polynômes ont été donnés dans un article de Bröker–Lauter, en 2009. Mais les polynômes sont très gros et ils n’ont pu être calculés que pour l’exemple minimal p = 2. Dans cette thèse, nous poursuivons les travaux de Dupont et Bröker–Lauter en permettant de calculer des polynômes modulaires pour des invariants basés sur les thêta constantes, avec lesquels nous avons pu calculer les polynômes jusqu’à p = 7, tout en démontrant des propriétés de ces polynômes. Mais des exemples plus grands ne semblent pas envisageables. Ainsi, nous proposons une nouvelle définition des polynômes modulaires dans laquelle l’on se restreint aux surfaces abéliennes principalement polarisées qui ont multiplication réelle par l’ordre maximal d’un corps quadratique réel afin d’obtenir des polynômes plus petits. Nous présentons alors de nombreux exemples de polynômes et des résultats théoriques. / Modular polynomials on elliptic curves are a fundamental tool used for the computation of graph of isogenies, class polynomials or for point counting. Thus, they are fundamental for the elliptic curve cryptography. A generalization of these polynomials for principally polarized abelian surfaces has been introduced by Régis Dupont in 2006, who has also described an algorithm to compute them, while theoretical results can been found in an article of Bröker– Lauter of 2009. But these polynomials being really big, they have been computed only in the minimal case p = 2. In this thesis, we continue the work of Dupont and Bröker–Lauter by defining and giving theoretical results on modular polynomials with new invariants, based on theta constants. Using these invariants, we have been able to compute the polynomials until p = 7 but bigger examples look intractable. Thus we define a new kind of modular polynomials where we restrict on the surfaces having real multiplication by the maximal order of a real quadratic field. We present many examples and theoretical results.

La conjecture d'André-Pink affirme qu'une sous-variété d'une variété de Shimura ayant une intersection dense avec une orbite de Hecke est faiblement spéciale. On démontre cette conjecture dans le cas de courbes dans une variété de Shimura de type abélien, ainsi que dans certains cas de sous-variétés de dimension supérieure. Ceci est un cas spécial de la conjecture de Zilber-Pink. C'est une généralisation de théorèmes d'Edixhoven et Yafaev quand l'orbite de Hecke se compose de points spéciaux, de Pink quand l'orbite de Hecke se compose de points Galois génériques, et de Habegger et Pila quand la variété de Shimura est un produit de courbes modulaires. Notre démonstration de la conjecture d'André-Pink pour les courbes dans l'espace de modules des variétés abéliennes principalement polarisées est basée sur la méthode de Pila et Zannier, utilisant une variante forte du théorème de comptage de Pila-Wilkie. On obtient les bornes galoisiennes requises grâce au théorème d'isogénie de Masser et Wüstholz. Afin de relier les bornes sur les isogénies aux hauteurs, on démontre également diverses bornes concernant l'arithmétique des formes hermitiennes sur l'anneau d'endomorphismes d'une variété abélienne. Afin d'étendre le résultat sur la conjecture d'André-Pink aux courbes dans les variétés de Shimura de type abélien et à certains cas de sous-variétés de dimension supérieure, on étudie les propriétés fonctorielles de plusieurs variantes des orbites de Hecke. Un chapitre concerne les rangs des groupes de Mumford-Tate de variétés abéliennes complexes. On y démontre une minoration de ces rangs en fonction de la dimension de la variété abélienne, étant donné que ses sous-variétés abéliennes simples sont deux à deux non isogènes.

Depuis le milieu des années 1980, les variétés abéliennes ont été abondamment utilisées en cryptographie à clé publique: le problème du logarithme discret et les protocoles qui s'appuient sur celles-ci permettent le chiffrement asymétrique, la signature, l'authentification. Dans cette perspective, les jacobiennes de courbes hyperelliptiques constituent l'un des exemples les plus intéressants de variétés abéliennes principalement polarisées. L'utilisation des fonctions thêta permet d'avoir des algorithmes efficaces sur ces variétés. En particulier nous proposons dans cette thèse une variante de l'algorithme ECM utilisant les jacobiennes de courbes de genre 2 décomposables. Par ailleurs, nous étudions les correspondances entre les coordonnées de Mumford et les fonctions thêta. Ce travail a permis la construction de lois d'additions complètes en genre 2. Finalement nous présentons un algorithme de calcul d'isogénies entre variétés abéliennes. La majorité des résultats de cette thèse sont valides pour des courbes hyperelliptiques de genre quelconque. Nous nous sommes cependant concentré sur le cas du genre 2, le plus intéressant en pratique. Ces résultats ont été implémentés dans un package Magma appelé AVIsogenies.

Blasius et Rogawski ont formulé une conjecture qui prévoit que l'action du Frobenius sur la cohomologie d'une variété de Shimura est annulée par un certain polynôme, à coefficients dans l'algèbre de Hecke. C'est l'analogue de la célèbre relation d'Eichler-Shimura pour la courbe modulaire. Dans cette thèse, on démontre cette conjecture pour les variétés de Shimura associées aux groupes unitaires en signature (n-1,1) quand n est impair. Par ailleurs, on étudie certains aspects dans le cas particulier n=3. On montre explicitement la relation de congruence sur le lieu ordinaire. De plus, on étudie le graphe des cristaux supersinguliers et les relèvements d'isogénies en caractéristique nulle.

Blasius et Rogawski ont formulé une conjecture qui prévoit que l'action du Frobenius sur la cohomologie d'une variété de Shimura est annulée par un certain polynôme, à coefficients dans l'algèbre de Hecke. C'est l'analogue de la célèbre relation d'Eichler-Shimura pour la courbe modulaire. Dans cette thèse, on démontre cette conjecture pour les variétés de Shimura associées aux groupes unitaires en signature (n-1,1) quand n est impair. Par ailleurs, on étudie certains aspects dans le cas particulier n=3. On montre explicitement la relation de congruence sur le lieu ordinaire. De plus, on étudie le graphe des cristaux supersinguliers et les relèvements d'isogénies en caractéristique nulle.

Blasius et Rogawski ont formulé une conjecture qui prévoit que l'action du Frobenius sur la cohomologie d'une variété de Shimura est annulée par un certain polynôme, à coefficients dans l'algèbre de Hecke. C'est l'analogue de la célèbre relation d'Eichler-Shimura pour la courbe modulaire. Dans cette thèse, on démontre cette conjecture pour les variétés de Shimura associées aux groupes unitaires en signature (n-1,1) quand n est impair. Par ailleurs, on étudie certains aspects dans le cas particulier n=3. On montre explicitement la relation de congruence sur le lieu ordinaire. De plus, on étudie le graphe des cristaux supersinguliers et les relèvements d'isogénies en caractéristique nulle. / Blasius and Rogawski have stated a conjecture saying that the action of the Frobenius element on the cohomology of a Shimura variety is annihilated by some polynomial with coefficients in the Hecke algebra. This is the analogue of the Eichler-Shimura congruence relation for the modular curve. In this thesis, we prove this conjecture for Shimura varieties associated to unitary groups in signature (n-1,1) when n is odd. We also investigate some particular aspects in the case n=3. We explicitely show the congruence relation on the ordinary locus. Further, we study the graph of supersingular Dieudonné crystals and liftings of isogenies to characteristic zero.

Le logarithme discret sur les courbes elliptiques fournit la panoplie standard de la cryptographie à clé publique: chiffrement asymétrique, signature, authentification. Son extension à des courbes hyperelliptiques de genre supérieur se heurte à la difficulté de construire de telles courbes qui soient sécurisées. Dans cette thèse nous utilisons la théorie des fonctions thêta développée par Mumford pour construire des algorithmes efficaces pour manipuler les variétés abéliennes. En particulier nous donnons une généralisation complète des formules de Vélu sur les courbes elliptiques pour le calcul d'isogénie sur des variétés abéliennes. Nous donnons également un nouvel algorithme pour le calcul efficace de couplage sur les variétés abéliennes en utilisant les coordonnées thêta. Enfin, nous présentons une méthode de compression des coordonnées pour améliorer l'arithmétique sur les coordonnées thêta de grand niveau. Ces applications découlent d'une analyse fine des formules d'addition sur les fonctions thêta. Si les résultats de cette thèse sont valables pour toute variété abélienne, pour les applications nous nous concentrons surtout sur les jacobienne de courbes hyperelliptiques de genre~$2$, qui est le cas le plus significatif cryptographiquement. / The discrete logarithm on elliptic curves give the standard protocols in public key cryptography: asymmetric encryption, signatures, ero-knowledge authentification. To extends the discrete logarithm to hyperelliptic curves of higher genus we need efficient methods to generate secure curves. The aim of this thesis is to give new algorithms to compute with abelian varieties. For this we use the theory of algebraic theta functions in the framework of Mumford. In particular, we give a full generalization of Vélu's formulas for the computation of isogenies on abelian varieties. We also give a new algorithm for the computation of pairings using theta coordinates. Finally we present a point compression method to manipulate These applications follow from the analysis of Riemann relations on theta functions for the addition law. If the results of this thesis are valid for any abelian variety, for the applications a special emphasis is given to Jacobians of hyperelliptic genus~$2$ curves, since they are the most significantly relevant case in cryptography.