Depuis le milieu des années 1980, les variétés abéliennes ont été abondamment utilisées en cryptographie à clé publique: le problème du logarithme discret et les protocoles qui s'appuient sur celles-ci permettent le chiffrement asymétrique, la signature, l'authentification. Dans cette perspective, les jacobiennes de courbes hyperelliptiques constituent l'un des exemples les plus intéressants de variétés abéliennes principalement polarisées. L'utilisation des fonctions thêta permet d'avoir des algorithmes efficaces sur ces variétés. En particulier nous proposons dans cette thèse une variante de l'algorithme ECM utilisant les jacobiennes de courbes de genre 2 décomposables. Par ailleurs, nous étudions les correspondances entre les coordonnées de Mumford et les fonctions thêta. Ce travail a permis la construction de lois d'additions complètes en genre 2. Finalement nous présentons un algorithme de calcul d'isogénies entre variétés abéliennes. La majorité des résultats de cette thèse sont valides pour des courbes hyperelliptiques de genre quelconque. Nous nous sommes cependant concentré sur le cas du genre 2, le plus intéressant en pratique. Ces résultats ont été implémentés dans un package Magma appelé AVIsogenies / Since the mid 1980's, abelian varieties have been widely used in cryptography: the discrete logarithm problem and the protocols that rely on it allow asymmetric encryption, signatures, authentification... For cryptographic applications, one of the most interesting examples of principally polarized abelian varieties is given by the Jacobians of hyperelliptic curves. The theory of theta functions provides efficient algorithms to compute with abelian varieties. In particular, using decomposable curves of genus 2, we present a generalization of the ECM algorithm. In this thesis, we also study the correspondences between Mumford coordinates and theta functions. This led to the construction of complete addition laws in genus 2. Finally we present an algorithm to compute isogenies between abelian varieties. Most of the results of this thesis are valid for hyperelliptic curves of arbitrary genus. More specifically we emphasize on genus 2 hyperelliptic curves, which is the most relevant case in cryptography. These results have been implemented in a Magma package called AVIsogenies

On étudie dans cette thèse les espaces de modules de fibrés orthogonaux sur une courbe algébrique lisse.<br />On montre dans un premier temps que le morphisme d'oubli associant à un fibré orthogonal le fibré vectoriel sous-jacent est une immersion fermée : ce résultat repose sur un calcul d'invariants sur les espaces de représentations de certains carquois.<br />On présente ensuite, pour les fibrés orthogonaux de rang 3 et 4, des résultats plus concrets sur la géométrie de ces espaces, en accordant une attention particulière à l'application thêta.

Le logarithme discret sur les courbes elliptiques fournit la panoplie standard de la cryptographie à clé publique: chiffrement asymétrique, signature, authentification. Son extension à des courbes hyperelliptiques de genre supérieur se heurte à la difficulté de construire de telles courbes qui soient sécurisées. Dans cette thèse nous utilisons la théorie des fonctions thêta développée par \name{Mumford} pour construire des algorithmes efficaces pour manipuler les variétés abéliennes. En particulier nous donnons une généralisation complète des formules de Vélu sur les courbes elliptiques pour le calcul d'isogénie sur des variétés abéliennes. Nous donnons également un nouvel algorithme pour le calcul efficace de couplage sur les variétés abéliennes en utilisant les coordonnées thêta. Enfin, nous présentons une méthode de compression des coordonnées pour améliorer l'arithmétique sur les coordonnées thêta de grand niveau. Ces applications découlent d'une analyse fine des formules d'addition sur les fonctions thêta. Si les résultats de cette thèse sont valables pour toute variété abélienne, pour les applications nous nous concentrons surtout sur les Jacobiennes de courbes hyperelliptiques de genre~$2$, qui est le cas le plus significatif cryptographiquement.

Siegel détermina un domaine fondamental à l'aide de la réduction de Minkowski des formes quadratiques. Il donna tous les détails concernant ce domaine pour le genre 1. C'est la détermination du domaine fondamental de Minkowski présentée comme deuxième condition et la condition maximal height présentée comme troisième condition, qui empêchent la précision exacte de ce domaine pour le cas général. Les derniers résultats ont été obtenus par Gottschling pour le genre 2 en 1959. Elle est depuis restée inexplorée et mal comprise notamment les différents domaines de Minkowski. Afin d'identifier ce domaine fondamental pour le genre 3, nous présentons des résultats concernant sa troisième condition. Chaque fonction abélienne peut être écrite en termes de fonctions rationnelles des fonctions thêta et de leurs dérivées. Cela permet l'expression de la solution des systèmes intégrables en fonction des fonctions thêta. Ces solutions sont pertinentes dans la description de surfaces de vagues d'eau, de l'optique non linéaire. Deconinck et Van Hoeij ont éveloppé et mis en oeuvre des algorithmes pour construire la matrice de Riemann et Deconinck et al. ont développé le calcul des fonctions thêta correspondantes. Deconinck et al. ont utilisé l'algorithme de Siegel pour atteindre approximativement le domaine fondamental de Siegel et ont adopté l'algorithme LLL pour trouver le vecteur le plus court. Alors que nous utilisons ici un nouvel algorithme de réduction de Minkowski jusqu'à dimension 5 et une détermination exacte du vecteur le plus court pour des dimensions supérieures. / Siegel determined a fundamental domain using the Minkowski reduction of quadratic forms. He gave all the details concerning this domain for genus 1. It is the determination of the Minkowski fundamental domain presented as the second condition and the maximal height condition, presented as the third condition, which prevents the exact determination of this domain for the general case. The latest results were obtained by Gottschling for the genus 2 in 1959. It has since remained unexplored and poorly understood, in particular the different regions of Minkowski reduction. In order to identify Siegel's fundamental domain for genus 3, we present some results concerning the third condition of this domain. Every abelian function can be written in terms of rational functions of theta functions and their derivatives. This allows the expression of solutions of integrable systems in terms of theta functions. Such solutions are relevant in the description of surface water waves, non linear optics. Because of these applications, Deconinck and Van Hoeij have developed and implemented al-gorithms for computing the Riemann matrix and Deconinck et al. have developed the computation of the corresponding theta functions. Deconinck et al. have used Siegel's algorithm to approximately reach the Siegel fundamental domain and have adopted the LLL reduction algorithm to nd the shortest lattice vector. However, we opt here to use a Minkowski algorithmup to dimension 5 and an exact determination of the shortest lattice vector for greater dimensions.

Dans ce mémoire, on s'intéresse à des briques utiles à la cryptographie asymétrique et principalement au problème du logarithme discret. Dans une première partie, nous présentons un survol de différentes notions algorithmiques de couplages sur des jacobiennes de courbes de genre 2 et décrivons les détails d'une implémentation soigneuse. Nous faisons une comparaison à niveau de sécurité équivalent avec les couplages sur les courbes elliptiques. Une deuxième partie est dévolue à la recherche de modèles efficaces pour les courbes elliptiques et les surfaces de Kummer non-ordinaires en caractéristique 2. Pour le genre 1, nous obtenons que le modèle d'Edwards binaire se déduit du modèle d'Edwards classique en caractéristique zéro. Pour le genre $2$, nous utilisons des techniques de "déformation" qui consistent à considérer une famille de jacobiennes sur un anneau des séries formelles, telle que la fibre générique soit ordinaire et la fibre spéciale soit la jacobienne considérée. Il s'agit alors de montrer que la loi de groupe sur la fibre générique s'étend à tout le modèle. Nous comparons les lois de composition ainsi obtenues avec celles déjà connues.

Depuis le milieu des années 1980, les variétés abéliennes ont été abondamment utilisées en cryptographie à clé publique: le problème du logarithme discret et les protocoles qui s'appuient sur celles-ci permettent le chiffrement asymétrique, la signature, l'authentification. Dans cette perspective, les jacobiennes de courbes hyperelliptiques constituent l'un des exemples les plus intéressants de variétés abéliennes principalement polarisées. L'utilisation des fonctions thêta permet d'avoir des algorithmes efficaces sur ces variétés. En particulier nous proposons dans cette thèse une variante de l'algorithme ECM utilisant les jacobiennes de courbes de genre 2 décomposables. Par ailleurs, nous étudions les correspondances entre les coordonnées de Mumford et les fonctions thêta. Ce travail a permis la construction de lois d'additions complètes en genre 2. Finalement nous présentons un algorithme de calcul d'isogénies entre variétés abéliennes. La majorité des résultats de cette thèse sont valides pour des courbes hyperelliptiques de genre quelconque. Nous nous sommes cependant concentré sur le cas du genre 2, le plus intéressant en pratique. Ces résultats ont été implémentés dans un package Magma appelé AVIsogenies.

Le logarithme discret sur les courbes elliptiques fournit la panoplie standard de la cryptographie à clé publique: chiffrement asymétrique, signature, authentification. Son extension à des courbes hyperelliptiques de genre supérieur se heurte à la difficulté de construire de telles courbes qui soient sécurisées. Dans cette thèse nous utilisons la théorie des fonctions thêta développée par Mumford pour construire des algorithmes efficaces pour manipuler les variétés abéliennes. En particulier nous donnons une généralisation complète des formules de Vélu sur les courbes elliptiques pour le calcul d'isogénie sur des variétés abéliennes. Nous donnons également un nouvel algorithme pour le calcul efficace de couplage sur les variétés abéliennes en utilisant les coordonnées thêta. Enfin, nous présentons une méthode de compression des coordonnées pour améliorer l'arithmétique sur les coordonnées thêta de grand niveau. Ces applications découlent d'une analyse fine des formules d'addition sur les fonctions thêta. Si les résultats de cette thèse sont valables pour toute variété abélienne, pour les applications nous nous concentrons surtout sur les jacobienne de courbes hyperelliptiques de genre~$2$, qui est le cas le plus significatif cryptographiquement. / The discrete logarithm on elliptic curves give the standard protocols in public key cryptography: asymmetric encryption, signatures, ero-knowledge authentification. To extends the discrete logarithm to hyperelliptic curves of higher genus we need efficient methods to generate secure curves. The aim of this thesis is to give new algorithms to compute with abelian varieties. For this we use the theory of algebraic theta functions in the framework of Mumford. In particular, we give a full generalization of Vélu's formulas for the computation of isogenies on abelian varieties. We also give a new algorithm for the computation of pairings using theta coordinates. Finally we present a point compression method to manipulate These applications follow from the analysis of Riemann relations on theta functions for the addition law. If the results of this thesis are valid for any abelian variety, for the applications a special emphasis is given to Jacobians of hyperelliptic genus~$2$ curves, since they are the most significantly relevant case in cryptography.

Cette thèse est consacrée à l'étude d'une conjecture de Lang et Silverman de minoration de la hauteur de Néron-Tate sur les variétés abéliennes sur les corps de nombres. Le premier chapitre décrit le matériel nécessaire à l'étude des chapitres suivants et fixe les notations et normalisations. On montre dans le second chapitre que la conjecture est vraie pour certaines classes de variétés abéliennes de dimension 2, en particulier pour les jacobiennes ayant potentiellement bonne réduction et restant loin des produits de courbes elliptiques dans l'espace de modules. Le second chapitre renferme aussi des corollaires allant dans la direction de la conjecture de borne uniforme sur la torsion et de majoration uniforme du nombre de points rationnels d'une courbe de genre 2. Le troisième chapitre généralise les résultats de minoration du second chapitre aux jacobiennes de courbes hyperelliptiques de genre g supérieur ou égal à 2. Le quatrième chapitre contient une étude de la restriction des scalaires à la Weil et une étude asymptotique de la hauteur des points de Heegner sur les jacobiennes de courbes modulaires. Le cinquième chapitre est une annexe contenant des formules explicites utiles pour la dimension 2 et un paragraphe sur un raisonnement par isogénies.

L'application d'Abel-Jacobi fait le lien entre la forme de Weierstrass d'une courbe elliptique définie sur C et le tore complexe qui lui est associé. Il est possible de la calculer en un nombre d'opérations quasi-linéaire en la précision voulue, c'est à dire en temps O(M(P) log P). Son inverse est donné par la fonction p de Weierstrass, qui s'exprime en fonction de thêta, une fonction importante en théorie des nombres. L'algorithme naturel d'évaluation de thêta nécessite O(M(P) sqrt(P)) opérations, mais certaines valeurs (les thêta-constantes) peuvent être calculées en O(M(P) log P) opérations en exploitant les liens avec la moyenne arithmético-géométrique (AGM). Dans ce manuscrit, nous généralisons cet algorithme afin de calculer thêta en O(M(P) log P). Nous exhibons une fonction F qui a des propriétés similaires à l'AGM. D'une façon similaire à l'algorithme pour les thêta-constantes, nous pouvons alors utiliser la méthode de Newton pour calculer la valeur de thêta. Nous avons implanté cet algorithme, qui est plus rapide que la méthode naïve pour des précisions supérieures à 300 000 chiffres décimaux. Nous montrons comment généraliser cet algorithme en genre supérieur, et en particulier comment généraliser la fonction F. En genre 2, nous sommes parvenus à prouver que la même méthode mène à un algorithme qui évalue thêta en O(M(P) log P) opérations ; la même complexité s'applique aussi à l'application d'Abel-Jacobi. Cet algorithme est plus rapide que la méthode naïve pour des précisions plus faibles qu'en genre 1, de l'ordre de 3 000 chiffres décimaux. Nous esquissons également des pistes pour obtenir la même complexité en genre quelconque. Enfin, nous exhibons un nouvel algorithme permettant de calculer une isogénie de courbes elliptiques de noyau donné. Cet algorithme utilise l'application d'Abel-Jacobi, car il est facile d'évaluer l'isogénie sur le tore ; il est sans doute possible de le généraliser au genre supérieur / The Abel-Jacobi map links the short Weierstrass form of a complex elliptic curve to the complex torus associated to it. One can compute it with a number of operations which is quasi-linear in the target precision, i.e. in time O(M(P) log P). Its inverse is given by Weierstrass's p-function, which can be written as a function of theta, an important function in number theory. The natural algorithm for evaluating theta requires O(M(P) sqrt(P)) operations, but some values (the theta-constants) can be computed in O(M(P) log P) operations by exploiting the links with the arithmetico-geometric mean (AGM). In this manuscript, we generalize this algorithm in order to compute theta in O(M(P) log P). We give a function F which has similar properties to the AGM. As with the algorithm for theta-constants, we can then use Newton's method to compute the value of theta. We implemented this algorithm, which is faster than the naive method for precisions larger than 300,000 decimal digits. We then study the generalization of this algorithm in higher genus, and in particular how to generalize the F function. In genus 2, we managed to prove that the same method leads to a O(M(P) log P) algorithm for theta; the same complexity applies to the Abel-Jacobi map. This algorithm is faster than the naive method for precisions smaller than in genus 1, of about 3,000 decimal digits. We also outline a way one could reach the same complexity in any genus. Finally, we study a new algorithm which computes an isogeny of elliptic curves with given kernel. This algorithm uses the Abel-Jacobi map because it is easy to evaluate the isogeny on the complex torus; this algorithm may be generalizable to higher genera

Les principaux objets étudiés dans cette thèse sont les équations décrivant le morphisme de groupe sur une variété abélienne, plongée dans un espace projectif, et leurs applications en cryptographie. Notons g sa dimension et k son corps de définition. Ce mémoire est composé de deux parties. La première porte sur l'étude des courbes d'Edwards, un modèle pour les courbes elliptiques possédant un sous-groupe de points k-rationnels cyclique d'ordre 4, connues en cryptographie pour l'efficacité de leur loi d'addition et la possibilité qu'elle soit définie pour toute paire de points k-rationnels (loi d'addition k-complète). Nous en donnons une interprétation géométrique et en déduisons des formules explicites pour le calcul du couplage de Tate réduit sur courbes d'Edwards tordues, dont l'efficacité rivalise avec les modèles elliptiques couramment utilisés. Cette partie se conclut par la génération, spécifique au calcul de couplages, de courbes d'Edwards dont les tailles correspondent aux standards cryptographiques actuellement en vigueur. Dans la seconde partie nous nous intéressons à la notion de complétude introduite ci-dessus. Cette propriété est cryptographiquement importante car elle permet d'éviter des attaques physiques, comme les attaques par canaux cachés, sur des cryptosystèmes basés sur les courbes elliptiques ou hyperelliptiques. Un précédent travail de Lange et Ruppert, basé sur la cohomologie des fibrés en droite, permet une approche théorique des lois d'addition. Nous présentons trois résultats importants : tout d'abord nous généralisons un résultat de Bosma et Lenstra en démontrant que le morphisme de groupe ne peut être décrit par strictement moins de g+1 lois d'addition sur la clôture algébrique de k. Ensuite nous démontrons que si le groupe de Galois absolu de k est infini, alors toute variété abélienne peut être plongée dans un espace projectif de manière à ce qu'il existe une loi d'addition k-complète. De plus, l'utilisation des variétés abéliennes nous limitant à celles de dimension un ou deux, nous démontrons qu'une telle loi existe pour leur plongement projectif usuel. Finalement, nous développons un algorithme, basé sur la théorie des fonctions thêta, calculant celle-ci dans P^15 sur la jacobienne d'une courbe de genre deux donnée par sa forme de Rosenhain. Il est désormais intégré au package AVIsogenies de Magma. / The main objects we study in this PhD thesis are the equations describing the group morphism on an abelian variety, embedded in a projective space, and their applications in cryptograhy. We denote by g its dimension and k its field of definition. This thesis is built in two parts. The first one is concerned by the study of Edwards curves, a model for elliptic curves having a cyclic subgroup of k-rational points of order 4, known in cryptography for the efficiency of their addition law and the fact that it can be defined for any couple of k-rational points (k-complete addition law). We give the corresponding geometric interpretation and deduce explicit formulae to calculate the reduced Tate pairing on twisted Edwards curves, whose efficiency compete with currently used elliptic models. The part ends with the generation, specific to pairing computation, of Edwards curves with today's cryptographic standard sizes. In the second part, we are interested in the notion of completeness introduced above. This property is cryptographically significant, indeed it permits to avoid physical attacks as side channel attacks, on elliptic -- or hyperelliptic -- curves cryptosystems. A preceeding work of Lange and Ruppert, based on cohomology of line bundles, brings a theoretic approach of addition laws. We present three important results: first of all we generalize a result of Bosma and Lenstra by proving that the group morphism can not be described by less than g+1 addition laws on the algebraic closure of k. Next, we prove that if the absolute Galois group of k is infinite, then any abelian variety can be projectively embedded together with a k-complete addition law. Moreover, a cryptographic use of abelian varieties restricting us to the dimension one and two cases, we prove that such a law exists for their classical projective embedding. Finally, we develop an algorithm, based on the theory of theta functions, computing this addition law in P^15 on the Jacobian of a genus two curve given in Rosenhain form. It is now included in AVIsogenies, a Magma package.