L'étude algorithmique des courbes hyperelliptiques est la suite naturelle de celle des courbes elliptiques qui est maintenant bien avancée. La plupart des algorithmes connus pour les courbes elliptiques ainsi que leurs applications à la cryptographie peuvent être étendus plus ou moins facilement aux Jacobiennes de courbes hyperelliptiques. Dans une première partie, nous étudions certains aspects des invariants d'Igusa, qui généralisent le j-invariant d'une courbe elliptique. Pour les Jacobiennes (2,2)-décomposables, nous relions les invariants d'Igusa aux j-invariants des courbes elliptiques quotients par des formules explicites. Par ailleurs nous étudions ces invariants sous l'angle des formes modulaires de Siegel dans le but de calculer des équations modulaires. La deuxième partie est consacrée à des algorithmes de calcul de cardinalité d'une courbe hyperelliptique sur un corps fini. Ce calcul est une étape nécessaire lorsque l'on désire mettre en oeuvre un cryptosystème hyperelliptique. Hormis les algorithmes génériques qui peuvent s'appliquer à des groupes autres que des Jacobiennes, nous proposons une version effective des algorithmes à la Schoof en genre 2. Nous présentons aussi un premier pas vers des améliorations du type Elkies-Atkin, qui ont fait leur preuve dans le cas des courbes elliptiques. La troisième partie traite d'algorithmes de calcul de logarithme discret. Ce problème, réputé difficile, est la clef de voûte des cryptosystèmes: si l'on sait le résoudre en temps raisonnable, le système est fragile. Après un bref état de l'art, nous présentons des algorithmes utilisant les idées classiques de calcul d'index. En tirant parti des spécificités des problèmes provenant de la cryptographie, nous démontrons par des résultats de complexité ainsi que des expériences pratiques que les systèmes à base de courbes de genre supérieur ou égal à 4 ne sont pas sûrs. De plus, combiné avec les techniques de descente de Weil, ceci permet d'attaquer certains cryptosystèmes elliptiques.

Dans cette thèse, j'étudie deux aspects distincts de la cryptographie basée sur les courbes elliptiques et hyperelliptiques. Dans une première partie, je confronte deux méthodes de calcul de couplages, originales car ne reposant pas sur le traditionnel algorithme de Miller. Ainsi, dans [42], K. Stange calcula le couplage de Tate sur une courbe elliptique à partir d'un nouvel outil, les elliptic nets. Y. Uchida et S. Uchiyama généralisèrent ces objets au cas hyperelliptique ([47]), mais ne donnèrent un algorithme pour le calcul de couplages que dans le cas des courbes de genre 2. Mon premier travail dans cette thèse fut de donner cet algorithme pour le cas général. De leur côté, D. Lubicz et D. Robert donnèrent dans [28] une autre méthode de calcul de couplage, basée sur les fonctions thêta. Le second résultat de ma thèse est de réunifier ces deux méthodes : je montre que la formule de récurrence à la base des nets est une conséquence des formules d'addition des fonctions thêta utilisées dans l'algorithme de Lubicz et Robert. Dans la seconde partie de ma thèse, je me suis intéressé à l'algorithme de calcul d'index attaquant le problème du logarithme discret sur les courbes elliptiques et hyperelliptiques. Dans le cas elliptique, une des étapes principales de cette attaque repose sur les polynômes de Semaev. Je donne une nouvelle construction ces polynômes en utilisant la fonction sigma de Weierstrass, pour pouvoir ensuite les généraliser pour la première fois au cas hyperelliptique. / In this thesis, I study two different aspects of elliptic and hyperelliptic curves based cryptography.In the first part, I confront two methods of pairings computation, whose original feature is that they are not based the traditional Miller algorithm. Therefore, in [42], K. Stange computed Tate pairings on elliptic curves using a new tool, the elliptic nets. Y. Uchida and S. Uchiyama generalized these objects to hyperelliptic case ([47]), but they gave an algorithm for pairing computation only for the genus 2 case. My first work in this thesis was to give this algorithm for the general case. Meanwhile, D. Lubicz and D. Robert gave in [28] an other pairing computation method, based on theta functions. The second result of my thesis is the reunification of these two methods : I show that the recurrence equation which is the basis of nets theory is a consequence of the addition law of theta functions used in the Lubicz and Robert’s algorithm. In the second part, I study the index calculus algorithm attacking the elliptic and hyperelliptic curve discrete logarithm problem. In the elliptic case, one of the main steps of this attack requires the Semaev polynomials. I reconstruct these polynomials using Weierstrass sigma function, with the purpose of giving their first hyperelliptic generalization.