Les molécules H2, HD et D2 occupent une place fondamentale en physique moléculaire, en astrophysique et en physique des plasmas. H2 est la molécule la plus abondante dans l'univers. Les récentes observations à haute résolution des transitions VUV de cette molécule et de son isotope HD ont été effectuées par le satellite FUSE dans le domaine 90.5 -118.7 nm. Ces observations permettent de déterminer le rapport d'intensités des raies HD/H2, considéré comme un outil nouveau pour évaluer le rapport d'abondances D/H, qui est connu pour être un traceur efficace de l'évolution chimique de l'Univers. Par ailleurs, les molécules H2, HD et D2 sont formées dans le plasma de bord des tokamaks et contribuent aux pertes radiatives du milieu. Par conséquent, il est indispensable de disposer de données spectroscopiques de haute qualité obtenues en laboratoire pour une exploitation fiable des résultats d'observations ou pour une modélisation réaliste des plasmas de fusion.<br /> <br />L'objectif de cette thèse est d'effectuer une étude expérimentale à haute résolution des spectres d'émission et d'absorption des isotopes D2 et HD de l'hydrogène moléculaire dans le VUV et de la compléter par une étude théorique des états électroniques excités en relation avec les transitions observées. Une telle étude avait été effectuée dans notre laboratoire et avait abouti à la réalisation d'un atlas VUV dans le domaine 78-170 nm.<br /> <br />Les spectres d'émission de HD et D2 sont produits par une source à décharge Penning opérant sous faible pression, et sont enregistrés dans la région spectrale 78 -170 nm à l'aide du spectrographe sous vide de 10 mètres à haute résolution (~ 150 000) de l'Observatoire de Meudon, soit sur plaques photographiques, soit sur des écrans phosphore photostimulables pour mesure d'intensités. Les spectres enregistrés contiennent plus de 20 000 raies. Les longueurs d'onde sont mesurées avec une précision de Δλ/λ= 10-6.Les raies des molécules D2 et H2 étant inévitablement présentes dans le spectre de HD, nous avons d'abord cherché à réaliser l'analyse du spectre de D2, qui consiste à identifier et à assigner les raies aux transitions électroniques entre des niveaux d'énergie de la molécule.<br /><br /> Nous avons par ailleurs réalisé une étude en absorption des molécules HD et D2 au Centre Laser LCVU d'Amsterdam. Nous avons mesuré par spectroscopie laser à deux photons 1XUV+1UV, de nouvelles longueurs d'onde avec une précision inégalée de Δλ/λ= 10-8 dans le domaine spectral 99.9-104 nm permis par l'accordabilité du laser XUV.<br /><br /> Ces nouvelles longueurs d'ondes constitueront une base de données de raies de référence pour la calibration des spectres moléculaires, mais leurs intérêts ne s'arrêtent pas au laboratoire. En effet, les nouvelles raies de HD mesurées par spectroscopie laser, ajoutées aux raies de H2 déjà mesurées avec une précision similaire, seront utilisées comme référence pour mettre en évidence une possible variation cosmologique du rapport de masse proton-électron μ= mp/me, par comparaison avec des longueurs d'onde de raies de H2 ou de HD observées dans les spectres d'absorption de quasars à grands déplacements vers le rouge. Cette étude nécessite la connaissance des coefficients de sensibilité des longueurs d'onde par rapport à la possible variation de μ, que nous avons calculés par la résolution d'un système d'équations couplées pour les états électroniques B, B', C et D de la molécule H2 et HD pour diverses valeurs de μ. <br /><br />Durant ce travail de thèse, nous nous sommes également intéressés à des transitions entre états libres-libres et états libres-liés de la molécule H2. Ces transitions se produisent lors d'une collision H-H formant une quasi-molécule et sont responsables de l'apparition de satellites dans l'aile des raies de l'atome d'hydrogène. Nous avons effectué une étude quantique du satellite quasi-moléculaire de la raie Lymanβ et calculé le profil d'absorption du satellite en fonction de la température. Cette variation est un outil important de diagnostic pour la détermination des caractéristiques des atmosphères des naines blanches.