Dans cette thèse, on a montré l'occurrence de transitions exothermiques et endothermiques entre les niveaux métastables 3P_2 et 3P_0 dans la collision d'atomes de gaz rare avec une surface solide. Le développement d'une source d'atomes métastables utilisant le processus d'échange de métastabilité au sein d'un jet supersonique a permis ensuite d'observer la diffraction par un réseau de nanofentes, puis, dans une expérience de collision sur un réseau micrométrique en Cuivre en présence d'un champ magnétique externe, d'observer des transitions Zeeman au sein du niveau 3P_2. Le calcul, à partir des données spectroscopiques, de l'interaction de van der Waals entre un atome d'argon métastable dans l'état 3P_2 et une surface conductrice plane a révélé outre une partie scalaire, une partie quadrupolaire modifiant l'énergie des sous niveaux au voisinage de la surface. Un modèle d'évolution soudaine prédit alors une probabilité de transition dont l'ordre de grandeur est en accord avec l'expérience.

Dans la première partie de cette thèse, nous développons l'étude expérimentale et théorique d'un type d'interactions à très courte portée (moins de 10nm), dites de van der Waals-Zeeman, entre un atome de gaz rare et une surface métallique. Il s'agit d'utiliser d'une part un jet supersonique d'atomes métastables pour diverse espèces (Ne*, Ar*, Kr*) et, d'autre part, un jet d'argon métastable Ar*(3P2) décéléré par un ralentisseur Zeeman standard. Dans le premier cas, on observe un accroissement de la portée de l'interaction de van der Waals-Zeeman en fonction de l'augmentation de la constante d'anisotropie n. Dans le second cas, l'augmentation de la portée est observée lors d'une diminution de la vitesse d'un atome d'argon métastable de 560 à 170m/s. La combinaison de ces méthodes nous a permis de mesurer la portée de l'interaction (dont l'efficacité est de quelques 10^(-4)) avec une résolution spatiale de 2 à 3nm. Dans la seconde partie de ce travail, nous introduisons la thématique nouvelle des milieux d'indice négatif pour l'optique atomique. Ces milieux consistent en des potentiels dits comobiles agissant dans le vide. Deux effets majeurs de ces milieux d'indice négatif sont démontrés : la réfraction négative pour des ondes de matière et le rétrécissement du paquet d'onde atomique. Enfin, nous montrons que l'application de milieux d'indice négatif aux ondes évanescentes de matière (créées à l'aide d'une barrière de potentiel magnétique statique) permet de les localiser sur une épaisseur de quelques micromètres de part et d'autre du bord de la barrière de potentiel.