Cette thèse expose différentes expériences de spectroscopie dans des cellules de vapeur ultra minces d'épaisseurs comprises entre 30 et 1300 nm. Nous présentons la réponse optique en transmission et en réflexion de la transition D1 du Cs en fonction de l'épaisseur. Elle est transitoire car induite par le confinement des atomes entre les parois. L'interaction de van der Waals attractive entre atome et surface résolue avec la distance est observée et nous proposons un modèle théorique d'interaction avec deux parois utilisant les réflexions multiples du dipôle atomique fluctuant. Le niveau de Cs(6D3/2) est peuplé par différentes techniques à deux photons pour des épaisseurs inférieures à 100 nm. Nous présentons aussi une investigation du croisement des potentiels répulsif (de ce niveau résonnant avec la surface de saphir) et attractif (du niveau 6D5/2 non résonnant) pour une distance à la surface estimée à 5 nm.

Ce mémoire présente l'étude du refroidissement d'atomes par laser en présence d'un champ magnétique transverse faible (effet Sisyphe magnétique) sur une transition J = 1 → J' = 1. La première partie de ce travail est consacrée à l'optimisation d'un jet supersonique d'hélium métastable sur lequel nous avons effectué nos expériences de refroidissement laser. L'optimisation du jet en vue de piéger les atomes dans un piège magnéto-optique est aussi décrite. La deuxième partie consiste en une description de l'effet Sisyphe magnétique sur l'hélium métastable. Après une présentation qualitative du mécanisme mettant en jeu l'effet Sisyphe magnétique, nous discutons les résultats expérimentaux à la lumière de calculs théoriques détaillés.