Une transition entre deux niveaux voisins d'un atome de Rydberg et une cavité micro-onde de très haut facteur de qualité constituent un excellent outil pour la recherche sur les interactions matière- rayonnement au niveau le plus fondamental. La simplicité du système (deux niveaux atomiques couplés à un seul mode du champ) permet un traitement analytique complet de la plupart des phénomènes. Dans ce mémoire nous étudions les effets dispersifs de l'interaction non-résonnante entre atomes et cavité. Nous avons mesuré la variation linéaire des déplacements des niveaux d'énergie atomiques avec le nombre moyen de photons dans la cavité. Des déplacements dus à une intensité moyenne inférieure au photon unique ont été observés. En l'absence de champ injecté, il a été possible de mesurer le déplacement résiduel d'un des deux niveaux de la transition atomique: un déplacement de Lamb dû à un seul mode du champ. Ces déplacements d'énergie sont mesurés de façon sensible par une méthode interférométrique: la technique des champs oscillants séparés de Ramsey. Des expériences futures, dans une situation de très faible relaxation du champ, sont proposées. Le caractère quantique du champ sera alors dominant et il sera possible de réaliser une mesure nondestructive du nombre de photons: le caractère non-résonnant de l'interaction assure que les atomes ne peuvent ni absorber ni émettre des photons dans la cavité. Les expériences réalisées démontrent la sensibilité de l'appareil et ouvrent la voie à ces mesures non-destructives ainsi qu'à l'étude de systèmes "mésoscopiques" (états "chat de Schrödinger" du champ), à la "frontière" entre les mondes classique et quantique.

Cette thèse s'inscrit dans le cadre de l'étude théorique des réseaux optiques brillants et gris, par des modèles uni- ou multidimensionnels. Nous présentons d'abord une méthode d'élaboration et de classification systématique des réseaux optiques multidimensionnels en utilisant des arguments de cristallographie. Une approche semi-classique basée sur des simulations de Monte-Carlo est ensuite mise au point dans le cadre des réseaux optiques unidimensionnels pour diverses transitions atomiques. Ce modèle, ainsi que le modèle quantique des bandes, sont utilisés pour l'étude de la température et du magnétisme des réseaux optiques brillants et gris. Le comportement magnétique général trouvé est en bon accord avec des expériences récentes. Nous étudions enfin un nouveau type de réseau gris bidimensionnel, comportant une structure périodique d'antiplots. La dynamique atomique au sein de ce réseau est analysée au moyen de spectroscopie pompe-sonde, permettant de mettre en évidence un comportement dynamique très original.

La spectroscopie Raman et Rayleigh stimulée des atomes refroidis par laser donne accès à de nombreuses propriétés des mélasses optiques. Nous interprétons les spectres de transmission et de conjugaison de phase observés dans les deux configurations lasers à une dimension lin+lin et σ+-σ-. Dans le premier cas, les résonances Raman stimulées montrent la localisation et la quantification du mouvement atomique dans le potentiel créé par la lumière. Les résonances Rayleigh stimulées donnent des informations sur les propriétés dynamiques de la mélasse et prouvent l'ordre spatial anti-ferromagnétique des atomes. Dans le second cas, les structures Raman montrent l'existence de différences de populations et de déplacements lumineux dans l'état fondamental. La résonance Rayleigh donne un accès expérimental direct au coefficient de friction de la force de refroidissement.

Cette thèse a deux volets : d'abord l'étude du refroidissement et de la dynamique d'atomes dans des mélasses grises et des réseaux gris, puis la présentation d'une nouvelle méthode de spectroscopie pour étudier la dynamique d'atomes dans des réseaux brillants. Dans les structures de potentiel lumineux que constituent les mélasses grises, les atomes de Césium sont refroidis à des températures particulièrement basses (800 nK) car ils sont piégés dans des états où ils ne subissent pratiquement plus l'influence de la lumière. L'addition d'un fort champ magnétique statique transforme alors la structure de potentiel vue par l'atome en un paysage de collines régulièrement séparées par des vallées plates. Dans ce nouvel environnement dénommé réseau gris, le comportement dynamique des atomes devient inhabituel : ils rebondissent de plot en plot comme des billes de flipper. Les réseaux brillants, en comparaison, présentent une structure de potentiel en forme de fosses (puits de potentiel) dans lesquelles les atomes restent piégés. C'est pour étudier plus en détail la dynamique atomique dans ces réseaux brillants que nous avons mis au point la technique spectroscopique de "transitoire cohérent". Grâce à son très bon rapport signal sur bruit et une sélectivité en fréquence accrue, cette technique nous a permis d'attribuer à l'anharmonicité du potentiel la majeure partie de la relaxation du mouvement oscillatoire des atomes dans les puits. Par ailleurs, elle a permis une étude quantitative du transport atomique dans les réseaux brillants.

Ce mémoire présente l'étude du refroidissement d'atomes par laser en présence d'un champ magnétique transverse faible (effet Sisyphe magnétique) sur une transition J = 1 → J' = 1. La première partie de ce travail est consacrée à l'optimisation d'un jet supersonique d'hélium métastable sur lequel nous avons effectué nos expériences de refroidissement laser. L'optimisation du jet en vue de piéger les atomes dans un piège magnéto-optique est aussi décrite. La deuxième partie consiste en une description de l'effet Sisyphe magnétique sur l'hélium métastable. Après une présentation qualitative du mécanisme mettant en jeu l'effet Sisyphe magnétique, nous discutons les résultats expérimentaux à la lumière de calculs théoriques détaillés.