L'objet de cette thèse est l'étude de plusieurs applications des processus de mélange à quatre ondes induits dans les vapeurs atomiques. Dans la première partie, les notions de base de l'optique non-linéaire dans les milieux de Kerr sont rappelés. Dans la seconde partie, nous étudions les propriétés des oscillateurs à mélange à quatre ondes en anneau dont le milieu amplificateur est constitué d'une vapeur de sodium soumise à deux ondes pompes ne circulant pas dans la cavité. Les applications de ces oscillateurs comme senseur de rotation et comme générateur de faisceaux jumeaux sont démontrées, les principes de ces deux notions étant rappelées dans leur grande ligne. Dans la troisième partie, nous présentons plusieurs résultats sur le mélange à quatre ondes lorsque les ondes incidentes ont des polarisations linéaires orthogonales. Cette géométrie nous a permis d'observer un processus de mélange à deux ondes, et de réaliser un miroir à contraste de phase et un miroir auto-pompé. Les résultats obtenus expérimentalement dans les vapeurs de rubidium et de sodium sont en accord avec un modèle théorique basé sur les équations du pompage optique, ce modèle permettant d'interpréter sous forme d'activité optique les fortes non-linéarités observées.

Ce travail de thèse se consacre à l'étude théorique et expérimentale de la génération de corrélations quantiques dans le régime des variables continues par mélange à 4 ondes dans une vapeur atomique. Deux approches théoriques complémentaires sont développées. D'une part, nous étudions le mélange à 4 ondes sous le point de vue de l'optique non-linéaire "classique" afin d'obtenir les équations d'évolution d'un amplificateur idéal pour un milieu de susceptibilité diélectrique chi(3). D'autre part, nous présentons un modèle microscopique à 4 niveaux en double-Lambda permettant de calculer le coefficient chi(3) pour une vapeur atomique en présence de laser, et ainsi obtenir théoriquement les spectres de bruit en intensité des grandeurs observées. La mise en oeuvre expérimentale de ce processus sur la raie D1 du rubidium 85 est ensuite détaillée. Nous présentons notamment un taux de compression sous la limite quantique standard de -9.2dB, ainsi qu'un régime original permettant la génération de corrélations quantiques sans amplification. L'ensemble de ces résultats a des applications très importantes dans le domaine de l'optique quantique multimode. Citons par exemple l'imagerie quantique ou les mémoires quantiques multimodes.

Ce mémoire rapporte diverses expériences de spectroscopie visant à étudier le comportement d'une vapeur atomique soumise à un confinement tridimensionnel sub-micrométrique. Nous présentons notamment les spectres expérimentaux de réflexion (raies D1 et D2) réalisées sur des cellules macroscopiques contenant une vapeur de césium et une opale constituée d'un nombre contrôlé de couches de nano-billes de silice (déposé par la technique Langmuir-Blodgett). En fonction de l'angle incidence du faisceau illuminant l'opale, deux types de signaux sub-Doppler sont observés via une détection par modulation de fréquence : l'un observable à des angles d'incidence faibles, rappelant les formes de raies habituelles d'une réflexion sélective sur une interface plane de verre, et l'autre, superposé à un signal de fond large, pour des angles d'incidence importants. Cette structure, inédite pour des expériences de réflexion sélective, peut être isolée par une expérience pompe-sonde ou une détection 2f. Elle pourrait être la signature d'un rétrécissement Dicke, conséquence du confinement des atomes sur une distance équivalente à une fraction de longueur d'onde.