Ce travail de thèse se consacre à l'étude théorique et expérimentale de la génération de corrélations quantiques dans le régime des variables continues par mélange à 4 ondes dans une vapeur atomique. Deux approches théoriques complémentaires sont développées. D'une part, nous étudions le mélange à 4 ondes sous le point de vue de l'optique non-linéaire "classique" afin d'obtenir les équations d'évolution d'un amplificateur idéal pour un milieu de susceptibilité diélectrique chi(3). D'autre part, nous présentons un modèle microscopique à 4 niveaux en double-Lambda permettant de calculer le coefficient chi(3) pour une vapeur atomique en présence de laser, et ainsi obtenir théoriquement les spectres de bruit en intensité des grandeurs observées. La mise en oeuvre expérimentale de ce processus sur la raie D1 du rubidium 85 est ensuite détaillée. Nous présentons notamment un taux de compression sous la limite quantique standard de -9.2dB, ainsi qu'un régime original permettant la génération de corrélations quantiques sans amplification. L'ensemble de ces résultats a des applications très importantes dans le domaine de l'optique quantique multimode. Citons par exemple l'imagerie quantique ou les mémoires quantiques multimodes.

Le laser aléatoire est un nouveau type de laser, dont les propriétés d'émission sont basées sur la diffusion multiple de lumière dans un milieu désordonné, en présence de gain. Nous avons comme projet de réaliser un tel laser aléatoire, avec comme milieu à gain un nuage d'atomes froids de 85Rb, piégés dans un piège magnéto-optique. Cette thèse présente les premières étapes de recherche, portant sur les processus de gain dans le nuage d'atomes. Nous avons étudié théoriquement et expérimentalement trois types de gain : le gain Mollow, le gain Raman, et le mélange à quatre ondes. L'existence de ces gains nous permet de produire de façon classique un laser, en plaçant le nuage d'atomes dans une cavité Fabry-Pérot ; ce qui représente une étape préliminaire, et essentielle, dans la réalisation d'un laser aléatoire. D'autre part, une étude est menée sur le comportement de la lumière diffusée par le nuage d'atome en présence de gain.

Ce travail de thèse concerne l'étude du processus d'instabilité modulationnelle (MI) dans des fibres optiques présentant un profil de dispersion périodique. La MI est un phénomène bien connu mais la majorité des études réalisées dans le contexte des fibres optiques concerne le cas de dispersion uniforme axialement. L'objectif de ces travaux est de démontrer expérimentalement l'établissement de la MI dans une fibre optique micro-structurée (PCF) dont la dispersion varie de façon sinusoïdale. La première partie présente les principales caractéristiques des fibres optiques et les principaux processus physiques mis en jeu, ainsi que les outils de simulations numériques employés. La seconde partie débute par une présentation du contexte de l'étude et est ensuite consacrée aux résultats. Tout d'abord, nous introduisons le concept du mécanisme de quasi-accord de phase (QPM) dans les systèmes périodiques longitudinaux. Ensuite, nous présentons la démonstration expérimentale du processus de MI dans ce type de fibre. Le spectre obtenu est composé de dix lobes de MI sur 10 THz. De plus, nous proposons une description détaillée de la dynamique de formation des différents lobes de MI. Nous démontrons théoriquement et expérimentalement la génération d'une nouvelle famille de lobes de MI due à une combinaison entre la dispersion oscillante et la dispersion d'ordre quatre. Enfin, cette seconde partie est clôturée par l'élaboration d'un outil analytique, basé sur le modèle à trois ondes tronqué. Il permet d'interpréter simplement la dynamique de formation des lobes de MI et de contrôler le spectre de MI d'une fibre à dispersion oscillante.

Ce manuscrit s'intéresse aux phénomènes de transport de la lumière en milieux désordonnés non linéaires, dans lesquels la lumière est susceptible de subir une redistribution en fréquence lors de la diffusion. Plus spécifiquement, il étudie la possibilité d'utiliser des vapeurs atomiques éclairées à résonance pour caractériser deux régimes singuliers de transport : le laser aléatoire et les vols de Lévy des photons. Nous commençons par introduire un formalisme standard d'étude du transport de la lumière dans une vapeur atomique diluée. Les équations de Bloch optiques décrivent la réponse d'un atome à un champ extérieur cohérent; elles permettent d'obtenir les sections efficaces qui caractérisent la marche aléatoire de la lumière dans le milieu. Le plus souvent, celle-ci peut être décrite par une équation de la diffusion. En présence de gain, l'équation de la diffusion prévoit un emballement de l'intensité diffuse lorsque l'échantillon dépasse une taille critique: c'est le laser aléatoire. La seconde partie de ce manuscrit étudie par une double approche théorique et expérimentale la possibilité d'obtenir du gain dans un nuage d'atomes froids, en le soumettant à un pompage optique externe; puis de le combiner à la diffusion pour obtenir un laser aléatoire. Dans la configuration de gain Raman hyperfin, qui ressort comme la meilleure candidate à cette fin, l'impact du rayonnement diffus piégé au sein du milieu sur l'émission de l'échantillon est clairement mis en évidence. La plupart des effets observées peuvent être expliquées par un modèle de piégeage radiatif, en l'absence de gain; certaines observations, cependant, pourraient être attribuées à un laser aléatoire. Dans une dernière partie, nous nous intéressons aux vapeurs atomiques chaudes dans lesquelles une redistribution en fréquence intervient du fait de l'effet Doppler y compris en milieu passif. Le phénomène crée des photons fortement désaccordés par rapport à la résonance atomique, qui sont faiblement diffusés et peuvent parcourir de longues distances dans le milieu. Ces évènements rares de grande amplitude brisent les hypothèses du modèle diffusif. Nous présentons ici un dispositif qui permet une mesure directe de la distribution de la taille des pas des photons dans une vapeur chaude de rubidium. Le résultat obtenu est caractéristique d'un régime de diffusion anormale dit de vols de Lévy.