Cette thèse a pour objectif d'étudier la dynamique spatio-temporelle des atomes refroidis par laser dans un piège magnéto-optique (PMO). Il a été montré qu'un nuage d'atomes froids dans le régime de diffusion multiple peut présenter un comportement instable sans modulation externe du système. Cependant, ces instabilités n'ont pas encore été modélisées de façon satisfaisante. Une nouvelle configuration du PMO a été mise en oeuvre pour tenter d'étudier des instabilités dans une seule direction. Ce PMO, qualifié d'anisotrope, n'utilise pas des lasers de mêmes fréquences dans chaque direction de l'espace. Il met en évidence les forts couplages existants entre les directions du piège, si bien qu'il n'est pas possible de l'utiliser pour réduire le nombre de dimensions dans lesquelles les instabilités s'établissent. Toutefois, cette étude constitue un premier pas vers une meilleure description tridimensionnelle du piège. Elle nous a notamment permis de mesurer la probabilité pour qu'un photon diffusé soit réabsorbé à l'intérieur du nuage. Cette quantité est caractéristique du PMO mais elle n'avait jusqu'à là jamais été mesurée. Nous avons également établi un modèle spatio-temporel unidimensionnel du PMO. Il est constitué d'un système d'équations non-linéaires couplées reliant la densité atomique et les intensités des faisceaux lasers. Ce système contient notamment une équation de Vlasov-Fokker-Planck, rencontrée dans de nombreux domaines de la physique. Des simulations numériques ont été effectuées dans un cas simple. D'un point de vue expérimental, l'utilisation d'une caméra rapide nous a permis de mettre en évidence la structure spatiale d'instabilités de type stochastique. / The aim of this thesis is to study the spatio-temporal dynamics of laser cooled atoms in a magneto-optical trap (MOT). Recent works have shown that in the multiple scattering regime, an atomic cloud can have an unstable behavior without external modulation of the system. Nevertheless, these instabilities have not yet been modeled in a satisfactory way. A new configuration of the MOT has been built up as a possible way to study instabilities in only one direction. This trap, called anisotropic MOT, is not made of laser beams with the same laser frequencies along each direction of space. It exhibits the strong couplings between the directions of the trap, with the result that it cannot be used to reduce the number of directions in which instabilities grow up. However, this study can be considered as a new step to a better 3D description of the MOT physics. In particular, it gives us a way to measure the probability that a scattered photon is reabsorbed inside the atomic cloud. This quantity is a characteristic of the MOT but it has never been measured so far. We also develop a 1D spatio-temporal model of the MOT. It consists in a set of coupled nonlinear equations linking the atomic density and the laser intensities. This set contains a Vlasov-Fokker-Planck equation which is used to model a lot of systems in various fields and not only in physics. Numerical simulations have been done in a simple case. In the experiment, the use of a fast video camera allows us to observe the spatial structure of one type of instabilities, the so-called stochastic instabilities.

Les paquets d'électrons relativistes circulant dans les anneaux de stockage sont des sources de rayonnement VUV, X et THz incontournables. Cependant, ces systèmes sont également connus pour présenter des instabilités dynamiques. Dans cette thèse, nous nous sommes intéressés à l'instabilité dite de microbunching, qui mène à l'apparition de microstructures à l'échelle millimétrique, et à l'émission de bouffées intense de rayonnement THz cohérent. L'objectif de la thèse était d'avancer dans la compréhension de la dynamique non-linéaire de ces structures, en combinant études expérimentales et numériques. Les expériences ont été effectuées au Synchrotron SOLEIL et à UVSOR, et les études numériques ont été principalement basées sur l'équation de Vlasov-Fokker-Planck. Dans un premier temps, la rapidité des échelles de temps impliquées nous a menés à réaliser des études indirectes. Des informations sur la dynamique à l'échelle picoseconde ont ainsi pu être déduites d'enregistrements au moyen de détecteurs possédant des constantes de temps beaucoup plus lentes (la microseconde), et en particulier en étudiant la réponse à des perturbations laser. Ensuite, au moyen de deux techniques nouvelles, nous avons pu réaliser les premières observations directes des structures et de leur dynamique. A UVSOR, nous avons utilisé un détecteur THz à film mince de YBCO supraconducteur. Ensuite, nous avons développé une méthode originale associant l'effet électro-optique et l'étirement temporel, ce qui nous a permis d'atteindre une résolution picoseconde, au Synchrotron SOLEIL. Ces nouvelles observations nous ont immédiatement permis de réaliser des tests extrêmement sévères des modèles théoriques. / Relativistic electron bunches circulating in storage rings are used to produce intense radiation from far-infrared to X-rays. However, above a density threshold value, the interaction between the electron bunch and its own radiation can lead to a spatio-temporal instability called microbunching instability. This instability is characterized by a strong emission of coherent THz radiation (typically 105 times stronger than the classical synchrotron radiation) which is a signature of the presence of microstructures (at mm scale) in the electron bunch. This instability is known to be a fundamental limitation of the operation of synchrotron light sources at high beam current. In this thesis, we have focused on this instability from a nonlinear dynamics point of view by combining experimental studies carried out at the Synchrotron SOLEIL and UVSOR storage rings with numerical studies mainly based on the Vlasov-Fokker-Planck equation. In a first step, due to the very indirect nature of the experimental observations, we have sought to deduce information on the microstructure wavenumber either by looking at the temporal evolution of the THz signal emitted during the instability or by studying the response of the electron bunch to a laser perturbation. In a second step, we have achieved direct, real time observations of the microstructures dynamics through two new, very different, detection techniques: a thin-film superconductor-based detector at UVSOR, and a spectrally-encoded electro-optic detection technique at SOLEIL. These new available experimental observations have allowed severe comparisons with the theoretical models.

Les instabilités spatio-temporelles sont le nom scientifique pour nommer la formation spontannée de structures spatiales plus ou moins régulières. Nous avons tous eu l'occasion de voir des ridules se former sur le sable ou encore les nuages s'organiser en "troupeaux de moutons". Ce sont deux exemples parmi une très grande variété de structures et de systèmes capables de développer des instabilités spatio-temporelles. En optique, elles s'observent dans la section transverse des faisceaux laser. La diversité des organisations et la richesse de leur dynamique ont entraîné un intérêt croissant pour leur étude. Ce travail est une contribution à cet effort scientifique et s'appuie sur un système composé d'un faisceau laser faisant un aller-retour dans à travers un échantillon de cristal liquide. Une étude à la fois expérimentale, numérique et théorique est réalisée autour de deux axes principaux: l'étude des effets (i) du bruit sur la formation des structures et (ii) d'un flot transverse sur leur dynamique. Dans une première partie, nous montrons en particulier que la présence de bruit d'origine microscopique (fluctuation thermique des molécules de cristaux liquides) induit des effets macroscopiques non triviaux. C'est à dire qu'ils n'ont pas d'équivalent dans le système sans bruit généralement étudié lors de sa modélisation. Plus précisément, nous caractérisons un effet précurseur induit par le bruit qui se manifeste sous le seuil, là où aucun effet n'est attendu par le modèle classique. Il est appelé précurseur car il anticipe certaines propriétés du réseau hexagonal qui apparaît au seuil. Dans une seconde partie, nous montrons que lorsque la symétrie du système est brisée par un courant transverse, un nouveau régime dynamique -- l'instabilité convective -- peut apparaître. Nous mettons alors en évidence expérimentalement que celui-ci se traduit par la formation de structures entretenues par le bruit, i.e. qui n'existent qu'en présence de bruit. Enfin, l'étude de leurs propriétés et de leur dynamique nous permet de définir des conditions de formation de nouvelles structures complexes (superlattice) purement entretenues par le bruit. Bienvenu dans un monde où l'ordre naît du désordre...