Les paquets d'électrons relativistes circulant dans les anneaux de stockage sont des sources de rayonnement VUV, X et THz incontournables. Cependant, ces systèmes sont également connus pour présenter des instabilités dynamiques. Dans cette thèse, nous nous sommes intéressés à l'instabilité dite de microbunching, qui mène à l'apparition de microstructures à l'échelle millimétrique, et à l'émission de bouffées intense de rayonnement THz cohérent. L'objectif de la thèse était d'avancer dans la compréhension de la dynamique non-linéaire de ces structures, en combinant études expérimentales et numériques. Les expériences ont été effectuées au Synchrotron SOLEIL et à UVSOR, et les études numériques ont été principalement basées sur l'équation de Vlasov-Fokker-Planck. Dans un premier temps, la rapidité des échelles de temps impliquées nous a menés à réaliser des études indirectes. Des informations sur la dynamique à l'échelle picoseconde ont ainsi pu être déduites d'enregistrements au moyen de détecteurs possédant des constantes de temps beaucoup plus lentes (la microseconde), et en particulier en étudiant la réponse à des perturbations laser. Ensuite, au moyen de deux techniques nouvelles, nous avons pu réaliser les premières observations directes des structures et de leur dynamique. A UVSOR, nous avons utilisé un détecteur THz à film mince de YBCO supraconducteur. Ensuite, nous avons développé une méthode originale associant l'effet électro-optique et l'étirement temporel, ce qui nous a permis d'atteindre une résolution picoseconde, au Synchrotron SOLEIL. Ces nouvelles observations nous ont immédiatement permis de réaliser des tests extrêmement sévères des modèles théoriques. / Relativistic electron bunches circulating in storage rings are used to produce intense radiation from far-infrared to X-rays. However, above a density threshold value, the interaction between the electron bunch and its own radiation can lead to a spatio-temporal instability called microbunching instability. This instability is characterized by a strong emission of coherent THz radiation (typically 105 times stronger than the classical synchrotron radiation) which is a signature of the presence of microstructures (at mm scale) in the electron bunch. This instability is known to be a fundamental limitation of the operation of synchrotron light sources at high beam current. In this thesis, we have focused on this instability from a nonlinear dynamics point of view by combining experimental studies carried out at the Synchrotron SOLEIL and UVSOR storage rings with numerical studies mainly based on the Vlasov-Fokker-Planck equation. In a first step, due to the very indirect nature of the experimental observations, we have sought to deduce information on the microstructure wavenumber either by looking at the temporal evolution of the THz signal emitted during the instability or by studying the response of the electron bunch to a laser perturbation. In a second step, we have achieved direct, real time observations of the microstructures dynamics through two new, very different, detection techniques: a thin-film superconductor-based detector at UVSOR, and a spectrally-encoded electro-optic detection technique at SOLEIL. These new available experimental observations have allowed severe comparisons with the theoretical models.

Lors de la formation du point chaud dans une expérience de Fusion par Confinement Inertiel, le plasma au centre de la sphère de deutérium-tritium peut être loin de l'équilibre thermodynamique local. Dans la première partie, on décrit donc un modèle cinétique ionique de type Vlasov-Fokker-Planck susceptible de prendre en compte ces déséquilibres. Après avoir rappelé les grandes étapes pour résoudre numériquement le système obtenu, on introduit la notion de moyenne entropique pour définir un nouveau schéma numérique traitant les collisions ion-électron homogènes en espace. Ce schéma est conservatif, stable et entropique sous un critère de type CFL dans sa version explicite. Dans sa version semi-implicite, on établit que ce schéma conserve l'équilibre thermodynamique. Le temps de calcul pour résoudre les équations cinétiques étant très important, il est nécessaire d'étudier la possibilité de ne résoudre ces équations que là où c'est nécessaire c'est à dire principalement au centre de la sphère de deutérium-tritium. Dans la seconde partie, on propose donc une technique de couplage cinétique-fluide, la formation du point chaud étant traitée avec le modèle cinétique, le reste avec les équations d'Euler à deux températures (températures ionique et électronique). Les ions deutérium et tritium pouvant ne pas être à l'équilibre thermodynamique, on s'est ensuite posé la question de la validité des formules analytiques donnant le taux de réaction nucléaire, formules établies en supposant que le plasma est à l'équilibre thermodynamique. Dans la troisième partie, on propose donc une méthode de type Monte-Carlo pour résoudre numériquement les équations cinétiques de type Boltzmann qui décrivent les réactions de fusion thermonucléaire et on montre qu'effectivement, les déséquilibres thermodynamiques rencontrés lors de la formation du point chaud peuvent invalider les formules usuelles.