Les paquets d'électrons relativistes circulant dans les anneaux de stockage sont des sources de rayonnement VUV, X et THz incontournables. Cependant, ces systèmes sont également connus pour présenter des instabilités dynamiques. Dans cette thèse, nous nous sommes intéressés à l'instabilité dite de microbunching, qui mène à l'apparition de microstructures à l'échelle millimétrique, et à l'émission de bouffées intense de rayonnement THz cohérent. L'objectif de la thèse était d'avancer dans la compréhension de la dynamique non-linéaire de ces structures, en combinant études expérimentales et numériques. Les expériences ont été effectuées au Synchrotron SOLEIL et à UVSOR, et les études numériques ont été principalement basées sur l'équation de Vlasov-Fokker-Planck. Dans un premier temps, la rapidité des échelles de temps impliquées nous a menés à réaliser des études indirectes. Des informations sur la dynamique à l'échelle picoseconde ont ainsi pu être déduites d'enregistrements au moyen de détecteurs possédant des constantes de temps beaucoup plus lentes (la microseconde), et en particulier en étudiant la réponse à des perturbations laser. Ensuite, au moyen de deux techniques nouvelles, nous avons pu réaliser les premières observations directes des structures et de leur dynamique. A UVSOR, nous avons utilisé un détecteur THz à film mince de YBCO supraconducteur. Ensuite, nous avons développé une méthode originale associant l'effet électro-optique et l'étirement temporel, ce qui nous a permis d'atteindre une résolution picoseconde, au Synchrotron SOLEIL. Ces nouvelles observations nous ont immédiatement permis de réaliser des tests extrêmement sévères des modèles théoriques. / Relativistic electron bunches circulating in storage rings are used to produce intense radiation from far-infrared to X-rays. However, above a density threshold value, the interaction between the electron bunch and its own radiation can lead to a spatio-temporal instability called microbunching instability. This instability is characterized by a strong emission of coherent THz radiation (typically 105 times stronger than the classical synchrotron radiation) which is a signature of the presence of microstructures (at mm scale) in the electron bunch. This instability is known to be a fundamental limitation of the operation of synchrotron light sources at high beam current. In this thesis, we have focused on this instability from a nonlinear dynamics point of view by combining experimental studies carried out at the Synchrotron SOLEIL and UVSOR storage rings with numerical studies mainly based on the Vlasov-Fokker-Planck equation. In a first step, due to the very indirect nature of the experimental observations, we have sought to deduce information on the microstructure wavenumber either by looking at the temporal evolution of the THz signal emitted during the instability or by studying the response of the electron bunch to a laser perturbation. In a second step, we have achieved direct, real time observations of the microstructures dynamics through two new, very different, detection techniques: a thin-film superconductor-based detector at UVSOR, and a spectrally-encoded electro-optic detection technique at SOLEIL. These new available experimental observations have allowed severe comparisons with the theoretical models.