Ce document présente mon travail sur la dynamique transverse et longitudinale non linéaire d'un faisceau d'électrons dans ThomX, une nouvelle source de rayons X basée sur la rétrodiffusion Compton. Au cours de ce travail j'ai développé un code de simulation contenant les modèles théoriques pour calculer la dynamique non linéaire transverse et longitudinale sous l'influence de rétrodiffusion Compton. Les processus étudiés incluent les effets collectifs tels que la force de charge d'espace longitudinale, les effets de la résistivité des parois, le rayonnement synchrotron cohérent et la diffusion interne au faisceau. J'ai aussi simulé un algorithme de boucle de rétroaction longitudinale et étudié l'effet de la latence de la boucle dans les simulations pour comprendre son effet sur la dynamique du faisceau. Ce code permet d'effectuer une simulation complète en 6 dimensions de la dynamique d'un faisceau dans un anneau sous l'effet de rétrodiffusion Compton en prenant en compte la stabilisation par boucle de rétroaction pour les 400 000 tours (~ 20ms) d'un cycle d'injection. L'une des fonctionnalités importantes de ce code est qu'il peut être exécuté sur une ferme d'ordinateurs. En utilisant ce code j'ai étudié la dynamique des électrons dans ThomX et le flux de photons Compton diffusés. J'ai analysé la contribution relative de chaque phénomène physique à la dynamique globale du faisceau et comment minimiser leurs effets disruptifs. Dans le cadre de mon travail sur la boucle de rétroaction sur la phase longitudinale j'ai aussi mesuré et analysé les propriétés de la cavité RF ELETTRA à utiliser sur ThomX. / This thesis introduce my work on transverse and longitudinal non linear dynamics of an electron beam in ThomX, a novel X-ray source based on Compton backscattering. In this work I implemented in simulation code theoretical models to calculate transverse and longitudinal non linear dynamics under Compton back scattering. The processes studied include collective effect such as longitudinal space charge, resistive wall and coherent synchrotron radiation, intra beam scattering. I also implemented a longitudinal feedback algorithm and studied the effect of the feedback’s delay in the simulation to explore its effects on beam dynamics. This code allows to perform a full 6D simulation of the beam dynamics in a ring under Compton back scattering taking into account the feedback stabilisation for the 400 000 turns (~ 20 ms) of one injection cycle. One important feature is that this simulation code can be run on a computer farm. Using this code I investigated the electrons dynamics in ThomX and the flux of scattered Compton photons. I analysed the relative contribution of each physical phenomena to the overall beam dynamics and how to mitigate their disruptive effect. As part of my work on longitudinal phase feedback I also measured and analysed properties of the ELETTRA RF cavity to be used on ThomX.