La formation des structures dans l'univers demeure une des interrogations majeures en cosmologie. La croissance des structures dans le régime linéaire, où l'amplitude des fluctuations est faible, est bien comprise analytiquement, mais les simulations numériques à N-corps restent l'outil principal pour sonder le régime "non-linéaire" où ces fluctuations sont grandes. Nous abordons cette question d'un point de vue différent de ceux utilisés couramment en cosmologie, celui de la physique statistique et plus particulièrement celui de la dynamique hors-équilibre des systèmes avec interaction à longue portée. Nous étudions une classe particulière de modèles 1-d qui présentent une évolution similaire à celle rencontrée dans les modèles 3-d. Nous montrons que le clustering spatial qui se développe présente des propriétés (fractales) d'invariance d'échelles, et que des propriétés d'auto-similarité apparaissent lors de l'évolution temporelle. D'autre part, les exposants caractérisant cette invariance d'échelle peuvent être expliqués par l'hypothèse du "stable-clustering". En suivant une analyse de type halos sélectionnés par un algorithme "friend-of-friend", nous montrons que le clustering non-linéaire de ces modèles 1-d correspond au développement d'une éhiérarchie fractale statistiquement viriélisée". Nous terminons par une étude formalisant ue classification des interactions basée sur des propriétés de convergence de la force agissant sur une particule en fonction de la taille du système, plutôt que sur les propriétés de convergence de l'énergie potentielle, habituellement considérée en physique statistique des systèmes avec interaction à longue portée.

Un grand nombre de systèmes physiques sont le siège d'interactions à longue portée : systèmes auto gravitants, plasmas, interactions entre vortex... et partagent de ce fait certaines propriétés. Dans cette thèse, un autre type de système expérimental est envisagé : des atomes froids ; dans ce cas, ce sont les échanges de photons qui peuvent induire des interactions effectives à longue portée. La dynamique de ces systèmes à longue portée est décrite sur une certaine échelle de temps par une équation de type Vlasov, ou Vlasov-Fokker-Planck. Le but de cette thèse est d'étudier le comportement hors équilibre de plusieurs systèmes de particules comportant en général des interactions à longue portée, d'un point de vue théorique, numérique et expérimental. Dans une première partie, nous étudions dans le cadre de l'équation de Vlasov la dynamique d'un système de particules au voisinage d'un état stationnaire inhomogène. Nous montrons que si un amortissement de type Landau apparaît aux temps courts, une relaxation vers un état stationnaire en loi de puissance domine toujours aux temps longs. Nous testons et validons ensuite nos prédictions par des simulations numériques du modèle HMF (archétype des systèmes à longue portée). Nous nous intéressons ensuite aux oscillations de respiration et du centre de masse d'un système de particules en interaction. En supposant une invariance de la forme de la distribution des particules, nous obtenons deux équations qui décrivent approximativement l'évolution de ces modes pour une grande gamme de systèmes (longue/courte portée, avec/sans thermostat, ...). Pour finir, nous présentons l'utilisation des résultats précédemment obtenus pour explorer un régime d'instabilité dans un piège magnéto-optique, et la possible existence de l'analogue d'un régime auto-gravitant 1d.