Cette thèse considère quatre systèmes physiques complexes pour lesquels il est exceptionnellement possible d’identifier des variables lentes qui contrôlent l'évolution à temps long du système complet. La séparation d'échelle de temps entre ces variables lentes et les autres variables permet d'utiliser la technique de moyennisation stochastique pour obtenir une dynamique effective pour les variables lentes. Cette thèse considère la possibilité de prédire les événements rares dans le système solaire. Nous avons étudié deux types d’événements rares. Le premier est un renversement possible de l'axe de rotation de la Terre en l'absence des effets de marée de la Lune. Le second est la désintégration de l'ensemble du système solaire interne suite à une instabilité dans l'orbite de Mercure. Pour chacun des deux problèmes, il existe des variables lentes non triviales, qui ne sont pas données par des variables physiques naturelles. La moyennisation stochastique a permis de découvrir le mécanisme physique qui conduit à ces événements rares et de donner, par une approche purement théorique, l'ordre de grandeur de la probabilité de ces phénomènes. Nous avons également montré que la déstabilisation de Mercure sur un temps inférieur à l'âge du système solaire obéit à un mécanisme d'instanton bien décrit par la théorie des grandes déviations. Le travail effectué dans cette thèse ouvre donc un nouveau champ d'action pour l'utilisation d'algorithmes de calcul d'événements rares. Nous avons utilisé pour la première fois les théorèmes de moyennisation stochastique dans le cadre de la mécanique céleste pour quantifier l'effet stochastique des astéroïdes sur la trajectoire des planètes. Enfin, une partie du travail porte sur un problème de turbulence géophysique: dans l'atmosphère de Jupiter, on peut observer des structures zonales (jets) à grande échelles évoluant beaucoup plus lentement que les tourbillons environnants. Nous montrons qu'il est pour la première fois possible d'obtenir explicitement le profil de ces jets par moyennisation des degrés de liberté turbulents rapides. / The present thesis describes four complex dynamical systems. In each system, the long-term behavior is controlled by a few number of slow variables that can be clearly identified. We show that in the limit of a large timescale separation between the slow variables and the other variables, stochastic averaging can be performed and leads to an effective dynamics for the set of slow variables. This thesis also deals with rare events predictions in the solar system. We consider two possible rare events. The first one is a very large variation of the spin axis orientation of a Moonless Earth. The second one is the disintegration of the inner solar system because of an instability in Mercury’s orbit. Both systems are controlled by non-trivial slow variables that are not given by simple physical quantities. Stochastic averaging has led to the discovery of the mechanism leading to those rare events and gives theoretical bases to compute the rare events probabilities. We also show that Mercury’s short-term destabilizations (compared to the age of the solar system) follow an instanton mechanism, and can be predicted using large deviation theory. The special algorithms devoted to the computation of rare event probabilities can thus find surprising applications in the field of celestial mechanics. We have used for the first time stochastic averaging in the field of celestial mechanics to give a relevant orders of magnitude for the long-term perturbation of planetary orbits by asteroids. A part of the work is about geophysical fluid mechanics. In Jupiter atmosphere, large scale structures (jets) can be observed, the typical time of evolution of which is much larger than that of the surrounding turbulence. We show for the first time that the mean wind velocity can be obtained explicitly by averaging the fast turbulent degrees of freedom.

Au moins 20% des étoiles de la séquence principale abritent des disques de débris, analogues à la ceinture de Kuiper. Ces disques sont la preuve que l'accumulation de solides a au moins permis la formation de corps de taille kilométrique. Il n'est donc pas surprenant que plusieurs de ces disques soient accompagnés de planètes, qui, en laissant leur empreinte dynamique sur la structure spatiale de ces disques, révèlent leur présence. Par conséquent, la détection d'un disque de débris excentrique entourant Zeta² Ret par le télescope spatial Herschel indique la présence d'un perturbateur massif dans ce système. Zeta² Ret étant un système mature, âgé de 2-3 Gyr, et en ce sens, analogue à notre propre système solaire, il offre un exemple différent d'évolution dynamique à long terme. Cette thèse comprend une modélisation détaillée de la structure du disque de débris de Zeta² Ret, ce qui conduit à des contraintes sur la masse et l'orbite du perturbateur suspecté. Cette étude révèle également que les structures excentriques dans les disques de débris peuvent survivre sur des échelles de temps Gyr.La modélisation de disques de débris peut permettre la découverte postérieure de planètes comme c'est le cas pour le système de Fomalhaut. La forme excentrique de son disque de débris fut d'abord attribuée à Fom b, un compagnon détecté près du bord interne du disque, mais qui se révèle finalement trop excentrique (e~0.6-0.9) pour lui donner sa forme, indiquant la présence d'un autre corps massif, Fom c. Le système planétaire qui en résulte est très instable, ce qui implique une diffusion récente de Fom b sur son orbite actuelle, éventuellement par Fom c. L'étude de ce scénario révèle qu'en ayant résidé dans une résonance de moyen-mouvement interne avec une Fom c excentrique et de masse comparable à Neptune ou Saturne, Fom b aurait subi une augmentation progressive de son excentricité sur des périodes comparables à l'âge du système (~440 Myr), ce qui l'aurait amenée assez proche de Fom c pour subir une diffusion récente, qui, complétée par une évolution séculaire avec Fom c, explique sa configuration orbitale actuelle. Ce mécanisme en trois étapes pourrait également avoir généré d'importantes quantités de matériel en orbites très excentriques, ce qui en retour pourrait alimenter en poussière les parties internes du système. Par conséquent, ce mécanisme pourrait aussi expliquer la présence de ceintures de poussières internes dans le système de Fomalhaut, mais aussi la découverte d'une importante population de ceintures de poussières chaudes et massives dans les systèmes âgés de plus de 100 Myr.Les systèmes planétaires découverts jusqu'ici présentent une grande variété d'architectures, et notre système solaire est loin d'être un modèle générique. Un des principaux mécanismes déterminant la morphologie d'un système planétaire est la migration planétaire. On attend d'un compagnon stellaire - ce que notre système solaire ne possède pas - qu'il affecte les conditions de migration planétaire, et conduise potentiellement à la formation de systèmes planétaires très différents. Ce phénomène est évidemment non négligeable puisque les systèmes binaires représentent au moins la moitié des systèmes stellaires. Dans les systèmes planétaires matures, la migration planétaire peut se produire suite à l'interaction avec le matériel solide et l'impact de la binarité sur cette migration tardive est exploré dans cette thèse. Un compagnon circumstellaire pourrait inverser la tendance à la migration interne des planètes dans les systèmes stellaires simples, et rapprocher ces planètes des régions perturbées par le compagnon binaire, où elles ne pourraient pas s'être formées in situ. Cela pourrait fournir une explication à la présence de planètes qui présentent des signes de migration externe vers un compagnon circumstellaire dans les systèmes de Gamma Cephei et HD 196885. / At least 20% of Main-Sequence stars are known to harbor debris disks analogs to the Kuiper Belt. These disks are proof that the accretion of solids has permitted the formation of at least km-sized bodies. It is thus not surprising that several of these disks are accompanied by planets, which may reveal themselves by setting their dynamical imprints on the spatial structure of debris disks. Therefore, the detection of an eccentric debris disk surrounding Zeta² Ret by the Herschel space telescope provides evidence for the presence of a massive perturber in this system.Zeta² Ret being a mature Gyr-old system, and in that sense, analogous to our own Solar System, it offers a different example of long-term dynamical evolution. This thesis includes a detailed modeling of the structure of the debris disk of Zeta² Ret, which leads to constraints on the mass and orbital characteristics of the putative perturber. This study also reveals that eccentric structures in debris disks can survive on Gyr timescales.Detailed modeling of the structure of debris disks can allow the posterior discovery of hidden planets as is the case for the Fomalhaut system. The eccentric shape of the debris disk observed around this star was first attributed to Fom b, a companion detected near the belt inner-edge, which revealed to be highly eccentric (e~0.6-0.9), and thus very unlikely shaping the belt. This hints at the presence of another massive body in this system, Fom c, which drives the debris disk shape. The resulting planetary system is highly unstable, which involves a recent scattering of Fom b on its current orbit, potentially with the yet undetected Fom c. This scenario is investigated in this thesis and its study reveals that by having resided in inner mean-motion resonance with a Neptune or Saturn-mass belt-shaping eccentric Fom c and therefore have suffered a gradual resonant eccentricity increase on timescales comparable to the age of the system (~440 Myr), Fom b could have been brought close enough to Fom c and suffered a recent scattering event, which, complemented by a secular evolution with Fom c, explains its current orbital configuration. This three-step scenario also implies that significant amounts of material may have been set on extremely eccentric orbits such as this of Fom b through this mechanism, which in return could feed in dust the inner parts of the system. Therefore, this mechanism may also explain the presence of inner dust belts in the Fomalhaut system, but also the discovery a significant population of very bright hot dust belts in systems older than 100 Myr.The planetary systems discovered so far exhibit a great variety of architectures, and our solar system is far from being a generic model. One of the main mechanism that determines a planetary system morphology is planetary migration. The presence of a stellar binary companion - which our solar system is deprived of - is expected to affect planetary migration conditions, and potentially lead to the formation of very different planetary systems. This phenomenon is obviously non-negligible since binary systems represent at least half of stellar systems. At late stages of planetary systems formation, planetary migration may occur as the result of interactions with remaining solid planetesimals and the impact of binarity on this planetesimal-driven migration is explored in this thesis. A stellar binary companion may in fact reverse the tendency for planets in single star systems to migrate inwards, and bring them closer to regions perturbed by the binary companion, where they could not have formed in situ. This may give an explanation for the presence of planets which present signs of outward migration towards a circumstellar companion in the Gamma Cephei and HD 196885 systems.