Les instabilités inertielles sont des instabilités fluides excitées au sein de modèles physiques simplifiés de planètes ou d'étoiles. Elles peuvent générer un champ magnétique dynamo. Ce sont donc des alternatives aux écoulements forcés par la convection thermo-chimique pour générer les champs magnétiques dans les noyaux liquides des planètes et les enveloppes fluides des étoiles. Cependant, ces modèles simplifiés questionnent la pertinence des résultats, qui sont ensuite extrapolés aux contextes géo- et astrophysique. D'un point de vue fondamental, de récentes études numériques et expérimentales, réalisées à grande ellipticité pour compenser l'importance des effets visqueux dans les modèles, semblent en désaccord avec les prédictions théoriques (valides dans la limite asymptotique d'une diffusion négligeable et à faible déformation). De plus, de nombreux effets physiques sont négligés dans les modèles. Par exemple, seules les orbites circulaires ont été considérées. Bien que généralement de faible amplitude, l'excentricité induit une dépendance temporelle dans le forçage orbital, ce qui pourrait générer de nouveaux phénomènes. Enfin, l'existence des instabilités inertielles dans les enveloppes fluides stablement stratifiées en densité, comme les zones radiatives des étoiles chaudes de masse intermédiaire (dont la masse est comprise entre une et huit masses solaires), reste incertaine. La génération de champs magnétiques dynamos dans ces enveloppes stratifiées permettrait de réconcilier les modèles avec les observations astronomiques. Lors de cette thèse, nous nous sommes attachés à rapprocher les modèles (théoriques, numériques ou expérimentaux) des contextes géo et astrophysique. Nous avons combiné les approches théoriques (analyses de stabilité locale et globale) et numériques (simulations non linéaires) afin d'étudier les effets des forc cages mécaniques de rotation dans un ellipsoïde fluide. Nous montrons que la dissipation en volume n'est en fait pas négligeable dans les expériences de laboratoire et les simulations numériques, contrairement aux régimes planétaires et stellaires. Nous montrons aussi que l’excentricité orbitale peut, via la variation temporelle des axes de l’ellipsoïde, générer des instabilités fluides pour dans une gamme de paramètres où elles n’étaient pas attendues. Enfin nous avons étudié la capacité dynamo de l'instabilité de marée, dans les enveloppes stablement stratifiées en densité des étoiles chaudes de masse intermédiaire. Environ 10~% de ces étoiles ont un champ magnétique de surface, dont l’origine reste énigmatique. Nous montrons que l’instabilité de marée peut générer des dynamos de grande échelle dans les enveloppes fluides stablement stratifiées. En particulier, ce mécanisme serait susceptible d’expliquer le champ magnétique de faible intensité des étoiles en rotation rapide similaires à Vega et déformées par un compagnon orbital. / Inertial instabilities are fluid instabilities excited by mechanical forcings (e.g. tides, precession) in fluid bodies (e.g. planetary liquid cores or stellar envelopes) orbited by celestial companions. The nonlinear outcome of these instabilities can drive self-sustained, dynamo magnetic fields. Thus they could be an alternative to thermo-chemical convection to generate magnetic fields in geophysics and astrophysics. These instabilities have only been studied in idealised models, which challenges the extrapolation towards the relevant regimes in geophysics and astrophysics. Recent laboratory and numerical studies, performed in the achievable range of parameters (i.e. large deformations and overestimated diffusive effects), seem apparently not in agreement with theoretical predictions representative of celestial fluid bodies (i.e. extremely small deformations and vanishing diffusive effects). Several physical ingredients have been also neglected, such as the orbital eccentricity. This could drive additional tidal effects, as a result of the time-dependent forcing. Similarly, density variations have been largely neglected in these models. However, rotationally powered magnetic fields in stably stratified stellar envelopes could reconcile astronomical observations with dynamo models. In this thesis we have adopted more realistic models, by combining theoretical tools (linear stability analyses in unbounded and bounded fluids enclosed in ellipsoids) and numerical ones (direct numerical simulations) to study rotationally driven inertial instabilities. We show, with a linear stability analysis in bounded ellipsoidal geometry, that bulk diffusion cannot be neglected emph{a priori} compared to the boundary layer diffusion in laboratory experiments and simulations. This phenomena is not expected in celestial fluid bodies. We also show that an orbital eccentricity could generate additional instabilities in deformed bodies, for orbital configurations which were believed to be linearly stable. Finally, we have studied the dynamo capability of tidal flows in stably stratified fluid envelopes. These are idealised models of hot, intermediate-mass stars (i.e. with a mass ranging from one to eight solar masses). Approximatively 10~% of hot stars exhibit observable magnetic fields. We show that the tidal instability can drive dynamo magnetic fields of large wavelength in stably stratified fluids. Predictions obtained with this tidal model seem consistent with the ultra-weak magnetism of rapidly rotating, tidally deformed Vega-like stars.