Cette thèse porte sur l'instabilité elliptique des écoulements en rotation. Deux exemples d'application ont été envisagés : l'écoulement dans un sillage d'avion et la dynamique du noyau liquide de certaines planètes. Dans le sillage lointain d'un avion, l'écoulement consiste en deux tourbillons contra-rotatifs. Chaque tourbillon induit un champ de contrainte qui déforme l'autre tourbillon et entraîne sa déstabilisation. Les caractéristiques de cette instabilité sont analysées d'un point de vue théorique et numérique pour différents profils de tourbillon quand un jet axial est présent dans leur cœur. Le deuxième exemple porte sur la stabilité d'écoulement en rotation dans une sphère déformée en ellipsoïde. La déformation elliptique modélise un effet de marée sur le noyau liquide d'une planète. Les propriétés de stabilité de l'écoulement ont été obtenues par méthodes expérimentale et théorique. Un bon accord a été mis en évidence.