Les écoulements atmosphériques et océaniques sont habituellement séparés en une partie lente, proche de l'équilibre géostrophique, et une partie rapide qui interagissent faiblement. Les instabilités agéostrophiques procurent néanmoins un mécanisme capable de coupler les mouvements équilibrés et non-équilibrés. L'étude de tels mécanismes dans cette thèse est d'abord effectuée par des études systématiques de stabilité linéaire dans le modèle de l'eau peu profonde. L'instabilité de Rossby-Kelvin (RK), issue du couplage barocline d'une onde de Rossby (équilibrée) et d'une onde de Kelvin ou de Poincaré (non-équilibrées), est mise en évidence dans un canal. Ces résultats sont étendus à un anneau en géométrie cylindrique et montrent que dans les configurations proches des dispositifs expérimentaux il peut y avoir une compétition entre l'instabilité RK et l'instabilité barocline classique. Les instabilités des courants côtiers, caractérisés par la présence d'un bord vertical et d'un "outcropping", sont ensuite étudiées de manière exhaustive. Les instabilités dues à l'interaction d'un mode frontal et d'une onde de Kelvin (KF) ou d'une onde de Rossby (RF) sont mises en évidence. Le développement non-linéaire de ces instabilités est étudié dans le modèle de l'eau peu profonde par une méthode numérique aux volumes finis et dans un fluide continument stratifié à l'aide d'un modèle méso-échelle. Ces simulations montrent que les instabilités RK et KF ont un développement non-linéaire marqué par une croissance à amplitude finie et une saturation. Le déferlement de l'onde de Kelvin conduit alors à la formation d'un front de Kelvin, zone localisée de mélange et de dissipation, à l'émission d'ondes d'inertie-gravité et à la réorganisation de l'écoulement moyen. Dans le cas des courants côtiers cette réorganisation est suivie du développement d'une instabilité secondaire qui conduit à la formation et au détachement de vortex.