Les structures cohérentes sont fréquemment observées dans les écoulements océaniques et atmosphériques. A moyenne et grande échelle, ces structures sont souvent proches de l'équilibre géostrophique. Cependant, pour des nombres de Rossby plus grands, les effets agéostrophiques entrent en jeu et modifient leur dynamique. Les propriétés des structures cohérentes agéostrophiques sont étudiées dans cette thèse, principalement à l'aide de simulations numériques, dans des modèles conceptuels des écoulements océaniques et atmosphériques à grande et moyenne échelle : les modèles en eau peu profonde. L'instabilité de tourbillons intenses (tourbillons anticycloniques isolés et cyclones tropicaux) dans les modèles en eau peu profonde à une et deux couches est étudiée. L'impact des différents paramètres sur ces instabilités est quantifié, et des simulations numériques de leur saturation non linéaire permet de dégager l'importance des mouvements agéostrophiques associés. Dans un second temps, des structures quasi-stationnaires agéostrophiques sont obtenues numériquement dans les modèles à une et deux couches. Ces structures, consistant en des dipôles et tripôles de vorticité (barotropes ou baroclines) sont stables, et la circulation agéostrophique qui leur est associée n'entraîne pas d'émission d'ondes d'inertie-gravité. Enfin, la turbulence d'ondes et de tourbillons en déclin dans un modèle à une couche est étudiée. L'évolution de l'écoulement à partir de conditions initiales très différentes est discutée, notamment en ce qui concerne les propriétés agéostrophiques de l'écoulement, le couplage ondes-tourbillons et la sensibilité aux conditions initiales. / Coherent structures are ubiquitous features of atmospheric and oceanic flows. Their associated meso- and large scale circulation is in geostrophic equilibrium. However, at increasing Rossby numbers, ageostrophic effects may push the structures away from this equilibrium, and new types of instabilities can also disturb their dynamics. In this thesis, the properties of ageostrophic coherent structures are investigated, mainly by means of direct numerical simulations. This is done in the framework of simplified conceptual models of meso- and large scale oceanic and atmospheric flows, namely Rotating Shallow Water models. The instability of intense vortices (isolated anticyclonic vortices and tropical cyclones) in one-layer and two-layer shallow water models are studied. Direct numerical simulations of the nonlinear saturation of these instabilities allow us to study the properties of the ageostrophic part of the flow, such as the inertia-gravity wave emission and the formation of shocks. Then, quasi-stationary ageostrophic structures are obtained by means of numerical simulations in one-layer and two-layer models. It consists of vortex dipoles or tripoles, either baroclinic or barotropic, which are stable and whose ageostrophic component does not imply inertia-gravity waves emission. Finally, decaying vortex and wave turbulence is studied in the one-layer model. The evolution of the flow for very different initial conditions is discussed and we put the emphasis on the ageostrophic properties of the flow, the wave-vortex coupling and the sensitivity to initial conditions.