Améliorer la représentation de la couche limite stable constitue un des grands challenges de la prévision numérique du temps et du climat. Sa représentation est clé pour la prévision du brouillard, du gel des surfaces, des inversions de température, du jet de basse couche et des épisodes de pollution. De plus, à l'échelle climatique, la hausse de la température moyenne globale de l'air en surface impacte davantage les régions polaires : améliorer la représentation de la couche limite stable est un enjeu important pour réduire les incertitudes autour des projections climatiques. Depuis une quinzaine d'années, les exercices d'intercomparaison de modèles GABLS ont montré que le mélange turbulent dans la couche limite stable est généralement surestimé par les modèles de prévision du temps. En effet, de nombreux modèles intensifient artificiellement l'activité de leur schéma de turbulence afin d'éviter une décroissance inévitable du mélange lorsque la stabilité dépasse un seuil critique en terme de nombre de Richardson gradient. Ce problème numérique et théorique n'est pas en accord avec de nombreuses observations et simulations à haute résolution qui montrent une activité turbulente séparée en deux régimes : un régime faiblement stable dans lequel l'atmosphère est turbulente de manière continue et intense, et un régime très stable dans lequel la turbulence est très intermittente, anisotrope et faible en intensité. Ces travaux de thèse s'articulent autour de deux parties dont l'objectif principal est d'améliorer la paramétrisation de la turbulence dans le modèle atmosphérique de recherche Méso-NH développé conjointement par Météo-France et le Laboratoire d'Aérologie, et dans le modèle opérationnel AROME. Cette étude utilise une méthodologie communément employée dans le développement de paramétrisations qui consiste à comparer des simulations à très haute résolution qui résolvent les structures turbulentes les plus énergétiques (LES) à des simulations uni-colonnes d'un modèle méso-échelle. Plusieurs simulations 3D couvrant différents régimes de stabilité de l'atmosphère sont réalisées avec Méso-NH. Les limites du modèle LES en stratification stable sont documentées. Une première partie répond à la problématique de la surestimation du mélange dans le régime faiblement stable. Une expression originale pour la longueur de mélange est formulée. La longueur de mélange est un paramètre clé pour les schémas de turbulence associés à une équation pronostique pour l'énergie cinétique turbulente. Cette longueur de mélange non-locale combine un terme de cisaillement vertical du vent horizontal à une formulation existante qui repose sur la flottabilité. Le nouveau schéma est évalué dans des simulations 1D par rapport aux LES d'une part ; et dans le modèle opérationnel AROME par rapport aux observations de l'ensemble du réseau opérationnel de Météo-France d'autre part. Une deuxième partie apporte des éléments d'évaluation d'un schéma combinant deux équations pronostiques pour les énergies cinétiques et potentielles turbulentes. En condition stable, le flux de chaleur négatif contribue à la production d'énergie potentielle turbulente. L'interaction entre les deux équations d'évolution permet, via une meilleure prise en compte de l'anisotropie et d'un terme à contre gradient dans le flux de chaleur, de limiter la destruction de l'énergie turbulente dans les modèles. Dans les cas simulés, cette nouvelle formulation ne montre pas un meilleur comportement par rapport à un schéma à une équation pour l'énergie cinétique turbulente car le mécanisme d'auto-préservation n'est pas dominant par rapport au terme de dissipation. Il conviendra d'améliorer la paramétrisation du terme de dissipation dans le régime très stable. / The modeling of the stable atmospheric boundary layer is one of the current challenge faced by weather and climate models. The stable boundary layer is a key for the prediction of fog, surface frost, temperature inversion, low-level jet and pollution peaks. Furthermore, polar regions, where stable boundary layer predominates, are one of the region with the largest temperature rise : the stable boundary layer modeling is crucial for the reduction of the spread of climate predictions. Since more than 15 years, the GABLS models intercomparison exercices have shown that turbulent mixing in the stable boundary layer is overestimated by numerical weather prediction models. Numerous models artificially strengthen the activity of their turbulence scheme to avoid a laminarization of the flow at a critical value of the gradient Richardson number. The existence of this threshold is only a theoretical and a numerical issues. Numerous observations and high-resolution numerical simulations do not support this concept and show two different regimes : the weakly stable boundary layer that is continuously and strongly turbulent; and the very stable boundary layer globally intermittent with a highly anisotropic and very weak turbulence. This thesis aims at improving the turbulence scheme within the atmospheric research model Méso-NH developped by Météo-France and the Laboratoire d'Aérologie, and the operational weather forecast model AROME. We use a traditional methodology based on the comparison of high-resolution simulations that dynamically resolve the most energetic turbulent eddies (Large-Eddy Simulations) to single-column simulations. Several LES covering the weakly and the very stable boundary layer were performed with Méso-NH. The limits of applicability of LES in stratified conditions are documented. The first part of the study deals with the overmixing in the weakly stable boundary layer. We propose a new diagnostic formulation for the mixing length which is a key parameter for turbulence schemes based on a prognostic equation for the turbulent kinetic energy. The new formulation adds a local vertical wind shear term to a non-local buoyancy-based mixing length currently used in Méso-NH and in the French operational model AROME. The new scheme is evaluated first in single-column simulations with Méso-NH and compared to LES, and then in the AROME model with respect to observations collected from the operational network of Météo-France. The second part presents a theoretical and numerical evaluation of a turbulence scheme based on two prognostic equations for the turbulent kinetic and potentiel energies. In stratified conditions, the heat flux contributes to the production of turbulent potential energy. The laminarization of the flow is then limited by a reduction of the destruction of the turbulent kinetic energy by a better representation of the anisotropy and a counter-gradient term in the heat flux. On the simulated cases, this new formulation behaves similarly than the scheme with one equation for the turbulent kinetic energy because the self-preservation mechanism is not dominant compared to the dissipation term. Further research should improve the turbulent kinetic energy dissipation closure in the very stable regime.