Dans cette thèse, nous introduisons un nouveau modèle instationnaire de vagues valable de la zone de levée à la zone de jet de rive adapté à l'étude de la submersion. Le modèle est basé sur les équations de Serre Green-Naghdi (S-GN), dont l'application à la zone de surf reste un domaine de recherche ouvert. Nous proposons une nouvelle approche pour gérer le déferlement dans ce type de modèle, basée sur la représentation des fronts déferlés par des chocs. Cette approche a été utilisée avec succès pour les modèles basés sur les équations de Saint-Venant (SV) et permet une description simple et efficace du déferlement et des mouvements de la ligne d'eau. Dans ces travaux, nous cherchons à étendre le domaine de validité du modèle SV SURF-WB (Marche et al. 2007) vers la zone de levée en incluant les termes dispersifs propres aux équations de S-GN. Des basculements locaux vers les équations de SV au niveau des fronts permettent alors aux vagues de déferler et dissiper leur énergie. Le modèle obtenu, appelé SURF-GN, est validé à l'aide de données de laboratoire correspondant à différents types de vagues incidentes et de plages. Il est ensuite utilisé pour analyser la dynamique des fronts d'ondes longues de type tsunami en zone littorale. Nous montrons que SURF-GN peut décrire les différents types de fronts, d'ondulé non-déferlé à purement déferlé. Les conséquences de la transformation d'une onde de type tsunami en train d'ondulations lors de la propagation sur une plage sont ensuite considérées. Nous présentons finalement une étude de la célérité des vagues déferlées, basée sur les données de la campagne de mesure in-situ ECORS Truc-Vert 2008. L'influence des non-linéarités est en particulier quantifiée. / In this thesis, we introduce a new numerical model able to describe wave transformation from the shoaling to the swash zones, including overtopping. This model is based on Serre Green-Naghdi equations, which are the basic fully nonlinear Boussinesq-type equations. These equations can accurately describe wave dynamics prior to breaking, but their application to the surf zone usually requires the use of complex parameterizations. We propose a new approach to describe wave breaking in S-GN models, based on the representation of breaking wave fronts as shocks. This method has been successfully applied to the Nonlinear Shallow Water (NSW) equations, and allows for an easy treatment of wave breaking and shoreline motions. However, the NSW equations can only be applied after breaking. In this thesis, we aim at extending the validity domain of the NSW model SURF-WB (Marche et al. 2007) to the shoaling zone by adding the S-GN dispersive terms to the governing equations. Local switches to NSW equations are then performed in the vicinity of the breaking fronts, allowing for the waves to break and dissipate their energy. Extensive validations using laboratory data are presented. The new model, called SURF-GN, is then applied to study tsunami-like undular bore dynamics in the nearshore. The model ability to describe bore dynamics for a large range of Froude number is first demonstrated, and the effects of the bore transformation on wave run-up over a sloping beach are considered. We finally present an in-situ study of broken wave celerity, based on the ECORS-Truc Vert 2008 field experiment. In particular, we quantify the effects of non-linearities and evaluate the predictive ability of several non-linear celerity models.