Over the last decades, there has been considerable attention in the accurate mathematical modeling and numerical simulations of free surface wave propagation in near-shore environments. A physical correct description of the large scale phenomena, which take place in the shallow water region, must account for strong nonlinear and dispersive effects, along with the interaction with complex topographies. First, a study on the behavior in nonlinear regime of different Boussinesq-type models is proposed, showing the advantage of using fully-nonlinear models with respect to weakly-nonlinear and weakly dispersive models (commonly employed). Secondly, a new flexible strategy for solving the fully-nonlinear and weakly-dispersive Green-Naghdi equations is presented, which allows to enhance an existing shallow water code by simply adding an algebraic term to the momentum balance and is particularly adapted for the use of hybrid techniques for wave breaking. Moreover, the first discretization of the Green-Naghdi equations on unstructured meshes is proposed via hybrid finite volume/ finite element schemes. Finally, the models and the methods developed in the thesis are deployed to study the physical problem of bore formation in convergent alluvial estuary, providing the first characterization of natural estuaries in terms of bore inception. / Ces dernières décennies, une attention particulière a été portée sur la modélisation mathématique et la simulation numérique de la propagation de vagues en environnements côtiers. Une description physiquement correcte des phénomènes à grande échelle, qui apparaissent dans les régions d'eau peu profonde, doit prendre en compte de forts effets non-linéaires et dispersifs, ainsi que l'interaction avec des bathymétries complexes. Dans un premier temps, une étude du comportement en régime non linéaire de différents modèles de type Boussinesq est proposée, démontrant l'avantage d'utiliser des modèles fortement non-linéaires par rapport à des modèles faiblement non-linéaires et faiblement dispersifs (couramment utilisés). Ensuite, une nouvelle approche flexible pour résoudre les équations fortement non-linéaires et faiblement dispersives de Green-Naghdi est présentée. Cette stratégie permet d'améliorer un code "shallow water" existant par le simple ajout d'un terme algébrique dans l'équation du moment et est particulièrement adapté à l'utilisation de techniques hybrides pour le déferlement des vagues. De plus, la première discrétisation des équations de Green-Naghdi sur maillage non structuré est proposée via des schémas hybrides Volume Fini/Élément Fini. Finalement, les modèles et méthodes développés dans la thèse sont appliqués à l'étude du problème physique de la formation du mascaret dans des estuaires convergents et alluviaux. Cela a amené à la première caractérisation d'estuaire naturel en terme d'apparition de mascaret.