La propagation des vagues est un phénomène complexe. La simulation directe de ce phénomène à l'aide des équations d'Euler ou de Navier Stokes à surface libre sont complexes et très coûteuses numériquement. Si certains phénomènes aux grandes échelles sont bien décrits par des modèles réduits plus simples à simuler numériquement, des modèles plus avancés sont nécessaires pour décrire des échelles plus fines. La première partie de cette thèse est consacrée aux modèles prenant en compte les effets de vorticité. Deux modèles moyennés sur la profondeur sont dérivés sous l'hypothèse d'eau peu profonde. Le premier concerne la propagation des ondes de surface et des ondes internes dans le cadre d'un système de deux fluides non miscibles. Le deuxième est un modèle de propagation des ondes côtières. Les effets turbulents sont pris en compte à travers l'équation de vorticité. Un algorithme numérique est construit pour la validation du second modèle et des comparaisons avec des résultats expérimentaux sont proposées. Dans la deuxième partie on s'intéresse à l'étude des conditions aux limites. Les problèmes initialement posés dans l'espace infini demandent des conditions aux limites spéciales pour le traitement numérique. On s'intéresse ici au cas des équations de Green-Naghdi. Dans un premier temps, des conditions aux limites transparentes sont dérivées, et des validations numériques sont proposées. Les tests montrent que des conditions aux limites similaires peuvent s'appliquer pour des ondes rentrantes. Dans un deuxième temps, on considère une technique de relaxation pour un système Green-Naghdi mis sous forme d'un système hyperbolique. En particulier, ce formalisme nous permet d'appliquer la technique de Perfect Mached Layers (PML) pour traiter les ondes sortantes et rentrantes. / Water waves propagation is a complex physical process. The direct numerical simulation using Navier-Stokes/Euler equations is a time-consuming and mathematically complicated solution. A good description of large-scale phenomena can be obtained by using relatively simple approximate models. However, if we are interested in a precise description of wave profiles, advanced modelling approaches are required. Once the model is derived, it needs to be solved numerically, and one faces another kind of challenges related to numerical simulations. The first part of the present thesis is devoted to the modelling of surface and internal ocean waves propagation, including dispersive effect and dynamics of the vorticity. In the framework of shallow water hypothesis, two models are derived. Both models involve additional equations for the vorticity evolution. To include the internal waves propagation, first, we consider a system of two immiscible fluids with constant densities. It represents a simple model of the ocean where the upper layer corresponds to the (thin) layer of fluid above the thermocline whereas the lower layer is under the thermocline. The second model includes a surf zone phenomenon. Shearing and turbulence effects in breaking waves are taken into account by a vorticity generation. Both models are governed by dispersive systems and reduce to a classical Green-Naghdi model in the case of vanishing vorticity. Additionally, an algorithm for the numerical resolution of the second model is proposed, and the validation by experimental results is performed. When dispersive/non-hydrostatic effects are taken into account, this usually leads to more accurate models of wave propagation like Green-Naghdi equations, or the two models derived in the first part, for example. The counterpart is that such a type of models requires advanced numerical techniques. In particular, one of the main issues is to define boundary conditions allowing the simulation of wave propagation in infinite physical space but on bounded numerical domains. In the second part of the present research, we focus on a definition of such boundary conditions for the Green-Naghdi equations. Artificial boundary conditions are first proposed for the linearised system. Then we address a hyperbolic system recently proposed to approximate the Green-Naghdi equations. A relatively simple structure of this new hyperbolic system allows for successful applications of Perfect Matched Layer (PML) techniques in order to deal with artificial numerical boundaries. Numerical tests are performed to validate the proposed approaches. In result, we have a correct description of numerical boundaries for non-linear cases. We have shown that the PML equations can be applied to the nonlinear system. Both approaches are then reformulated to solve the problem of injecting propagating waves in a computational domain.