Au cours de cette thèse, un modèle potentiel résolvant les équations d’Euler-Zakharov a été développé dans le but de simuler la propagation de vagues et d’états de mer irréguliers et multi-directionnels, du large jusqu’à la côte, sur des bathymétries variables. L’objectif est de représenter les effets non-linéaires et dispersifs le plus précisément possible pour des domainescôtiers bidimensionnels (dans le plan horizontal) de l’ordre de quelques kilomètres.La version 1DH initiale du modèle, résolvant le problème aux limites de Laplace à l’aide de schémas aux différences finies d’ordre élevé dans la direction horizontale combinés à une approche spectrale sur la verticale, a été améliorée et validée. L’implémentation de conditions aux limites de type Dirichlet et Neumann pour générer des vagues dans le domaine a été étudiée en détail. Dans la pratique, une zone de relaxation a été utilisée en complément deces conditions pour améliorer la stabilité du modèle.L’expression analytique de la relation de dispersion a été établie dans le cas d’un fond plat. Son analyse a montré que la représentation des effets dispersifs s’améliorait significativement avec l’augmentation de la résolution sur la direction verticale (i.e. avec le degré maximal de la basede polynômes de Tchebyshev utilisée pour projeter le potentiel des vitesses sur la verticale).Une étude de convergence menée pour des ondes solitaires modérément à fortement non-linéaires a confirmé la convergence exponentielle avec la résolution verticale grâce à l’approche spectrale, ainsi que les convergences algébriques en temps et en espace sur l’horizontale avec des ordres d’environ 4 (ou plus) en accord avec les schémas numériques utilisés.La comparaison des résultats du modèle à plusieurs jeux de données expérimentales a démontré les capacités du modèle à représenter les effets non-linéaires induits par les variations de bathymétrie, notamment les transferts d’énergie entre les composantes harmoniques, ainsi que la représentation précise des propriétés dispersives. Une formulation visco-potentielle a également été implémentée afin de prendre en compte les effets visqueux induits par la dissipation interne et le frottement sur le fond. Cette formulation a été validée dans le cas d’une faible viscosité avec un fond plat ou présentant une faible pente.Dans le but de représenter des champs de vagues 2DH, le modèle a été étendu en utilisant une discrétisation non-structurée (par nuage de points) du plan horizontal. Les dérivées horizontales ont été estimées à l’aide de la méthode RBF-FD (Radial Basis Function-Finite Difference), en conservant l’approche spectrale sur la verticale. Une étude numérique de sensibilité a été menée afin d’évaluer la robustesse de la méthode RBF-FD, en comparant différents types de RBFs, avec ou sans paramètre de forme et l’ajout éventuel d’un polynôme. La version 2DH du modèle a été utilisée pour simuler deux expériences en bassin, validant ainsi l’approche choisie et démontrant son applicabilité pour simuler la propagation 3D des vagues faisant intervenir des effets non-linéaires. Dans le but de réduire le temps de calcul et de pouvoir appliquer le code à des simulations sur de grands domaines, le code a été modifié pour utiliser le solveur linéaire direct en mode parallèle / In this work, a potential flow model based on the Euler-Zakharov equations was developed with the objective of simulating the propagation of irregular and multidirectional sea states from deep water conditions to the coast over variable bathymetry. A highly accurate representation of nonlinear and dispersive effects for bidimensional (2DH) nearshore and coastal domains on the order of kilometers is targeted.The preexisting 1DH version of the model, resolving the Laplace Boundary Value problem using a combination of high-order finite difference schemes in the horizontal direction and a spectral approach in the vertical direction, was improved and validated. The generation of incident waves through the implementation of specific Dirichlet and Neumann boundary conditions was studied in detail. In practice, these conditions were used in combination witha relaxation zone to improve the stability of the model.The linear dispersion relation of the model was derived analytically for the flat bottom case. Its analysis showed that the accuracy of the representation of dispersive effects improves significantly by increasing the vertical resolution (i.e. the maximum degree of the Chebyshev polynomial basis used to project the potential in the vertical). A convergence study conducted for moderate to highly nonlinear solitary waves confirmed the exponential convergence in the vertical dimension owing to the spectral approach, and the algebraic convergence in time and in space (horizontal dimension) with orders of about 4 (or higher) in agreement with the numerical schemes used.The capability of the model to represent nonlinear effects induced by variable bathymetry, such as the transfer of energy between harmonic components, as well as the accurate representation of dispersive properties, were demonstrated with comparisons to several experimental data sets. A visco-potential flow formulation was also implemented to take into account viscous effects induced by bulk viscosity and bottom friction. This formulation was validated inthe limit of small viscosity for mild slope bathymetries.To represent 2DH wave fields in complex nearshore domains, the model was extended using an unstructured discretization (scattered nodes) in the horizontal plane. The horizontal derivatives were estimated using the RBF-FD (Radial Basis Function - Finite Difference) method, while the spectral approach in the vertical remained unchanged. A series of sensitivity tests were conducted to evaluate numerically the robustness of the RBF-FD method, including a comparison of a variety of RBFs with or without shape factors and augmented polynomials. The 2DH version of the model was used to simulate two wave basin experiments, validating the approach and demonstrating the applicability of this method for 3D wave propagation, including nonlinear effects. As an initial attempt to improve the computational efficiency ofthe model for running simulations of large spatial domains, the code was adapted to use a parallelized direct linear solver