Cette thèse est composée de trois parties. Dans la première, nous considérons un système d'équations Reynolds Averaged Navier-Stokes en 3D, modélisant le couplage de deux fluides turbulents ( par exemple, océan/atmosphére). Nous proposons un schéma numérique, et nous montrons sa convergence vers l'unique solution du modèle.<br />La seconde partie est consacrée à une extension des méthodes spectrales dans des géométries complexes. Cette nouvelle méthode s'appuie sur deux idées: traitement des conditions aux limites de Dirichlet par pénalisation, en suivant la méthode de Nitsche, et une approximation de la géométrie par des pavés, en utilisant une octree (par exemple). <br />Nous donnons des erreurs de projection polyômiale et des estimations a priori. <br />Enfin, la dernière partie est consacrée au calucl scientifique où on a implémenté en C++ et validé cette méthode dans le logiciel FreeFem3d.