La spéciation peut être définie comme l’ensemble des processus conduisant à l’évolution de l’isolement reproducteur entre groupes d’individus. Ces dernières décennies, de nombreuses études ont souligné l’importance de la sélection naturelle comme processus majeur dans la formation de nouvelles espèces en conditions de sympatrie, notamment dans des modèles de spéciation écologique. Le chêne sessile (Quercus petraea (Matt.) Liebl.) et le chêne pédonculé (Q. robur L.) sont deux espèces sympatriques qui présentent de fortes divergences morphologiques et écologiques, malgré des taux d’hybridation naturelle estimés relativement importants. Cependant, très peu de données sont connues sur la nature et la force des barrières reproductives chez ces espèces. L’objectif de cette thèse était donc de caractériser ces barrières aux niveaux phénotypique et génétique, pour mieux comprendre leur importance relative, leur rôle dans le processus de divergence et leur évolution au sein de ce complexe d’espèces. Une première approche basée sur la réalisation de croisements contrôlés a montré tout d’abord (i) l’existence de fortes barrières reproductives au niveau pré-zygotique et de barrières significatives bien que plus faibles au niveau de la fitness des descendants hybrides, et (ii) une variabilité importante de ces barrières liée aux génotypes des individus et à leur expression dans des micro-environnements différents. Une deuxième approche de génomique des populations sur 33 gènes candidats à l’isolement reproducteur pré-zygotique a ensuite permis d’identifier des « gènes de spéciation » soumis à de la sélection divergente, liés en particulier à la phénologie de la floraison, et d’apporter des éléments de discussion supplémentaires au modèle de colonisation de ces espèces en peuplements naturels. / Speciation can be defined as the range of processes that lead to the evolution of reproductive isolation among groups of individuals. Past decades have witnessed a renewal in the recognition of natural selection as a primary force in the formation of new species, in particular for ecological speciation models in conditions of sympatry. Sessile oak (Quercus petraea (Matt.) Liebl.) and pedunculate oak (Q. robur L.) are two sympatric species which exhibit large morphological and ecological differences, despite relatively high estimated rates of natural hybridization. However, very little is known about the nature and strength of reproductive barriers between those two species. The objective of this thesis was therefore to characterize their isolating barriers at phenotypic and genetic levels, in order to better understand their relative importance, their role in the process of divergence and their evolution in that species complex. A first approach based on controlled crosses has shown (i) the existence of strong barriers at the pre-zygotic level and that of significant although weaker ones at the post-zygotic level, based on observations from fitness of hybrid progenies, and (ii) a large variability for traits linked to barriers phenotypes, across genotypes and also for their expression in different micro-environments. A second approach of population genomics used 33 candidate genes to reproductive isolation and allowed to identify «speciation genes» submitted to divergent selection, the strongest divergence being observed for genes involved in the flowering pathway. The model of colonization of these oak species in natural stands was discussed in the light of these new results.