abstract: Building mathematical models and examining the compatibility of their theoretical predictions with empirical data are important for our understanding of evolution. The rapidly increasing amounts of genomic data on polymorphisms greatly motivate evolutionary biologists to find targets of positive selection. Although intensive mathematical and statistical studies for characterizing signatures of positive selection have been conducted to identify targets of positive selection, relatively little is known about the effects of other evolutionary forces on signatures of positive selection. In this dissertation, I investigate the effects of various evolutionary factors, including purifying selection and population demography, on signatures of positive selection. Specifically, the effects on two highly used methods for detecting positive selection, one by Wright's Fst and its analogues and the other by footprints of genetic hitchhiking, are investigated. In Chapters 2 and 3, the effect of purifying selection on Fst is studied. The results show that purifying selection intensity greatly affects Fst by modulating allele frequencies across populations. The footprints of genetic hitchhiking in a geographically structured population are studied in Chapter 4. The results demonstrate that footprints of genetic hitchhiking are significantly influenced by geographic structure, which may help scientists to infer the origin and spread of the beneficial allele. In Chapter 5, the stochastic dynamics of a hitchhiking allele are studied using the diffusion process of genetic hitchhiking conditioned on the fixation of the beneficial allele. Explicit formulae for the conditioned two-locus diffusion process of genetic hitchhiking are derived and stochastic aspects of genetic hitchhiking are investigated. The results in this dissertation show that it is essential to model the interaction of neutral and selective forces for correct identification of the targets of positive selection. / Dissertation/Thesis / Ph.D. Biology 2011

Les génomes sont affectés par des régimes de sélection conflictuels. Ceci est particulièrement bien illustré par le concept de barrière semi-perméable au flux génique, issu de la littérature des zones hybrides. Certains gènes contribuent à empêcher le mélange entre lignées génétiques différenciées, soit parce qu'ils participent à l'adaptation aux conditions environnementales locales, soit parce qu'ils sont incompatibles avec les gènes d'autres lignées. D'autres parties du génome sont soit neutres, soit soumises à une sélection qui tend à homogénéiser les différentes lignées entre elles. Dans la première partie de cette thèse, des modèles d'évolution de l'isolement reproductif sont présentés pour expliquer les patrons d'isolements observés dans les expériences d'hybridation au laboratoire. Par modélisation classique d'incompatibilités génétiques de type Dobzhansky-Muller, il est montré que l'asymétrie et la complexité des incompatibilités sont imparfaitement expliquées par un filtre évolutif, c.a.d. une vitesse d'accumulation différente entre types d'incompatibilité. Une approche complémentaire de modélisation quantitative à l'aide d'une extension du modèle géométrique de Fisher a permis de préciser quelles conditions de divergence entre lignées isolées conduisaient à un effet fortement délétère des mutations dans les génotypes hybrides. L'importance relative du niveau d'épistasie moyen, de la distribution des effets des mutations et des modalités de l'adaptation de chaque lignée est discutée. La seconde partie de cette thèse profite des avancées techniques de la génomique pour étudier l'histoire de la spéciation et de l'adaptation dans un complexe d'espèces non-modèles, les moules du genre Mytilus. Une méthode statistique d'inférence de scénarios de spéciation est présentée. Les résultats montrent que les moules Européennes ont connu une histoire complexe de divergence stricte suivie d'une période de connectivité périodique. En accord avec le concept de barrière semi-perméable au flux génique, il est montré que les taux d'introgression sont hétérogènes le long du génome. Ensuite, des scans génomiques de la différenciation ont été menés entre paires de populations du complexe d'espèces. L'analyse de la variation génétique et des généalogies d'allèles sur une échelle chromosomique localisée a permis de reconstituer l'histoire évolutive de plus de 1000 régions du génome des moules. Cette analyse a révélé qu'une cause majeure, mais insoupçonnée, de la différenciation génétique intraspécifique est l'introgression différentielle d'allèles étrangers. Globalement, cette thèse montre non seulement le rôle majeur de la biogéographie de la spéciation, c.a.d. des patrons temporels et spatiaux du flux de gènes, dans notre compréhension de la biodiversité actuelle, mais aussi sa surprenante complexité et l'étendue de ses conséquences sur l'évolution des génomes. / Genomes are affected by conflicting selective regimes. This is particularly well illustrated by the concept of semi-permeable barriers to gene flow, as found in the hybrid zones literature. Some genes contribute to the prevention of mixing between differentiated genetic lineages, either because they are involved in adaptation to local environmental conditions, or because they are incompatible with alleles from other genetic lineages. Other parts of the genome are either neutral, or subjected to selection which tends to homogenize the genetic lineages. In the first part of this thesis, models of the evolution of reproductive isolation are presented to explain the isolation patterns observed in experimental hybridizing crosses between incipient species. Using standard models of Dobzhansky-Muller genetic incompatibilities, it is shown that the asymmetry and complexity of incompatibilities are not well explained by there being an “evolutionary sieve”, i.e. a different rate of accumulation between incompatibilities. A complementary approach to quantitative modeling (an extension of Fisher's Geometric Model) then clarifies which conditions of divergence between allopatric lines led to highly deleterious effects in hybrid genotypes. The relative importance of mean levels of fitness epistasis, the distribution of mutation sizes, and the way lineages adapt to new environmental conditions is discussed. The second part of this thesis takes advantage of technical advances in genomics to study the history of speciation and adaptation in a non-model species complex, Mytilus mussels. A statistical method of inferring speciation scenarios is presented. Results show that European mussels experienced a complex history of strict divergence followed by a period of periodic connectivity. In agreement with the concept of semi-permeable barriers to gene flow, it is shown that introgression rates are heterogeneous along the genome. Next, genome scans of differentiation were conducted between pairs of populations of the species complex. The analysis of genetic variation and allele genealogies on a small chromosomal scale allowed to reconstruct the evolutionary history of more than 1000 genomic regions. This analysis reveals that a major cause of intraspecific differentiation is the differential introgression of foreign alleles. Overall, this thesis shows not only that biogeography of speciation, i.e. the temporal and spatial patterns of gene flow, play a major role in our understanding of existing biodiversity, but also its amazing complexity and extent of its impact on genome evolution.