Cette thèse étudie des modèles de populations branchantes appelés arbres de ramification, dans lesquels les individus évoluent indépendamment les uns des autres, ont des durées de vie indépendantes, identiquement distribuées (non nécessairement exponentielles), et donnent naissance à taux constant au cours de leur vie. On enrichit ces modèles en supposant que chaque individu porte un type et peut subir à la naissance une mutation, qui lui confère un nouveau type. On démontre dans le premier chapitre des résultats théoriques de convergence en loi pour des processus de Lévy bivariés sans sauts négatifs. Ces résultats sont ensuite exploités dans le deuxième chapitre pour établir un principe d'invariance pour l'arbre généalogique des populations décrites ci-dessus, enrichi de leur historique mutationnel, dans une asymptotique de grande taille de population. Enfin, on étudie dans le troisième chapitre la structure généalogique et le spectre de fréquence par site (nombre de mutations portées par un nombre donné d'individus) d'échantillons uniformes dans des populations branchantes critiques dont la limite d'échelle est un arbre brownien (par exemple, des arbres de naissance et mort critiques). Des perspectives d'applications de ces résultats à la génétique des populations sont présentées dans le quatrième chapitre. / This thesis studies branching population models called splitting trees, where individuals evolve independently from one another, have independent and identically distributed lifetimes (that are not necessarily exponential), and give birth at constant rate during their lives. We further assume that each individual carries a type, and possibly undergoes a mutation at her birth, that changes her type into a new one. In the first chapter, we prove convegence results for bivariate Lévy processes with non negative jumps. These theoretical results are used in the second chapter to establish an invariance principle for the genealogical tree of the populations described above, enriched with their mutational history, in a large population size asymptotic. Finally we study in the third chapter the genealogical structure and the site frequency spectrum (number of mutations carried by a given number of individuals) for uniform samples in critical branching populations whose scaling limit is a Brownian tree (e.g., critical birth-death trees). Possible future applications of these results to population genetics are presented in the fourth chapter.

Nous cherchons à construire une génétique des populations branchantes, basée notamment sur les processus de branchement à espace d'états continu, dits CB-processus. <br /><br />Nous modifions d'abord les arbres branchants afin d'en obtenir des versions stationnaires, de deux façons : en introduisant des interactions de type compétitif entre les individus, de manière à réguler la taille de la population ("processus de branchement logistique"); en appliquant divers conditionnements, au sens des h-processus de Doob : conditionnement du processus de Lévy associé à rester dans un intervalle, conditionnement à la non-extinction des CB-processus (Q-processus), mais aussi des CB-processus avec interactions, sous leur forme diffusion.<br /><br />Nous étudions la probabilité de fixation d'un mutant, question qui conditionne l'évolution de la diversité. En utilisant la théorie des diffusions, nous proposons un cadre unifié permettant de comparer deux modèles classiques et le modèle de branchement logistique. Puis nous munissons les individus d'un trait quantitatif soumis à des mutations, et nous suivons, par une approche micro--macro, l'évolution du trait résident ("diffusion canonique de la dynamique adaptative").<br /> <br /><br />Nous étudions la généalogie associée aux CB-processus avec immigration, dont un cas particulier est le Q-processus cité plus haut. Nous construisons des arbres branchants (dont la largeur n'est pas markovienne), dits \emph{arbres de ramification}, sur lesquels se voient directement les deux types de généalogies associées aux CB-processus, qui ont été découvertes par J.-F. Le Gall et ses collaborateurs. Nous donnons également une démonstration de la représentation de Lamperti des CB-processus comme processus de Lévy changés de temps.<br /><br />Nous décrivons de façon rétrospective la structure généalogique des CB-processus, puis celle des arbres de ramification, comme le fait une des approches phares de la génétique des populations moderne, dite théorie de la coalescence. <br /><br />Des collaborations dans divers domaines de la biologie des populations sont également exposées : génétique des populations classique, écologie des invasions, biologie de la conservation.