Dans la majeure partie de cette thèse, nous nous sommes consacrés à l'étude de la forme des arbres phylogénétiques et plus particulièrement à leur déséquilibre. Une phylogénie est dite déséquilibrée, si la plupart des noeuds internes (les ancêtres communs) séparent l'arbre en deux sous-arbres de tailles sensiblement différentes. Les deux modèles de phylogénies aléatoires les plus classiques sont le modèle de Yule qui suppose que toutes les espèces ont la même probabilité de spéciation, et le modèle uniforme qui suppose que toutes les phylogénies de même taille sont équiprobables. Dans ces deux modèles, nous avons pu identifier les distributions limites des mesures de déséquilibre les plus utilisées par les biologistes. Les démonstrations sont inspirées de méthodes apparues récemment dans l'analyse des algorithmes. En génétique des populations, nous avons montré que le déséquilibre des généalogies de gènes est le signal d'un phénomène culturel : l'héritage de la fertilité. Nous avons mis en évidence la présence de ce trait culturel dans les populations de chasseurs-cueilleurs en utilisant le déséquilibre de généalogies reconstruites à partir d'ADN mitochondrial. Dans une dernière partie, la théorie de la coalescence a été appliquée à la génétique spatiale. Trois méthodes d'inférence d'un paramètre de dispersion spatiale ont été proposées. La vitesse de dispersion des ours bruns de Scandinavie a été estimée par une de ces trois méthodes.

Cette thèse se compose de quatre chapitres:Le chapitre 1 étudie la distribution du temps de coalescence (plus récent ancêtre commun) de deux individus tirés au hasard (uniformly) dans la génération actuelle d'un processus de Bienaymé-Galton-Watson en temps continu.Dans le chapitre 2, nous obtenons une représentation de la diffusion de Feller logistique en termes des temps locaux d'un mouvement brownien réfléchi H avec une dérive qui est affine en le temps local accumulé par H à son niveau actuel.Le chapitre 3 considère la diffusion de Feller avec compétition générale. Nous donnons des conditions précises sur le terme de la concurrence, pour le but de décider si le temps d'extinction (qui est aussi la hauteur du processus) reste borné ou non lorsque la taille initiale de la population tend vers l'infini, et de même pour la masse totale du processus.Dans le chapitre 4, nous généralisons les résultats du chapitre 3 pour le cas du processus de branchement à espace d'état continu avec compétition à trajectoires discontinues. / This thesis consists of four chapters:Chapter 1 investigates the distribution of the coalescence time (most recent common ancestor) for two individuals picked at random (uniformly) in the current generation of a continuous time Bienaymé-Galton-Watson process.In chapter 2 we obtain a Ray-Knight representation of Feller's branching diffusion with logistic growth in terms of the local times of a reflected Brownian motion H with a drift that is affine in the local time accumulated by H at its current level.Chapter 3 considers the Feller's branching diffusion with general competition. We give precise conditions on the competition term, in order to decide whether the extinction time (which is also the height of the process) remains or not bounded as the initial population size tends to infinity, and similarly for the total mass of the process.In chapter 4 we generalize the results of chapter 3 to the case of continuous state branching process with competition which has discontinuous paths.

Cette étude théorique est pensée en lien étroit avec un champ d'application : il s'agit de modéliser la croissance d'une population de cellules qui se divisent selon un taux de division inconnu, fonction d’une variable dite structurante – l’âge et la taille des cellules étant les deux exemples paradigmatiques étudiés. Le champ mathématique afférent se situe à l'interface de la statistique des processus, de l’estimation non-paramétrique et de l’analyse des équations aux dérivées partielles. Les trois objectifs de ce travail sont les suivants : reconstruire le taux de division (fonction de l’âge ou de la taille) pour différents schémas d’observation (en temps généalogique ou en temps continu) ; étudier la transmission d'un trait biologique général d'une cellule à une autre et étudier le trait d’une cellule typique ; comparer la croissance de différentes populations de cellules à travers le paramètre de Malthus (après introduction de variabilité dans le taux de croissance par exemple). / This work is concerned with growth-fragmentation models, implemented for investigating the growth of a population of cells which divide according to an unknown splitting rate, depending on a structuring variable – age and size being the two paradigmatic examples. The mathematical framework includes statistics of processes, nonparametric estimations and analysis of partial differential equations. The three objectives of this work are the following : get a nonparametric estimate of the division rate (as a function of age or size) for different observation schemes (genealogical or continuous) ; to study the transmission of a biological feature from one cell to an other and study the feature of one typical cell ; to compare different populations of cells through their Malthus parameter, which governs the global growth (when introducing variability in the growth rate among cells for instance).