Les modèles non linéaires occupent une place à part dans la méthodologie des modèles mixtes. Contrairement aux modèles linéaire et linéaire généralisés qui s'apparentent souvent à des boites noires, la fonction d'ajustement des données dans le cas non linéaire provient en général de l'intégration d'une équation différentielle ce qui confère à ces modèles une dimension "explicative" beaucoup plus riche et souvent plus parcimonieuse. D'autre part, l'estimation des paramètres y est difficile du fait de l'impossibilité d'une intégration analytique des effets aléatoires. Comme dans tous les modèles mixtes notamment ceux appliqués aux données longitudinales, ils permettent bien de prendre en compte la variabilité entre et intra unités expérimentales. Mais, là comme ailleurs, le statut des résidus supposés habituellement indépendants et identiquement distribués suivant une loi normale de variance homogène reste problématique car fréquemment irréaliste. L'objet de ce travail était de présenter quelques possibilités de modélisation de ces variances résiduelles qui prennent en compte la grande hétérogénéité potentielle de celles-ci, mais dans un souci délibéré d'économie vis-à-vis du nombre de nouveaux paramètres impliqués dans ces fonctions. C'est pourquoi, en sus de la relation classique moyenne-variance, nous avons opté pour une approche paramétrique de type "modèle mixte" sur les logvariances. Nous avons choisi une méthode d'inférence classique basée sur la théorie du maximum de vraisemblance et, dans ce cadre complexe, nous avons considéré un algorithme de type EM stochastique plus précisément l'algorithme dit SAEM-MCMC. La structure de modèle mixte à la fois sur les paramètres de position et de dispersion se prête particulièrement bien à la mise en oeuvre de ces algorithmes EM. La phase MCMC, a nécessité la mise au point et le calibrage de distributions instrumentales adaptées à cette situation ainsi que la définition de critères permettant de contrôler la convergence de l'algorithme. Le tout a été validé numériquement dans le cadre linéaire et non linéaire par comparaison à des algorithmes EM analytiques quand ils existaient (cas linéaire) ou à d'autres algorithmes numériques tels ceux basés sur la quadrature de Gauss. Ces techniques ont été illustrées par l'analyse de profils de comptage de cellules somatiques de vaches laitières. Plusieurs modèles linéaire et non linéaires sont comparés et montrent clairement l'intérêt d'une modélisation mixte des variances résiduelles.

La première partie de cette thèse est consacrée à l'estimation par maximum de vraisemblance dans les modèles mixtes à dynamique markovienne. Nous considérons plus précisément des modèles de Markov cachés à effets mixtes et des modèles de diffusion à effets mixtes. Dans le Chapitre 2, nous combinons l'algorithme de Baum-Welch à l'algorithme SAEM pour estimer les paramètres de population dans les modèles de Markov cachés à effets mixtes. Nous proposons également des procédures spécifiques pour estimer les paramètres individuels et les séquences d' états cachées. Nous étudions les propriétés de cette nouvelle méthodologie sur des données simulées et l'appliquons sur des données réelles de nombres de crises d' épilepsie. Dans le Chapitre 3, nous proposons d'abord des modèles de diffusion à effets mixtes pour la pharmacocin étique de population. Nous en estimons les paramètres en combinant l'algorithme SAEM a un filtre de Kalman étendu. Nous étudions ensuite les propriétés asymptotiques de l'estimateur du maximum de vraisemblance dans des modèles de diffusion observés sans bruit de mesure continûment sur un intervalle de temps fixe lorsque le nombre de sujets tend vers l'infini. Le Chapitre 4 est consacré a la s élection de covariables dans des modèles mixtes généraux. Nous proposons une version du BIC adaptée au contexte de double asymptotique où le nombre de sujets et le nombre d'observations par sujet tendent vers l'infini. Nous présentons quelques simulations pour illustrer cette procédure.

Cette thèse est principalement consacrée au développement de méthodes de sélection de modèles par maximum de vraisemblance pénalisée dans le cadre de données complexes. Un premier travail porte sur la sélection des modèles linéaires généralisés dans le cadre de données stratifiées, caractérisées par la mesure d’observations ainsi que de covariables au sein de différents groupes (ou strates). Le but de l’analyse est alors de déterminer quelles covariables influencent de façon globale (quelque soit la strate) les observations mais aussi d’évaluer l’hétérogénéité de cet effet à travers les strates.Nous nous intéressons par la suite à la sélection des modèles non linéaires à effets mixtes utilisés dans l’analyse de données longitudinales comme celles rencontrées en pharmacocinétique de population. Dans un premier travail, nous décrivons un algorithme de type SAEM au sein duquel la pénalité est prise en compte lors de l’étape M en résolvant un problème de régression pénalisé à chaque itération. Dans un second travail, en s’inspirant des algorithmes de type gradient proximaux, nous simplifions l’étape M de l’algorithme SAEM pénalisé précédemment décrit en ne réalisant qu’une itération gradient proximale à chaque itération. Cet algorithme, baptisé Stochastic Approximation Proximal Gradient algorithm (SAPG), correspond à un algorithme gradient proximal dans lequel le gradient de la vraisemblance est approché par une technique d’approximation stochastique.Pour finir, nous présentons deux travaux de modélisation statistique, réalisés au cours de cette thèse. / This thesis is mainly devoted to the development of penalized maximum likelihood methods for the study of complex data.A first work deals with the selection of generalized linear models in the framework of stratified data, characterized by the measurement of observations as well as covariates within different groups (or strata). The purpose of the analysis is then to determine which covariates influence in a global way (whatever the stratum) the observations but also to evaluate the heterogeneity of this effect across the strata.Secondly, we are interested in the selection of nonlinear mixed effects models used in the analysis of longitudinal data. In a first work, we describe a SAEM-type algorithm in which the penalty is taken into account during step M by solving a penalized regression problem at each iteration. In a second work, inspired by proximal gradient algorithms, we simplify the M step of the penalized SAEM algorithm previously described by performing only one proximal gradient iteration at each iteration. This algorithm, called Stochastic Approximation Proximal Gradient Algorithm (SAPG), corresponds to a proximal gradient algorithm in which the gradient of the likelihood is approximated by a stochastic approximation technique.Finally, we present two statistical modeling works realized during this thesis.

La première partie de cette thèse est consacrée a l'estimation par maximum de vraisemblance dans les modèles mixtes a dynamique markovienne. Nous considérons plus précisément des modèles de Markov cachés a effets mixtes et des modèles de diffusion à effets mixtes. Dans le Chapitre 2, nous combinons l'algorithme de Baum-Welch a l'algorithme SAEM pour estimer les paramètres de population dans les modèles de Markov cachés à effets mixtes. Nous proposons également des procédures spéciques pour estimer les paramètres individuels et les séquences d'états cachés. Nous étudions les propriétés de cette nouvelle méthodologie sur des données simulées et l'appliquons sur des données réelles de nombres de crises d'épilepsie. Dans le Chapitre 3, nous proposons d'abord des modèles de diffusion à effets mixtes pour la pharmacocinétique de population. Nous en estimons les paramètres en combinant l'algorithme SAEM a un filtre de Kalman étendu. Nous étudions ensuite les propriétés asymptotiques de l'estimateur du maximum de vraisemblance dans des modèles de diffusion observés sans bruit de mesure continûment sur un intervalle de temps fixé lorsque le nombre de sujets tend vers l'infini. Le Chapitre 4 est consacré à la sélection de covariables dans des modèles mixtes généraux. Nous proposons une version du BIC adaptée au contexte de double asymptotique ou le nombre de sujets et le nombre d'observations par sujet tendent vers l'infini. Nous présentons quelques simulations pour illustrer cette procédure. / The first part of this thesis deals with maximum likelihood estimation in Markovianmixed-effects models. More precisely, we consider mixed-effects hidden Markov models and mixed-effects diffusion models. In Chapter 2, we combine the Baum-Welch algorithm and the SAEM algorithm to estimate the population parameters in mixed-effects hidden Markov models. We also propose some specific procedures to estimate the individual parameters and the sequences of hidden states. We study the properties of the proposed methodologies on simulated datasets and we present an application to real daily seizure count data. In Chapter 3, we first suggest mixed-effects diffusion models for population pharmacokinetics. We estimate the parameters of these models by combining the SAEM algorithm with the extended Kalman filter. Then, we study the asymptotic properties of the maximum likelihood estimatein some mixed-effects diffusion models continuously observed on a fixed time interval when the number of subjects tends to infinity. Chapter 4 is dedicated to variable selection in general mixed-effects models. We propose a BIC adapted to the asymptotic context where both of the number of subjects and the number of observations per subject tend to infinity. We illustrate this procedure with some simulations.

Cette thèse est consacrée au développement de nouvelles méthodologies pour l'analyse des modèles non-linéaires à effets mixtes, à leur implémentation dans un logiciel accessible et leur application à des problèmes réels. Nous considérons particulièrement des extensions des modèles non-linéaires à effets mixtes aux modèles de mélange et aux modèles conjoints. Dans la première partie, nous proposons, dans le but d'avoir une meilleure maîtrise de l'hétérogénéité liée aux données sur des patients issus de plusieurs clusters, des extensions des MNLEM aux modèles de mélange. Nous proposons ensuite de combiner l'algorithme EM, utilisé traditionnellement pour les modèles de mélanges lorsque les variables étudiées sont observées, et l'algorithme SAEM, utilisé pour l'estimation de paramètres par maximum de vraisemblance lorsque ces variables ne sont pas observées. La procédure résultante, dénommée MSAEM, permet ainsi d'éviter l'introduction d'une étape de simulation des covariables catégorielles latentes dans l'algorithme d'estimation. Cet algorithme est extrêmement rapide, très peu sensible à l'initialisation des paramètres, converge vers un maximum (local) de la vraisemblance et est implémenté dans le logiciel Monolix.La seconde partie de cette Thèse traite de la modélisation conjointe de l'évolution d'un marqueur biologique au cours du temps et les délais entre les apparitions successives censurées d'un évènement d'intérêt. Nous considérons entre autres, les censures à droite, les multiples censures par intervalle d'évènements répétés. Les paramètres du modèle conjoint résultant sont estimés en maximisant la vraisemblance jointe exacte par un algorithme de type MCMC-SAEM. Cette méthodologie est désormais disponible sous Monolix / The main goal of this thesis is to develop new methodologies for the analysis of non linear mixed-effects models, along with their implementation in accessible software and their application to real problems. We consider particularly extensions of non-linear mixed effects model to mixture models and joint models. The study of these two extensions is the essence of the work done in this document, which can be divided into two major parts. In the first part, we propose, in order to have a better control of heterogeneity linked to data of patient issued from several clusters, extensions of NLMEM to mixture models. We suggest in this Thesis to combine the EM algorithm, traditionally used for mixtures models when the variables studied are observed, and the SAEM algorithm, used to estimate the maximum likelihood parameters when these variables are not observed. The resulting procedure, referred MSAEM, allows avoiding the introduction of a simulation step of the latent categorical covariates in the estimation algorithm. This algorithm appears to be extremely fast, very little sensitive to parameters initialization and converges to a (local) maximum of the likelihood. This methodology is now available under the Monolix software. The second part of this thesis deals with the joint modeling of the evolution of a biomarker over time and the time between successive appearances of a possibly censored event of interest. We consider among other, the right censoring and interval censorship of multiple events. The parameters of the resulting joint model are estimated by maximizing the exact joint likelihood by using a MCMC-SAEM algorithm. The proposed methodology is now available under Monolix.