Nous nous intéressons dans cette thèse aux méthodes d'estimation non paramétriques par noyaux récursifs ainsi qu'à leurs applications à la prévision. Nous introduisons dans un premier chapitre une famille d'estimateurs récursifs de la densité indexée par un paramètre ℓ ∈ [0, 1]. Leur comportement asymptotique en fonction de ℓ va nous amener à introduire des critères de comparaison basés sur les biais, variance et erreur quadratique asymptotiques. Pour ces critères, nous comparons les estimateurs entre eux et aussi comparons notre famille à l'estimateur non récursif de la densité de Parzen-Rosenblatt. Ensuite, nous définissons à partir de notre famille d'estimateurs de la densité, une famille d'estimateurs récursifs à noyau de la fonction de régression. Nous étudions ses propriétés asymptotiques en fonction du paramètre ℓ. Nous utilisons enfin les résultats obtenus sur l'estimation de la régression pour construire un prédicteur non paramétrique par noyau. Nous obtenons ainsi une famille de prédicteurs non paramétriques qui permettent de réduire considérablement le temps de calcul. Des exemples d'application sont donnés pour valider la performance de nos estimateurs

Dans ce travail, nous nous sommes intéressés au développement et à l'analyse numérique de méthodes numériques capables de résoudre efficacement les problèmes de Helmholtz à 2D, notamment en régime moyenne et haute fréquence. La méthode que nous proposons s'inscrit dans la lignée des méthodes de type Galerkin discontinues (DG). Dans chaque élément du maillage, la solution est approchée en utilisant une superposition d'ondes planes. La continuité de la solution aux interfaces est renforcée en utilisant des multiplicateurs de Lagrange. La méthodologie proposée est une procédure en deux étapes: nous résolvons d'abord des problèmes locaux bien posés et ensuite un système global issu de la condition de continuité imposée sur les interfaces. Les plus importantes propriétés de la méthode sont: (a) les problèmes locaux obtenus sont associés à des matrices Hermitiennes et définies positives et (b) le système global, à résoudre dans la deuxième étape, est associé à une matrice Hermitienne et semi-définie positive. Les résultats numériques obtenus montrent la supériorité de la méthode proposée par rapport aux méthodes de type élément fini standard, mais aussi par rapport à d'autres méthodes de type DG, comme par exemple celle développée par Farhat et al (2003).

Cette thèse est consacrée à l'étude de certains modèles de déformation semi-paramétriques. Notre objectif est de proposer des méthodes récursives, issues d'algorithmes stochastiques, pour estimer les paramètres de ces modèles. Dans la première partie, on présente les outils théoriques existants qui nous seront utiles dans la deuxième partie. Dans un premier temps, on présente un panorama général sur les méthodes d'approximation stochastique, en se focalisant en particulier sur les algorithmes de Robbins-Monro et de Kiefer-Wolfowitz. Dans un second temps, on présente les méthodes à noyaux pour l'estimation de fonction de densité ou de régression. On s'intéresse plus particulièrement aux deux estimateurs à noyaux les plus courants qui sont l'estimateur de Parzen-Rosenblatt et l'estimateur de Nadaraya-Watson, en présentant les versions récursives de ces deux estimateurs.Dans la seconde partie, on présente tout d'abord une procédure d'estimation récursive semi-paramétrique du paramètre de translation et de la fonction de régression pour le modèle de translation dans la situation où la fonction de lien est périodique. On généralise ensuite ces techniques au modèle vectoriel de déformation à forme commune en estimant les paramètres de moyenne, de translation et d'échelle, ainsi que la fonction de régression. On s'intéresse finalement au modèle de déformation paramétrique de variables aléatoires dans le cadre où la déformation est connue à un paramètre réel près. Pour ces trois modèles, on établit la convergence presque sûre ainsi que la normalité asymptotique des estimateurs paramétriques et non paramétriques proposés. Enfin, on illustre numériquement le comportement de nos estimateurs sur des données simulées et des données réelles.

La classe des M-estimateurs engendre des estimateurs classiques d’un paramètre de localisation multidimensionnel tels que l’estimateur du maximum de vraisemblance, la moyenne empirique et la médiane spatiale. Huber (1964) introduit les M-estimateurs dans le cadre de l’étude des estimateurs robustes. Parmi la littérature dédiée à ces estimateurs, on trouve en particulier les ouvrages de Huber (1981) et de Hampel et al. (1986) sur le comportement asymptotique et la robustesse via le point de rupture et la fonction d’influence (voir Ruiz-Gazen (2012) pour une synthèse sur ces notions). Plus récemment, des résultats sur la convergence et la normalité asymptotique sont établis par Van der Vaart (2000) dans le cadre multidimensionnel. Nevalainen et al. (2006, 2007) étudient le cas particulier de la médiane spatiale pondérée et non-pondérée dans le cas clusterisé. Nous généralisons ces résultats aux M-estimateurs pondérés. Nous étudions leur convergence presque sûre, leur normalité asymptotique ainsi que leur robustesse dans le cas de données clusterisées. / M-estimators were first introduced by Huber (1964) as robust estimators of location and gave rise to a substantial literature. For results on their asymptotic behavior and robustness (using the study of the influence func- tion and the breakdown point), we may refer in particular to the books of Huber (1981) and Hampel et al. (1986). For more recent references, we may cite the work of Ruiz-Gazen (2012) with a nice introductory presentation of robust statistics, and the book of Van der Vaart (2000) for results, in the independent and identically distributed setting, concerning convergence and asymptotic normality in the multivariate setting considered throughout this paper. Most of references address the case where the data are independent and identically distributed. However clustered, and hierarchical, data frequently arise in applications. Typically the facility location problem is an important research topic in spatial data analysis for the geographic location of some economic activity. In this field, recent studies perform spatial modelling with clustered data (see e.g. Liao and Guo, 2008; Javadi and Shahrabi, 2014, and references therein). Concerning robust estimation, Nevalainen et al. (2006) study the spatial median for the multivariate one-sample location problem with clustered data. They show that the intra-cluster correlation has an impact on the asymptotic covariance matrix. The weighted spatial median, introduced in their pioneer paper of 2007, has a superior efficiency with respect to its unweighted version, especially when clusters’ sizes are heterogenous or in the presence of strong intra-cluster correlation. The class of weighted M-estimators (introduced in El Asri, 2013) may be viewed as a generalization of this work to a broad class of estimators: weights are assigned to the objective function that defines M-estimators. The aim is, for example, to adapt M-estimators to the clustered structures, to the size of clusters, or to clusters including extremal values, in order to increase their efficiency or robustness. In this thesis, we study the almost sure convergence of unweighted and weighted M-estimators and establish their asymptotic normality. Then, we provide consistent estimators of the asymptotic variance and derived, numerically, optimal weights that improve the relative efficiency to their unweighted versions. Finally, from a weight-based formulation of the breakdown point, we illustrate how these optimal weights lead to an altered breakdown point.

Cette thèse porte sur l'étude probabiliste et statistique de populations sans interactions structurées par un trait. Elle est motivée par la compréhension des mécanismes de division et de vieillissement cellulaire. On modélise la dynamique de ces populations à l'aide d'un processus de Markov branchant à valeurs mesures. Chaque individu dans la population est caractérisé par un trait (l'âge, la taille, etc...) dont la dynamique au cours du temps suit un processus de Markov. Ce trait détermine le cycle de vie de chaque individu : sa durée de vie, son nombre de descendants et le trait à la naissance de ses descendants. Dans un premier temps, on s'intéresse à la question de l'échantillonnage uniforme dans la population. Nous décrivons le processus pénalisé, appelé processus auxiliaire, qui correspond au trait d'un individu "typique" dans la population en donnant son générateur infinitésimal. Dans un second temps, nous nous intéressons au comportement asymptotique de la mesure empirique associée au processus de branchement. Sous des hypothèses assurant l'ergodicité du processus auxiliaire, nous montrons que le processus auxiliaire correspond asymptotiquement au trait le long de sa lignée ancestrale d'un individu échantillonné uniformément dans la population. Enfin, à partir de données composées des traits à la naissance des individus dans l'arbre jusqu'à une génération donnée, nous proposons des estimateurs à noyau de la densité de transition de la chaine correspondant au trait le long d'une lignée ainsi que de sa mesure invariante. De plus, dans le cas d'une diffusion réfléchie sur un compact, nous estimons par maximum de vraisemblance le taux de division du processus. Nous montrons la consistance de cet estimateur ainsi que sa normalité asymptotique. L'implémentation numérique de l'estimateur est par ailleurs réalisée. / We study structured populations without interactions from a probabilistic and a statistical point of view. The underlying motivation of this work is the understanding of cell division mechanisms and of cell aging. We use the formalism of branching measure-valued Markov processes. In our model, each individual is characterized by a trait (age, size, etc...) which moves according to a Markov process. The rate of division of each individual is a function of its trait and when a branching event occurs, the trait of the descendants at birth depends on the trait of the mother and on the number of descendants. First, we study the trait of a uniformly sampled individual in the population. We explicitly describe the penalized Markov process, named auxiliary process, corresponding to the dynamic of the trait of a "typical" individual by giving its associated infinitesimal generator. Then, we study the asymptotic behavior of the empirical measure associated with the branching process. Under assumptions assuring the ergodicity of the auxiliary process, we prove that the auxiliary process asymptotically corresponds to the trait along its ancestral lineage of a uniformly sampled individual in the population. Finally, we address the problem of parameter estimation in the case of a branching process structured by a diffusion. We consider data composed of the trait at birth of all individuals in the population until a given generation. We give kernel estimators for the transition density and the invariant measure of the chain corresponding to the trait of an individual along a lineage. Moreover, in the case of a reflected diffusion on a compact set, we use maximum likelihood estimation to reconstruct the division rate. We prove consistency and asymptotic normality for this estimator. We also carry out the numerical implementation of the estimator.

Ce mémoire d'habilitation a pour objet diverses contributions à l'estimation et à l'apprentissage statistique dans les modeles en grande dimension, sous différentes hypothèses de parcimonie. Dans une première partie, on introduit la problématique de la statistique en grande dimension dans un modèle générique de régression linéaire. Après avoir passé en revue les différentes méthodes d'estimation populaires dans ce modèle, on présente de nouveaux résultats tirés de (Alquier & Lounici 2011) pour des estimateurs agrégés. La seconde partie a essentiellement pour objet d'étendre les résultats de la première partie à l'estimation de divers modèles de séries temporelles (Alquier & Doukhan 2011, Alquier & Wintenberger 2013, Alquier & Li 2012, Alquier, Wintenberger & Li 2012). Enfin, la troisième partie présente plusieurs extensions à des modèles non param\étriques ou à des applications plus spécifiques comme la statistique quantique (Alquier & Biau 2013, Guedj & Alquier 2013, Alquier, Meziani & Peyré 2013, Alquier, Butucea, Hebiri, Meziani & Morimae 2013, Alquier 2013, Alquier 2008). Dans chaque section, des estimateurs sont proposés, et, aussi souvent que possible, des inégalités oracles optimales sont établies.

Cette thèse est divisée en trois parties. Dans la prèmiere partie nous décrivons les systèmes dynamiques que l'on considère tout au long de la thèse. Nous donnons aussi des résultats connus sur les fluctuations d'observables dans les systèmes dynamiques tels comme la théorème central limite, les grands déviations et les inégalités de concentration. La deuxième partie de cette thèse est consacrée aux systèmes dynamiques perturbés par un bruit observationnel. Nous démontrons que si un système dynamique satisfait une inégalité de concentration alors le système perturbé satisfait lui aussi une inégalité de concentration adéquate. Ensuite nous appliquons ces inégalités pour obtenir des bornes sur la taille des fluctuations d'observables bruitées. Nous considérons comme observables la fonction d'auto-corrélation, la mesure empirique, l'estimateur à noyau de la densité de la mesure invariante et la dimension de corrélation. Nous étudions ensuite les travaux de S. Lalley sur le problème de débruitage d'une série temporelle. Etant donné une série temporelle générée par un système dynamique chaotique bruité, il est effectivement possible d'éliminer le bruit en moyenne en utilissant l'algorithme de Lalley. Un chapitre de cette thèse est consacré à la preuve de ce théorème. Nous finissons la deuxième partie avec une quête numérique pour les meilleurs paramètres de l'algorithme de Lalley. Dans la troisième partie, nous étudions le problème de l'estimation de l'entropie pour des mesures de Gibbs unidimensionnelles. Nous étudions les propriétés de deux estimateurs de l'entropie. Le premier est basé sur les fréquences des blocs typiques observés. Le second est basé sur les temps d'apparition de blocs typiques. Nous appliquons des inégalités de concentrations pour obtenir un contrôle sur les fluctuations de ces estimateurs.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Les estimateurs pondérés généralement utilisés pour analyser les enquêtes cas-cohorte ne sont pas pleinement efficaces. Or, les enquêtes cas-cohorte sont un cas particulier de données incomplètes où le processus d'observation est contrôlé par les organisateurs de l'étude. Ainsi, des méthodes d'analyse pour données manquant au hasard (MA) peuvent être pertinentes, en particulier, l'imputation multiple, qui utilise toute l'information disponible et permet d'approcher l'estimateur du maximum de vraisemblance partielle.Cette méthode est fondée sur la génération de plusieurs jeux plausibles de données complétées prenant en compte les différents niveaux d'incertitude sur les données manquantes. Elle permet d'adapter facilement n'importe quel outil statistique disponible pour les données de cohorte, par exemple, l'estimation de la capacité prédictive d'un modèle ou d'une variable additionnelle qui pose des problèmes spécifiques dans les enquêtes cas-cohorte. Nous avons montré que le modèle d'imputation doit être estimé à partir de tous les sujets complètement observés (cas et non-cas) en incluant l'indicatrice de statut parmi les variables explicatives. Nous avons validé cette approche à l'aide de plusieurs séries de simulations: 1) données complètement simulées, où nous connaissions les vraies valeurs des paramètres, 2) enquêtes cas-cohorte simulées à partir de la cohorte PRIME, où nous ne disposions pas d'une variable de phase-1 (observée sur tous les sujets) fortement prédictive de la variable de phase-2 (incomplètement observée), 3) enquêtes cas-cohorte simulées à partir de la cohorte NWTS, où une variable de phase-1 fortement prédictive de la variable de phase-2 était disponible. Ces simulations ont montré que l'imputation multiple fournissait généralement des estimateurs sans biais des risques relatifs. Pour les variables de phase-1, ils approchaient la précision obtenue par l'analyse de la cohorte complète, ils étaient légèrement plus précis que l'estimateur calibré de Breslow et coll. et surtout que les estimateurs pondérés classiques. Pour les variables de phase-2, l'estimateur de l'imputation multiple était généralement sans biais et d'une précision supérieure à celle des estimateurs pondérés classiques et analogue à celle de l'estimateur calibré. Les résultats des simulations réalisées à partir des données de la cohorte NWTS étaient cependant moins bons pour les effets impliquant la variable de phase-2 : les estimateurs de l'imputation multiple étaient légèrement biaisés et moins précis que les estimateurs pondérés. Cela s'explique par la présence de termes d'interaction impliquant la variable de phase-2 dans le modèle d'analyse, d'où la nécessité d'estimer des modèles d'imputation spécifiques à différentes strates de la cohorte incluant parfois trop peu de cas pour que les conditions asymptotiques soient réunies.Nous recommandons d'utiliser l'imputation multiple pour obtenir des estimations plus précises des risques relatifs, tout en s'assurant qu'elles sont analogues à celles fournies par les analyses pondérées. Nos simulations ont également montré que l'imputation multiple fournissait des estimations de la valeur prédictive d'un modèle (C de Harrell) ou d'une variable additionnelle (différence des indices C, NRI ou IDI) analogues à celles fournies par la cohorte complète / The weighted estimators generally used for analyzing case-cohort studies are not fully efficient. However, case-cohort surveys are a special type of incomplete data in which the observation process is controlled by the study organizers. So, methods for analyzing Missing At Random (MAR) data could be appropriate, in particular, multiple imputation, which uses all the available information and allows to approximate the partial maximum likelihood estimator.This approach is based on the generation of several plausible complete data sets, taking into account all the uncertainty about the missing values. It allows adapting any statistical tool available for cohort data, for instance, estimators of the predictive ability of a model or of an additional variable, which meet specific problems with case-cohort data. We have shown that the imputation model must be estimated on all the completely observed subjects (cases and non-cases) including the case indicator among the explanatory variables. We validated this approach with several sets of simulations: 1) completely simulated data where the true parameter values were known, 2) case-cohort data simulated from the PRIME cohort, without any phase-1 variable (completely observed) strongly predictive of the phase-2 variable (incompletely observed), 3) case-cohort data simulated from de NWTS cohort, where a phase-1 variable strongly predictive of the phase-2 variable was available. These simulations showed that multiple imputation generally provided unbiased estimates of the risk ratios. For the phase-1 variables, they were almost as precise as the estimates provided by the full cohort, slightly more precise than Breslow et al. calibrated estimator and still more precise than classical weighted estimators. For the phase-2 variables, the multiple imputation estimator was generally unbiased, with a precision better than classical weighted estimators and similar to Breslow et al. calibrated estimator. The simulations performed with the NWTS cohort data provided less satisfactory results for the effects where the phase-2 variable was involved: the multiple imputation estimators were slightly biased and less precise than the weighted estimators. This can be explained by the interactions terms involving the phase-2 variable in the analysis model and the necessity of estimating specific imputation models in different strata not including sometimes enough cases to satisfy the asymptotic conditions. We advocate the use of multiple imputation for improving the precision of the risk ratios estimates while making sure they are similar to the weighted estimates.Our simulations also showed that multiple imputation provided estimates of a model predictive value (Harrell's C) or of an additional variable (difference of C indices, NRI or IDI) similar to those obtained from the full cohort.

Mesures de similarité statistiques et estimateurs par k plus proches voisins : une association pour gérer des descripteurs de haute dimension en traitement d'images et de vidéos