Cette thèse étudie la convergence en loi des processus empiriques de données à mélange multiple. Son contenu correspond aux articles : Durieu et Tusche (2012), Dehling, Durieu, et Tusche (2012), et Dehiing, Durieu et Tusche (2013). Nous suivons l’approche par approximation introduite dans Dehling, Durieu, et Vo1n (2009) et Dehling and Durieu (2011), qui ont établi des théorèmes limite centraux empiriques pour des variables aléatoires dépendants à valeurs dans R ou RAd, respectivement. En développant leurs techniques, nous généralisons leurs résultats à des espaces arbitraires et à des processus empiriques indexés par des classes de fonctions. De plus, nous étudions des processus empiriques séquentiels. Nos résultats s’appliquent aux chaînes de Markov B-géométriquement ergodiques, aux modèles itératifs lipschitziens, aux systèmes dynamiques présentant un trou spectral pour l’opérateur de Perron-Frobenius associé, ou encore, aux automorphismes du tore. Nous établissons des conditions garantissant la convergence du processus empirique de tels modèles vers un processus gaussien. / The present thesis studies weak convergence of empirical processes of multiple mixing data. It is based on the articles Durieu and Tusche (2012), Dehling, Durieu, and Tusche (2012), and Dehling, Durieu, and Tusche (2013). We follow the approximating class approach introduced by Dehling, Durieu, and Voln (2009)and Dehling and Durieu (2011), who established empirical central limit theorems for dependent R- and R”d-valued random variables, respectively. Extending their technique, we generalize their results to arbitrary state spaces and to empirical processes indexed by classes of functions. Moreover we study sequential empirical processes. Our results apply to B-geometrically ergodic Markov chains, iterative Lipschitz models, dynamical systems with a spectral gap on the Perron—Frobenius operator, and ergodic toms automorphisms. We establish conditions under which the empirical process of such processes converges weakly to a Gaussian process.

Nous utilisons la théorie moderne des processus empiriques indicés par des classes de fonctions afin d'établir la vitesse exacte de convergence presque sûre d'une large classe d'estimateurs par la méthode du noyau de la fonction de régression dont les estimateurs par lissage polynomial local. Ces résultats prennent la forme de lois limites uniformes du logarithme dans le prolongement des travaux de Deheuvels et Mason (2004) et permettent la construction de bornes de confiance asymptotiquement optimales. La démonstration s'appuie principalement sur une inégalité exponentielle pour la déviation par rapport à l'espérance de la norme du supremum du processus empirique indexé par des classes de fonctions à nombre de recouvrement uniformément polynomial. Nous présentons également une loi limite uniforme du logarithme dans un cadre semi-paramétrique concernant l'estimateur du maximum de vraisemblance local lorsque la loi conditionnelle est paramétrée par une fonction.

Dans le chapitre introductif, nous dressons une étude comparée des approches en économétrie et en apprentissage statistique sur les questions de l'estimation et de l'inférence en statistique.Dans le deuxième chapitre, nous nous intéressons à une classe générale de modèles de variables instrumentales nonparamétriques. Nous généralisons la procédure d'estimation de Otsu (2011) en y ajoutant un terme de régularisation. Nous prouvons la convergence de notre estimateur pour la norme L2 de Lebesgue.Dans le troisième chapitre, nous montrons que lorsque les données ne sont pas indépendantes et identiquement distribuées (i.i.d) mais simplement jointement échangeables, une version modifiée du processus empirique converge faiblement vers un processus gaussien sous les mêmes conditions que dans le cas i.i.d. Nous obtenons un résultat similaire pour une version adaptée du processus empirique bootstrap. Nous déduisons de nos résultats la normalité asymptotique de plusieurs estimateurs non-linéaires ainsi que la validité de l'inférence basée sur le bootstrap. Nous revisitons enfin l'article empirique de Santos Silva et Tenreyro (2006).Dans le quatrième chapitre, nous abordons la question de l'inférence pour des ratios d'espérances. Nous trouvons que lorsque le dénominateur ne tend pas trop vite vers zéro quand le nombre d'observations n augmente, le bootstrap nonparamétrique est valide pour faire de l'inférence asymptotique. Dans un second temps, nous complétons un résultat d'impossibilité de Dufour (1997) en montrant que quand n est fini, il est possible de construire des intervalles de confiance qui ne sont pas pathologiques sont certaines conditions sur le dénominateur.Dans le cinquième chapitre, nous présentons une commande Stata qui implémente les estimateurs proposés par de Chaisemartin et d'Haultfoeuille (2018) pour mesurer plusieurs types d'effets de traitement très étudiés en pratique. / In the introductory chapter, we compare views on estimation and inference in the econometric and statistical learning disciplines.In the second chapter, our interest lies in a generic class of nonparametric instrumental models. We extend the estimation procedure in Otsu (2011) by adding a regularisation term to it. We prove the consistency of our estimator under Lebesgue's L2 norm.In the third chapter, we show that when observations are jointly exchangeable rather than independent and identically distributed (i.i.d), a modified version of the empirical process converges weakly towards a Gaussian process under the same conditions as in the i.i.d case. We obtain a similar result for a modified version of the bootstrapped empirical process. We apply our results to get the asymptotic normality of several nonlinear estimators and the validity of bootstrap-based inference. Finally, we revisit the empirical work of Santos Silva and Tenreyro (2006).In the fourth chapter, we address the issue of conducting inference on ratios of expectations. We find that when the denominator tends to zero slowly enough when the number of observations n increases, bootstrap-based inference is asymptotically valid. Secondly, we complement an impossibility result of Dufour (1997) by showing that whenever n is finite it is possible to construct confidence intervals which are not pathological under some conditions on the denominator.In the fifth chapter, we present a Stata command which implements estimators proposed in de Chaisemartin et d'Haultfoeuille (2018) to measure several types of treatment effects widely studied in practice.

Nous nous intéressons dans cette thèse à l'estimation non paramétrique de la densité à partir d'un échantillon aléatoire. Nous établissons des propriétés limites d'estimateurs de densité en les déduisant de lois limites fonctionnelles pour le processus empirique local, qui sont démontrées dans un contexte général. L'exposé de thèse, comprenant deux parties, est construit de la manière suivante. La première partie porte sur des lois limites fonctionnelles locales. Elles sont établies pour trois ensembles de suites de fonctions aléatoires, construites à partir: du processus empirique uniforme, du processus empirique de quantiles uniforme et du processus empirique de Kaplan-Meier. Ces lois sont uniformes relativement à la taille des incréments de ces processus empiriques locaux et décrivent le comportement asymptotique de la distance de Hausdorff entre chacun de ces trois ensembles et un ensemble de type Strassen. La deuxième partie porte sur l'estimation non paramétrique de la densité. Nous présentons plusieurs applications des lois limites fonctionnelles locales établies précédemment. Ces résultats comportent, d'une part, la description de lois limites pour des estimateurs non paramétriques de la densité, comprenant les estimateurs à noyau et les estimateurs de la densité par la méthode des plus proches voisins, et d'autre part, des lois limites pour les estimateurs à noyau de la densité des temps de survie et du taux de panne dans un modèle de censure à droite. Ces lois limites ont la particularité d'être établies, dans le cadre de la convergence en probabilité, uniformément relativement aux paramètres de lissage des estimateurs considérés.

Cette thèse porte sur le modèle des risques concurrents et sur le modèle des évènements <br />récurrents.<br />Dans le cadre des risques concurrents, on s'intéresse aux fonctions <br />d'incidences cumulées : elles correspondent à la probabilité qu'un évènement d'un certain type se <br />produise avant un instant donné. Ces fonctions sont estimées de façon non-paramétrique au moyen <br />de l'estimateur de Aalen-Johansen. Des résultats d'approximation forte, de loi du logarithme <br />itéré et de convergence faible pour des processus basés sur l'estimateur de Aalen-Johansen sont <br />établis. Des bandes de confiance sont construites et simulées. Une extension du modèle de <br />Koziol-Green est aussi considérée.<br />Dans le cadre d'évènements récurrents, des fonctions d'incidences cumulées conditionnelles sont <br />estimées de façon non-paramétrique. Les estimateurs proposés sont consistants et leur <br />comportement à distance finie est illustré sur des données réelles et simulées.

Disposant d'un jeu de données sur des infections nosocomiales, nous utilisons des techniques de vraisemblance empirique pour construire des bandes de confiance pour certaines quantité d'intérêt. Cette étude nous amène à renforcer les outils déjà existants afin qu'ils s'adaptent à notre cadre. Nous présentons dans une première partie les outils mathématiques issus de la littérature que nous utilisons dans ce travail de thèse. Nous les appliquons ensuite à diverses situations et donnons de nouvelles démonstrations lorsque cela est nécessaire. Nous conduisons aussi des simulations et obtenons des résultats concrets concernant notre jeu de données. Enfin, nous détaillons les algorithmes utilisés.

Cette thèse aborde le sujet de la régression linéaire dans différents cadres, liés notamment à l’apprentissage. Les deux premiers chapitres présentent le contexte des travaux, leurs apports et les outils mathématiques utilisés. Le troisième chapitre est consacré à la construction d’une fonction de régularisation optimale, permettant par exemple d’améliorer sur le plan théorique la régularisation de l’estimateur LASSO. Le quatrième chapitre présente, dans le domaine de l’optimisation convexe séquentielle, des accélérations d’un algorithme récent et prometteur, MetaGrad, et une conversion d’un cadre dit “séquentiel déterministe" vers un cadre dit “batch stochastique" pour cet algorithme. Le cinquième chapitre s’intéresse à des prévisions successives par intervalles, fondées sur l’agrégation de prédicteurs, sans retour d’expérience intermédiaire ni modélisation stochastique. Enfin, le sixième chapitre applique à un jeu de données pétrolières plusieurs méthodes d’agrégation, aboutissant à des prévisions ponctuelles court-terme et des intervalles de prévision long-terme. / This thesis tackles the topic of linear regression, within several frameworks, mainly linked to statistical learning. The first and second chapters present the context, the results and the mathematical tools of the manuscript. In the third chapter, we provide a way of building an optimal regularization function, improving for instance, in a theoretical way, the LASSO estimator. The fourth chapter presents, in the field of online convex optimization, speed-ups for a recent and promising algorithm, MetaGrad, and shows how to transfer its guarantees from a so-called “online deterministic setting" to a “stochastic batch setting". In the fifth chapter, we introduce a new method to forecast successive intervals by aggregating predictors, without intermediate feedback nor stochastic modeling. The sixth chapter applies several aggregation methods to an oil production dataset, forecasting short-term precise values and long-term intervals.

Ce mémoire porte sur la présentation des estimateurs de Bernstein qui sont des alternatives récentes aux différents estimateurs classiques de fonctions de répartition et de densité. Plus précisément, nous étudions leurs différentes propriétés et les comparons à celles de la fonction de répartition empirique et à celles de l'estimateur par la méthode du noyau. Nous déterminons une expression asymptotique des deux premiers moments de l'estimateur de Bernstein pour la fonction de répartition. Comme pour les estimateurs classiques, nous montrons que cet estimateur vérifie la propriété de Chung-Smirnov sous certaines conditions. Nous montrons ensuite que l'estimateur de Bernstein est meilleur que la fonction de répartition empirique en terme d'erreur quadratique moyenne. En s'intéressant au comportement asymptotique des estimateurs de Bernstein, pour un choix convenable du degré du polynôme, nous montrons que ces estimateurs sont asymptotiquement normaux. Des études numériques sur quelques distributions classiques nous permettent de confirmer que les estimateurs de Bernstein peuvent être préférables aux estimateurs classiques. / This thesis focuses on the presentation of the Bernstein estimators which are recent alternatives to conventional estimators of the distribution function and density. More precisely, we study their various properties and compare them with the empirical distribution function and the kernel method estimators. We determine an asymptotic expression of the first two moments of the Bernstein estimator for the distribution function. As the conventional estimators, we show that this estimator satisfies the Chung-Smirnov property under conditions. We then show that the Bernstein estimator is better than the empirical distribution function in terms of mean squared error. We are interested in the asymptotic behavior of Bernstein estimators, for a suitable choice of the degree of the polynomial, we show that the Bernstein estimators are asymptotically normal. Numerical studies on some classical distributions confirm that the Bernstein estimators may be preferable to conventional estimators.

Cette thèse se consacre à l'étude de théorèmes limites pour des suites de variables aléatoires stationnaires (en particulier issues d'un système dynamique). Nous nous concentrons sur deux résultats importants, notamment par leurs applications en statistiques. Nous étudions tout d'abord le comportement limite des sommes de variables aléatoires, plus précisément le théorème limite central et son principe d'invariance. Ensuite nous considérons le principe d'invariance pour les processus empiriques.<br />Dans le cadre du principe d'invariance faible de Donsker, plusieurs résultats s'obtiennent au travers d'approximations par des martingales et plus généralement par des critères projectifs. Nous comparons quatre de ces critères et montrons leur indépendance mutuelle. Les critères étudiés sont la décomposition martingale-cobord (Gordin, 1969), la condition de Hannan (1979), le critère de Dedecker et Rio (2000) et<br />la condition de Maxwell et Woodroofe (2000).<br />En ce qui concerne le comportement asymptotique des processus empiriques, nous établissons un principe d'invariance dans le cas des automorphismes du tore. Cela permet de sortir du cadre hyperbolique connu et d'obtenir un premier résultat pour une transformation partiellement hyperbolique.<br />Nous proposons également une nouvelle approche, basée sur des méthodes d'opérateurs, permettant d'établir un principe d'invariance empirique. Cette méthode s'applique en particulier aux cas où l'on a de bonnes propriétés pour une classe de fonctions ne contenant pas les fonctions indicatrices. C'est en particulier le cas de certains systèmes dynamiques dont l'opérateur de transfert admet un trou spectral.<br />En dernier lieu, suivant une question de Burton et Denker (1987), nous nous intéressons à la classe des processus pour lesquels le théorème limite central a lieu. En référence au cadre des processus empiriques, nous étudions en particulier les suites de sommes partielles des itérées d'une fonction indicatrice.

Ce mémoire porte sur la présentation des estimateurs de Bernstein qui sont des alternatives récentes aux différents estimateurs classiques de fonctions de répartition et de densité. Plus précisément, nous étudions leurs différentes propriétés et les comparons à celles de la fonction de répartition empirique et à celles de l'estimateur par la méthode du noyau. Nous déterminons une expression asymptotique des deux premiers moments de l'estimateur de Bernstein pour la fonction de répartition. Comme pour les estimateurs classiques, nous montrons que cet estimateur vérifie la propriété de Chung-Smirnov sous certaines conditions. Nous montrons ensuite que l'estimateur de Bernstein est meilleur que la fonction de répartition empirique en terme d'erreur quadratique moyenne. En s'intéressant au comportement asymptotique des estimateurs de Bernstein, pour un choix convenable du degré du polynôme, nous montrons que ces estimateurs sont asymptotiquement normaux. Des études numériques sur quelques distributions classiques nous permettent de confirmer que les estimateurs de Bernstein peuvent être préférables aux estimateurs classiques. / This thesis focuses on the presentation of the Bernstein estimators which are recent alternatives to conventional estimators of the distribution function and density. More precisely, we study their various properties and compare them with the empirical distribution function and the kernel method estimators. We determine an asymptotic expression of the first two moments of the Bernstein estimator for the distribution function. As the conventional estimators, we show that this estimator satisfies the Chung-Smirnov property under conditions. We then show that the Bernstein estimator is better than the empirical distribution function in terms of mean squared error. We are interested in the asymptotic behavior of Bernstein estimators, for a suitable choice of the degree of the polynomial, we show that the Bernstein estimators are asymptotically normal. Numerical studies on some classical distributions confirm that the Bernstein estimators may be preferable to conventional estimators.