Nous appelons accroissements généralisés du processus empirique l'estimateur à noyau de la densité centré sur R^d pour lequel le noyau varie dans une classe de fonctions G. Ceci définit des processus stochastiques indéxés par G. Nous étudions le comportement limite de ces trajectoires aléatoires en considérant une suite de taille de fenêtre h_n qui tend vers 0. Nous donnons des résultats limites fonctionnels lorsque h_n vérifie les conditions de Csörgö-Révész-Stute, puis lorsque h_n vérifie les conditions d'Erdös-Renyi. Nous étudions également quelques comportements au second ordre dans les lois limites fonctionnelles standard du logarithme itéré pour le processus empirique uniforme local.

La dépendance faible est un outil très performant pour obtenir des résultats asymptotiques en statistique des séries chronologiques. Son atout majeur est de résumer les propriétés de dépendance de très nombreux modèles via le comportement d'une suite de coefficients. Dans un problème où le modèle n'est pas clairement identifiable, des hypothèses sur les coefficients de dépendance faible sont parfois moins contraignantes que le choix d'un modèle. De plus, pour certains modèles causaux, la dépendance faible permet d'étudier les propriétés de dépendance là où toutes les autres notions (de mélange par exemple) échouent. Les coefficients permettent d'élargir aux séries chronomogiques des résultats asymptotiques classiques du cas de référence, celui d'observations indépendantes.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Cette thèse traite quelques aspects fonctionnels et non fonctionnels des grandes déviations et des déviations modérées en estimation fonctionnelle. Nous avons introduit dans la première partie un processus qui nous a permis de traiter de façon unifiée l'estimation de la fonction de densité et de la fonction de régression en utilisant plusieurs méthodes d'estimation. Plus explicitement, des principes de grandes déviations fonctionnels et non fonctionnels et des résultats de type Chernoff ponctuels et uniformes ont été obtenus. Dans un premier lieu nous avons établi un principe fonctionnel de grandes déviations pour l'estimateur par la méthode du noyau de la fonction de régression indexé par une famille de fonction vérifiant les conditions du théorème d'Arzèla-Ascoli. Ces résultats ont été utilisés pour définir un critère de sélection de modèles. Par la suite, dans la deuxième partie, nous nous sommes intéressé à 'estimation de la fonction de densité et de la fonction de régression par la méthode des histogrammes et nous avons obtenu des principes de grandes déviations ponctuels, des résultats de type Chernoff ponctuels et uniformes pour ces estimateur ainsi que des résultats de type minimax. Enfin dans les deux dernières parties, nous avons établi des principes fonctionnels de grandes déviations dans l'espace $L^1$ pour les estimateurs par la méthode des delta-suites des fonctions de densité et de régression ainsi qu'un principe de déviations modérées dans $L^1$ pour l'estimateur de la fonction de densité par la méthode des histogrammes.

Les méthodes d'agrégation en apprentissage statistique combinent plusieurs prédicteurs intermédiaires construits à partir du même jeu de données dans le but d'obtenir un prédicteur plus stable avec une meilleure performance. Celles-ci ont été amplement étudiées et ont données lieu à plusieurs travaux, théoriques et empiriques dans plusieurs contextes, supervisés et non supervisés. Dans ce travail nous nous intéressons dans un premier temps à l'apport de ces méthodes au problème de l'estimation de la densité. Nous proposons plusieurs estimateurs simples obtenus comme combinaisons linéaires d'histogrammes. La principale différence entre ceux-ci est quant à la nature de l'aléatoire introduite à chaque étape de l'agrégation. Nous comparons ces techniques à d'autres approches similaires et aux estimateurs classiques sur un choix varié de modèles, et nous démontrons les propriétés asymptotiques pour un de ces algorithmes (Random Averaged Shifted Histogram). Une seconde partie est consacrée aux extensions du Boosting pour le cas multiclasse. Nous proposons un nouvel algorithme (Adaboost.BG) qui fournit un classifieur final en se basant sur un calcul d'erreur qui prend en compte la marge individuelle de chaque modèle introduit dans l'agrégation. Nous comparons cette méthode à d'autres algorithmes sur plusieurs jeu de données artificiels classiques. / Ensemble methods in statistical learning combine several base learners built from the same data set in order to obtain a more stable predictor with better performance. Such methods have been extensively studied in the supervised context for regression and classification. In this work we consider the extension of these approaches to density estimation. We suggest several new algorithms in the same spirit as bagging and boosting. We show the efficiency of combined density estimators by extensive simulations. We give also the theoretical results for one of our algorithms (Random Averaged Shifted Histogram) by mean of asymptotical convergence under milmd conditions. A second part is devoted to the extensions of the Boosting algorithms for the multiclass case. We propose a new algorithm (Adaboost.BG) accounting for the margin of the base classifiers and show its efficiency by simulations and comparing it to the most used methods in this context on several datasets from the machine learning benchmark. Partial theoretical results are given for our algorithm, such as the exponential decrease of the learning set misclassification error to zero.

L'objet de ma thèse est l'étude du comportement de certaines distances entre la mesure empirique d'un processus stationnaire et sa loi marginale (distance de type Cramér-Von Mises ou de type Wasserstein), dans le cas de variables aléatoires dépendantes au sens large, incluant par exemple, certains systèmes dynamiques. Nous établissons, dans un second chapitre, un principe de déviations modérées, sous des conditions projectives, pour une suite stationnaire de variables aléatoires bornées à valeurs dans un espace de Hilbert H, que ce soit pour un processus adapté ou non. Parmi les applications, nous avons travaillé, non seulement à l'étude de la statistique de Cramér-Von Mises, mais aussi sur les fonctions de processus linéaires (importantes dans les problèmes de prédiction) et les chaines de Markov stables. Dans le troisième chapitre, nous donnons un Théorème Limite Central pour des suites stationnaires ergodiques de différences de martingales dans L^1. Puis, par une approximation par des différences de martingales, nous en déduisons un Théorème Limite Central pour des suites stationnaires ergodiques de variables aléatoires à valeurs dans L^1, et satisfaisant des conditions projectives. Ceci nous permet d'obtenir des résultats sur le comportement asymptotique de statistiques du type distance de Wasserstein pour une importante classe de suites dépendantes. En particulier, les résultats sont appliquées à l'étude de systèmes dynamiques, ainsi qu'à celle des processus linéaires causaux. Pour finir, afin de construire des intervalles de confiance asymptotiques pour la moyenne d'une suite stationnaire à partir du Théorème Limite Central, nous proposons un estimateur lissé de la densité spectrale. Dans ce dernier chapitre, nous donnons des critères projectifs pour la convergence dans L^1 d'un estimateur lissé de la densité spectrale. Cela nous permet via un Théorème Limite Central d'avoir des régions de confiance pour les paramètres dans un modèle de régression paramétrique.

L'étude est associée aux problèmes de lois limites associées à un échantillon (X1,..,Xn). Le chapitre 1 est consacré à certains aspects de la loi multinomiale, et dégage une loi limite sur les valeurs extrêmes de problèmes d'occupation. Il améliore significativement les résultats de P.Revesz (1971-72), et conduit à des lois limites sur l'estimation de la densité dans Rs, par deux méthodes dites d'estimation par histogramme aléatoire. Le chapitre 2 est consacré à la loi conjointe des écarts inter-quantiles, et donne une nouvelle loi limite des extrêmes de ces écarts, généralisant les travaux de G.Tusnady (1974). Le chapitre 3 prolonge les travaux de ce dernier sur l'estimation de la densité par histogramme aléatoire. Le caractère asymptotiquement poissonnien de la loi multinomiale et de la loi de Dirichlet est mis en évidence dans des conditions très générales.

La méthode Quasi-Monte Carlo Randomisé (RQMC) est souvent utilisée pour estimer une intégrale sur le cube unitaire (0,1)^s de dimension s. Cette intégrale est interprétée comme l'espérance mathématique d'une variable aléatoire X. Il est bien connu que, sous certaines conditions, les estimateurs d'intégrales par RQMC peuvent converger plus rapidement que les estimateurs par Monte Carlo. Pour la simulation de chaînes de Markov sur un grand nombre d'étapes en utilisant RQMC, il existe peu de résultats. L'approche la plus prometteuse proposée à ce jour est la méthode array-RQMC. Cette méthode simule, en parallèle, n copies de la chaîne en utilisant un ensemble de points RQMC aléatoires et indépendants à chaque étape et trie ces chaînes en utilisant une fonction de tri spécifique après chaque étape. Cette méthode a donné, de manière empirique, des résultats significatifs sur quelques exemples (soit, un taux de convergence bien meilleur que celui observé avec Monte Carlo standard). Par contre, les taux de convergence observés empiriquement n'ont pas encore été prouvés théoriquement. Dans la première partie de cette thèse, nous examinons comment RQMC peut améliorer, non seulement, le taux de convergence lors de l'estimation de l'espérance de X mais aussi lors de l'estimation de sa densité. Dans la deuxième partie, nous examinons comment RQMC peut être utilisé pour la simulation de chaînes de Markov sur un grand nombre d'étapes à l'aide de la méthode array-RQMC. Notre thèse contient quatre articles. Dans le premier article, nous étudions l'efficacité gagnée en remplaçant Monte Carlo (MC) par les méthodes de Quasi-Monte Carlo Randomisé (RQMC) ainsi que celle de la stratification. Nous allons ensuite montrer comment ces méthodes peuvent être utilisées pour rendre un échantillon plus représentatif. De plus, nous allons montrer comment ces méthodes peuvent aider à réduire la variance intégrée (IV) et l'erreur quadratique moyenne intégrée (MISE) pour les estimateurs de densité par noyau (KDE). Nous fournissons des résultats théoriques et empiriques sur les taux de convergence et nous montrons que les estimateurs par RQMC et par stratification peuvent atteindre des réductions significatives en IV et MISE ainsi que des taux de convergence encore plus rapides que MC pour certaines situations, tout en laissant le biais inchangé. Dans le deuxième article, nous examinons la combinaison de RQMC avec une approche Monte Carlo conditionnelle pour l'estimation de la densité. Cette approche est définie en prenant la dérivée stochastique d'une CDF conditionnelle de X et offre une grande amélioration lorsqu'elle est appliquée. L'utilisation de la méthode array-RQMC pour évaluer une option asiatique sous un processus ordinaire de mouvement brownien géométrique avec une volatilité fixe a déjà été tentée dans le passé et un taux de convergence de O(n⁻²) a été observé pour la variance. Dans le troisième article, nous étudions le prix des options asiatiques lorsque le processus sous-jacent présente une volatilité stochastique. Plus spécifiquement, nous examinons les modèles de volatilité stochastique variance-gamma, Heston ainsi que Ornstein-Uhlenbeck. Nous montrons comment l'application de la méthode array-RQMC pour la détermination du prix des options asiatiques et européennes peut réduire considérablement la variance. L'algorithme t-leaping est utilisé dans la simulation des systèmes biologiques stochastiques. La méthode Monte Carlo (MC) est une approche possible pour la simulation de ces systèmes. Simuler la chaîne de Markov pour une discrétisation du temps de longueur t via la méthode quasi-Monte Carlo randomisé (RQMC) a déjà été explorée empiriquement dans plusieurs expériences numériques et les taux de convergence observés pour la variance, lorsque la dimension augmente, s'alignent avec ceux observés avec MC. Dans le dernier article, nous étudions la combinaison de array-RQMC avec cet algorithme et démontrons empiriquement que array-RQMC fournit une réduction significative de la variance par rapport à la méthode de MC standard. / The Randomized Quasi Monte Carlo method (RQMC) is often used to estimate an integral over the s-dimensional unit cube (0,1)^s. This integral is interpreted as the mathematical expectation of some random variable X. It is well known that RQMC estimators can, under some conditions, converge at a faster rate than crude Monte Carlo estimators of the integral. For Markov chains simulation on a large number of steps by using RQMC, little exists. The most promising approach proposed to date is the array-RQMC method. This method simulates n copies of the chain in parallel using a set of independent RQMC points at each step, and sorts the chains using a specific sorting function after each step. This method has given empirically significant results in terms of convergence rates on a few examples (i.e. a much better convergence rate than that observed with Monte Carlo standard). However, the convergence rates observed empirically have not yet been theoretically proven. In the first part of this thesis, we examine how RQMC can improve the convergence rate when estimating not only X's expectation, but also its distribution. In the second part, we examine how RQMC can be used for Markov chains simulation on a large number of steps using the array-RQMC method. Our thesis contains four articles. In the first article, we study the effectiveness of replacing Monte Carlo (MC) by either randomized quasi Monte Carlo (RQMC) or stratification to show how they can be applied to make samples more representative. Furthermore, we show how these methods can help to reduce the integrated variance (IV) and the mean integrated square error (MISE) for the kernel density estimators (KDEs). We provide both theoretical and empirical results on the convergence rates and show that the RQMC and stratified sampling estimators can achieve significant IV and MISE reductions with even faster convergence rates compared to MC in some situations, while leaving the bias unchanged. In the second article, we examine the combination of RQMC with a conditional Monte Carlo approach to density estimation. This approach is defined by taking the stochastic derivative of a conditional CDF of X and provides a large improvement when applied. Using array-RQMC in order to price an Asian option under an ordinary geometric Brownian motion process with fixed volatility has already been attempted in the past and a convergence rate of O(n⁻²) was observed for the variance. In the third article, we study the pricing of Asian options when the underlying process has stochastic volatility. More specifically, we examine the variance-gamma, Heston, and Ornstein-Uhlenbeck stochastic volatility models. We show how applying the array-RQMC method for pricing Asian and European options can significantly reduce the variance. An efficient sample path algorithm called (fixed-step) t-leaping can be used to simulate stochastic biological systems as well as well-stirred chemical reaction systems. The crude Monte Carlo (MC) method is a feasible approach when it comes to simulating these sample paths. Simulating the Markov chain for fixed-step t-leaping via ordinary randomized quasi-Monte Carlo (RQMC) has already been explored empirically and, when the dimension of the problem increased, the convergence rate of the variance was realigned with those observed in several numerical experiments using MC. In the last article, we study the combination of array-RQMC with this algorithm and empirically demonstrate that array-RQMC provides a significant reduction in the variance compared to the standard MC algorithm.

Cette thèse a pour objet l'étude des<br />propriétés statistiques d'algorithmes d'apprentissage dans le cas de<br />l'estimation de la régression et de la densité. Elle est divisée en<br />trois parties.<br /><br />La première partie consiste en une généralisation des théorèmes<br />PAC-Bayésiens, sur la classification, d'Olivier Catoni, au cas de la régression avec une fonction de perte<br />générale.<br /><br />Dans la seconde partie, on étudie plus particulièrement le cas de la<br />régression aux moindres carrés et on propose un nouvel algorithme de<br />sélection de variables. Cette méthode peut être appliquée notamment<br />au cas d'une base de fonctions orthonormales, et conduit alors à des<br />vitesses de convergence optimales, mais aussi au cas de fonctions de<br />type noyau, elle conduit alors à une variante des méthodes dites<br />"machines à vecteurs supports" (SVM).<br /><br />La troisième partie étend les résultats de la seconde au cas de<br />l'estimation de densité avec perte quadratique.