Historiquement, les inégalités d'oracle ont été développées comme des outils particulièrement efficaces pour l'adaptation à un paramètre inconnu en statistique mathématique. Initialement dédiées à la démonstration de propriétés statistiques de certains estimateurs, elles peuvent s'inscrire dans le cadre plus général du problème l'agrégation où elles sont au centre de la définition d'une vitesse optimale d'agrégation. Elles constituent alors d'une part des outils mathématiques et d'autre part des résultats précis et non asymptotiques.<br />Les travaux faisant l'objet de cette thèse présentent différentes utilisations des inégalités d'oracle, d'abord dans un cadre général d'agrégation puis dans des modèles statistiques plus particuliers, comme l'estimation de densité et la classification. Les résultats obtenus sont une palette non exhaustive mais représentative de l'utilisation des inégalités d'oracle en statistique mathématique.

Dans cette thèse nous traitons deux sujets. Le premier sujet concerne l'apprentissage statistique en grande dimension, i.e. les problèmes où le nombre de paramètres potentiels est beaucoup plus grand que le nombre de données à disposition. Dans ce contexte, l'hypothèse généralement adoptée est que le nombre de paramètres intervenant effectivement dans le modèle est petit par rapport au nombre total de paramètres potentiels et aussi par rapport au nombre de données. Cette hypothèse est appelée ``\emph{sparsity assumption}''. Nous étudions les propriétés statistiques de deux types de procédures : les procédures basées sur la minimisation du risque empirique muni d'une pénalité $l_{1}$ sur l'ensemble des paramètres potentiels et les procédures à poids exponentiels. Le second sujet que nous abordons concerne l'étude de procédures d'agrégation dans un modèle de densité. Nous établissons des inégalités oracles pour la norme $L^{\pi}$, $1\leqslant \pi \leqslant \infty$. Nous proposons ensuite une application à l'estimation minimax et adaptative en la régularité de la densité.

Ce mémoire d'habilitation traite de la statistique des processus à temps discret faiblement dépendants. Une première partie présente des résultats asymptotiques d'estimation pour les paramètres de modèles affines généraux. La méthode étudiée est la maximisation du critère de quasi-vraisemblance. Afin de traiter de possibles ruptures de stationnarité, nous pénalisons ce critère par le nombre de ruptures. Pour les modèles à volatilité comme le modèle EGARCH, cette procédure est instable et nous proposons de contraindre le critère au domaine dit d'inversibilité continue. Nous étudions le problème de la prédiction de processus faiblement dépendants dans une seconde partie. Les résultats obtenus sont des inégalités d'oracle non asymptotiques nécessitant l'étude préalable des propriétés de concentration gaussiennes de lois faiblement dépendantes. Pour ce faire nous utilisons une notion de transport faible et de nouvelles inégalités dites de transport conditionnel. Enfin, le comportement des extrêmes en présence de dépendance fait l'objet de la troisième partie. Nous introduisons un indice de {\it cluster} qui caractérise les lois limites $\alpha$-stables dans le théorème de la limite centrale et les grandes déviations des sommes partielles à variation régulière. Nous traitons des exemples de processus à queues épaisses tels que les solutions des équations récurrentes stochastiques linéaires et le modèle GARCH. Nous appliquons ces résultats pour caractériser asymptotiquement les erreurs d'estimation des auto-covariances de processus à queues épaisses.

Cette thèse s'inscrit dans le cadre de l'estimation d'une densité, considéré du point de vue non-paramétrique et non-asymptotique. Elle traite du problème de la sélection d'une méthode d'estimation à noyau. Celui-ci est une généralisation, entre autre, du problème de la sélection de modèle et de la sélection d'une fenêtre. Nous étudions des procédures classiques, par pénalisation et par rééchantillonnage (en particulier la validation croisée V-fold), qui évaluent la qualité d'une méthode en estimant son risque. Nous proposons, grâce à des inégalités de concentration, une méthode pour calibrer la pénalité de façon optimale pour sélectionner un estimateur linéaire et prouvons des inégalités d'oracle et des propriétés d'adaptation pour ces procédures. De plus, une nouvelle procédure rééchantillonnée, reposant sur la comparaison entre estimateurs par des tests robustes, est proposée comme alternative aux procédures basées sur le principe d'estimation sans biais du risque. Un second objectif est la comparaison de toutes ces procédures du point de vue théorique et l'analyse du rôle du paramètre V pour les pénalités V-fold. Nous validons les résultats théoriques par des études de simulations. / This thesis takes place in the density estimation setting from a nonparametric and nonasymptotic point of view. It concerns the statistical algorithm selection problem which generalizes, among others, the problem of model and bandwidth selection. We study classical procedures, such as penalization or resampling procedures (in particular V-fold cross-validation), which evaluate an algorithm by estimating its risk. We provide, thanks to concentration inequalities, an optimal penalty for selecting a linear estimator and we prove oracle inequalities and adaptative properties for resampling procedures. Moreover, new resampling procedure, based on estimator comparison by the mean of robust tests, is introduced as an alternative to procedures relying on the unbiased risk estimation principle. A second goal of this work is to compare these procedures from a theoretical point of view and to understand the role of V for V-fold penalization. We validate these theoretical results on empirical studies.