Dans la première partie de cette thèse, nous chercherons à estimer la mesure invariante d’un processus ergodique dirigé par une Équation Différentielle Stochastique.Le théorème ergodique nous suggère de considérer la mesure empirique associée à un schéma d’approximation du processus sous-jacent qui peut se voir comme le pendant discret de la mesure d’occupation dudit processus. Lamberton et Pagès ont introduit un algorithme de discrétisation à pas décroissant qui assure la convergence de la mesure empirique du schéma vers la mesure invariante du processus considéré ainsi qu’un théorème central limite (TCL) quantifiant asymptotiquement l’écart entre ces deux mesures. Nous établissons des inégalités de concentration non-asymptotiques pour les déviations de la mesure empirique (cohérentes avec le TCL mentionné ci-avant), ainsi que des contrôles sur la solution de l’équation de Poisson associée, utiles pour ces inégalités.Dans une seconde partie, nous établissons des estimées de Schauder liées à des équations paraboliques associées à un système stochastique dégénéré, où la dérive est un champ de vecteurs vérifiant une condition de type Hörmander (faible) mais en cherchant la régularité Hölder minimale. Ce travail fait suite à l’article de Delarue et Menozzi (2010). Enfin, notre approche nous permet de montrer l’unicité forte du système stochastique considéré dans le cadre de coefficients Hölder, étendant ainsi le résultat obtenu en dimension 2 par Chaudru de Raynal (2017). / In the first part of this thesis, we aim to estimate the invariant distribution of an ergodic process driven by a Stochastic Differential Equation. The ergodic theorem suggests us to consider the empirical measure associated with a discretization scheme of the process which can be regarded as a discretization of the occupation measure of the process.Lamberton and Pagès introduced an algorithm of discretization with decreasing time steps which allows the convergence of the empirical measure toward the invariant distribution of the process, they also provide a central limit theorem (CLT) which asymptotically quantifies the deviations between these both measures.We establish non-asymptotic concentration inequality for the empirical measure deviations (in accordance with the previously mentioned CLT), and also we give some controls of the solution of the associated Poisson equation which is useful for this concentration inequalities.In a second part, we establish some Schauder controls associated with parabolic equations related with a degenerate stochastic system, where the drift is a vector field satisfying a weak Hörmander condition like.But we aim to suppose only the minimal H"older regularity.This work is an extension of the estimates given by Delarue and Menozzi (2010).Finally, our approach allows us to proof the strong uniqueness of the considered stochastic equation in a H"older regularity framework. Our results extend the controls of Chaudru de Raynal (2017) for the dimension equal to 2.

Cette thèse est consacrée à l'étude de deux thèmes : les grandes déviations pour les estimateurs à noyau de la densité $f_n^*$ des processus stochastiques stationnaires et l'estimateur de décrément aléatoire (EDA) pour les processus gaussiens stationnaires.<br /><br /><br />Le premier thème est la partie principale de cette thèse, constituées des quatre premiers chapitres. Dans le chapitre 1, on établit le w*-PGD(principe de grandes déviations) de $f_n^*$ et une inégalité de concentration dans le cas i.i.d.. On démontre dans le chapitre 2 la convergence exponentielle de $f_n^*$ dans $L^1(R^d)$ et une inégalité de concentration pour des suites $\phi$-mélangeants, en se basant sur une inégalité de tranport de Rio. Les chapitre 3 et 4 constituent le coeur de cette thèse : on établit (i) le PGD de $f_n^*$ pour la topologie faible $\sigma(L^1, L^{\infty})$ ; (ii) le w*-PGD de $f_n^*$ dans $L^1$ pour la topologie forte $\vert\cdot\vert_1$ ; (iii) l'estimation de grandes déviations pour l'erreur $D_n^*=\vert f_n^*(x)-f(x) \vert_1$ et (iv) l'optimalité asymptotique de $f_n^*$ au sens de Bahadur. Ces résultats sont prouvés dans le chapitre 3 pour des processus de Markov uniformément ergodiques et dans le chapitre 4 pour des processus de Markov réversibles uniformément intégrables.<br /><br /><br />Le dernier chapitre est consacré au second thème. On démontre la loi des grands nombres et le théorème de limite centrale pour l'EDA à temps discret et on établit pour la première fois l'expression explicite du biais de l'EDA à temps continu.

Cette thèse est consacrée à l'étude théorique d'une méthode de calibration automatique des pénalités en sélection de modèles. Cette méthode se base sur une heuristique, appelée "heuristique de pente", qui stipule l'existence d'une pénalité minimale telle que la solution optimale du problème de pénalisation vaut deux fois celle-ci. En pratique, on estime la pénalité optimale en estimant préalablement la pénalité minimale, caractérisée par un changement brutal dans le comportement de la procédure de sélection de modèles autour de ce seuil de pénalisation. L'analyse théorique du phénomène de pente se base sur un contrôle à la constante près des déviations de l'excès de risque et de l'excès de risque empirique des estimateurs considérés, mesurant respectivement leur performance en prédiction et leur performance empirique. Ceci suggère en premier lieu, une forte spécification de la structure du problème étudié. Nous validons l'heuristique de pente dans un cadre général qui s'articule autour d'une notion nouvelle en M-estimation, que nous appelons "contraste régulier", et nous développons une méthodologie de preuve inédite, permettant de traiter à la fois la question des bornes supérieures et des bornes inférieures de déviation des excès de risque à modèle fixé. Nous retrouvons ainsi la plupart des résultats déjà connus sur l'heuristique de pente. En effet, nous donnons trois exemples d'estimation par minimum de contraste régulier, à savoir la régression par moindres carrés sur des modèles linéaires, l'estimation de la densité par moindres carrés sur des modèles affines et l'estimation de la densité par maximum de vraisemblance sur des ensembles convexes. Ceci nous permet d'étendre les résultats précédemment établis dans le cas de la régression à des modèles plus généraux et de valider l'heuristique de pente pour un risque non quadratique en considérant le cas de l'estimation par maximum de vraisemblance. Enfin, notre méthodologie de preuve fournit des pistes précises de recherche pour des situations non régulières, comme on en trouve en classification ou plus généralement en théorie de l'apprentissage statistique.

Cette thèse porte sur l'étude de la concentration autour de la moyenne de fonctions de variables aléatoires indépendantes à l'aide de techniques de martingales et d'inégalités de comparaison.Dans une première partie, nous prouvons des inégalités de comparaison pour des fonctions générales séparément convexes de variables aléatoires indépendantes non nécessairement bornées. Ces résultats sont établis à partir de nouvelles inégalités de comparaison dans des classes de fonctions convexes (contenant, en particulier, les fonctions exponentielles croissantes) pour des variables aléatoires réelles uniquement dominées stochastiquement.Dans la seconde partie, nous nous intéressons aux suprema de processus empiriques associés à des observations i.i.d. Le point clé de cette partie est un résultat d'échangeabilité des variables. Nous montrons d'abord des inégalités de type Fuk-Nagaev avec constantes explicites lorsque les fonctions de la classe ne sont pas bornées. Ensuite, nous prouvons de nouvelles inégalités de déviation avec une meilleure fonction de taux dans les bandes de grandes déviations dans le cas des classes de fonctions uniformément bornées. Nous donnons également des inégalités de comparaison de moments généralisés dans les cas uniformément borné et uniformément majoré. Enfin, les résultats de la première partie nous permettent d'obtenir une inégalité de concentration lorsque les fonctions de la classe ont une variance infinie. / This thesis deals with concentration properties around the mean of functions of independent random variables using martingale techniques and comparison inequalities.In the first part, we prove comparison inequalities for general separately convex functions of independent and non necessarily bounded random variables. These results are based on new comparison inequalities in convex classes of functions (including, in particular, the increasing exponential functions) for real-valued random variables which are only stochastically dominated.In the second part, we are interested in suprema of empirical processes associated to i.i.d. random variables. The key point of this part is a result of exchangeability of variables. We first give Fuk-Nagaev type inequalities with explicit constants when the functions of the considered class are unbounded. Next, we provide new deviation inequalities with an improved rate function in the large deviations bandwidth in the case of classes of uniformly bounded functions. We also provide generalized moment comparison inequalities in uniformly bounded and uniformly bounded from above cases. Finally, results from the first part allow us to prove a concentration inequality when the functions of the class have an infinite variance.

La thèse se place dans le cadre de l'apprentissage statistique. Elle apporte<br />des contributions à la communauté du machine learning en utilisant des<br />techniques de statistiques modernes basées sur des avancées dans l'étude<br />des processus empiriques. Dans une première partie, les propriétés statistiques de<br />l'analyse en composantes principales à noyau (KPCA) sont explorées. Le<br />comportement de l'erreur de reconstruction est étudié avec un point de vue<br />non-asymptotique et des inégalités de concentration des valeurs propres de la matrice de<br />Gram sont données. Tous ces résultats impliquent des vitesses de<br />convergence rapides. Des propriétés <br />non-asymptotiques concernant les espaces propres de la KPCA eux-mêmes sont également<br />proposées. Dans une deuxième partie, un nouvel <br />algorithme de classification a été<br />conçu : la Kernel Projection Machine (KPM). <br />Tout en s'inspirant des Support Vector Machines (SVM), il met en lumière que la sélection d'un espace vectoriel par une méthode de<br />réduction de la dimension telle que la KPCA régularise <br />convenablement. Le choix de l'espace vectoriel utilisé par la KPM est guidé par des études statistiques de sélection de modéle par minimisation pénalisée de la perte empirique. Ce<br />principe de régularisation est étroitement relié à la projection fini-dimensionnelle étudiée dans les travaux statistiques de <br />Birgé et Massart. Les performances de la KPM et de la SVM sont ensuite comparées sur différents jeux de données. Chaque thème abordé dans cette thèse soulève de nouvelles questions d'ordre théorique et pratique.

Premièrement, nous construisons de tels tests basés sur des approches par bootstrap ou par permutation, et étudions leurs propriétés asymptotiques dans un cadre de processus ponctuels, à travers l'étude du comportement asymptotique des lois conditionnelles des statistiques de test bootstrappée et permutée, sous l'hypothèse nulle ainsi que toute alternative. Nous les validons en pratique par simulation et les comparons à des méthodes classiques en neurosciences. Ensuite, nous nous concentrons sur les tests par permutation, connus pour contrôler non-asymptotiquement leur niveau. Les p-valeurs basées sur la notion de coïncidences avec délai, sont implémentées dans une procédure de tests multiples, appelée méthode Permutation Unitary Events, pour détecter les synchronisations entre deux neurones. Nous validons la méthode par simulation avant de l'appliquer à de vraies données. Deuxièmement, nous étudions les propriétés non-asymptotiques des tests par permutation en termes de vitesse de séparation uniforme. Nous construisons une procédure de tests agrégés, basée sur du seuillage par ondelettes dans un cadre de variables aléatoires à densité. Nous déduisons d'une inégalité fondamentale de Talagrand, une nouvelle inégalité de concentration de type Bernstein pour des sommes permutées aléatoirement qui nous permet de majorer la vitesse de séparation uniforme sur des espaces de Besov faibles et d'en déduire que cette procédure semble être optimale et adaptative au sens du minimax. / On the one hand, we construct such tests based on bootstrap and permutation approaches. Their asymptotic performance are studied in a point process framework through the analysis of the asymptotic behavior of the conditional distributions of both bootstrapped and permuted test statistics, under the null hypothesis as well as under any alternative. A simulation study is performed verifying the usability of these tests in practice, and comparing them to existing classical methods in Neuroscience. We then focus on the permutation tests, well known for their non-asymptotic level properties. Their p-values, based on the delayed coincidence count, are implemented in a multiple testing procedure, called Permutation Unitary Events method, to detect the synchronization occurrences between two neurons. The practical validity of the method is verified on a simulation study before being applied on real data. On the other hand, the non-asymptotic performances of the permutation tests are studied in terms of uniform separation rates. A new aggregated procedure based on a wavelet thresholding method is developed in the density framework. Based on Talagrand's fundamental inequalities, we provide a new Bernstein-type concentration inequality for randomly permuted sums. In particular, it allows us to upper bound the uniform separation rate of the aggregated procedure over weak Besov spaces and deduce that this procedure seems to be optimal and adaptive in the minimax sens.