Dans cette thèse, on s'intéresse à l'estimation des fonctions de régression par polynômes et par splines dans le cadre des statistiques non-paramétriques. L'objectif est d'estimer la fonction cible f, à partir des observations Y=f+ϵ, où ϵ est un bruit gaussien. En appuyant sur la méthode d'estimation du risque sans biais, l'idée consiste à obtenir des inégalités d'oracle pour des familles d'estimateurs par polynômes et par splines. Etant donnée une famille d'estimateurs M, une telle inégalité permet de comparer, sans aucune hypothèse sur la fonction cible f, les performances de l'estimateur f ̂^* à l'estimateur d'oracle f ̂_or. Le point essentiel de notre approche consiste à sélectionner, à l'aide des données, un paramètre d'estimation adapté : lorsque on considère le problème de l'estimation par projection, ce paramètre est le degré du polynôme ; dans le cas de l'estimation par splines, ce paramètre correspond à un paramètre de lissage. Ainsi, on en déduit des bornes supérieures non-asymptotiques pour les risques quadratiques de notre adaptation.<br /> Afin d'obtenir des inégalités d'oracle, on applique l'inégalité de Doob pour le processus de Wiener pour l'estimation par polynômes ; dans le cas de l'estimation par splines, on introduit le processus ordonné en généralisant le processus de Wiener.

Le problème étudié dans cette thèse est celui du débruitage d'images numériques cor- rompues par un bruit blanc gaussien. Les méthodes utilisées pour récupérer une meilleure image reposent sur les patchs et sont des variantes des Non-Local Means. Les contributions de la thèse sont à la fois pratiques et théoriques. Tout d'abord, on étudie précisément l'influence des divers paramètres de la méthode. On met ensuite en lumière une lim- ite observée sur le traitement des bords par les méthodes à patchs habituelles. On donne alors une meilleure façon de combiner l'information fournie à partir des patchs pour estimer pixel par pixel. D'un point de vue théorique, on présente un cadre non asymptotique pour contrôler notre estimateur. On donne alors des résultats de type inégalités oracles pour des estimateurs vérifiant des propriétés plus restrictives. Les techniques utilisées reposent sur l'agrégation d'estimateurs, et plus particulièrement sur l'agrégation à poids exponentiels. La méthode requiert typiquement une mesure du risque, obtenue à travers un estimateur sans biais de celui-ci, par exemple par la méthode de Stein. Les méthodes de débruitage étudiées sont analysées numériquement par simulations.

Les résultats obtenus dans cette thèse concernent l'estimation non paramétrique de densités de probabilité. Principalement, nous nous intéressons à estimer une densité de probabilité multidimensionnelle de régularité anisotrope et inhomogène. Nous proposons des procédures d'estimation qui sont adaptatives, non seulement par rapport aux paramètres de régularité, mais aussi par rapport à la structure d'indépendance de la densité de probabilité estimée. Cela nous permet de réduire l'influence de la dimension du domaine d'observation sur la qualité d'estimation et de faire en sorte que cette dernière soit la meilleure possible. Pour analyser la performance de nos méthodes nous adoptons le point de vue minimax et nous généralisons un critère d'optimalité pour l'estimation adaptative. L'utilisation du critère que nous proposons s'impose lorsque le paramètre d'intérêt est estimé en un point fixé car, dans ce cas, il y a un "prix à payer" pour l'adaptation par rapport à la régularité et à la structure d'indépendance. Cela n'est plus vrai lorsque l'estimation est globale. Dans le modèle de densité (avec des observations directes) nous considérons le problème de l'estimation ponctuelle et celui de l'estimation en norme $bL_p$, $pin[1,infty)$. Dans le modèle de déconvolution (avec des observations bruitées) nous étudions le problème de l'estimation en norme $bL_p$, $pin[1,infty]$, dans le cas où la fonction caractéristique du bruit décroît polynomialement à l'infini. Chaque estimateur que nous proposons est obtenu par une procédure de sélection aléatoire dans une famille d'estimateurs à noyau. / The results obtained in this thesis concern the non parametric estimation of probability densities. Primarily, we are interested in estimating a multivariate probability density which is anisotropic and inhomogeneous. We propose estimation procedures that enable us to take into account the regularity properties of the underlying probability density and its independence structure simultaneously. This allows us to reduce the influence of the dimension of the observation space on the accuracy of estimation and then to improve it. To analyze the performance of our methods we adopt the minimax point of view and we generalize a criterion of optimality for adaptive estimation. The use of the criterion we propose is necessary for estimation at a fixed point. Indeed, in this setting, there is a "penalty" for adaptation with respect to the regularity and to the independence structure. This is no longer true for global estimation. In the density model (with direct observations) we consider both the problem of pointwise estimation and the problem of estimation under $bL_p$-loss ($pin[1,infty)$). In the deconvolution model (with noisy observations) we study the problem of estimation with an $bL_p$-risk ($pin[1,infty]$) when the characteristic function of the noise decreases polynomially at infinity. Any estimator that we propose is obtained by a random selection procedure in a family of kernel estimators.

Ce manuscrit se concentre sur deux problèmes d'estimation de fonction. Pour chacun, une garantie non asymptotique des performances de l'estimateur proposé est fournie par une inégalité d'oracle. Pour l'estimation de densité conditionnelle, des mélanges de régressions gaussiennes à poids exponentiels dépendant de la covariable sont utilisés. Le principe de sélection de modèle par maximum de vraisemblance pénalisé est appliqué et une condition sur la pénalité est établie. Celle-ci est satisfaite pour une pénalité proportionnelle à la dimension du modèle. Cette procédure s'accompagne d'un algorithme mêlant EM et algorithme de Newton, éprouvé sur données synthétiques et réelles. Dans le cadre de la régression à bruit sous-gaussien, l'agrégation à poids exponentiels d'estimateurs linéaires permet d'obtenir une inégalité d'oracle en déviation, au moyen de techniques PAC-bayésiennes. Le principal avantage de l'estimateur proposé est d'être aisément calculable. De plus, la prise en compte de la norme infinie de la fonction de régression permet d'établir un continuum entre inégalité exacte et inexacte. / This manuscript focuses on two functional estimation problems. A non asymptotic guarantee of the proposed estimator’s performances is provided for each problem through an oracle inequality.In the conditional density estimation setting, mixtures of Gaussian regressions with exponential weights depending on the covariate are used. Model selection principle through penalized maximum likelihood estimation is applied and a condition on the penalty is derived. If the chosen penalty is proportional to the model dimension, then the condition is satisfied. This procedure is accompanied by an algorithm mixing EM and Newton algorithm, tested on synthetic and real data sets. In the regression with sub-Gaussian noise framework, aggregating linear estimators using exponential weights allows to obtain an oracle inequality in deviation,thanks to pac-bayesian technics. The main advantage of the proposed estimator is to be easily calculable. Furthermore, taking the infinity norm of the regression function into account allows to establish a continuum between sharp and weak oracle inequalities.

Dans cette thèse, nous étudions divers problèmes d'estimation par sélection d'estimateurs constants ou polynomiaux par morceaux sur des partitions en intervalles ou rectangles dyadiques, en utilisant un critère de type moindres carrés pénalisé adéquat. Nos travaux portent sur trois sujets différents. Nous nous intéressons tout d'abord à l'estimation d'une loi de probabilité discrète, ainsi qu'à une application à la détection de ruptures multiples. Puis, nous proposons un cadre unifié pour l'estimation fonctionnelle basée sur des données éventuellement censurées. Enfin, nous étudions simultanément l'estimation de densité multivariée et de densité conditionnelle pour des données dépendantes. Le choix de la collection de partitions en intervalles ou rectangles dyadiques s'avère intéressant aussi bien en théorie qu'en pratique. En effet, notre estimateur pénalisé vérifie dans chacun des cadres une inégalité de type oracle non-asymptotique, pour une pénalité bien choisie. Il atteint également la vitesse minimax à constante près sur de nombreuses classes de fonctions, dont la régularité est éventuellement à la fois non homogène et non isotrope. Cette propriété, qui à notre connaissance n'a été démontrée pour aucun autre estimateur, repose sur des résultats d'approximation dont les preuves sont inspirées d'un article de DeVore et Yu. Par ailleurs, le calcul de notre estimateur dans un cadre univarié est basé sur un algorithme de plus court chemin dont la complexité est seulement linéaire en la taille de l'échantillon.

Ce travail est consacré au problème d'estimation non paramétrique dans des modèles de régression en temps continu. On considère le problème d'estimation d'une fonction inconnue S supposée périodique. Cette estimation est basée sur des observations générées par un processus stochastique; ces observations peuvent être en temps continu ou discret. Pour ce faire, nous construisons une série d'estimateurs par projection et nous approchons la fonction inconnue S par une série de Fourier finie. Dans cette thèse, nous considérons le problème d'estimation dans le cadre adaptatif, c'est-à-dire le cas où la régularité de la fonction S est inconnue. Pour ce problème, nous développons une nouvelle méthode d'adaptation basée sur la procédure de sélection de modèle proposée par Konev et Pergamenshchikov (2012). Tout d'abord, cette procédure nous donne une famille d'estimateurs ; après nous choisissons le meilleur estimateur possible en minimisant une fonction coût. Nous donnons également une inégalité d'Oracle pour le risque de nos estimateurs et nous donnons la vitesse de convergence minimax. / This thesis is devoted to the problem of non parametric estimation for continuous-time regression models. We consider the problem of estimating an unknown periodoc function S. This estimation is based on observations generated by a stochastic process; these observations may be in continuous or discrete time. To this end, we construct a series of estimators by projection and thus we approximate the unknown function S by a finite Fourier series. In this thesis we consider the estimation problem in the adaptive setting, i.e. in situation when the regularity of the fonction S is unknown. In this way, we develop a new adaptive method based on the model selection procedure proposed by Konev and Pergamenshchikov (2012). Firstly, this procedure give us a family of estimators, then we choose the best possible one by minimizing a cost function. We give also an oracle inequality for the risk of our estimators and we give the minimax convergence rate.

À partir des observations Z(n) = {(Xi, Yi), i = 1, ..., n} satisfaisant Yi = f(Xi) + ζi, nous voulons reconstruire la fonction f. Nous évaluons la qualité d'estimation par deux critères : le risque Ls et le risque uniforme. Dans ces deux cas, les hypothèses imposées sur la distribution du bruit ζi serons de moment borné et de type sous-gaussien respectivement. En proposant une collection des estimateurs à noyau, nous construisons une procédure, qui est initié par Goldenshluger et Lepski, pour choisir l'estimateur dans cette collection, sans aucune condition sur f. Nous prouvons ensuite que cet estimateur satisfait une inégalité d'oracle, qui nous permet d'obtenir les estimations minimax et minimax adaptatives sur les classes de Hölder anisotropes. / From the observation Z(n) = {(Xi, Yi), i = 1, ..., n} satisfying Yi = f(Xi) + ζi, we would like to approximate the function f. This problem will be considered in two cases of loss function, Ls-risk and uniform risk, where the condition imposed on the distribution of the noise ζi is of bounded moment and of type sub-gaussian, respectively. From a proposed family of kernel estimators, we construct a procedure, which is initialized by Goldenshluger and Lepski, to choose in this family a final estimator, with no any assumption imposed on f. Then, we show that this estimator satisfies an oracle inequality which implies the minimax and minimax adaptive estimation over the anisotropic Hölder classes.

Dans plusieurs domaines des statistiques, y compris le traitement du signal et des images, l'estimation en grande dimension est une tâche importante pour recouvrer un objet d'intérêt. Toutefois, dans la grande majorité de situations, ce problème est mal-posé. Cependant, bien que la dimension ambiante de l'objet à restaurer (signal, image, vidéo) est très grande, sa ``complexité'' intrinsèque est généralement petite. La prise en compte de cette information a priori peut se faire au travers de deux approches: (i) la pénalisation (très populaire) et (ii) l'agrégation à poids exponentiels (EWA). L'approche penalisée vise à chercher un estimateur qui minimise une attache aux données pénalisée par un terme promouvant des objets de faible complexité (simples). L'EWA combine une famille des pré-estimateurs, chacun associé à un poids favorisant exponentiellement des pré-estimateurs, lesquels privilègent les mêmes objets de faible complexité.Ce manuscrit se divise en deux grandes parties: une partie théorique et une partie algorithmique. Dans la partie théorique, on propose l'EWA avec une nouvelle famille d'a priori favorisant les signaux parcimonieux à l'analyse par group dont la performance est garantie par des inégalités oracle. Ensuite, on analysera l'estimateur pénalisé et EWA, avec des a prioris généraux favorisant des objets simples, dans un cardre unifié pour établir des garanties théoriques. Deux types de garanties seront montrés: (i) inégalités oracle en prédiction, et (ii) bornes en estimation. On les déclinera ensuite pour des cas particuliers dont certains ont été étudiés dans littérature. Quant à la partie algorithmique, on y proposera une implémentation de ces estimateurs en alliant simulation Monte-Carlo (processus de diffusion de Langevin) et algorithmes d'éclatement proximaux, et montrera leurs garanties de convergence. Plusieurs expériences numériques seront décrites pour illustrer nos garanties théoriques et nos algorithmes. / In many areas of statistics, including signal and image processing, high-dimensional estimation is an important task to recover an object of interest. However, in the overwhelming majority of cases, the recovery problem is ill-posed. Fortunately, even if the ambient dimension of the object to be restored (signal, image, video) is very large, its intrinsic ``complexity'' is generally small. The introduction of this prior information can be done through two approaches: (i) penalization (very popular) and (ii) aggregation by exponential weighting (EWA). The penalized approach aims at finding an estimator that minimizes a data loss function penalized by a term promoting objects of low (simple) complexity. The EWA combines a family of pre-estimators, each associated with a weight exponentially promoting the same objects of low complexity.This manuscript consists of two parts: a theoretical part and an algorithmic part. In the theoretical part, we first propose the EWA with a new family of priors promoting analysis-group sparse signals whose performance is guaranteed by oracle inequalities. Next, we will analysis the penalized estimator and EWA, with a general prior promoting simple objects, in a unified framework for establishing some theoretical guarantees. Two types of guarantees will be established: (i) prediction oracle inequalities, and (ii) estimation bounds. We will exemplify them for particular cases some of which studied in the literature. In the algorithmic part, we will propose an implementation of these estimators by combining Monte-Carlo simulation (Langevin diffusion process) and proximal splitting algorithms, and show their guarantees of convergence. Several numerical experiments will be considered for illustrating our theoretical guarantees and our algorithms.