Dans cette thèse, j'étudie les propriétés théoriques des modèles de Markov cachés non paramétriques. Le choix de modèles non paramétriques permet d'éviter les pertes de performance liées à un mauvais choix de paramétrisation, d'où un récent intérêt dans les applications. Dans une première partie, je m'intéresse à l'estimation du nombre d'états cachés. J'y introduis deux estimateurs consistants : le premier fondé sur un critère des moindres carrés pénalisés, le second sur une méthode spectrale. Une fois l'ordre connu, il est possible d'estimer les autres paramètres. Dans une deuxième partie, je considère deux estimateurs adaptatifs des lois d'émission, c'est-à-dire capables de s'adapter à leur régularité. Contrairement aux méthodes existantes, ces estimateurs s'adaptent à la régularité de chaque loi au lieu de s'adapter seulement à la pire régularité. Dans une troisième partie, je me place dans le cadre mal spécifié, c'est-à-dire lorsque les observations sont générées par une loi qui peut ne pas être un modèle de Markov caché. J'établis un contrôle de l'erreur de prédiction de l'estimateur du maximum de vraisemblance sous des conditions générales d'oubli et de mélange de la vraie loi. Enfin, j'introduis une variante non homogène des modèles de Markov cachés : les modèles de Markov cachés avec tendances, et montre la consistance de l'estimateur du maximum de vraisemblance. / During my PhD, I have been interested in theoretical properties of nonparametric hidden Markov models. Nonparametric models avoid the loss of performance coming from an inappropriate choice of parametrization, hence a recent interest in applications. In a first part, I have been interested in estimating the number of hidden states. I introduce two consistent estimators: the first one is based on a penalized least squares criterion, and the second one on a spectral method. Once the order is known, it is possible to estimate the other parameters. In a second part, I consider two adaptive estimators of the emission distributions. Adaptivity means that their rate of convergence adapts to the regularity of the target distribution. Contrary to existing methods, these estimators adapt to the regularity of each distribution instead of only the worst regularity. The third part is focussed on the misspecified setting, that is when the observations may not come from a hidden Markov model. I control of the prediction error of the maximum likelihood estimator when the true distribution satisfies general forgetting and mixing assumptions. Finally, I introduce a nonhomogeneous variant of hidden Markov models : hidden Markov models with trends, and show that the maximum likelihood estimators of such models is consistent.

Cette thèse présente divers problèmes d'estimation fonctionnelle adaptative par sélection d'estimateurs en projection ou à noyaux, utilisant des critères inspirés à la fois de la sélection de modèles et des méthodes de Lepski. Le point commun de nos travaux est l'utilisation de données transformées et/ou incomplètes. La première partie est consacrée à une procédure d'estimation par "déformation'', dont la pertinence est illustrée pour l'estimation des fonctions suivantes : régression additive et multiplicative, densité conditionnelle, fonction de répartition dans un modèle de censure par intervalle, risque instantané pour des données censurées à droite. Le but est de reconstruire une fonction à partir d'un échantillon de couples aléatoires (X,Y). Nous utilisons les données déformées (ф(X),Y) pour proposer des estimateurs adaptatifs, où ф est une fonction bijective que nous estimons également (par exemple la fonction de répartition de X). L'intérêt est double : d'un point de vue théorique, les estimateurs ont des propriétés d'optimalité au sens de l'oracle ; d'un point de vue pratique, ils sont explicites et numériquement stables. La seconde partie s'intéresse à un problème à deux échantillons : nous comparons les distributions de deux variables X et Xₒ au travers de la densité relative, définie comme la densité de la variable Fₒ(X) (Fₒ étant la répartition de Xₒ). Nous construisons des estimateurs adaptatifs, à partir d'un double échantillon de données, possiblement censurées. Des bornes de risque non-asymptotiques sont démontrées, et des vitesses de convergences déduites. / This thesis presents various problems of adaptive functional estimation, using projection and kernel methods, and criterions inspired both by model selection and Lepski's methods. The common point of the studied statistical setting is to deal with transformed and/or incomplete data. The first part proposes a method of estimation with a "warping" device which permits to handle the estimation of functions such as additive and multiplicative regression, conditional density, hazard rate based on randomly right-censored data, and cumulative distribution function from current-status data. The aim is to estimate a function from a sample of random variable (X,Y). We use the warped data (ф(X),Y), to propose adaptive estimators, where ф is a one-to-one function that we also estimate (e.g. the cumulative distribution function of X). The interest is twofold. From the theoretical point of view, the estimators are optimal in the oracle sense. From the practical point of view, they can be easily computed, thanks to their simple explicit expression. The second part deals with a two-sample problem : we compare the distribution of two variables X and Xₒ by studying the relative density, defined as the density of Fₒ(X) (Fₒ is the c.d.f. of Xₒ). We build adaptive estimators, from a double data-sample, possibly censored. Non-asymptotic risk bounds are proved, and convergence rates are also derived.

Cette thèse s'inscrit dans le cadre de l'estimation d'une densité, considéré du point de vue non-paramétrique et non-asymptotique. Elle traite du problème de la sélection d'une méthode d'estimation à noyau. Celui-ci est une généralisation, entre autre, du problème de la sélection de modèle et de la sélection d'une fenêtre. Nous étudions des procédures classiques, par pénalisation et par rééchantillonnage (en particulier la validation croisée V-fold), qui évaluent la qualité d'une méthode en estimant son risque. Nous proposons, grâce à des inégalités de concentration, une méthode pour calibrer la pénalité de façon optimale pour sélectionner un estimateur linéaire et prouvons des inégalités d'oracle et des propriétés d'adaptation pour ces procédures. De plus, une nouvelle procédure rééchantillonnée, reposant sur la comparaison entre estimateurs par des tests robustes, est proposée comme alternative aux procédures basées sur le principe d'estimation sans biais du risque. Un second objectif est la comparaison de toutes ces procédures du point de vue théorique et l'analyse du rôle du paramètre V pour les pénalités V-fold. Nous validons les résultats théoriques par des études de simulations. / This thesis takes place in the density estimation setting from a nonparametric and nonasymptotic point of view. It concerns the statistical algorithm selection problem which generalizes, among others, the problem of model and bandwidth selection. We study classical procedures, such as penalization or resampling procedures (in particular V-fold cross-validation), which evaluate an algorithm by estimating its risk. We provide, thanks to concentration inequalities, an optimal penalty for selecting a linear estimator and we prove oracle inequalities and adaptative properties for resampling procedures. Moreover, new resampling procedure, based on estimator comparison by the mean of robust tests, is introduced as an alternative to procedures relying on the unbiased risk estimation principle. A second goal of this work is to compare these procedures from a theoretical point of view and to understand the role of V for V-fold penalization. We validate these theoretical results on empirical studies.