Dans cette thèse, nous nous proposons d'étudier quelques paramètres fonctionnels lorsque les données sont générées à partir d'un modèle de régression à indice simple. Nous étudions deux paramètres fonctionnels. Dans un premier temps nous supposons que la variable explicative est à valeurs dans un espace de Hilbert (dimension infinie) et nous considérons l'estimation de la densité conditionnelle par la méthode de noyau. Nous traitons les propriétés asymptotiques de cet estimateur dans les deux cas indépendant et dépendant. Pour le cas où les observations sont indépendantes identiquement distribuées (i.i.d.), nous obtenons la convergence ponctuelle et uniforme presque complète avec vitesse de l'estimateur construit. Comme application nous discutons l'impact de ce résultat en prévision non paramétrique fonctionnelle à partir de l'estimation de mode conditionnelle. La dépendance est modélisée via la corrélation quasi-associée. Dans ce contexte nous établissons la convergence presque complète ainsi que la normalité asymptotique de l'estimateur à noyau de la densité condtionnelle convenablement normalisée. Nous donnons de manière explicite la variance asymptotique. Notons que toutes ces propriétés asymptotiques ont été obtenues sous des conditions standard et elles mettent en évidence le phénomène de concentration de la mesure de probabilité de la variable fonctionnelle sur des petites boules. Dans un second temps, nous supposons que la variable explicative est vectorielle et nous nous intéressons à un modèle de prévision assez général qui est la régression robuste. A partir d'observations quasi-associées, on construit un estimateur à noyau pour ce paramètre fonctionnel. Comme résultat asymptotique on établit la vitesse de convergence presque complète uniforme de l'estimateur construit. Nous insistons sur le fait que les deux modèles étudiés dans cette thèse pourraient être utilisés pour l'estimation de l'indice simple lorsque ce dernier est inconnu, en utilisant la méthode d'M-estimation ou la méthode de pseudo-maximum de vraisemblance, qui est un cas particulier de la première méthode.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Dans cette thèse, nous nous intéressons à l'estimation de paramètres dans les chaînes de Markov cachées. Nous considérons tout d'abord le problème de l'estimation en ligne (sans sauvegarde des observations) au sens du maximum de vraisemblance. Nous proposons une nouvelle méthode basée sur l'algorithme Expectation Maximization appelée Block Online Expectation Maximization (BOEM). Cet algorithme est défini pour des chaînes de Markov cachées à espace d'état et espace d'observations généraux. Dans le cas d'espaces d'états généraux, l'algorithme BOEM requiert l'introduction de méthodes de Monte Carlo séquentielles pour approcher des espérances sous des lois de lissage. La convergence de l'algorithme nécessite alors un contrôle de la norme Lp de l'erreur d'approximation Monte Carlo explicite en le nombre d'observations et de particules. Une seconde partie de cette thèse se consacre à l'obtention de tels contrôles pour plusieurs méthodes de Monte Carlo séquentielles. Nous étudions enfin des applications de l'algorithme BOEM à des problèmes de cartographie et de localisation simultanées. La dernière partie de cette thèse est relative à l'estimation non paramétrique dans les chaînes de Markov cachées. Le problème considéré est abordé dans un cadre précis. Nous supposons que (Xk) est une marche aléatoire dont la loi des incréments est connue à un facteur d'échelle a près. Nous supposons que, pour tout k, Yk est une observation de f(Xk) dans un bruit additif gaussien, où f est une fonction que nous cherchons à estimer. Nous établissons l'identifiabilité du modèle statistique et nous proposons une estimation de f et de a à partir de la vraisemblance par paires des observations. / This document is dedicated to inference problems in hidden Markov models. The first part is devoted to an online maximum likelihood estimation procedure which does not store the observations. We propose a new Expectation Maximization based method called the Block Online Expectation Maximization (BOEM) algorithm. This algorithm solves the online estimation problem for general hidden Markov models. In complex situations, it requires the introduction of Sequential Monte Carlo methods to approximate several expectations under the fixed interval smoothing distributions. The convergence of the algorithm is shown under the assumption that the Lp mean error due to the Monte Carlo approximation can be controlled explicitly in the number of observations and in the number of particles. Therefore, a second part of the document establishes such controls for several Sequential Monte Carlo algorithms. This BOEM algorithm is then used to solve the simultaneous localization and mapping problem in different frameworks. Finally, the last part of this thesis is dedicated to nonparametric estimation in hidden Markov models. It is assumed that the Markov chain (Xk) is a random walk lying in a compact set with increment distribution known up to a scaling factor a. At each time step k, Yk is a noisy observations of f(Xk) where f is an unknown function. We establish the identifiability of the statistical model and we propose estimators of f and a based on the pairwise likelihood of the observations.

Dans cette thèse, nous nous proposons d'étudier quelques paramètres fonctionnels lorsque les données sont générées à partir d'un modèle de régression à indice simple. Nous étudions deux paramètres fonctionnels. Dans un premier temps nous supposons que la variable explicative est à valeurs dans un espace de Hilbert (dimension infinie) et nous considérons l'estimation de la densité conditionnelle par la méthode de noyau. Nous traitons les propriétés asymptotiques de cet estimateur dans les deux cas indépendant et dépendant. Pour le cas où les observations sont indépendantes identiquement distribuées (i.i.d.), nous obtenons la convergence ponctuelle et uniforme presque complète avec vitesse de l'estimateur construit. Comme application nous discutons l'impact de ce résultat en prévision non paramétrique fonctionnelle à partir de l'estimation de mode conditionnelle. La dépendance est modélisée via la corrélation quasi-associée. Dans ce contexte nous établissons la convergence presque complète ainsi que la normalité asymptotique de l'estimateur à noyau de la densité condtionnelle convenablement normalisée. Nous donnons de manière explicite la variance asymptotique. Notons que toutes ces propriétés asymptotiques ont été obtenues sous des conditions standard et elles mettent en évidence le phénomène de concentration de la mesure de probabilité de la variable fonctionnelle sur des petites boules. Dans un second temps, nous supposons que la variable explicative est vectorielle et nous nous intéressons à un modèle de prévision assez général qui est la régression robuste. A partir d'observations quasi-associées, on construit un estimateur à noyau pour ce paramètre fonctionnel. Comme résultat asymptotique on établit la vitesse de convergence presque complète uniforme de l'estimateur construit. Nous insistons sur le fait que les deux modèles étudiés dans cette thèse pourraient être utilisés pour l'estimation de l'indice simple lorsque ce dernier est inconnu, en utilisant la méthode d'M-estimation ou la méthode de pseudo-maximum de vraisemblance, qui est un cas particulier de la première méthode. / In this thesis, we propose to study some functional parameters when the data are generated from a model of regression to a single index. We study two functional parameters. Firstly, we suppose that the explanatory variable take its values in Hilbert space (infinite dimensional space) and we consider the estimate of the conditional density by the kernel method. We establish some asymptotic properties of this estimator in both independent and dependent cases. For the case where the observations are independent identically distributed (i.i.d.), we obtain the pointwise and uniform almost complete convergence with rateof the estimator. As an application we discuss the impact of this result in fuctional nonparametric prevision for the estimation of the conditional mode. In the dependent case we modelize the later via the quasi-associated correlation. Note that all these asymptotic properties are obtained under standard conditions and they highlight the phenomenon of concentration properties on small balls probability measure of the functional variable. Secondly we suppose that the explanatory variable takes values in the _nite dimensional space and we interest in a rather general prevision model whichis the robust regression. From the quasi-associated data, we build a kernel estimator for this functional parameter. As an asymptotic result we establish the uniform almost complete convergence rate of the estimator. We point out by the fact that these two models studied in this thesis could be used for the estimation of the single index of the model when the latter is unknown, by using the method of M-estimation or the pseudo-maximum likelihood method which is a particular case of the first method.

La méthode d'optimisation d'un portefeuille issue de la minimisation du DownSide Risk a été mise au point pour suppléer les carences de la méthode classique de Markowitz dont l'hypothèse de la normalité de la distribution des rendements se trouve défaillante très souvent. Dans cette thèse, nous proposons d'introduire des estimateurs non paramétriques de la moyenne ou de la médiane conditionnelle pour remplacer les rendements observés d'un portefeuille ou des actifs constituant un portefeuille dans le cas du DownSide Risk. Ces estimateurs nous permettent d'obtenir des frontières efficientes lisses et facilement interprétables. Nous développons des algorithmes itératifs pour résoudre les différents problèmes d'optimisation permettant d'obtenir des portefeuilles optimaux. Nous proposons aussi une nouvelle mesure de risque dit risque conditionnel qui tient compte des anticipations des valeurs futures des différents rendements. Pour le définir nous avons fait appel aux prédicteurs non paramétriques basés sur l'estimation de la moyenne conditionnelle. Enfin, nous avons testé et validé toutes nos méthodes sur des données issues de différents marchés et nous avons montré leur performance et leur efficacité comparées aux méthodes classiques / The DownSide Risk (DSR) model for portfolio optimization allows to overcome the drawbacks of the classical Mean-Variance model concerning the asymmetry of returns and the risk perception of investors. This optimization model deals with a positive definite matrix that is endogenous with respect to the portfolio weights and hence leads to a non standard optimization problem. To bypass this hurdle, we developed a new recursive minimization procedure that ensures the convergence to the solution and gives a smooth portfolio efficient frontier. Our method consists in replacing all the returns by their nonparametric estimators counterpart using kernel mean or median regressions. This technique provides an effect similar to the case where an infinite number of observations is available. We also develop a new portfolio optimization model where the risks are measured through conditional variance or semivariance. This strategy allows us to take advantage from returns prediction which are obtained by nonparametric univariate methods. The prediction step uses kernel estimation of the conditional mean. Data from different markets are used to test and validate the proposed approaches, and results indicate better overall performance

Dans la première partie de cette thèse, nous avons proposé des tests non paramétriques d'indépendance entre des variables aléatoires continues. Les tests proposés sont basés sur la fonction de copule empirique de Bernstein et la fonction de densité de copule de Bernstein. La deuxième partie, nous avons abordé le problème de l’estimation non paramétrique de la fonction de densité de probabilité conditionnelle et la fonction de répartition conditionnelle basée sur une représentation polynomiale de Bernstein. Les estimateurs proposés ont été utilisés pour estimer la fonction de régression et la fonction de quantile conditionnelle. Les propriétés asymptotiques de ces estimateurs ont été établies. Finalement, une étude de simulation est menée pour montrer la performance de nos estimateurs, soit sur des exemples simulés ou bien des données réelles.

Les copules représentent un outil innovant pour modéliser la structure de dépendance de plusieurs variables aléatoires. Introduites par Sklar [1959] pour résoudre un problème de probabilité énoncé par Maurice Fréchet, les copules deviennent essentielles à l'appréhension de nombreux domaines d'application tels que l'hydrologie (Salvadori, De Michele, Kottegoda, et Rosso [2007]), les sciences actuarielles (Frees et Valdez [1998]), ou la finance (Cherubini, Vecchiato, et Luciano [2004]; Mc-Neil, Frey, et Embrechts [2005]). Le grand intérêt est qu'elles fournissent des expressions relativement simples des structures des dépendances liant les marges d'une loi multidimensionnelle. Plus précisément, pour le cas bidimensionnel, une copule C définie sur [0, 1] [indice supérieur 2], associée à une distribution F de marges uniformes F [indice inférieur 1] et F [indice inférieur 2], permet de représenter la fonction de répartition jointe F(x [indice inférieur 1], x [indice inférieur 2]) en fonction de ces marginales F [indice inférieur 1](x [indice inférieur 1]) et F [indice inférieur 2](x [indice inférieur 2]) par la relation : F(x [indice inférieur 1], x [indice inférieur 2]) = C(F [indice inférieur 1](x [indice inférieur 1]), F [indice inférieur 2](x [indice inférieur 2])). Cependant en pratique, la copule est inconnue, d'où l'utilité de l'estimer. Dans ce mémoire nous commençons par les définitions et les propriétés liées aux copules ainsi que les modèles paramétriques des copules. Ensuite nous présentons les différentes méthodes d'estimation: paramétriques, semi-paramétriques et non-paramétriques. Dans ce travail, on a étudié les propriétés asymptotiques d'un estimateur non-paramétrique basé sur les polynômes de Bernstein proposé par Sancetta & Satchell [2004]. Aussi, on a utilisé cet estimateur pour proposer un nouvel estimateur du tau de Kendall.

Soit un processus ponctuel observé sur un intervalle de temps fini, et admettant une intensité stochastique conforme au modèle de Aalen. La fonction d'intensité du processus est estimée à partir d'un échantillon indépendant et identiquement distribué de paires constituées par la réalisation du processus ponctuel et du processus prévisible associé, par la minimisation d'un critère qui représente la longueur d'un code variable pour les données observées. L'estimateur de complexité minimale est la fonction minimisant ce critère dans une famille de fonctions candidates. Un choix judicieux des fonctions de complexité permet de définir ainsi des codes universels pour des réalisations de processus ponctuels. Les estimateurs de la fonction d'intensité obtenus par minimisation de ce critère sont presque-sûrement consistants au sens de l'entropie, et au sens de la distance de Hellinger pour des fonctions de complexité satisfaisant l'inégalité de Kraft. L'étude des vitesses de convergence pour la distance de Hellinger, montre qu'elles sont majorées par celle de la redondance du code. Ces vitesses, sont précisées dans le cas des familles de fonctions trigonométriques, polynomiales et splines. Dans le cas particulier des processus de Poisson et des modèles de durées de vie avec censure, les mêmes vitesses de convergence sont obtenues pour des distances plus fortes. D'autres propriétés de l'estimateur sont présentées, notamment la découverte exacte de la fonction inconnue dans certains cas, et la normalité asymptotique. Des suites de tests exponentiels consistants sont également étudiées. Le comportement numérique de l'estimateur est analysé à travers des simulations dans le cas des modèles de durées de vie avec censure

Nous considérons l'estimation non-paramétrique d'une densité k-monotone définie sur (0,∞), pour un entier k > 0 donné, via les méthodes de maximum de vraisemblance et des moindres carrés qu'on note respectivement par MLE et LSE.<br /><br />Dans l'introduction, nous présentons tout d'abord la motivation principale derrière ce problème et nous faisons l'effort d'inclure dans le cadre général de notre travail les résultats asymptotiques qui étaient déjà établis pour les cas spéciaux k=1 et k=2.<br /> <br />Ensuite, nous nous penchons sur l'étude des propriétés des MLE et LSE d'une densité k-monotone g_0 dans le cas où on dispose de n observations indépendantes générées de g_0. Notre étude asymptotique est locale, c'est-à-dire que nous nous intéressons uniquement aux propriétés asymptotiques des estimateurs et de leur dérivées à un point fixe, x_0. Sous certaines hypothèses que nous précisons, nous établissons d'abord les bornes inférieures minimax pour l'estimation des dérivées g^{(j)}_0(x_0), j=0,...,k-1. Les bornes obtenues indiquent que n^{-(k-j)/(2k+1)} est la vitesse de convergence optimale de n'importe quel estimateur non-paramétrique de g^{(j)}_0(x_0). Sous les mêmes hypothèses et si une certaine conjecture est vraie, nous démontrons que cette vitesse optimale est atteinte dans le cas des MLE et LSE.<br /><br />Pour compléter la théorie asymptotique des estimateurs et de leur dérivées au point x_0, nous passons à la dérivation de leurs distributions limites lorsque la taille de l'échantillon n tend vers l'infini. Il s'avère que ces distributions dépendent d'un processus stochastique bien particulier défini sur l'ensemble des réels R. On note ce processus par H_k Le 3ème chapitre est consacré essentiellement à l'existence et à l'unicité de H_k, ainsi qu'à sa caractérisation. Nous démontrons que si Y_k est la primitive (k-1)-ème d'un mouvement Brownien + k!/(2k)! t^{2k}, alors H_k reste au-dessus (au-dessous) de Y_k lorsque k est pair (impair). Un simple changement de variable suffit pour reconnaître que nos résultats comprennent les cas spéciaux k=1 et k=2 où le problème se réduit à l'estimation d'une densité décroissante et d'une densité décroissante et convexe respectivement. Pour ces cas-là, la théorie asymptotique des MLE et LES a été déjà établie.<br /><br />L'aspect algorithmique fait l'objet du 4ème chapitre. Les algorithmes de Splines itératifs (Iterative Spline algorithms) sont développés et implémentés afin de calculer les estimateurs et aussi pour obtenir une approximation du processus limite sur n'importe quel compact dans R. Ces algorithmes exploitent essentiellement la structure 'splineuse' des MLE, LSE et H_k, et se basent ainsi sur la suppression et l'addition itératives des noeuds de certains Splines aléatoires.

Nous utilisons la théorie moderne des processus empiriques indicés par des classes de fonctions afin d'établir la vitesse exacte de convergence presque sûre d'une large classe d'estimateurs par la méthode du noyau de la fonction de régression dont les estimateurs par lissage polynomial local. Ces résultats prennent la forme de lois limites uniformes du logarithme dans le prolongement des travaux de Deheuvels et Mason (2004) et permettent la construction de bornes de confiance asymptotiquement optimales. La démonstration s'appuie principalement sur une inégalité exponentielle pour la déviation par rapport à l'espérance de la norme du supremum du processus empirique indexé par des classes de fonctions à nombre de recouvrement uniformément polynomial. Nous présentons également une loi limite uniforme du logarithme dans un cadre semi-paramétrique concernant l'estimateur du maximum de vraisemblance local lorsque la loi conditionnelle est paramétrée par une fonction.