Le but de l’apprentissage supervisé est d’inférer des relations entre un phénomène que l’on souhaite prédire et des variables « explicatives ». À cette fin, on dispose d’observations de multiples réalisations du phénomène, à partir desquelles on propose une règle de prédiction. L’émergence récente de sources de données à très grande échelle, tant par le nombre d’observations effectuées (en analyse d’image, par exemple) que par le grand nombre de variables explicatives (en génétique), a fait émerger deux difficultés : d’une part, il devient difficile d’éviter l’écueil du sur-apprentissage lorsque le nombre de variables explicatives est très supérieur au nombre d’observations; d’autre part, l’aspect algorithmique devient déterminant, car la seule résolution d’un système linéaire dans les espaces en jeupeut devenir une difficulté majeure. Des algorithmes issus des méthodes d’approximation stochastique proposent uneréponse simultanée à ces deux difficultés : l’utilisation d’une méthode stochastique réduit drastiquement le coût algorithmique, sans dégrader la qualité de la règle de prédiction proposée, en évitant naturellement le sur-apprentissage. En particulier, le cœur de cette thèse portera sur les méthodes de gradient stochastique. Les très populaires méthodes paramétriques proposent comme prédictions des fonctions linéaires d’un ensemble choisi de variables explicatives. Cependant, ces méthodes aboutissent souvent à une approximation imprécise de la structure statistique sous-jacente. Dans le cadre non-paramétrique, qui est un des thèmes centraux de cette thèse, la restriction aux prédicteurs linéaires est levée. La classe de fonctions dans laquelle le prédicteur est construit dépend elle-même des observations. En pratique, les méthodes non-paramétriques sont cruciales pour diverses applications, en particulier pour l’analyse de données non vectorielles, qui peuvent être associées à un vecteur dans un espace fonctionnel via l’utilisation d’un noyau défini positif. Cela autorise l’utilisation d’algorithmes associés à des données vectorielles, mais exige une compréhension de ces algorithmes dans l’espace non-paramétrique associé : l’espace à noyau reproduisant. Par ailleurs, l’analyse de l’estimation non-paramétrique fournit également un éclairage révélateur sur le cadre paramétrique, lorsque le nombre de prédicteurs surpasse largement le nombre d’observations. La première contribution de cette thèse consiste en une analyse détaillée de l’approximation stochastique dans le cadre non-paramétrique, en particulier dans le cadre des espaces à noyaux reproduisants. Cette analyse permet d’obtenir des taux de convergence optimaux pour l’algorithme de descente de gradient stochastique moyennée. L’analyse proposée s’applique à de nombreux cadres, et une attention particulière est portée à l’utilisation d’hypothèses minimales, ainsi qu’à l’étude des cadres où le nombre d’observations est connu à l’avance, ou peut évoluer. La seconde contribution est de proposer un algorithme, basé sur un principe d’accélération, qui converge à une vitesse optimale, tant du point de vue de l’optimisation que du point de vue statistique. Cela permet, dans le cadre non-paramétrique, d’améliorer la convergence jusqu’au taux optimal, dans certains régimes pour lesquels le premier algorithme analysé restait sous-optimal. Enfin, la troisième contribution de la thèse consiste en l’extension du cadre étudié au delà de la perte des moindres carrés : l’algorithme de descente de gradient stochastiqueest analysé comme une chaine de Markov. Cette approche résulte en une interprétation intuitive, et souligne les différences entre le cadre quadratique et le cadre général. Une méthode simple permettant d’améliorer substantiellement la convergence est également proposée. / The goal of supervised machine learning is to infer relationships between a phenomenon one seeks to predict and “explanatory” variables. To that end, multiple occurrences of the phenomenon are observed, from which a prediction rule is constructed. The last two decades have witnessed the apparition of very large data-sets, both in terms of the number of observations (e.g., in image analysis) and in terms of the number of explanatory variables (e.g., in genetics). This has raised two challenges: first, avoiding the pitfall of over-fitting, especially when the number of explanatory variables is much higher than the number of observations; and second, dealing with the computational constraints, such as when the mere resolution of a linear system becomes a difficulty of its own. Algorithms that take their roots in stochastic approximation methods tackle both of these difficulties simultaneously: these stochastic methods dramatically reduce the computational cost, without degrading the quality of the proposed prediction rule, and they can naturally avoid over-fitting. As a consequence, the core of this thesis will be the study of stochastic gradient methods. The popular parametric methods give predictors which are linear functions of a set ofexplanatory variables. However, they often result in an imprecise approximation of the underlying statistical structure. In the non-parametric setting, which is paramount in this thesis, this restriction is lifted. The class of functions from which the predictor is proposed depends on the observations. In practice, these methods have multiple purposes, and are essential for learning with non-vectorial data, which can be mapped onto a vector in a functional space using a positive definite kernel. This allows to use algorithms designed for vectorial data, but requires the analysis to be made in the non-parametric associated space: the reproducing kernel Hilbert space. Moreover, the analysis of non-parametric regression also sheds some light on the parametric setting when the number of predictors is much larger than the number of observations. The first contribution of this thesis is to provide a detailed analysis of stochastic approximation in the non-parametric setting, precisely in reproducing kernel Hilbert spaces. This analysis proves optimal convergence rates for the averaged stochastic gradient descent algorithm. As we take special care in using minimal assumptions, it applies to numerous situations, and covers both the settings in which the number of observations is known a priori, and situations in which the learning algorithm works in an on-line fashion. The second contribution is an algorithm based on acceleration, which converges at optimal speed, both from the optimization point of view and from the statistical one. In the non-parametric setting, this can improve the convergence rate up to optimality, even inparticular regimes for which the first algorithm remains sub-optimal. Finally, the third contribution of the thesis consists in an extension of the framework beyond the least-square loss. The stochastic gradient descent algorithm is analyzed as a Markov chain. This point of view leads to an intuitive and insightful interpretation, that outlines the differences between the quadratic setting and the more general setting. A simple method resulting in provable improvements in the convergence is then proposed.

Nous considérons le problème d’estimation de densités conditionnelles en modérément grandes dimensions. Beaucoup plus informatives que les fonctions de régression, les densités condi- tionnelles sont d’un intérêt majeur dans les méthodes récentes, notamment dans le cadre bayésien (étude de la distribution postérieure, recherche de ses modes...). Après avoir rappelé les problèmes liés à l’estimation en grande dimension dans l’introduction, les deux chapitres suivants développent deux méthodes qui s’attaquent au fléau de la dimension en demandant : d’être efficace computation- nellement grâce à une procédure itérative gloutonne, de détecter les variables pertinentes sous une hypothèse de parcimonie, et converger à vitesse minimax quasi-optimale. Plus précisément, les deux méthodes considèrent des estimateurs à noyau bien adaptés à l’estimation de densités conditionnelles et sélectionnent une fenêtre multivariée ponctuelle en revisitant l’algorithme glouton RODEO (Re- gularisation Of Derivative Expectation Operator). La première méthode ayant des problèmes d’ini- tialisation et des facteurs logarithmiques supplémentaires dans la vitesse de convergence, la seconde méthode résout ces problèmes, tout en ajoutant l’adaptation à la régularité. Dans l’avant-dernier cha- pitre, on traite de la calibration et des performances numériques de ces deux procédures, avant de donner quelques commentaires et perspectives dans le dernier chapitre. / We consider the problem of conditional density estimation in moderately large dimen- sions. Much more informative than regression functions, conditional densities are of main interest in recent methods, particularly in the Bayesian framework (studying the posterior distribution, find- ing its modes...). After recalling the estimation issues in high dimension in the introduction, the two following chapters develop on two methods which address the issues of the curse of dimensionality: being computationally efficient by a greedy iterative procedure, detecting under some suitably defined sparsity conditions the relevant variables, while converging at a quasi-optimal minimax rate. More precisely, the two methods consider kernel estimators well-adapted for conditional density estimation and select a pointwise multivariate bandwidth by revisiting the greedy algorithm RODEO (Regular- isation Of Derivative Expectation Operator). The first method having some initialization problems and extra logarithmic factors in its convergence rate, the second method solves these problems, while adding adaptation to the smoothness. In the penultimate chapter, we discuss the calibration and nu- merical performance of these two procedures, before giving some comments and perspectives in the last chapter.

[pt] Uma característica de alguns conta-próprias e dos empregadores com até cinco empregados brasileiros, é sua baixa produtividade e lucratividade. Além disso, entre estas pequenas empresas, existe uma grande diversidade de níveis de lucro, algumas com patamares de lucro altos quando comparadas às demais e outras com lucros irrisórios. A maioria dos estudiosos associa esta baixa produtividade das pequenas empresas brasileiras ao mercado de crédito em que elas atuam. Segundo eles, as imperfeições no mercado de crédito impedem que estas pequenas produções consigam obter o volume de capital necessário a execução dos projetos mais eficientes. Além disso, como algumas empresas enfrentam restrições creditícias mais severas que outras, elas podem ter produtividade diferentes e consequentemente níveis de lucro diferentes. Ao observar os dados fornecidos pelo IBGE em 1997 sobre estas pequena produções percebe-se que de fato elas operam em patamares de lucro diferentes, algumas com lucros bem acima da média e outras com lucros negativos, e utilizam volumes de capital muito diferentes em seu processo produtivo. Este resultado é estranho, uma vez que as pequenas empresas atuam nos mesmos mercados, sendo tomadoras de preços e provavelmente usam a mesma tecnologia, e portanto, segundo a teoria microeconômica convencional, teriam que empregar o mesmo volume de capital em seu processo produtivo e obter o mesmo nível de lucro. Nesta dissertação, propõe uma abordagem que relaciona o mercado de crédito a diversidade de lucro entre as pequenas empresas brasileiras, sendo as imperfeições credíticias um dos possíveis determinantes para a lucratividade e produtividade destas empresas. / [en] The self-employees and the employers with no more than five employees in Brazil are well known for their low productivity and for their low profitability. These small firms have a great variety of profits level among of them, with some having profits above the mean and others with negative profits. In the majority of the studies, low profitability and low productivity are associated with the imperfections in credit market. The majority of this enterprises do not get the sufficient capital to invest in the most productive projects, because of the restrictions in credit market. When we work with the data for the small employers and self-employees in Brazil, we see that the profits level differs among these firms, and they put different amount of capital in their production. This result is not expected, because the small firms in Brazil participate in the same markets, and probably have the same technology. Thus according to the microeconomic theory, they should have the same profits level and should use the same amount of capital in their production. This paper try to infer if the credit constrains are the only factor that affects small enterprises profit in Brazil.

Die vorliegende Arbeit hat nichtparametrische Schätzmethoden für diskret beobachtete Lévyprozesse zum Gegenstand. Ein Lévyprozess mit endlichen zweiten Momenten und endlicher Variation auf Kompakta wird niederfrequent beobachtet. Die Sprungdynamik wird vollständig durch das endliche signierte Maß my(dx):= x ny(dx) beschrieben. Ein lineares Funktional von my soll nichtparametrisch geschätzt werden. Im ersten Teil werden Kernschätzer konstruiert und obere Schranken für das korrespondierende Risiko bewiesen. Daraus werden Konvergenzraten unter Glattheitsannahmen an das Lévymaß hergeleitet. Für Spezialfälle werden untere Schranken bewiesen und daraus Minimax-Optimalität gefolgert. Der Schwerpunkt liegt auf dem Problem der datengetriebenen Wahl des Glättungsparameters, das im zweiten Teil untersucht wird. Da die nichtparametrische Schätzung für Lévyprozesse starke strukturelle Ähnlichkeiten mit Dichtedekonvolutionsproblemen mit unbekannter Fehlerdichte aufweist, werden beide Problemstellungen parallel diskutiert und die Methoden allgemein sowohl für Lévyprozesse als auch für Dichtedekonvolution entwickelt. Es werden Methoden der Modellwahl durch Penalisierung angewandt. Während das Prinzip der Modellwahl im üblichen Fall darauf beruht, dass die Fluktuation stochastischer Terme durch Penalisierung mit einer deterministischen Größe beschränkt werden kann, ist die Varianz im hier betrachteten Fall unbekannt und der Strafterm somit stochastisch. Das Hauptaugenmerk der Arbeit liegt darauf, Strategien zum Umgang mit dem stochastischen Strafterm zu entwickeln. Dabei ist ein modifizierter Schätzer für die charakteristische Funktion im Nenner zentral, der es erlaubt, die punktweise Kontrolle der Abweichung dieses Objects von seiner Zielgröße auf die gesamte reelle Achse zu erweitern. Für die Beweistechnik sind insbesondere Talagrand-Konzentrationsungleichungen für empirische Prozesse relevant. / This thesis deals with nonparametric estimation methods for discretely observed Lévy processes. A Lévy process X having finite variation on compact sets and finite second moments is observed at low frequency. The jump dynamics is fully described by the finite signed measure my(dx)=x ny(dx). The goal is to estimate, nonparametrically, some linear functional of my. In the first part, kernel estimators are constructed and upper bounds on the corresponding risk are provided. From this, rates of convergence are derived, under regularity assumptions on the Lévy measure. For particular cases, minimax lower bounds are proved. The rates of convergence are thus shown to be minimax optimal. The focus lies on the data driven choice of the smoothing parameter, which is being considered in the second part. Since nonparametric estimation methods for Lévy processes have strong structural similarities with with nonparametric density deconvolution with unknown error density, both fields are discussed in parallel and the concepts are developed in generality, for Lévy processes as well as for density deconvolution. The choice of the bandwidth is realized, using techniques of model selection via penalization. The principle of model selection via penalization usually relies on the fact that the fluctuation of certain stochastic quantities can be controlled by penalizing with a deterministic term. Contrarily to this, the variance is unknown in the setting investigated here and the penalty term is hence itself a stochastic quantity. It is the main concern of this thesis to develop strategies to dealing with the stochastic penalty term. The most important step in this direction will be a modified estimator of the unknown characteristic function in the denominator, which allows to make the pointwise control of this object uniform on the real line. The main technical tools involved in the arguments are concentration inequalities of Talagrand type for empirical processes.

Zentrale Grenzwertsätze und Konfidenzmengen werden in zwei verschiedenen, nichtparametrischen, inversen Problemen ähnlicher Struktur untersucht, und zwar in der Kalibrierung eines exponentiellen Lévy-Modells und im Dekonvolutionsmodell. Im ersten Modell wird eine Geldanlage durch einen exponentiellen Lévy-Prozess dargestellt, Optionspreise werden beobachtet und das charakteristische Tripel des Lévy-Prozesses wird geschätzt. Wir zeigen, dass die Schätzer fast sicher wohldefiniert sind. Zu diesem Zweck beweisen wir eine obere Schranke für Trefferwahrscheinlichkeiten von gaußschen Zufallsfeldern und wenden diese auf einen Gauß-Prozess aus der Schätzmethode für Lévy-Modelle an. Wir beweisen gemeinsame asymptotische Normalität für die Schätzer von Volatilität, Drift und Intensität und für die punktweisen Schätzer der Sprungdichte. Basierend auf diesen Ergebnissen konstruieren wir Konfidenzintervalle und -mengen für die Schätzer. Wir zeigen, dass sich die Konfidenzintervalle in Simulationen gut verhalten, und wenden sie auf Optionsdaten des DAX an. Im Dekonvolutionsmodell beobachten wir unabhängige, identisch verteilte Zufallsvariablen mit additiven Fehlern und schätzen lineare Funktionale der Dichte der Zufallsvariablen. Wir betrachten Dekonvolutionsmodelle mit gewöhnlich glatten Fehlern. Bei diesen ist die Schlechtgestelltheit des Problems durch die polynomielle Abfallrate der charakteristischen Funktion der Fehler gegeben. Wir beweisen einen gleichmäßigen zentralen Grenzwertsatz für Schätzer von Translationsklassen linearer Funktionale, der die Schätzung der Verteilungsfunktion als Spezialfall enthält. Unsere Ergebnisse gelten in Situationen, in denen eine Wurzel-n-Rate erreicht werden kann, genauer gesagt gelten sie, wenn die Sobolev-Glattheit der Funktionale größer als die Schlechtgestelltheit des Problems ist. / Central limit theorems and confidence sets are studied in two different but related nonparametric inverse problems, namely in the calibration of an exponential Lévy model and in the deconvolution model. In the first set-up, an asset is modeled by an exponential of a Lévy process, option prices are observed and the characteristic triplet of the Lévy process is estimated. We show that the estimators are almost surely well-defined. To this end, we prove an upper bound for hitting probabilities of Gaussian random fields and apply this to a Gaussian process related to the estimation method for Lévy models. We prove joint asymptotic normality for estimators of the volatility, the drift, the intensity and for pointwise estimators of the jump density. Based on these results, we construct confidence intervals and sets for the estimators. We show that the confidence intervals perform well in simulations and apply them to option data of the German DAX index. In the deconvolution model, we observe independent, identically distributed random variables with additive errors and we estimate linear functionals of the density of the random variables. We consider deconvolution models with ordinary smooth errors. Then the ill-posedness of the problem is given by the polynomial decay rate with which the characteristic function of the errors decays. We prove a uniform central limit theorem for the estimators of translation classes of linear functionals, which includes the estimation of the distribution function as a special case. Our results hold in situations, for which a square-root-n-rate can be obtained, more precisely, if the Sobolev smoothness of the functionals is larger than the ill-posedness of the problem.

La mise en place de Solvabilité II conduit les actuaires à s'interroger sur la bonne adéquation entre modèles et données. Aussi, cette thèse a pour objectif d'étudier plusieurs approches statistiques, souvent méconnues des praticiens, permettant l'utilisation de méthodes multi états pour modéliser et gérer les risques individuels en assurance. Le Chapitre 1 présente le contexte général de cette thèse et permet de faire positionner ses principales contributions. Nous abordons les concepts de base liés à l'utilisation de modèles multi-états en assurance et décrivons les techniques d'inférence classiques adaptées aux données rencontrées, qu'ils soient markoviens ou non-markoviens. Pour finir, nous présentons comment il est possible d'utiliser ces modèles pour la gestion des risques de crédit. Le Chapitre 2 se concentre sur l'utilisation de méthodes d'inférence non-paramétriques pour la construction de lois d'incidence en assurance dépendance. Puisque plusieurs causes d'entrée sont susceptibles d'intervenir et d'intéresser les actuaires, nous nous concentrons sur une méthode utilisée pour l'estimation de modèles multi-états markoviens en temps continu. Nous comparons, dans un second temps, ces estimateurs à ceux utilisés classiquement par les praticiens tires de l'analyse de survie. Cette seconde approche peut comporter des biais non négligeables car ne permettant pas d'appréhender correctement l'interaction possible entre les causes. En particulier, elle comprend une hypothèse d'indépendance ne pouvant être testée dans le cadre de modèles à risques concurrents. Notre approche consiste alors à mesurer l'erreur commise par les praticiens lors de la construction de lois d'incidence. Une application numérique est alors considérée sur la base des données d'un assureur dépendance / With the implementation of the Solvency II framework, actuaries should examine the good adequacy between models and data. This thesis aims to study several statistical approaches, often ignored by practitioners, enabling the use of multi-state methods to model and manage individual risks in insurance. Chapter 1 presents the general context of this thesis and positions its main contributions. The basic tools to use multi-state models in insurance are introduced and classical inference techniques, adapted to insurance data with and without the Markov assumption, are presented. Finally, a development of these models for credit risk is outlined. Chapter 2 focuses on using nonparametric inference methods to build incidence tables for long term care insurance contracts. Since there are several entry-causes in disability states which are useful for actuaries, an inference method for competing risks data, seen as a Markov multi-state model in continuous time, is used. In a second step, I compare these estimators to those conventionally used by practitioners, based on survival analysis methods. This second approach may involve significant bias because the interaction between entry-causes cannot be appropriately captured. In particular, these approaches assume that latent failure times are independent, while this hypothesis cannot be tested for competing risks data. Our approach allows to measure the error done by practitioners when they build incidence tables. Finally, a numerical application is considered on a long term care insurance dataset

No description available.

No description available.

The ordinary least squares (OLS) is one of the most widely used methods for modelling the functional relationship between variables. However, this estimation procedure counts on some assumptions and the violation of these assumptions may lead to nonrobust estimates. In this study, the simple linear regression model is investigated for conditions in which the distribution of the error terms is Generalised Logistic. Some robust and nonparametric methods such as modified maximum likelihood (MML), least absolute deviations (LAD), Winsorized least squares, least trimmed squares (LTS), Theil and weighted Theil are compared via computer simulation. In order to evaluate the estimator performance, mean, variance, bias, mean square error (MSE) and relative mean square error (RMSE) are computed.

Nous considérons le problème de débruitage d'un signal ou d'une image observés dans le bruit gaussien. Dans ce problème les estimateurs linéaires classiques sont quasi-optimaux quand l'ensemble des signaux, qui doit être convexe et compact, est connu a priori. Si cet ensemble n'est pas spécifié, la conception d'un estimateur adaptatif qui ``ne connait pas'' la structure cachée du signal reste un problème difficile. Dans cette thèse, nous étudions une nouvelle famille d'estimateurs des signaux satisfaisant certains propriétés d'invariance dans le temps. De tels signaux sont caractérisés par leur structure harmonique, qui est généralement inconnu dans la pratique.Nous proposons des nouveaux estimateurs capables d'exploiter la structure harmonique inconnue du signal è reconstruire. Nous démontrons que ces estimateurs obéissent aux divers "inégalités d'oracle," et nous proposons une implémentation algorithmique numériquement efficace de ces estimateurs basée sur des algorithmes d'optimisation de "premier ordre." Nous évaluons ces estimateurs sur des données synthétiques et sur des signaux et images réelles. / We consider the problem of denoising a signal observed in Gaussian noise.In this problem, classical linear estimators are quasi-optimal provided that the set of possible signals is convex, compact, and known a priori. However, when the set is unspecified, designing an estimator which does not ``know'' the underlying structure of a signal yet has favorable theoretical guarantees of statistical performance remains a challenging problem. In this thesis, we study a new family of estimators for statistical recovery of signals satisfying certain time-invariance properties. Such signals are characterized by their harmonic structure, which is usually unknown in practice. We propose new estimators which are capable to exploit the unknown harmonic structure of a signal to reconstruct. We demonstrate that these estimators admit theoretical performance guarantees, in the form of oracle inequalities, in a variety of settings.We provide efficient algorithmic implementations of these estimators via first-order optimization algorithm with non-Euclidean geometry, and evaluate them on synthetic data, as well as some real-world signals and images.