Ce travail se compose de trois parties consacrées à différents aspects des modèles ARCH (AutoRegressive Conditionally Heteroskedastic) quantiles. Dans ces modèles, l’hétéroscédasticité conditionnelle est à prendre dans un sens très large, et affecte de fa¸ con potentiellement différenciée tous les quantiles conditionnels (et donc la loi conditionnelle elle-même), et non seulement, comme dans les modèles ARCH classiques, l’échelle conditionnelle. La première partie étudie les problèmes de Value-at-Risk (VaR) dans les séries financières ainsi modélisées. Les approches traditionnelles présentent une caractéristique discutable, que nous relevons, et à laquelle nous apportons une correction fondée sur les lois résiduelles. Nous pensons que les fondements de cette nouvelle approche sont plus solides, et permettent de prendre en compte le fait que le comportement des processus empiriques résiduels (REP) des processus ARCH, contrairement à celui des REP des processus ARMA, continue à dépendre de certains des paramètres du modèle. La seconde partie approfondit l’étude générale des processus empiriques résiduels (REP) des processus ARCH dans l’optique de la régression quantile (QR) au sens de Koenker et Bassett (Econometrica 1978). La représentation de Bahadur des estimateurs QR, et dont découle la propriété de tension asymptotique des REP, est établie. Finalement, dans la troisième partie, nous mettons en évidence la nature semi-paramétrique des modèles ARCH quantiles, et l’invariance, sous l’action de certains groupes de transforma-tions, des sous-modèles obtenus en fixant la valeur des paramètres. Cette structure de groupe permet la construction de méthodes d’inférence invariantes qui, dans l’esprit des résultats de Hallin and Werker (Bernoulli 2003) préservent l’optimalité au sens semi-paramétrique. Ces méthodes sont fondées sur les rangs et les signes résiduels. Nous développons en particulier les R-estimateurs des modèles considérés et étudions leurs performances.

Indiana University-Purdue University Indianapolis (IUPUI) / In many longitudinal studies, the time scales upon which we assess the primary outcomes are anchored by pre-specified events. However, these anchoring events are often not observable and they are randomly distributed with unknown distribution. Without direct observations of the anchoring events, the time scale used for analysis are not available, and analysts will not be able to use the traditional longitudinal models to describe the temporal changes as desired. Existing methods often make either ad hoc or strong assumptions on the anchoring events, which are unveri able and prone to biased estimation and invalid inference. Although not able to directly observe, researchers can often ascertain an interval that includes the unobserved anchoring events, i.e., the anchoring events are interval censored. In this research, we proposed a two-stage method to fit commonly used longitudinal models with interval censored anchoring events. In the first stage, we obtain an estimate of the anchoring events distribution by nonparametric method using the interval censored data; in the second stage, we obtain the parameter estimates as stochastic functionals of the estimated distribution. The construction of the stochastic functional depends on model settings. In this research, we considered two types of models. The first model was a distribution-free model, in which no parametric assumption was made on the distribution of the error term. The second model was likelihood based, which extended the classic mixed-effects models to the situation that the origin of the time scale for analysis was interval censored. For the purpose of large-sample statistical inference in both models, we studied the asymptotic properties of the proposed functional estimator using empirical process theory. Theoretically, our method provided a general approach to study semiparametric maximum pseudo-likelihood estimators in similar data situations. Finite sample performance of the proposed method were examined through simulation study. Algorithmically eff- cient algorithms for computing the parameter estimates were provided. We applied the proposed method to a real data analysis and obtained new findings that were incapable using traditional mixed-effects models. / 2 years

Dans la thèse on introduit et on étudie une généralisation spatiale sur $\R^d$ du quantile réel usuel sous la forme d'une surface quantile via des formes $\phi$ et d'un point d'observation $O$. Notre point de départ est de simplement admettre la subjectivité due à l'absence de relation d'ordre totale dans $\R^d$ et donc de développer une vision locale et directionnelle des données. Ainsi, les observations seront ordonnées du point de vue d'un observateur se trouvant à un point $O \in \R^d$. Dans le chapitre 2, on introduit la notion du quantile vue d'un observateur $O$ dans la direction $u \in \Sd$ et de niveau $\alpha$ via des des demi-espaces orthogonaux à chaque direction d'observation. Ce choix de classe implique que les résultats de convergence ne dépendent pas du choix de $O$. Sous des hypothèses minimales de régularité, l'ensemble des points quantile vue de $O$ définit une surface fermée. Sous hypothèses minimales, on établit pour les surfaces quantile empiriques associées les théorèmes limites uniformément en le niveau de quantile et la direction d'observation, avec vitesses asymptotiques et bornes d'approximation non-asymptotiques. Principalement la LGNU, la LLI, le TCLU, le principe d'invariance fort uniforme puis enfin l'approximation du type Bahadur-Kiefer uniforme, et avec vitesse d'approximation. Dans le chapitre 3, on étend les résultats du chapitre précédent au cas où les formes $\phi$ sont prises dans une classe plus générale (fonctions, surfaces, projections géodésiques, etc) que des demi-espaces qui correspondent à des projections orthogonales par direction. Dans ce cadre plus général, les résultats dépendent fortement du choix de $O$, et c'est ce qui permet de tirer des interprétations statistiques. Dans le chapitre 4, des conséquences méthodologiques en statistique inférentielle sont tirées. Tout d'abord on introduit une nouvelle notion de champ de profondeurs directionnelles baptisée champ d'altitude. Ensuite, on définit une notion de distance entre lois de probabilité, basée sur la comparaison des deux collections de surfaces quantile du type Gini-Lorrentz. La convergence avec vitesse des mesures empiriques pour cette distance quantile, permet de construire différents tests en contrôlant leurs niveaux et leurs puissances. Enfin, on donne une version des résultats dans le cas où une information auxiliaire est disponible sur une ou plusieurs coordonnées sous la forme de la connaissance exacte de la loi sur une partition finie. / The main issue of the thesis is the development of spatial generalizations on $\R^d$ of the usual real quantile. Facing the usual fact that $\R^d$ is not naturally ordered, our idea is to simply admit subjectivity and thus to define a local viewpoint rather than a global one, anchored at some point of reference $O$ and arbitrary shape $\phi$ with the motivation of crossing information gathered by changing viewpoint $O$, shape $\phi$ and $\alpha$-th order of quantile. In Chapter 2, we study the spatial quantile points seen from an observer $O$ in a direction $u \in \Sd$ of level $\alpha$ through the class of the half-spaces orthogonal to the direction $u$. This choice implies that the convergence theorems do not depend on the choice of $O$. Under minimal regularity assumptions, the set of all quantile points seen from $O$ is a closed surface. Under minimal assumptions, we establish for the associated empirical quantile surfaces the convergence theorems uniformly on the quantile level and the observation direction with the asymptotic speed and non-asymptotic bounds of approximation. Mainly, we establish the ULLN, the ULIL, the UCLT, the uniform strong invariance principle and finally the Bahadur-Kiefer type embedding, with the approximation speed rate. In Chapter 3, all the results of the previous chapter are extended to the case where the shapes $ \phi $ are taken in a class more general (functions, surfaces, geodesic projections, etc) than orthogonal projections (half-spaces). In this general setting, the results depend strongly on the choice of $ O $. It is this dependence which permit to draw statistical interpretations: modes detection, mass localization, etc. In Chapter 4, some methodological consequences in inferential statistics are drawn. First we introduce a new concept of directional depth fields called altitude fields. In a second application is defined a new distances between probability distributions, based on the comparison of two collections of quantile surfaces, which are indexes of the type Gini-Lorrentz. The convergence with speed of the empirical quantile measures for these distances, can build different tests with control of their level and their power. A third use of the quantile surfaces is for the case where $ \alpha = 1/2$. Finally, we give a version of our theorems in the case where auxiliary information is available on one or more coordinates of the random variable. By assuming known the probability of the elements of a finite partition, the asymptotic variance of the limiting process decreases and the simulations with few points clearly shows the reframe of the estimated surfaces to the real ones.

Detecting a change in the structure of a time series is a classical statistical problem. Here we consider a short memory causal linear process $X_i=\sum_{j=0}^\infty a_j\xi_{i-j}$, $i=1,\cdots,n$, where the innovations $\xi_i$ are independent and identically distributed and the coefficients $a_j$ are summable. The goal is to detect the existence of an unobserved time at which there is a change in the marginal distribution of the $X_i$'s. Our model allows us to simultaneously detect changes in the coefficients and changes in location and/or scale of the innovations. Under very simple moment and summability conditions, we investigate the asymptotic behaviour of the sequential empirical process based on the $X_i$'s both with and without a change-point, and show that two proposed test statistics are consistent. In order to find appropriate critical values for the test statistics, we then prove the validity of the moving block bootstrap for the sequential empirical process under both the hypothesis and the alternative, again under simple conditions. Finally, the performance of the proposed test statistics is demonstrated through Monte Carlo simulations.

In this thesis we deal with statistical inference related to extreme value phenomena. Specifically, if X is a random vector with values in d-dimensional space, our goal is to estimate moments of ψ(X) for a suitably chosen function ψ when the magnitude of X is big. We employ the powerful tool of regular variation for random variables, random vectors and time series to formally define the limiting quantities of interests and construct the estimators. We focus on three statistical estimation problems: (i) multivariate tail estimation for regularly varying random vectors, (ii) extremogram estimation for regularly varying time series, (iii) estimation of the expected shortfall given an extreme component under a conditional extreme value model. We establish asymptotic normality of estimators for each of the estimation problems. The theoretical findings are supported by simulation studies and the estimation procedures are applied to some financial data.

Cette thèse présente trois parties liées à la théorie des sondages. La première partie présente deux résultats originaux de sondages qui ont eu des applications pratiques dans des enquêtes par sondage de l'Insee. Le premier article présente un théorème autorisant un plan de sondage stratifié constituant un compromis entre la dispersion des poids et l'allocation de précision optimale pour une variable d'intérêt spécifique. Les données d’enquête sont souvent utilisées pour estimer nombre de totaux ou modèles issus de variables exclues du design. La précision attendue pour ces variables est donc faible, mais une faible dispersion des poids permet de limiter les risques qu'une estimation dépendant d'une de ces variables ait une très mauvaise précision. Le second article concerne le facteur de repondération dans les estimateurs par calage. On propose un algorithme efficace capable de calculer les facteurs de poids les plus rapprochés autour de 1 tels qu'une solution au problème de calage existe. Cela permet de limiter les risques d'apparition d'unités influentes, particulièrement pour l'estimation sur des domaines. On étudie par simulations sur données réelles les propriétés statistiques des estimateurs obtenus. La seconde partie concerne l'étude des propriétés asymptotique des estimateurs sur données issues de sondage. Celles-ci sont difficiles à étudier en général. On présente une méthode originale qui établit la convergence faible vers un processus gaussien pour le processus empirique d'Horvitz-Thompson indexé par des classes de fonction, pour de nombreux algorithmes de sondage différents utilisés en pratique. Dans la dernière partie, on s'intéresse à des méthodes de sondage pour des données issues de graphes, qui ont des applications pratiques lorsque les graphes sont de taille telles que leur exploitation informatique est coûteuse. On détaille des algorithmes de sondage permettant d'estimer des statistiques d'intérêt pour le réseaux. Deux applications, à des données de Twitter puis à des données simulées, concluent cette partie. / This thesis presents three different parts with ties to survey sampling theory. In the first part, we present two original results that led to practical applications in surveys conducted at Insee (French official statistics Institute). The first chapter deals with allocations in stratified sampling. We present a theorem that proves the existence of an optimal compromise between the dispersion of the sampling weights and the allocation yielding optimal precision for a specific variable of interest. Survey data are commonly used to compute estimates for variables that were not included in the survey design. Expected precision is poor, but a low dispersion of the weights limits risks of very high variance for one or several estimates. The second chapter deals with reweighting factors in calibration estimates. We study an algorithm that computes the minimal bounds so that the calibration estimators exist, and propose an efficient way of resolution. We also study the statistical properties of estimates using these minimal bounds. The second part studies asymptotic properties of sampling estimates. Obtaining asymptotic guarantees is often hard in practice. We present an original method that establishes weak convergence for the Horvitz-Thompson empirical process indexed by a class of functions for a lot of sampling algorithms used in practice. In the third and last part, we focus on sampling methods for populations that can be described as networks. They have many applications when the graphs are so big that storing and computing algorithms on them are very costly. Two applications are presented, one using Twitter data, and the other using simulated data to establish guidelines to design efficient sampling designs for graphs.

We consider tail empirical processes for long memory stochastic volatility models with heavy tails and leverage. We show a dichotomous behaviour for the tail empirical process with fixed levels, according to the interplay between the long memory parameter and the tail index; leverage does not play a role. On the other hand, the tail empirical process with random levels is not affected by either long memory or leverage. The tail empirical process with random levels is used to construct a family of estimators of the tail index, including the famous Hill estimator and harmonic moment estimators. The limiting behaviour of these estimators is not affected by either long memory or leverage. Furthermore, we consider estimators of risk measures such as Value-at-Risk and Expected Shortfall. In these cases, the limiting behaviour is affected by long memory, but it is not affected by leverage. The theoretical results are illustrated by simulation studies.

Cette thèse porte sur l'étude de la concentration autour de la moyenne de fonctions de variables aléatoires indépendantes à l'aide de techniques de martingales et d'inégalités de comparaison.Dans une première partie, nous prouvons des inégalités de comparaison pour des fonctions générales séparément convexes de variables aléatoires indépendantes non nécessairement bornées. Ces résultats sont établis à partir de nouvelles inégalités de comparaison dans des classes de fonctions convexes (contenant, en particulier, les fonctions exponentielles croissantes) pour des variables aléatoires réelles uniquement dominées stochastiquement.Dans la seconde partie, nous nous intéressons aux suprema de processus empiriques associés à des observations i.i.d. Le point clé de cette partie est un résultat d'échangeabilité des variables. Nous montrons d'abord des inégalités de type Fuk-Nagaev avec constantes explicites lorsque les fonctions de la classe ne sont pas bornées. Ensuite, nous prouvons de nouvelles inégalités de déviation avec une meilleure fonction de taux dans les bandes de grandes déviations dans le cas des classes de fonctions uniformément bornées. Nous donnons également des inégalités de comparaison de moments généralisés dans les cas uniformément borné et uniformément majoré. Enfin, les résultats de la première partie nous permettent d'obtenir une inégalité de concentration lorsque les fonctions de la classe ont une variance infinie. / This thesis deals with concentration properties around the mean of functions of independent random variables using martingale techniques and comparison inequalities.In the first part, we prove comparison inequalities for general separately convex functions of independent and non necessarily bounded random variables. These results are based on new comparison inequalities in convex classes of functions (including, in particular, the increasing exponential functions) for real-valued random variables which are only stochastically dominated.In the second part, we are interested in suprema of empirical processes associated to i.i.d. random variables. The key point of this part is a result of exchangeability of variables. We first give Fuk-Nagaev type inequalities with explicit constants when the functions of the considered class are unbounded. Next, we provide new deviation inequalities with an improved rate function in the large deviations bandwidth in the case of classes of uniformly bounded functions. We also provide generalized moment comparison inequalities in uniformly bounded and uniformly bounded from above cases. Finally, results from the first part allow us to prove a concentration inequality when the functions of the class have an infinite variance.

This thesis studies the generalization ability of machine learning algorithms in a statistical setting. It focuses on the data-dependent analysis of the generalization performance of learning algorithms in order to make full use of the potential of the actual training sample from which these algorithms learn.¶ First, we propose an extension of the standard framework for the derivation of generalization bounds for algorithms taking their hypotheses from random classes of functions. This approach is motivated by the fact that the function produced by a learning algorithm based on a random sample of data depends on this sample and is therefore a random function. Such an approach avoids the detour of the worst-case uniform bounds as done in the standard approach. We show that the mechanism which allows one to obtain generalization bounds for random classes in our framework is based on a “small complexity” of certain random coordinate projections. We demonstrate how this notion of complexity relates to learnability and how one can explore geometric properties of these projections in order to derive estimates of rates of convergence and good confidence interval estimates for the expected risk. We then demonstrate the generality of our new approach by presenting a range of examples, among them the algorithm-dependent compression schemes and the data-dependent luckiness frameworks, which fall into our random subclass framework.¶ Second, we study in more detail generalization bounds for a specific algorithm which is of central importance in learning theory, namely the Empirical Risk Minimization algorithm (ERM). Recent results show that one can significantly improve the high-probability estimates for the convergence rates for empirical minimizers by a direct analysis of the ERM algorithm. These results are based on a new localized notion of complexity of subsets of hypothesis functions with identical expected errors and are therefore dependent on the underlying unknown distribution. We investigate the extent to which one can estimate these high-probability convergence rates in a data-dependent manner. We provide an algorithm which computes a data-dependent upper bound for the expected error of empirical minimizers in terms of the “complexity” of data-dependent local subsets. These subsets are sets of functions of empirical errors of a given range and can be determined based solely on empirical data. We then show that recent direct estimates, which are essentially sharp estimates on the high-probability convergence rate for the ERM algorithm, can not be recovered universally from empirical data.

Nous étudions le comportement asymptotique de statistiques ou fonctionnelles liées à des processus à longue mémoire saisonnière. Nous nous concentrons sur les lignes de Donsker et sur le processus empirique. Les suites considérées sont de la forme $G(X_n)$ où $(X_n)$ est un processus gaussien ou linéaire. Nous montrons que les résultats que Taqqu et Dobrushin ont obtenus pour des processus à longue mémoire dont la covariance est à variation régulière à l'infini peuvent être en défaut en présence d'effets saisonniers. Les différences portent aussi bien sur le coefficient de normalisation que sur la nature du processus limite. Notamment nous montrons que la limite du processus empirique bi-indexé, bien que restant dégénérée, n'est plus déterminée par le degré de Hermite de la fonction de répartition des données. En particulier, lorsque ce degré est égal à 1, la limite n'est plus nécessairement gaussienne. Par exemple on peut obtenir une combinaison de processus de Rosenblatt indépendants. Ces résultats sont appliqués à quelques problèmes statistiques comme le comportement asymptotique des U-statistiques, l'estimation de la densité et la détection de rupture.