Dans cette thèse, nous nous intéressons à une méthode de détection des ruptures dans une suite d’observations appartenant à un ensemble muni d’un noyau semi-défini positif. Cette procédure est une version « à noyaux » d’une méthode des moindres carrés pénalisés. Notre principale contribution est de montrer que, pour tout noyau satisfaisant des hypothèses raisonnables, cette méthode fournit une segmentation proche de la véritable segmentation avec grande probabilité. Ce résultat est obtenu pour un noyau borné et une pénalité linéaire, ainsi qu’une autre pénalité venant de la sélection de modèles. Les preuves reposent sur un résultat de concentration pour des variables aléatoires bornées à valeurs dans un espace de Hilbert, et nous obtenons une version moins précise de ce résultat lorsque l’on supposeseulement que la variance des observations est finie. Dans un cadre asymptotique, nous retrouvons les taux minimax usuels en détection de ruptures lorsqu’aucune hypothèse n’est faite sur la taille des segments. Ces résultats théoriques sont confirmés par des simulations. Nous étudions également de manière détaillée les liens entre différentes notions de distances entre segmentations. En particulier, nous prouvons que toutes ces notions coïncident pour des segmentations suffisamment proches. D’un point de vue pratique, nous montrons que l’heuristique du « saut de dimension » pour choisir la constante de pénalisation est un choix raisonnable lorsque celle-ci est linéaire. Nous montrons également qu’une quantité clé dépendant du noyau et qui apparaît dans nos résultats théoriques influe sur les performances de cette méthode pour la détection d’une unique rupture. Dans un cadre paramétrique, et lorsque le noyau utilisé est invariant partranslation, il est possible de calculer cette quantité explicitement. Grâce à ces calculs, nouveaux pour plusieurs d’entre eux, nous sommes capable d’étudier précisément le comportement de la constante de pénalité maximale. Pour finir, nous traitons de l’heuristique de la médiane, un moyen courant de choisir la largeur de bande des noyaux à base de fonctions radiales. Dans un cadre asymptotique, nous montrons que l’heuristique de la médiane se comporte à la limite comme la médiane d’une distribution que nous décrivons complètement dans le cadre du test à deux échantillons à noyaux et de la détection de ruptures. Plus précisément, nous montrons que l’heuristique de la médiane est approximativement normale centrée en cette valeur. / In this thesis, we focus on a method for detecting abrupt changes in a sequence of independent observations belonging to an arbitrary set on which a positive semidefinite kernel is defined. That method, kernel changepoint detection, is a kernelized version of a penalized least-squares procedure. Our main contribution is to show that, for any kernel satisfying some reasonably mild hypotheses, this procedure outputs a segmentation close to the true segmentation with high probability. This result is obtained under a bounded assumption on the kernel for a linear penalty and for another penalty function, coming from model selection.The proofs rely on a concentration result for bounded random variables in Hilbert spaces and we prove a less powerful result under relaxed hypotheses—a finite variance assumption. In the asymptotic setting, we show that we recover the minimax rate for the change-point locations without additional hypothesis on the segment sizes. We provide empirical evidence supporting these claims. Another contribution of this thesis is the detailed presentation of the different notions of distances between segmentations. Additionally, we prove a result showing these different notions coincide for sufficiently close segmentations.From a practical point of view, we demonstrate how the so-called dimension jump heuristic can be a reasonable choice of penalty constant when using kernel changepoint detection with a linear penalty. We also show how a key quantity depending on the kernelthat appears in our theoretical results influences the performance of kernel change-point detection in the case of a single change-point. When the kernel is translationinvariant and parametric assumptions are made, it is possible to compute this quantity in closed-form. Thanks to these computations, some of them novel, we are able to study precisely the behavior of the maximal penalty constant. Finally, we study the median heuristic, a popular tool to set the bandwidth of radial basis function kernels. Fora large sample size, we show that it behaves approximately as the median of a distribution that we describe completely in the setting of kernel two-sample test and kernel change-point detection. More precisely, we show that the median heuristic is asymptotically normal around this value.

Les problèmes de sélection de modèles se posent couramment dans un grand nombre de domaines applicatifs tels que la compression de données ou le traitement du signal et de l'image. Un des outils les plus utilisés pour résoudre ces problèmes se présente sous la forme d'une quantité réelle à minimiser appelée critère d'information ou critère entropique pénalisé.<br /><br />La principale motivation de ce travail de thèse est de justifier l'utilisation d'un tel critère face à un problème de sélection de modèles typiquement issu d'un contexte de traitement du signal. La justification attendue se doit, elle, d'avoir un solide fondement mathématique. <br /><br />Nous abordons ainsi le problème classique de la détermination de l'ordre d'une autorégression. La régression gaussienne, permettant de détecter les harmoniques principales d'un signal bruité, est également abordée. Pour ces problèmes, nous donnons un critère dont l'utilisation est justifiée par la minimisation du coût résultant de l'estimation obtenue. Les chaînes de Markov multiples modélisent la plupart des signaux discrets, comme les séquences de lettres ou les niveaux de gris d'une image. Nous nous intéressons au problème de la détermination de l'ordre d'une telle chaîne. Dans la continuité de ce problème nous considérons celui, a priori éloigné, de l'estimation d'une densité par un histogramme. Dans ces deux domaines, nous justifions l'utilisation d'un critère par des notions de codage auxquelles nous appliquons une forme simple du principe de Minimum Description Length.<br /><br />Nous nous efforçons également, à travers ces différents domaines d'application, de présenter des méthodes alternatives d'utilisation des critères d'information. Ces méthodes, dites comparatives, présentent une complexité d'utilisation moindre que les méthodes rencontrées habituellement, tout en permettant une description précise du modèle.

L'objet de cette thèse est d'adapter des techniques<br />de sélection de modèle au cadre particulier de l'estimation d'intensité de<br />processus ponctuels. Plus précisément, nous voulons montrer que les<br />estimateurs par projection pénalisés de l'intensité sont adaptatifs soit dans<br />une famille d'estimateurs par projection, soit pour le risque minimax. Nous<br />nous sommes restreints à deux cas particuliers : les processus de Poisson<br />inhomogènes et les processus de comptage à intensité<br />multiplicative d'Aalen.<br />Dans les deux cas, nous voulons trouver une inégalité de type<br />oracle, qui garantit que les estimateurs par projection pénalisés ont un risque<br />du même ordre de grandeur que le meilleur estimateur par projection pour une<br />famille de modèles donnés. La clé qui permet de prouver des inégalités de<br />type oracle est le phénomène de concentration de la mesure ou plus précisément<br />la connaissance d'inégalités exponentielles, qui permettent de contrôler en<br />probabilité les déviations de statistiques de type khi-deux au dessus de leur<br />moyenne. Nous avons prouvé deux types d'inégalités de concentration. La<br />première n'est valable que pour les processus de Poisson. Elle est comparable<br />en terme d'ordre de grandeur à l'inégalité de M. Talagrand pour les suprema de<br />processus empiriques. La deuxième est plus grossière mais elle est valable<br />pour des processus de comptage beaucoup plus généraux.<br />Cette dernière inégalité met en oeuvre des techniques de<br />martingales dont nous nous sommes inspirés pour prouver des inégalités de<br />concentration pour des U-statistiques dégénérées d'ordre 2 ainsi que pour des<br />intégrales doubles par rapport à une mesure de Poisson recentrée.<br />Nous calculons aussi certaines bornes inférieures pour les<br />risques minimax et montrons que les estimateurs par projection pénalisés<br />atteignent ces vitesses.

Le cadre principal de cette thèse est la classification non supervisée, traitée par une approche statistique dans le cadre des modèles de mélange. Plus particulièrement, nous nous intéressons au choix du nombre de classes et au critère de sélection de modèle ICL. Une approche fructueuse de son étude théorique consiste à considérer un contraste adapté à la classification non supervisée : ce faisant, un nouvel estimateur ainsi que de nouveaux critères de sélection de modèle sont proposés et étudiés. Des solutions pratiques pour leur calcul s'accompagnent de retombées positives pour le calcul du maximum de vraisemblance dans les modèles de mélange. La méthode de l'heuristique de pente est appliquée pour la calibration des critères pénalisés considérés. Aussi les bases théoriques en sont-elles rappelées en détails, et deux approches pour son application sont étudiées. Une autre approche de la classification non supervisée est considérée : chaque classe peut être modélisée elle-même par un mélange. Une méthode est proposée pour répondre notamment à la question du choix des composantes à regrouper. Enfin, un critère est proposé pour permettre de lier le choix du nombre de composantes, lorsqu'il est identifié au nombre de classes, à une éventuelle classification externe connue a priori.

L'objet de cette thèse est d'apporter une contribution à l'inférence dans les modèles partiellement linéaires en appliquant des méthodes d'estimation adaptative par ondelettes. Ces modèles de régression semi-paramétriques distinguent des relations linéaires et des relations fonctionnelles, non paramétriques. L'inférence statistique consiste à estimer conjointement les deux types de prédicteurs, en prenant en compte leur possible corrélation. Une procédure des moindres carrés pénalisés permet d'introduire une estimation par ondelettes avec seuillage des coefficients de la partie fonctionnelle. Un parallèle est établi avec une estimation du paramètre de régression par des M-estimateurs usuels dans un modèle linéaire, les coefficients d'ondelettes de la partie fonctionnelle étant considérés comme des valeurs aberrantes. Une procédure d'estimation de la variance du bruit est aussi proposée. Des résultats relatifs aux propriétés asymptotiques des estimateurs de la partie linéaire et de la partie non paramétrique sont démontrés lorsque les observations de la partie fonctionnelle sont réalisées en des points équidistants. Sous des restrictions usuelles de corrélation entre les variables explicatives, les résultats sont presque optimaux (à un logarithme près). Des simulations permettent d'illustrer les comportements des estimateurs et de les comparer avec d'autres méthodes existantes. Une application sur des données d'IRM fonctionnelle a aussi été réalisée. Une dernière partie envisage le cadre d'un plan d'observation aléatoire de la partie fonctionnelle.

Ce document traite du problème de la grande dimension dans des processus GARCH multivariés. L'auteur propose une nouvelle dynamique vine-GARCH pour des processus de corrélation paramétrisés par un graphe non dirigé appelé "vine". Cette approche génère directement des matrices définies-positives et encourage la parcimonie. Après avoir établi des résultats d'existence et d'unicité pour les solutions stationnaires du modèle vine-GARCH, l'auteur analyse les propriétés asymptotiques du modèle. Il propose ensuite un cadre général de M-estimateurs pénalisés pour des processus dépendants et se concentre sur les propriétés asymptotiques de l'estimateur "adaptive Sparse Group Lasso". La grande dimension est traitée en considérant le cas où le nombre de paramètres diverge avec la taille de l'échantillon. Les résultats asymptotiques sont illustrés par des expériences simulées. Enfin dans ce cadre l'auteur propose de générer la sparsité pour des dynamiques de matrices de variance covariance. Pour ce faire, la classe des modèles ARCH multivariés est utilisée et les processus correspondants à celle-ci sont estimés par moindres carrés ordinaires pénalisés. / This document contributes to high-dimensional statistics for multivariate GARCH processes. First, the author proposes a new dynamic called vine-GARCH for correlation processes parameterized by an undirected graph called vine. The proposed approach directly specifies positive definite matrices and fosters parsimony. The author provides results for the existence and uniqueness of stationary solution of the vine-GARCH model and studies its asymptotic properties. He then proposes a general framework for penalized M-estimators with dependent processes and focuses on the asymptotic properties of the adaptive Sparse Group Lasso regularizer. The high-dimensionality setting is studied when considering a diverging number of parameters with the sample size. The asymptotic properties are illustrated through simulation experiments. Finally, the author proposes to foster sparsity for multivariate variance covariance matrix processes within the latter framework. To do so, the multivariate ARCH family is considered and the corresponding parameterizations are estimated thanks to penalized ordinary least square procedures.

La solution de nombreux problèmes de restauration et de reconstruction d'images se ramène à celle de la minimisation d'un critère pénalisé qui prend en compte conjointement les observations et les informations préalables. Ce travail de thèse s'intéresse à la minimisation des critères pénalisés préservant les discontinuités des images. Nous discutons des aspects algorithmiques dans le cas de problèmes de grande taille. Il est possible de tirer parti de la structure des critères pénalisés pour la mise en oeuvre algorithmique du problème de minimisation. Ainsi, des algorithmes d'optimisation semi-quadratiques (SQ) convergents exploitant la forme analytique des critères pénalisés ont été utilisés. Cependant, ces algorithmes SQ sont généralement lourds à manipuler pour les problèmes de grande taille. L'utilisation de versions approchées des algorithmes SQ a alors été proposée. On peut également envisager d'employer des algorithmes du gradient conjugué non linéaire GCNL+SQ1D utilisant une approche SQ scalaire pour la recherche du pas. En revanche, plusieurs questions liées à la convergence de ces différentes structures algorithmiques sont restées sans réponses jusqu'à présent. Nos contributions consistent à:<br />- Démontrer la convergence des algorithmes SQ approchés et GCNL+SQ1D.<br />- Etablir des liens forts entre les algorithmes SQ approchés et GCNL+SQ1D. <br />- Illustrer expérimentalement en déconvolution d'images le fait que les algorithmes SQ approchés et GCNL+SQ1D sont préférables aux algorithmes SQ exacts.<br />- Appliquer l'approche pénalisée à un problème de déconvolution d'images en contrôle non destructif par ultrasons.

Ce mémoire d'habilitation a pour objet diverses contributions à l'estimation et à l'apprentissage statistique dans les modeles en grande dimension, sous différentes hypothèses de parcimonie. Dans une première partie, on introduit la problématique de la statistique en grande dimension dans un modèle générique de régression linéaire. Après avoir passé en revue les différentes méthodes d'estimation populaires dans ce modèle, on présente de nouveaux résultats tirés de (Alquier & Lounici 2011) pour des estimateurs agrégés. La seconde partie a essentiellement pour objet d'étendre les résultats de la première partie à l'estimation de divers modèles de séries temporelles (Alquier & Doukhan 2011, Alquier & Wintenberger 2013, Alquier & Li 2012, Alquier, Wintenberger & Li 2012). Enfin, la troisième partie présente plusieurs extensions à des modèles non param\étriques ou à des applications plus spécifiques comme la statistique quantique (Alquier & Biau 2013, Guedj & Alquier 2013, Alquier, Meziani & Peyré 2013, Alquier, Butucea, Hebiri, Meziani & Morimae 2013, Alquier 2013, Alquier 2008). Dans chaque section, des estimateurs sont proposés, et, aussi souvent que possible, des inégalités oracles optimales sont établies.

Dans le cadre de la sélection de modèle par contraste pénalisé, L. Birgé and P. Massart ont prouvé que le phénomène de pénalité minimale se produit pour la sélection libre parmi des variables gaussiennes indépendantes. Nous étendons certains de leurs résultats à la partition d'un signal gaussien lorsque la famille de partitions envisagées est suffisamment riche, notamment dans le cas des arbres de régression. Nous montrons que le même phénomène se produit dans le cadre de l'estimation de densité. La richesse de la famille de modèle s'apparente à une forme d'isotropie. De ce point de vue le phénomène de pénalité minimale est intrinsèque. Pour corroborer et illustrer ce point de vue, nous montrons que le même phénomène se produit pour une famille de modèles d'orientation aléatoire uniforme. / L. Birgé and P. Massart proved that the minimum penalty phenomenon occurs in Gaussian model selection when the model family arises from complete variable selection among independent variables. We extend some of their results to discrete Gaussian signal segmentation when the model family corresponds to a sufficiently rich family of partitions of the signal's support. This is the case of regression trees. We show that the same phenomenon occurs in the context of density estimation. The richness of the model family can be related to a certain form of isotropy. In this respect the minimum penalty phenomenon is intrinsic. To corroborate this point of view, we show that the minimum penalty phenomenon occurs when the models are chosen randomly under an isotropic law.