Ziel dieser Arbeit ist theoretische Eigenschaften verschiedener Bootstrap Methoden zu untersuchen. Als Ergebnis führen wir die Konvergenzraten des Bootstrap-Verfahrens ein, die sich auf die Differenz zwischen der tatsächlichen Verteilung einer Statistik und der Resampling-Näherung beziehen. In dieser Arbeit analysieren wir die Verteilung der l2-Norm der Summe unabhängiger Vektoren, des Summen Maximums in hoher Dimension, des Wasserstein-Abstands zwischen empirischen Messungen und Wassestein-Barycenters. Um die Bootstrap-Konvergenz zu beweisen, verwenden wir die Gaussche Approximations technik. Das bedeutet dass man in der betrachteten Statistik eine Summe unabhängiger Vektoren finden muss, so dass Bootstrap eine erneute Abtastung dieser Summe ergibt. Ferner kann diese Summe durch Gaussche Verteilung angenähert und mit der Neuabtastung Verteilung als Differenz zwischen Kovarianzmatrizen verglichen werden. Im Allgemeinen scheint es sehr schwierig zu sein, eine solche Summe unabhängiger Vektoren aufzudecken, da einige Statistiken (zum Beispiel MLE) keine explizite Gleichung haben und möglicherweise unendlich dimensional sind. Um mit dieser Schwierigkeit fertig zu werden, verwenden wir einige neuartige Ergebnisse aus der statistischen Lerntheorie. Darüber hinaus wenden wir Bootstrap bei Methoden zur Erkennung von Änderungspunkten an. Im parametrischen Fall analysieren wir den statischen Likelihood Ratio Test (LRT). Seine hohen Werte zeigen Änderungen der Parameter Verteilung in der Datensequenz an. Das Maximum von LRT hat eine unbekannte Verteilung und kann mit Bootstrap kalibriert werden. Wir zeigen die Konvergenzraten zur realen maximalen LRT-Verteilung. In nicht parametrischen Fällen verwenden wir anstelle von LRT den Wasserstein-Abstand zwischen empirischen Messungen. Wir testen die Genauigkeit von Methoden zur Erkennung von Änderungspunkten anhand von synthetischen Zeitreihen und Elektrokardiographiedaten. Letzteres zeigt einige Vorteile des nicht parametrischen Ansatzes gegenüber komplexen Modellen und LRT. / The objective of this thesis is to explore theoretical properties of various bootstrap methods. We introduce the convergence rates of the bootstrap procedure which corresponds to the difference between real distribution of some statistic and its resampling approximation. In this work we analyze the distribution of Euclidean norm of independent vectors sum, maximum of sum in high dimension, Wasserstein distance between empirical measures, Wassestein barycenters. In order to prove bootstrap convergence we involve Gaussian approximation technique which means that one has to find a sum of independent vectors in the considered statistic such that bootstrap yields a resampling of this sum. Further this sum may be approximated by Gaussian distribution and compared with the resampling distribution as a difference between variance matrices. In general it appears to be very difficult to reveal such a sum of independent vectors because some statistics (for example, MLE) don't have an explicit equation and may be infinite-dimensional. In order to handle this difficulty we involve some novel results from statistical learning theory, which provide a finite sample quadratic approximation of the Likelihood and suitable MLE representation. In the last chapter we consider the MLE of Wasserstein barycenters model. The regularised barycenters model has bounded derivatives and satisfies the necessary conditions of quadratic approximation. Furthermore, we apply bootstrap in change point detection methods. In the parametric case we analyse the Likelihood Ratio Test (LRT) statistic. Its high values indicate changes of parametric distribution in the data sequence. The maximum of LRT has a complex distribution but its quantiles may be calibrated by means of bootstrap. We show the convergence rates of the bootstrap quantiles to the real quantiles of LRT distribution. In non-parametric case instead of LRT we use Wasserstein distance between empirical measures. We test the accuracy of change point detection methods on synthetic time series and electrocardiography (ECG) data. Experiments with ECG illustrate advantages of the non-parametric approach versus complex parametric models and LRT.

Pour prédire l'évolution d'un système physique, nous avons besoin d'initialiser le modèle mathématique le représentant, donc d'estimer la valeur de l'état du système au temps initial. Cet état n'est généralement pas directement mesurable car souvent trop complexe. En revanche, nous disposons d'informations du système, prises à des temps différents, incomplètes, mais aussi entachées d'erreurs, telles des observations, de précédentes estimations, etc. Combiner ces différentes informations partielles et imparfaites pour estimer la valeur de l'état fait appel à des méthodes d'assimilation de données dont l'idée est de trouver un état initial proche de toutes les informations. Ces méthodes sont très utilisées en météorologie. Nous nous intéressons dans cette thèse à l'assimilation d'images, images qui sont de plus en plus utilisées en tant qu'observations. La spécificité de ces images est leur cohérence spatiale, l'oeil humain peut en effet percevoir des structures dans les images que les méthodes classiques d'assimilation ne considèrent généralement pas. Elles ne tiennent compte que des valeurs de chaque pixel, ce qui résulte dans certains cas à des problèmes d'amplitude dans l'état initial estimé. Pour résoudre ce problème, nous proposons de changer d'espace de représentation des données : nous plaçons les données dans un espace de Wasserstein où la position des différentes structures compte. Cet espace, équipé d'une distance de Wasserstein, est issue de la théorie du transport optimal et trouve beaucoup d'applications en imagerie notamment.Dans ce travail nous proposons une méthode d'assimilation variationnelle de données basée sur cette distance de Wasserstein. Nous la présentons ici, ainsi que les algorithmes numériques liés et des expériences montrant ses spécificités. Nous verrons dans les résultats comment elle permet de corriger ce qu'on appelle erreurs de position. / Forecasting of a physical system is computed by the help of a mathematical model. This model needs to be initialized by the state of the system at initial time. But this state is not directly measurable and data assimilation techniques are generally used to estimate it. They combine all sources of information such as observations (that may be sparse in time and space and potentially include errors), previous forecasts, the model equations and error statistics. The main idea of data assimilation techniques is to find an initial state accounting for the different sources of informations. Such techniques are widely used in meteorology, where data and particularly images are more and more numerous due to the increasing number of satellites and other sources of measurements. This, coupled with developments of meteorological models, have led to an ever-increasing quality of the forecast.Spatial consistency is one specificity of images. For example, human eyes are able to notice structures in an image. However, classical methods of data assimilation do not handle such structures because they take only into account the values of each pixel separately. In some cases it leads to a bad initial condition. To tackle this problem, we proposed to change the representation of an image: images are considered here as elements of the Wasserstein space endowed with the Wasserstein distance coming from the optimal transport theory. In this space, what matters is the positions of the different structures.This thesis presents a data assimilation technique based on this Wasserstein distance. This technique and its numerical procedure are first described, then experiments are carried out and results shown. In particularly, it appears that this technique was able to give an analysis of corrected position.

Cette thèse se concentre sur l'analyse de données présentées sous forme de mesures de probabilité sur R^d. L'objectif est alors de fournir une meilleure compréhension des outils statistiques usuels sur cet espace muni de la distance de Wasserstein. Une première notion naturelle est l'analyse statistique d'ordre un, consistant en l'étude de la moyenne de Fréchet (ou barycentre). En particulier, nous nous concentrons sur le cas de données (ou observations) discrètes échantillonnées à partir de mesures de probabilité absolument continues (a.c.) par rapport à la mesure de Lebesgue. Nous introduisons ainsi un estimateur du barycentre de mesures aléatoires, pénalisé par une fonction convexe, permettant ainsi d'imposer son a.c. Un autre estimateur est régularisé par l'ajout d'entropie lors du calcul de la distance de Wasserstein. Nous nous intéressons notamment au contrôle de la variance de ces estimateurs. Grâce à ces résultats, le principe de Goldenshluger et Lepski nous permet d'obtenir une calibration automatique des paramètres de régularisation. Nous appliquons ensuite ce travail au recalage de densités multivariées, notamment pour des données de cytométrie de flux. Nous proposons également un test d'adéquation de lois capable de comparer deux distributions multivariées, efficacement en terme de temps de calcul. Enfin, nous exécutons une analyse statistique d'ordre deux dans le but d'extraire les tendances géométriques globales d'un jeu de donnée, c'est-à-dire les principaux modes de variations. Pour cela nous proposons un algorithme permettant d'effectuer une analyse en composantes principales géodésiques dans l'espace de Wasserstein. / This thesis focuses on the analysis of data in the form of probability measures on R^d. The aim is to provide a better understanding of the usual statistical tools on this space endowed with the Wasserstein distance. The first order statistical analysis is a natural notion to consider, consisting of the study of the Fréchet mean (or barycentre). In particular, we focus on the case of discrete data (or observations) sampled from absolutely continuous probability measures (a.c.) with respect to the Lebesgue measure. We thus introduce an estimator of the barycenter of random measures, penalized by a convex function, making it possible to enforce its a.c. Another estimator is regularized by adding entropy when computing the Wasserstein distance. We are particularly interested in controlling the variance of these estimators. Thanks to these results, the principle of Goldenshluger and Lepski allows us to obtain an automatic calibration of the regularization parameters. We then apply this work to the registration of multivariate densities, especially for flow cytometry data. We also propose a test statistic that can compare two multivariate distributions, efficiently in terms of computational time. Finally, we perform a second-order statistical analysis to extract the global geometric tendency of a dataset, also called the main modes of variation. For that purpose, we propose algorithms allowing to carry out a geodesic principal components analysis in the space of Wasserstein.

Notre travail est présenté en trois parties indépendantes. Tout d'abord, nous proposons trois heuristiques d'apprentissage actif pour les réseaux de neurones profonds : Nous mettons à l'échelle le `query by committee' , qui agrège la décision de sélectionner ou non une donnée par le vote d'un comité. Pour se faire nous formons le comité à l'aide de différents masques de dropout. Un autre travail se base sur la distance des exemples à la marge. Nous proposons d'utiliser les exemples adversaires comme une approximation de la dite distance. Nous démontrons également des bornes de convergence de notre méthode dans le cas de réseaux linéaires. L’usage des exemples adversaires ouvrent des perspectives de transférabilité d’apprentissage actif d’une architecture à une autre. Puis, nous avons formulé une heuristique d'apprentissage actif qui s'adapte tant au CNNs qu'aux RNNs. Notre méthode sélectionne les données qui minimisent l'énergie libre variationnelle. Dans un second temps, nous nous sommes concentrés sur la distance de Wasserstein. Nous projetons les distributions dans un espace où la distance euclidienne mimique la distance de Wasserstein. Pour se faire nous utilisons une architecture siamoise. Également, nous démontrons les propriétés sous-modulaires des prototypes de Wasserstein et comment les appliquer à l'apprentissage actif. Enfin, nous proposons de nouveaux outils de visualisation pour expliquer les prédictions d'un CNN sur du langage naturel. Premièrement, nous détournons une stratégie d'apprentissage actif pour confronter la pertinence des phrases sélectionnées aux techniques de phraséologie les plus récentes. Deuxièmement, nous profitons des algorithmes de déconvolution des CNNs afin de présenter une nouvelle perspective sur l'analyse d'un texte. / Our work is presented in three separate parts which can be read independently. Firstly we propose three active learning heuristics that scale to deep neural networks: We scale query by committee, an ensemble active learning methods. We speed up the computation time by sampling a committee of deep networks by applying dropout on the trained model. Another direction was margin-based active learning. We propose to use an adversarial perturbation to measure the distance to the margin. We also establish theoretical bounds on the convergence of our Adversarial Active Learning strategy for linear classifiers. Some inherent properties of adversarial examples opens up promising opportunity to transfer active learning data from one network to another. We also derive an active learning heuristic that scales to both CNN and RNN by selecting the unlabeled data that minimize the variational free energy. Secondly, we focus our work on how to fasten the computation of Wasserstein distances. We propose to approximate Wasserstein distances using a Siamese architecture. From another point of view, we demonstrate the submodular properties of Wasserstein medoids and how to apply it in active learning. Eventually, we provide new visualization tools for explaining the predictions of CNN on a text. First, we hijack an active learning strategy to confront the relevance of the sentences selected with active learning to state-of-the-art phraseology techniques. These works help to understand the hierarchy of the linguistic knowledge acquired during the training of CNNs on NLP tasks. Secondly, we take advantage of deconvolution networks for image analysis to present a new perspective on text analysis to the linguistic community that we call Text Deconvolution Saliency.

Dans cette thèse, on étudie des problèmes de propagation du chaos et de limite de champ moyen pour des modèles relatant le comportement collectif d'individus ou de particules. Particulièrement, on se place dans des cas où l'interaction entre ces individus/particules est discontinue. Le premier travail établit la propagation du chaos pour l'équation de Vlasov-Poisson-Fokker-Planck 1d. Plus précisément, on montre que la distribution des particules évoluant sur la droite des réels interagissant via la fonction signe, converge vers la solution de l'équation de VPFP 1d, en probabilité par des techniques de type grandes déviations, et en espérance par des techniques de loi des grands nombre. Dans le second travail, on étudie une variante du modèle de Cucker-Smale, où le noyau de communication est l'indicatrice d'un cône dont l'orientation dépend de la vitesse de l'individu. Une estimation de stabilité fort-faible en distance de M.K.W. est obtenue, qui implique la limite de champ moyen. Le troisième travail a consisté à introduire de la diffusion en vitesse dans le modèle précédemment cité. Cependant, il faut ajouter une diffusion tronquée afin de préserver un système dans lequel les vitesses restent uniformément bornées. Finalement, on étudie une variante de l'équation d'agrégation où l'interaction entre individus est donnée par un cône dont l'orientation dépend de la position de l'individu. Dans ce cas on peut seulement donner une estimation de stabilité fort-faible en distance $W_\infty$, et le modèle doit être posé dans un domaine borné dans le cas avec diffusion. / In this thesis, we study some propagation of chaos and mean field limit problems arising in modelisation of collective behavior of individuals or particles. Particularly, we set ourselves in the case where the interaction between the individuals/particles is discontinuous. The first work establihes the propagation of chaos for the 1d Vlasov-Poisson-Fokker-Planck equation. More precisely, we show that the distribution of particles evolving on the real line and interacting through the sign function converges to the solution of the 1d VPFP equation, in probability by large deviations-like techniques, and in expectation by law of large numbers-like techniques. In the second work, we study a variant of the Cucker-Smale, where the communication weight is the indicatrix function of a cone which orientation depends on the velocity of the individual. Some weak-strong stability estimate in M.K.W. distance is obtained for the limit equation, which implies the mean field limit. The third work consists in adding some diffusion in velocity to the model previously quoted. However one must add some truncated diffusion in order to preserve a system in which velocities remain unifomrly bounded. Finally we study a variant of the aggregation equation where the interaction between individuals is also given by a cone which orientation depends on the position of the individual. In this case we are only able to provide some weak-strong stability estimate in $W_\infty$ distance, and the problem must be set in a bounded domain for the case with diffusion.

Thesis (Ph. D.) -- University of Maryland, College Park, 2004. / Includes bibliographical references (p.267-285). Also available on the Internet.

This work is to give an overview over the research that I've done up to now. The overall idea behind my interests has been that of understanding analytical and geometrical properties of non smooth spaces both from both a theoretical and a practical point of view. The two main classes of spaces on which I focussed are: the Wasserstein space (P2(M),W2) built over a Riemannian manifold, and abstract metric and metric-measure spaces, in particular those with Ricci curvature bounded below.

Gradient flows of energy functionals on the space of probability measures with Wasserstein metric has proved to be a strong tool in studying certain mass conserving evolution equations. Such gradient flows provide an alternate formulation for the solutions of the corresponding evolution equations. An important condition, which is known to guarantees existence, uniqueness, and continuous dependence on initial data is that the corresponding energy functional be displacement convex. We introduce a relaxed notion of displacement convexity and we show that it still guarantees short time existence and uniqueness of Wasserstein gradient flows for higher order energy functionals which are not displacement convex in the standard sense. This extends the applicability of the gradient flow approach to larger family of energies. As an application, local and global well-posedness of different higher order non-linear evolution equations are derived. Examples include the thin-film equation and the quantum drift diffusion equation in one spatial variable.

This work is concerned with the Almost Axisymmetric Flows with Forcing Terms which are derived from the inviscid Boussinesq equations. It is our hope that these flows will be useful in Meteorology to describe tropical cyclones. We show that these flows give rise to a collection of Monge-Ampere equations for which we prove an existence and uniqueness result. What makes these equations unusual is the boundary conditions they are expected to satisfy and the fact that the boundary is part of the unknown. Our study allows us to make inferences in a toy Almost Axisymmetric Flows with a forcing term model.

This article aims at the statistical assessment of time series with large fluctuations in short time, which are assumed to stem from a continuous process perturbed by a Lévy process exhibiting a heavy tail behavior. We propose an easily implementable procedure to estimate efficiently the statistical difference between the noisy behavior of the data and a given reference jump measure in terms of so-called coupling distances. After a short introduction to Lévy processes and coupling distances we recall basic statistical approximation results and derive rates of convergence. In the sequel the procedure is elaborated in detail in an abstract setting and eventually applied in a case study to simulated and paleoclimate data. It indicates the dominant presence of a non-stable heavy-tailed jump Lévy component for some tail index greater than 2.