De nos jours, avec l'abondance croissante de données de très grande taille, les problèmes de classification de grande dimension ont été mis en évidence comme un challenge dans la communauté d'apprentissage automatique et ont beaucoup attiré l'attention des chercheurs dans le domaine. Au cours des dernières années, les techniques d'apprentissage avec la parcimonie et l'optimisation stochastique se sont prouvées être efficaces pour ce type de problèmes. Dans cette thèse, nous nous concentrons sur le développement des méthodes d'optimisation pour résoudre certaines classes de problèmes concernant ces deux sujets. Nos méthodes sont basées sur la programmation DC (Difference of Convex functions) et DCA (DC Algorithm) étant reconnues comme des outils puissants d'optimisation non convexe. La thèse est composée de trois parties. La première partie aborde le problème de la sélection des variables. La deuxième partie étudie le problème de la sélection de groupes de variables. La dernière partie de la thèse liée à l'apprentissage stochastique. Dans la première partie, nous commençons par la sélection des variables dans le problème discriminant de Fisher (Chapitre 2) et le problème de scoring optimal (Chapitre 3), qui sont les deux approches différentes pour la classification supervisée dans l'espace de grande dimension, dans lequel le nombre de variables est beaucoup plus grand que le nombre d'observations. Poursuivant cette étude, nous étudions la structure du problème d'estimation de matrice de covariance parcimonieuse et fournissons les quatre algorithmes appropriés basés sur la programmation DC et DCA (Chapitre 4). Deux applications en finance et en classification sont étudiées pour illustrer l'efficacité de nos méthodes. La deuxième partie étudie la L_p,0régularisation pour la sélection de groupes de variables (Chapitre 5). En utilisant une approximation DC de la L_p,0norme, nous prouvons que le problème approché, avec des paramètres appropriés, est équivalent au problème original. Considérant deux reformulations équivalentes du problème approché, nous développons différents algorithmes basés sur la programmation DC et DCA pour les résoudre. Comme applications, nous mettons en pratique nos méthodes pour la sélection de groupes de variables dans les problèmes de scoring optimal et d'estimation de multiples matrices de covariance. Dans la troisième partie de la thèse, nous introduisons un DCA stochastique pour des problèmes d'estimation des paramètres à grande échelle (Chapitre 6) dans lesquelles la fonction objectif est la somme d'une grande famille des fonctions non convexes. Comme une étude de cas, nous proposons un schéma DCA stochastique spécial pour le modèle loglinéaire incorporant des variables latentes / These days with the increasing abundance of data with high dimensionality, high dimensional classification problems have been highlighted as a challenge in machine learning community and have attracted a great deal of attention from researchers in the field. In recent years, sparse and stochastic learning techniques have been proven to be useful for this kind of problem. In this thesis, we focus on developing optimization approaches for solving some classes of optimization problems in these two topics. Our methods are based on DC (Difference of Convex functions) programming and DCA (DC Algorithms) which are wellknown as one of the most powerful tools in optimization. The thesis is composed of three parts. The first part tackles the issue of variable selection. The second part studies the problem of group variable selection. The final part of the thesis concerns the stochastic learning. In the first part, we start with the variable selection in the Fisher's discriminant problem (Chapter 2) and the optimal scoring problem (Chapter 3), which are two different approaches for the supervised classification in the high dimensional setting, in which the number of features is much larger than the number of observations. Continuing this study, we study the structure of the sparse covariance matrix estimation problem and propose four appropriate DCA based algorithms (Chapter 4). Two applications in finance and classification are conducted to illustrate the efficiency of our methods. The second part studies the L_p,0regularization for the group variable selection (Chapter 5). Using a DC approximation of the L_p,0norm, we indicate that the approximate problem is equivalent to the original problem with suitable parameters. Considering two equivalent reformulations of the approximate problem we develop DCA based algorithms to solve them. Regarding applications, we implement the proposed algorithms for group feature selection in optimal scoring problem and estimation problem of multiple covariance matrices. In the third part of the thesis, we introduce a stochastic DCA for large scale parameter estimation problems (Chapter 6) in which the objective function is a large sum of nonconvex components. As an application, we propose a special stochastic DCA for the loglinear model incorporating latent variables

Ces travaux de thèse concernent le développement de nouvelles méthodes de séparation aveugle de mélanges linéaires instantanés pour des applications à des données hyperspectrales en astrophysique. Nous avons proposé trois approches pour effectuer la séparation des données. Une première contribution est fondée sur l'hybridation de deux méthodes existantes de séparation aveugle de source (SAS) : la méthode SpaceCORR nécessitant une hypothèse de parcimonie et une méthode de factorisation en matrices non négatives (NMF). Nous montrons que l'utilisation des résultats de SpaceCORR pour initialiser la NMF permet d'améliorer les performances des méthodes utilisées seules. Nous avons ensuite proposé une première méthode originale permettant de relâcher la contrainte de parcimonie de SpaceCORR. La méthode MASS (pour \textit{Maximum Angle Source Separation}) est une méthode géométrique basée sur l'extraction de pixels mono-sources pour réaliser la séparation des données. Nous avons également étudié l'hybridation de MASS avec la NMF. Enfin, nous avons proposé une seconde approche permettant de relâcher la contrainte de parcimonie de SpaceCORR. La méthode originale SIBIS (pour \textit{Subspace-Intersection Blind Identification and Separation}) est une méthode géométrique basée sur l'identification de l'intersection de sous-espaces engendrés par des régions de l'image hyperspectrale. Ces intersections permettent, sous une hypothèse faible de parcimonie, de réaliser la séparation des données. L'ensemble des approches proposées dans ces travaux ont été validées par des tests sur données simulées puis appliquées sur données réelles. Les résultats obtenus sur ces données sont très encourageants et sont comparés à ceux obtenus par des méthodes de la littérature. / This thesis deals with the development of new blind separation methods for linear instantaneous mixtures applicable to astrophysical hyperspectral data sets. We propose three approaches to perform data separation. A first contribution is based on hybridization of two existing blind source separation (BSS) methods: the SpaceCORR method, requiring a sparsity assumption, and a non-negative matrix factorization (NMF) method. We show that using SpaceCORR results to initialize the NMF improves the performance of the methods used alone. We then proposed a first original method to relax the sparsity constraint of SpaceCORR. The method called MASS (Maximum Angle Source Separation) is a geometric method based on the extraction of single-source pixels to achieve the separation of data. We also studied the hybridization of MASS with the NMF. Finally, we proposed an approach to relax the sparsity constraint of SpaceCORR. The original method called SIBIS (Subspace-Intersection Blind Identification and Separation) is a geometric method based on the identification of intersections of subspaces generated by regions of the hyperspectral image. Under a sparsity assumption, these intersections allow one to achieve the separation of the data. The approaches proposed in this manuscript have been validated by experimentations on simulated data and then applied to real data. The results obtained on our data are very encouraging and are compared with those obtained by methods from the literature.

Les algorithmes convexes de résolution pour les régressions linéaires parcimonieuses possèdent de bonnes performances pratiques et théoriques. Cependant, ils souffrent tous des dimensions du problème qui dictent la complexité de chacune de leur itération. Nous proposons une approche pour réduire ce coût calculatoire au niveau de l'itération. Des stratégies récentes s'appuyant sur des tests d'élimination de variables ont été proposées pour accélérer la résolution des problèmes de régressions parcimonieuse pénalisées tels que le LASSO. Ces approches reposent sur l'idée qu'il est profitable de dédier un petit effort de calcul pour localiser des atomes inactifs afin de les retirer du dictionnaire dans une étape de prétraitement. L'algorithme de résolution utilisant le dictionnaire ainsi réduit convergera alors plus rapidement vers la solution du problème initial. Nous pensons qu'il existe un moyen plus efficace pour réduire le dictionnaire et donc obtenir une meilleure accélération : à l'intérieur de chaque itération de l'algorithme, il est possible de valoriser les calculs originalement dédiés à l'algorithme pour obtenir à moindre coût un nouveau test d'élimination dont l'effet d'élimination augmente progressivement le long des itérations. Le dictionnaire est alors réduit de façon dynamique au lieu d'être réduit de façon statique, une fois pour toutes, avant la première itération. Nous formalisons ce principe d'élimination dynamique à travers une formulation algorithmique générique, et l'appliquons en intégrant des tests d'élimination existants, à l'intérieur de plusieurs algorithmes du premier ordre pour résoudre les problèmes du LASSO et Group-LASSO. / Applications in signal processing and machine learning make frequent use of sparse regressions. Resulting convex problems, such as the LASSO, can be efficiently solved thanks to first-order algorithms, which are general, and have good convergence properties. However those algorithms suffer from the dimension of the problem, which impose the complexity of their iterations. In this thesis we study approaches, based on screening tests, aimed at reducing the computational cost at the iteration level. Such approaches build upon the idea that it is worth dedicating some small computational effort to locate inactive atoms and remove them from the dictionary in a preprocessing stage so that the regression algorithm working with a smaller dictionary will then converge faster to the solution of the initial problem. We believe that there is an even more efficient way to screen the dictionary and obtain a greater acceleration: inside each iteration of the regression algorithm, one may take advantage of the algorithm computations to obtain a new screening test for free with increasing screening effects along the iterations. The dictionary is henceforth dynamically screened instead of being screened statically, once and for all, before the first iteration. Our first contribution is the formalisation of this principle and its application to first-order algorithms, for the resolution of the LASSO and Group-LASSO. In a second contribution, this general principle is combined to active-set methods, whose goal is also to accelerate the resolution of sparse regressions. Applying the two complementary methods on first-order algorithms, leads to great acceleration performances.

Mes travaux de thèse portent sur l’application de la théorie de l’échantillonnagecompressif (Compressed Sensing ou Compressive Sampling, CS) à la microscopie defluorescence, domaine en constante évolution et outil privilégié de la recherche fondamentaleen biologie. La récente théorie du CS a démontré que pour des signauxparticuliers, dits parcimonieux, il est possible de réduire la fréquence d’échantillonnagede l’information à une valeur bien plus faible que ne le prédit la théorie classiquede l’échantillonnage. La théorie du CS stipule qu’il est possible de reconstruireun signal, sans perte d’information, à partir de mesures aléatoires fortement incomplèteset/ou corrompues de ce signal à la seule condition que celui-ci présente unestructure parcimonieuse.Nous avons développé une approche expérimentale inédite de la théorie du CSà la microscopie de fluorescence, domaine où les signaux sont naturellement parcimonieux.La méthode est basée sur l’association d’une illumination dynamiquestructurée à champs large et d’une détection rapide à point unique. Cette modalitépermet d’inclure l’étape de compression pendant l’acquisition. En outre, nous avonsmontré que l’introduction de dimensions supplémentaires (2D+couleur) augmentela redondance du signal, qui peut être pleinement exploitée par le CS afin d’atteindredes taux de compression très importants.Dans la continuité de ces travaux, nous nous sommes intéressés à une autre applicationdu CS à la microscopie de super résolution, par localisation de moléculesindividuelles (PALM/STORM). Ces nouvelles techniques de microscopie de fluorescenceont permis de s’affranchir de la limite de diffraction pour atteindre des résolutionsnanométriques. Nous avons exploré la possibilité d’exploiter le CS pour réduiredrastiquement les temps d’acquisition et de traitement.Mots clefs : échantillonnage compressif, microscopie de fluorescence, parcimonie,microscopie de super résolution, redondance, traitement du signal, localisation demolécules uniques, bio-imagerie / My PhD work deals with the application of Compressed Sensing (or CompressiveSampling, CS) in fluorescence microscopy as a powerful toolkit for fundamental biologicalresearch. The recent mathematical theory of CS has demonstrated that, for aparticular type of signal, called sparse, it is possible to reduce the sampling frequencyto rates well below that which the sampling theorem classically requires. Its centralresult states it is possible to losslessly reconstruct a signal from highly incompleteand/or inaccurate measurements if the original signal possesses a sparse representation.We developed a unique experimental approach of a CS implementation in fluorescencemicroscopy, where most signals are naturally sparse. Our CS microscopecombines dynamic structured wide-field illumination with fast and sensitive singlepointfluorescence detection. In this scheme, the compression is directly integratedin the measurement process. Additionally, we showed that introducing extra dimensions(2D+color) results in extreme redundancy that is fully exploited by CS to greatlyincrease compression ratios.The second purpose of this thesis is another appealing application of CS forsuper-resolution microscopy using single molecule localization techniques (e.g.PALM/STORM). This new powerful tool has allowed to break the diffraction barrierdown to nanometric resolutions. We explored the possibility of using CS to drasticallyreduce acquisition and processing times.

La technique d'acquisition compressée (compressed sensing, CS) est une nouvelle théorie pour l'échantillonnage qui fût introduite afin de permettre l'acquisition efficace de signaux compressibles. Dans cette thèse, nous avons étudié des applications pratiques de cette technique d'échantillonnage, où les acquisitions sont réalisées dans le domaine de Fourier, menant aux deux principales contributions suivantes : (i) Débruitage d'image : Les images microscopiques présentent souvent des dégradations dûs à des artefacts complexes, associés à du bruit ou encore des mauvaises conditions d'éclairage. En microscopie à fluorescence, le bruit et le photoblanchiment altèrent la qualité de l'image. Notre travail a consisté à exploiter la théorie d'acquisition compressée comme un outil de débruitage d'image. Nous avons utilisé plusieurs acquisitions aléatoires dans le domaine de Fourier, et la variation totale comme un a priori sur la parcimonie spatiale. La composition des différentes images de reconstruction correspondant aux différents ensembles de mesures aléatoires renforce la cohérence spatiale de composants du signal significatifs et per- met de décorréler les composants bruités. Nous avons étudié les relations entre la parcimonie d'un signal et les statistiques et la performance pour la réduction du bruit sous différentes conditions initiales de bruitage. Nous avons montré que la technique proposée, basée sur un a priori sur la parcimonie du signal et sur des échantillonnages aléatoires dans le domaine de Fourier, permet d'obtenir des im- ages avec un rapport signal/bruit (SNR) au pire égal à celui obtenu avec les méthodes de débruitage classiques, tout en utilisant un nombre limité d'échantillons. Sous réserve de pouvoir acquérir l'image dans le domaine de Fourier, le schéma de débruitage proposé fournirait une méthode d'acquisition rapide nécessitant un temps d'exposition moindre, réduisant les effets de photoblanchiment. (ii) Acquisition compressée en microscopie holographique : En microscopie, les données en sortie deviennent considérables, impliquant notamment l'utilisation de capteurs haute-définition (i.e. beaucoup d'échantillons par acquisition) et l'augmentation des temps d'acquisition. La théorie de l'acquisition compressée fournit des outils pour la reconstruction d'images, nécessitant moins d'échantillons que les approches classiques. Cependant, les quelques mesures nécessaires doivent être prises dans un domaine incohérent au domaine spatiale, ce qui est difficile à réaliser en microscopie conventionnelle. Nous avons tout d'abord proposé un schéma de calcul permettant l'acquisition de séquences temporelles de mesures d'amplitude dans le domaine de Fourier, et l'estimation de l'information manquante sur la phase par interpolation de spectre de quelques acquisitions complètes d'images. Cette approche a été mise en pratique dans le contexte de l'imagerie rapide, utilisée pour des cellules en mouvement. Dans un deuxième temps nous avons implanté un schéma d'acquisition compressée pratique, conçu pour l'holographie numérique. Ce schéma permet de mesurer une figure de diffraction du champ optique et reconstruire images de haute qualité à partir de seulement 7% de mesures aléatoires. L'expérience d'acquisition compressée a été étendue avec succès à l'holographie compressée rapide à acquisition unique et dans des conditions d'éclairage faible.

Ce mémoire d'habilitation a pour objet diverses contributions à l'estimation et à l'apprentissage statistique dans les modeles en grande dimension, sous différentes hypothèses de parcimonie. Dans une première partie, on introduit la problématique de la statistique en grande dimension dans un modèle générique de régression linéaire. Après avoir passé en revue les différentes méthodes d'estimation populaires dans ce modèle, on présente de nouveaux résultats tirés de (Alquier & Lounici 2011) pour des estimateurs agrégés. La seconde partie a essentiellement pour objet d'étendre les résultats de la première partie à l'estimation de divers modèles de séries temporelles (Alquier & Doukhan 2011, Alquier & Wintenberger 2013, Alquier & Li 2012, Alquier, Wintenberger & Li 2012). Enfin, la troisième partie présente plusieurs extensions à des modèles non param\étriques ou à des applications plus spécifiques comme la statistique quantique (Alquier & Biau 2013, Guedj & Alquier 2013, Alquier, Meziani & Peyré 2013, Alquier, Butucea, Hebiri, Meziani & Morimae 2013, Alquier 2013, Alquier 2008). Dans chaque section, des estimateurs sont proposés, et, aussi souvent que possible, des inégalités oracles optimales sont établies.

L'imagerie acoustique est une technique performante pour la localisation et la reconstruction de puissance des sources acoustiques en utilisant des mesures limitées au réseau des microphones. Elle est largement utilisée pour évaluer l'influence acoustique dans l'industrie automobile et aéronautique. Les méthodes d'imagerie acoustique impliquent souvent un modèle direct de propagation acoustique et l'inversion de ce modèle direct. Cependant, cette inversion provoque généralement un problème inverse mal-posé. Par conséquent, les méthodes classiques ne permettent d'obtenir de manière satisfaisante ni une haute résolution spatiale, ni une dynamique large de la puissance acoustique. Dans cette thèse, nous avons tout d'abord nous avons créé un modèle direct discret de la puissance acoustique qui devient alors à la fois linéaire et déterminé pour les puissances acoustiques. Et nous ajoutons les erreurs de mesures que nous décomposons en trois parties : le bruit de fond du réseau de capteurs, l'incertitude du modèle causée par les propagations à multi-trajets et les erreurs d'approximation de la modélisation. Pour la résolution du problème inverse, nous avons tout d'abord proposé une approche d'hyper-résolution en utilisant une contrainte de parcimonie, de sorte que nous pouvons obtenir une plus haute résolution spatiale robuste à aux erreurs de mesures à condition que le paramètre de parcimonie soit estimé attentivement. Ensuite, afin d'obtenir une dynamique large et une plus forte robustesse aux bruits, nous avons proposé une approche basée sur une inférence bayésienne avec un a priori parcimonieux. Toutes les variables et paramètres inconnus peuvent être estimées par l'estimation du maximum a posteriori conjoint (JMAP). Toutefois, le JMAP souffrant d'une optimisation non-quadratique d'importants coûts de calcul, nous avons cherché des solutions d'accélération algorithmique: une approximation du modèle direct en utilisant une convolution 2D avec un noyau invariant. Grâce à ce modèle, nos approches peuvent être parallélisées sur des Graphics Processing Unit (GPU) . Par ailleurs, nous avons affiné notre modèle statistique sur 2 aspects : prise en compte de la non stationarité spatiale des erreurs de mesures et la définition d'une loi a priori pour les puissances renforçant la parcimonie en loi de Students-t. Enfin, nous ont poussé à mettre en place une Approximation Variationnelle Bayésienne (VBA). Cette approche permet non seulement d'obtenir toutes les estimations des inconnues, mais aussi de fournir des intervalles de confiance grâce aux paramètres cachés utilisés par les lois de Students-t. Pour conclure, nos approches ont été comparées avec des méthodes de l'état-de-l'art sur des données simulées, réelles (provenant d'essais en soufflerie chez Renault S2A) et hybrides.

Ces dernières années, la théorie mathématique de l'échantillonnage compressé (compressed sensing, CS) a émergé en tant que nouvel outil en traitement d'images, permettant notamment de dépasser certaines limites établies par la théorie de l'échantillonnage de Nyquist. En particulier, la théorie du CS établit qu'un signal (une image, une séquence vidéo, etc.) peut être reconstruit à partir d'un faible nombre de mesures linéaires non-adaptatives et aléatoires, pourvu qu'il présente une structure parcimonieuse. Dans la mesure où cette hypothèse se vérifie pour une large classe d'images naturelles, plusieurs applications d'imagerie ont d'ores-et-déjà bénéficié à des titres divers des résultats issus de cette théorie. Le but du travail doctoral présent est d'étudier comment la théorie du CS - et plus généralement les idées et méthodes en relation avec les problèmes de reconstruction de signaux parcimonieux (sparse) - peuvent être utilisés pour concevoir des dispositifs d'acquisition optiques à haute-résolution spatiale et temporelle pour des applications en imagerie biologique. Nous étudions tout d'abord quelques questions pratiques liées à l'étape de reconstruction nécessairement associée aux systèmes d'acquisition exploitant le CS, ainsi qu'à la sélection des paramètres d'échantillonnage. Nous examinons ensuite comment le CS peut être utilisé dans le cadre d'applications d'échantillonnage de signaux vidéo. Enfin, avec dans l'idée l'utilisation dans des problèmes de débruitage de méthodes inspirées du CS, nous abordons la question de l'estimation d'erreur dans les problèmes de débruitage d'images acquises en conditions de faible luminosité, notamment dans le cadre d'applications de microscopie.

Cette thèse se consacre aux garanties de reconstruction et de l’analyse de sensibilité de régularisation variationnelle pour des problèmes inverses linéaires bruités. Il s’agit d’un problème d’optimisation convexe combinant un terme d’attache aux données et un terme de régularisation promouvant des solutions vivant dans un espace dit de faible complexité. Notre approche, basée sur la notion de fonctions partiellement lisses, permet l’étude d’une grande variété de régularisations comme par exemple la parcimonie de type analyse ou structurée, l’anti-Parcimonie et la structure de faible rang. Nous analysons tout d’abord la robustesse au bruit, à la fois en termes de distance entre les solutions et l’objet original, ainsi que la stabilité de l’espace modèle promu.Ensuite, nous étudions la stabilité de ces problèmes d’optimisation à des perturbations des observations. A partir d’observations aléatoires, nous construisons un estimateur non biaisé du risque afin d’obtenir un schéma de sélection de paramètre. / This thesis is concerned with recovery guarantees and sensitivity analysis of variational regularization for noisy linear inverse problems. This is cast as aconvex optimization problem by combining a data fidelity and a regularizing functional promoting solutions conforming to some notion of low complexity related to their non-Smoothness points. Our approach, based on partial smoothness, handles a variety of regularizers including analysis/structured sparsity, antisparsity and low-Rank structure. We first give an analysis of thenoise robustness guarantees, both in terms of the distance of the recovered solutions to the original object, as well as the stability of the promoted modelspace. We then turn to sensivity analysis of these optimization problems to observation perturbations. With random observations, we build un biased estimator of the risk which provides a parameter selection scheme.

Au cours de la dernière décennie, l’étude mathématique et statistique des représentations parcimonieuses de signaux et de leurs applications en traitement du signal audio, en traitement d’image, en vidéo et en séparation de sources a connu une activité intensive. Cependant, l'exploitation de la parcimonie dans des contextes de traitement multidimensionnel comme les communications numériques reste largement ouverte. Au même temps, les méthodes aveugles semblent être la réponse à énormément de problèmes rencontrés récemment par la communauté du traitement du signal et des communications numériques tels que l'efficacité spectrale. Aussi, dans un contexte de mobilité et de non-stationnarité, il est important de pouvoir mettre en oeuvre des solutions de traitement adaptatives de faible complexité algorithmique en vue d'assurer une consommation réduite des appareils. L'objectif de cette thèse est d'aborder ces challenges de traitement multidimensionnel en proposant des solutions aveugles de faible coût de calcul en utilisant l'à priori de parcimonie. Notre travail s'articule autour de trois axes principaux : la poursuite de sous-espace principal parcimonieux, la séparation adaptative aveugle de sources parcimonieuses et l'identification aveugle des systèmes parcimonieux. Dans chaque problème, nous avons proposé de nouvelles solutions adaptatives en intégrant l'information de parcimonie aux méthodes classiques de manière à améliorer leurs performances. Des simulations numériques ont été effectuées pour confirmer l’intérêt des méthodes proposées par rapport à l'état de l'art en termes de qualité d’estimation et de complexité calculatoire. / During the last decade, the mathematical and statistical study of sparse signal representations and their applications in audio, image, video processing and source separation has been intensively active. However, exploiting sparsity in multidimensional processing contexts such as digital communications remains a largely open problem. At the same time, the blind methods seem to be the answer to a lot of problems recently encountered by the signal processing and the communications communities such as the spectral efficiency. Furthermore, in a context of mobility and non-stationarity, it is important to be able to implement adaptive processing solutions of low algorithmic complexity to ensure reduced consumption of devices. The objective of this thesis is to address these challenges of multidimensional processing by proposing blind solutions of low computational cost by using the sparsity a priori. Our work revolves around three main axes: sparse principal subspace tracking, adaptive sparse source separation and identification of sparse systems. For each problem, we propose new adaptive solutions by integrating the sparsity information to the classical methods in order to improve their performance. Numerical simulations have been conducted to confirm the superiority of the proposed methods compared to the state of the art.