Ces travaux de thèse concernent le développement de nouvelles méthodes de séparation aveugle de mélanges linéaires instantanés pour des applications à des données hyperspectrales en astrophysique. Nous avons proposé trois approches pour effectuer la séparation des données. Une première contribution est fondée sur l'hybridation de deux méthodes existantes de séparation aveugle de source (SAS) : la méthode SpaceCORR nécessitant une hypothèse de parcimonie et une méthode de factorisation en matrices non négatives (NMF). Nous montrons que l'utilisation des résultats de SpaceCORR pour initialiser la NMF permet d'améliorer les performances des méthodes utilisées seules. Nous avons ensuite proposé une première méthode originale permettant de relâcher la contrainte de parcimonie de SpaceCORR. La méthode MASS (pour \textit{Maximum Angle Source Separation}) est une méthode géométrique basée sur l'extraction de pixels mono-sources pour réaliser la séparation des données. Nous avons également étudié l'hybridation de MASS avec la NMF. Enfin, nous avons proposé une seconde approche permettant de relâcher la contrainte de parcimonie de SpaceCORR. La méthode originale SIBIS (pour \textit{Subspace-Intersection Blind Identification and Separation}) est une méthode géométrique basée sur l'identification de l'intersection de sous-espaces engendrés par des régions de l'image hyperspectrale. Ces intersections permettent, sous une hypothèse faible de parcimonie, de réaliser la séparation des données. L'ensemble des approches proposées dans ces travaux ont été validées par des tests sur données simulées puis appliquées sur données réelles. Les résultats obtenus sur ces données sont très encourageants et sont comparés à ceux obtenus par des méthodes de la littérature. / This thesis deals with the development of new blind separation methods for linear instantaneous mixtures applicable to astrophysical hyperspectral data sets. We propose three approaches to perform data separation. A first contribution is based on hybridization of two existing blind source separation (BSS) methods: the SpaceCORR method, requiring a sparsity assumption, and a non-negative matrix factorization (NMF) method. We show that using SpaceCORR results to initialize the NMF improves the performance of the methods used alone. We then proposed a first original method to relax the sparsity constraint of SpaceCORR. The method called MASS (Maximum Angle Source Separation) is a geometric method based on the extraction of single-source pixels to achieve the separation of data. We also studied the hybridization of MASS with the NMF. Finally, we proposed an approach to relax the sparsity constraint of SpaceCORR. The original method called SIBIS (Subspace-Intersection Blind Identification and Separation) is a geometric method based on the identification of intersections of subspaces generated by regions of the hyperspectral image. Under a sparsity assumption, these intersections allow one to achieve the separation of the data. The approaches proposed in this manuscript have been validated by experimentations on simulated data and then applied to real data. The results obtained on our data are very encouraging and are compared with those obtained by methods from the literature.

Les algorithmes convexes de résolution pour les régressions linéaires parcimonieuses possèdent de bonnes performances pratiques et théoriques. Cependant, ils souffrent tous des dimensions du problème qui dictent la complexité de chacune de leur itération. Nous proposons une approche pour réduire ce coût calculatoire au niveau de l'itération. Des stratégies récentes s'appuyant sur des tests d'élimination de variables ont été proposées pour accélérer la résolution des problèmes de régressions parcimonieuse pénalisées tels que le LASSO. Ces approches reposent sur l'idée qu'il est profitable de dédier un petit effort de calcul pour localiser des atomes inactifs afin de les retirer du dictionnaire dans une étape de prétraitement. L'algorithme de résolution utilisant le dictionnaire ainsi réduit convergera alors plus rapidement vers la solution du problème initial. Nous pensons qu'il existe un moyen plus efficace pour réduire le dictionnaire et donc obtenir une meilleure accélération : à l'intérieur de chaque itération de l'algorithme, il est possible de valoriser les calculs originalement dédiés à l'algorithme pour obtenir à moindre coût un nouveau test d'élimination dont l'effet d'élimination augmente progressivement le long des itérations. Le dictionnaire est alors réduit de façon dynamique au lieu d'être réduit de façon statique, une fois pour toutes, avant la première itération. Nous formalisons ce principe d'élimination dynamique à travers une formulation algorithmique générique, et l'appliquons en intégrant des tests d'élimination existants, à l'intérieur de plusieurs algorithmes du premier ordre pour résoudre les problèmes du LASSO et Group-LASSO. / Applications in signal processing and machine learning make frequent use of sparse regressions. Resulting convex problems, such as the LASSO, can be efficiently solved thanks to first-order algorithms, which are general, and have good convergence properties. However those algorithms suffer from the dimension of the problem, which impose the complexity of their iterations. In this thesis we study approaches, based on screening tests, aimed at reducing the computational cost at the iteration level. Such approaches build upon the idea that it is worth dedicating some small computational effort to locate inactive atoms and remove them from the dictionary in a preprocessing stage so that the regression algorithm working with a smaller dictionary will then converge faster to the solution of the initial problem. We believe that there is an even more efficient way to screen the dictionary and obtain a greater acceleration: inside each iteration of the regression algorithm, one may take advantage of the algorithm computations to obtain a new screening test for free with increasing screening effects along the iterations. The dictionary is henceforth dynamically screened instead of being screened statically, once and for all, before the first iteration. Our first contribution is the formalisation of this principle and its application to first-order algorithms, for the resolution of the LASSO and Group-LASSO. In a second contribution, this general principle is combined to active-set methods, whose goal is also to accelerate the resolution of sparse regressions. Applying the two complementary methods on first-order algorithms, leads to great acceleration performances.

Mes travaux de thèse portent sur l’application de la théorie de l’échantillonnagecompressif (Compressed Sensing ou Compressive Sampling, CS) à la microscopie defluorescence, domaine en constante évolution et outil privilégié de la recherche fondamentaleen biologie. La récente théorie du CS a démontré que pour des signauxparticuliers, dits parcimonieux, il est possible de réduire la fréquence d’échantillonnagede l’information à une valeur bien plus faible que ne le prédit la théorie classiquede l’échantillonnage. La théorie du CS stipule qu’il est possible de reconstruireun signal, sans perte d’information, à partir de mesures aléatoires fortement incomplèteset/ou corrompues de ce signal à la seule condition que celui-ci présente unestructure parcimonieuse.Nous avons développé une approche expérimentale inédite de la théorie du CSà la microscopie de fluorescence, domaine où les signaux sont naturellement parcimonieux.La méthode est basée sur l’association d’une illumination dynamiquestructurée à champs large et d’une détection rapide à point unique. Cette modalitépermet d’inclure l’étape de compression pendant l’acquisition. En outre, nous avonsmontré que l’introduction de dimensions supplémentaires (2D+couleur) augmentela redondance du signal, qui peut être pleinement exploitée par le CS afin d’atteindredes taux de compression très importants.Dans la continuité de ces travaux, nous nous sommes intéressés à une autre applicationdu CS à la microscopie de super résolution, par localisation de moléculesindividuelles (PALM/STORM). Ces nouvelles techniques de microscopie de fluorescenceont permis de s’affranchir de la limite de diffraction pour atteindre des résolutionsnanométriques. Nous avons exploré la possibilité d’exploiter le CS pour réduiredrastiquement les temps d’acquisition et de traitement.Mots clefs : échantillonnage compressif, microscopie de fluorescence, parcimonie,microscopie de super résolution, redondance, traitement du signal, localisation demolécules uniques, bio-imagerie / My PhD work deals with the application of Compressed Sensing (or CompressiveSampling, CS) in fluorescence microscopy as a powerful toolkit for fundamental biologicalresearch. The recent mathematical theory of CS has demonstrated that, for aparticular type of signal, called sparse, it is possible to reduce the sampling frequencyto rates well below that which the sampling theorem classically requires. Its centralresult states it is possible to losslessly reconstruct a signal from highly incompleteand/or inaccurate measurements if the original signal possesses a sparse representation.We developed a unique experimental approach of a CS implementation in fluorescencemicroscopy, where most signals are naturally sparse. Our CS microscopecombines dynamic structured wide-field illumination with fast and sensitive singlepointfluorescence detection. In this scheme, the compression is directly integratedin the measurement process. Additionally, we showed that introducing extra dimensions(2D+color) results in extreme redundancy that is fully exploited by CS to greatlyincrease compression ratios.The second purpose of this thesis is another appealing application of CS forsuper-resolution microscopy using single molecule localization techniques (e.g.PALM/STORM). This new powerful tool has allowed to break the diffraction barrierdown to nanometric resolutions. We explored the possibility of using CS to drasticallyreduce acquisition and processing times.

La technique d'acquisition compressée (compressed sensing, CS) est une nouvelle théorie pour l'échantillonnage qui fût introduite afin de permettre l'acquisition efficace de signaux compressibles. Dans cette thèse, nous avons étudié des applications pratiques de cette technique d'échantillonnage, où les acquisitions sont réalisées dans le domaine de Fourier, menant aux deux principales contributions suivantes : (i) Débruitage d'image : Les images microscopiques présentent souvent des dégradations dûs à des artefacts complexes, associés à du bruit ou encore des mauvaises conditions d'éclairage. En microscopie à fluorescence, le bruit et le photoblanchiment altèrent la qualité de l'image. Notre travail a consisté à exploiter la théorie d'acquisition compressée comme un outil de débruitage d'image. Nous avons utilisé plusieurs acquisitions aléatoires dans le domaine de Fourier, et la variation totale comme un a priori sur la parcimonie spatiale. La composition des différentes images de reconstruction correspondant aux différents ensembles de mesures aléatoires renforce la cohérence spatiale de composants du signal significatifs et per- met de décorréler les composants bruités. Nous avons étudié les relations entre la parcimonie d'un signal et les statistiques et la performance pour la réduction du bruit sous différentes conditions initiales de bruitage. Nous avons montré que la technique proposée, basée sur un a priori sur la parcimonie du signal et sur des échantillonnages aléatoires dans le domaine de Fourier, permet d'obtenir des im- ages avec un rapport signal/bruit (SNR) au pire égal à celui obtenu avec les méthodes de débruitage classiques, tout en utilisant un nombre limité d'échantillons. Sous réserve de pouvoir acquérir l'image dans le domaine de Fourier, le schéma de débruitage proposé fournirait une méthode d'acquisition rapide nécessitant un temps d'exposition moindre, réduisant les effets de photoblanchiment. (ii) Acquisition compressée en microscopie holographique : En microscopie, les données en sortie deviennent considérables, impliquant notamment l'utilisation de capteurs haute-définition (i.e. beaucoup d'échantillons par acquisition) et l'augmentation des temps d'acquisition. La théorie de l'acquisition compressée fournit des outils pour la reconstruction d'images, nécessitant moins d'échantillons que les approches classiques. Cependant, les quelques mesures nécessaires doivent être prises dans un domaine incohérent au domaine spatiale, ce qui est difficile à réaliser en microscopie conventionnelle. Nous avons tout d'abord proposé un schéma de calcul permettant l'acquisition de séquences temporelles de mesures d'amplitude dans le domaine de Fourier, et l'estimation de l'information manquante sur la phase par interpolation de spectre de quelques acquisitions complètes d'images. Cette approche a été mise en pratique dans le contexte de l'imagerie rapide, utilisée pour des cellules en mouvement. Dans un deuxième temps nous avons implanté un schéma d'acquisition compressée pratique, conçu pour l'holographie numérique. Ce schéma permet de mesurer une figure de diffraction du champ optique et reconstruire images de haute qualité à partir de seulement 7% de mesures aléatoires. L'expérience d'acquisition compressée a été étendue avec succès à l'holographie compressée rapide à acquisition unique et dans des conditions d'éclairage faible.

Ce mémoire d'habilitation a pour objet diverses contributions à l'estimation et à l'apprentissage statistique dans les modeles en grande dimension, sous différentes hypothèses de parcimonie. Dans une première partie, on introduit la problématique de la statistique en grande dimension dans un modèle générique de régression linéaire. Après avoir passé en revue les différentes méthodes d'estimation populaires dans ce modèle, on présente de nouveaux résultats tirés de (Alquier & Lounici 2011) pour des estimateurs agrégés. La seconde partie a essentiellement pour objet d'étendre les résultats de la première partie à l'estimation de divers modèles de séries temporelles (Alquier & Doukhan 2011, Alquier & Wintenberger 2013, Alquier & Li 2012, Alquier, Wintenberger & Li 2012). Enfin, la troisième partie présente plusieurs extensions à des modèles non param\étriques ou à des applications plus spécifiques comme la statistique quantique (Alquier & Biau 2013, Guedj & Alquier 2013, Alquier, Meziani & Peyré 2013, Alquier, Butucea, Hebiri, Meziani & Morimae 2013, Alquier 2013, Alquier 2008). Dans chaque section, des estimateurs sont proposés, et, aussi souvent que possible, des inégalités oracles optimales sont établies.

L'imagerie acoustique est une technique performante pour la localisation et la reconstruction de puissance des sources acoustiques en utilisant des mesures limitées au réseau des microphones. Elle est largement utilisée pour évaluer l'influence acoustique dans l'industrie automobile et aéronautique. Les méthodes d'imagerie acoustique impliquent souvent un modèle direct de propagation acoustique et l'inversion de ce modèle direct. Cependant, cette inversion provoque généralement un problème inverse mal-posé. Par conséquent, les méthodes classiques ne permettent d'obtenir de manière satisfaisante ni une haute résolution spatiale, ni une dynamique large de la puissance acoustique. Dans cette thèse, nous avons tout d'abord nous avons créé un modèle direct discret de la puissance acoustique qui devient alors à la fois linéaire et déterminé pour les puissances acoustiques. Et nous ajoutons les erreurs de mesures que nous décomposons en trois parties : le bruit de fond du réseau de capteurs, l'incertitude du modèle causée par les propagations à multi-trajets et les erreurs d'approximation de la modélisation. Pour la résolution du problème inverse, nous avons tout d'abord proposé une approche d'hyper-résolution en utilisant une contrainte de parcimonie, de sorte que nous pouvons obtenir une plus haute résolution spatiale robuste à aux erreurs de mesures à condition que le paramètre de parcimonie soit estimé attentivement. Ensuite, afin d'obtenir une dynamique large et une plus forte robustesse aux bruits, nous avons proposé une approche basée sur une inférence bayésienne avec un a priori parcimonieux. Toutes les variables et paramètres inconnus peuvent être estimées par l'estimation du maximum a posteriori conjoint (JMAP). Toutefois, le JMAP souffrant d'une optimisation non-quadratique d'importants coûts de calcul, nous avons cherché des solutions d'accélération algorithmique: une approximation du modèle direct en utilisant une convolution 2D avec un noyau invariant. Grâce à ce modèle, nos approches peuvent être parallélisées sur des Graphics Processing Unit (GPU) . Par ailleurs, nous avons affiné notre modèle statistique sur 2 aspects : prise en compte de la non stationarité spatiale des erreurs de mesures et la définition d'une loi a priori pour les puissances renforçant la parcimonie en loi de Students-t. Enfin, nous ont poussé à mettre en place une Approximation Variationnelle Bayésienne (VBA). Cette approche permet non seulement d'obtenir toutes les estimations des inconnues, mais aussi de fournir des intervalles de confiance grâce aux paramètres cachés utilisés par les lois de Students-t. Pour conclure, nos approches ont été comparées avec des méthodes de l'état-de-l'art sur des données simulées, réelles (provenant d'essais en soufflerie chez Renault S2A) et hybrides.

Ces dernières années, la théorie mathématique de l'échantillonnage compressé (compressed sensing, CS) a émergé en tant que nouvel outil en traitement d'images, permettant notamment de dépasser certaines limites établies par la théorie de l'échantillonnage de Nyquist. En particulier, la théorie du CS établit qu'un signal (une image, une séquence vidéo, etc.) peut être reconstruit à partir d'un faible nombre de mesures linéaires non-adaptatives et aléatoires, pourvu qu'il présente une structure parcimonieuse. Dans la mesure où cette hypothèse se vérifie pour une large classe d'images naturelles, plusieurs applications d'imagerie ont d'ores-et-déjà bénéficié à des titres divers des résultats issus de cette théorie. Le but du travail doctoral présent est d'étudier comment la théorie du CS - et plus généralement les idées et méthodes en relation avec les problèmes de reconstruction de signaux parcimonieux (sparse) - peuvent être utilisés pour concevoir des dispositifs d'acquisition optiques à haute-résolution spatiale et temporelle pour des applications en imagerie biologique. Nous étudions tout d'abord quelques questions pratiques liées à l'étape de reconstruction nécessairement associée aux systèmes d'acquisition exploitant le CS, ainsi qu'à la sélection des paramètres d'échantillonnage. Nous examinons ensuite comment le CS peut être utilisé dans le cadre d'applications d'échantillonnage de signaux vidéo. Enfin, avec dans l'idée l'utilisation dans des problèmes de débruitage de méthodes inspirées du CS, nous abordons la question de l'estimation d'erreur dans les problèmes de débruitage d'images acquises en conditions de faible luminosité, notamment dans le cadre d'applications de microscopie.

Cette thèse se consacre aux garanties de reconstruction et de l’analyse de sensibilité de régularisation variationnelle pour des problèmes inverses linéaires bruités. Il s’agit d’un problème d’optimisation convexe combinant un terme d’attache aux données et un terme de régularisation promouvant des solutions vivant dans un espace dit de faible complexité. Notre approche, basée sur la notion de fonctions partiellement lisses, permet l’étude d’une grande variété de régularisations comme par exemple la parcimonie de type analyse ou structurée, l’anti-Parcimonie et la structure de faible rang. Nous analysons tout d’abord la robustesse au bruit, à la fois en termes de distance entre les solutions et l’objet original, ainsi que la stabilité de l’espace modèle promu.Ensuite, nous étudions la stabilité de ces problèmes d’optimisation à des perturbations des observations. A partir d’observations aléatoires, nous construisons un estimateur non biaisé du risque afin d’obtenir un schéma de sélection de paramètre. / This thesis is concerned with recovery guarantees and sensitivity analysis of variational regularization for noisy linear inverse problems. This is cast as aconvex optimization problem by combining a data fidelity and a regularizing functional promoting solutions conforming to some notion of low complexity related to their non-Smoothness points. Our approach, based on partial smoothness, handles a variety of regularizers including analysis/structured sparsity, antisparsity and low-Rank structure. We first give an analysis of thenoise robustness guarantees, both in terms of the distance of the recovered solutions to the original object, as well as the stability of the promoted modelspace. We then turn to sensivity analysis of these optimization problems to observation perturbations. With random observations, we build un biased estimator of the risk which provides a parameter selection scheme.

Au cours de la dernière décennie, l’étude mathématique et statistique des représentations parcimonieuses de signaux et de leurs applications en traitement du signal audio, en traitement d’image, en vidéo et en séparation de sources a connu une activité intensive. Cependant, l'exploitation de la parcimonie dans des contextes de traitement multidimensionnel comme les communications numériques reste largement ouverte. Au même temps, les méthodes aveugles semblent être la réponse à énormément de problèmes rencontrés récemment par la communauté du traitement du signal et des communications numériques tels que l'efficacité spectrale. Aussi, dans un contexte de mobilité et de non-stationnarité, il est important de pouvoir mettre en oeuvre des solutions de traitement adaptatives de faible complexité algorithmique en vue d'assurer une consommation réduite des appareils. L'objectif de cette thèse est d'aborder ces challenges de traitement multidimensionnel en proposant des solutions aveugles de faible coût de calcul en utilisant l'à priori de parcimonie. Notre travail s'articule autour de trois axes principaux : la poursuite de sous-espace principal parcimonieux, la séparation adaptative aveugle de sources parcimonieuses et l'identification aveugle des systèmes parcimonieux. Dans chaque problème, nous avons proposé de nouvelles solutions adaptatives en intégrant l'information de parcimonie aux méthodes classiques de manière à améliorer leurs performances. Des simulations numériques ont été effectuées pour confirmer l’intérêt des méthodes proposées par rapport à l'état de l'art en termes de qualité d’estimation et de complexité calculatoire. / During the last decade, the mathematical and statistical study of sparse signal representations and their applications in audio, image, video processing and source separation has been intensively active. However, exploiting sparsity in multidimensional processing contexts such as digital communications remains a largely open problem. At the same time, the blind methods seem to be the answer to a lot of problems recently encountered by the signal processing and the communications communities such as the spectral efficiency. Furthermore, in a context of mobility and non-stationarity, it is important to be able to implement adaptive processing solutions of low algorithmic complexity to ensure reduced consumption of devices. The objective of this thesis is to address these challenges of multidimensional processing by proposing blind solutions of low computational cost by using the sparsity a priori. Our work revolves around three main axes: sparse principal subspace tracking, adaptive sparse source separation and identification of sparse systems. For each problem, we propose new adaptive solutions by integrating the sparsity information to the classical methods in order to improve their performance. Numerical simulations have been conducted to confirm the superiority of the proposed methods compared to the state of the art.

Une réconciliation entre un arbre de gènes et un arbre d’espèces décrit une histoire d’évolution des gènes homologues en termes de duplications et pertes de gènes. Pour inférer une réconciliation pour un arbre de gènes et un arbre d’espèces, la parcimonie est généralement utilisée selon le nombre de duplications et/ou de pertes. Les modèles de réconciliation sont basés sur des critères probabilistes ou combinatoires. Le premier article définit un modèle combinatoire simple et général où les duplications et les pertes sont clairement identifiées et la réconciliation parcimonieuse n’est pas la seule considérée. Une architecture de toutes les réconciliations est définie et des algorithmes efficaces (soit de dénombrement, de génération aléatoire et d’exploration) sont développés pour étudier les propriétés combinatoires de l’espace de toutes les réconciliations ou seulement les plus parcimonieuses. Basée sur le processus classique nommé naissance-et-mort, un algorithme qui calcule la vraisemblance d’une réconciliation a récemment été proposé. Le deuxième article utilise cet algorithme avec les outils combinatoires décrits ci-haut pour calculer efficacement (soit approximativement ou exactement) les probabilités postérieures des réconciliations localisées dans le sous-espace considéré. Basé sur des taux réalistes (selon un modèle probabiliste) de duplication et de perte et sur des données réelles/simulées de familles de champignons, nos résultats suggèrent que la masse probabiliste de toute l’espace des réconciliations est principalement localisée autour des réconciliations parcimonieuses. Dans un contexte d’approximation de la probabilité d’une réconciliation, notre approche est une alternative intéressante face aux méthodes MCMC et peut être meilleure qu’une approche sophistiquée, efficace et exacte pour calculer la probabilité d’une réconciliation donnée. Le problème nommé Gene Tree Parsimony (GTP) est d’inférer un arbre d’espèces qui minimise le nombre de duplications et/ou de pertes pour un ensemble d’arbres de gènes. Basé sur une approche qui explore tout l’espace des arbres d’espèces pour les génomes considérés et un calcul efficace des coûts de réconciliation, le troisième article décrit un algorithme de Branch-and-Bound pour résoudre de façon exacte le problème GTP. Lorsque le nombre de taxa est trop grand, notre algorithme peut facilement considérer des relations prédéfinies entre ensembles de taxa. Nous avons testé notre algorithme sur des familles de gènes de 29 eucaryotes. / A reconciliation between a gene tree and a species tree depicts an evolutionary scenario of the homologous genes in terms of gene duplications and gene losses. To infer such a reconciliation given a gene tree and a species tree, parsimony is generally used according to the number of gene duplications and/or losses. The combinatorial models of reconciliation are based on probabilistic or combinatorial criteria. The first paper defines a simple and more general combinatorial model of reconciliation which clearly identifies duplication and loss events and does not only induce the most parsimonious reconciliation. An architecture of all possible reconciliations is developed together with efficient algorithms (that is counting, randomization, and exploration) to study combinatorial properties of the space of all reconciliations or only the most parsimonious ones. Based on the classical birth-death process, an algorithm that computes the likelihood of a reconciliation has recently been proposed. The second paper uses this algorithm together with the combinatorial tools described above to compute efficiently, either exactly or approximately, the posterior probability of the reconciliations located in the considered subspace. Based on realistic gene duplication and loss rates and on real/simulated datasets of fungal gene families, our results suggest that the probability mass of the whole space of reconciliations is mostly located around the most parsimonious ones. In the context of posterior probability approximation, our approach is a valuable alternative to a MCMC method and can competes against a sophisticated, efficient, and exact computation of the probability of a given reconciliation. The Gene Tree Parsimony (GTP) problem is to infer a species tree that minimizes the number of duplications and/or losses over a set of gene family trees. Based on a new approch that explores the whole species tree space for the considered taxa and an efficient computation of the reconciliation cost, the third paper describes a Branch-and- Bound algorithm that solves exactly the GTP problem. When the considered number of taxa is too large, our algorithm can naturally take into account predefined relationships between sets of taxa. We test our algorithm on a dataset of eukaryotic gene families spanning 29 taxa.