La séparation de sources en aveugle (SSA) vise à rechercher des signaux sources inconnus et mélangés de manière inconnue au sein de plusieurs observations. Cette approche très générique et non-supervisée ne fournit cependant pas nécessairement des résultats exploitables. Il est alors nécessaire d’ajouter des contraintes, notamment physiques, afin de privilégier la recherche de sources ayant une structure particulière. La factorisation en matrices positives (non-negative matrix factorization, NMF) qui fait plus précisément l’objet de cette thèse recherche ainsi des sources positives observées au travers de mélanges linéaires positifs.L’ajout de davantage d’information reste cependant souvent nécessaire afin de pouvoir séparer les sources. Nous nous intéressons ainsi au concept de parcimonie qui permet d’améliorer le contraste entre celles-ci tout en produisant des approches très robustes, en particulier au bruit. Nous montrons qu’afin d’obtenir des solutions stables, les contraintes de positivité et la régularisation parcimonieuse doivent être appliqués de manière adéquate. Aussi, l’utilisation de la parcimonie dans un espace transformé potentiellement redondant, permettant de capturer la structure de la plu- part des signaux naturels, se révèle difficile à appliquer au côté de la contrainte de positivité dans l’espace direct. Nous proposons ainsi un nouvel algorithme de NMF parcimonieuse, appelé nGMCA (non-negative Generalized Morphological Component Analysis), qui surmonte ces difficultés via l’utilisation de techniques de calcul proximal. Des expérimentations sur des données simulées montrent que cet algorithme est robuste à une contamination par du bruit additif Gaussien, à l’aide d’une gestion automatique du paramètre de parcimonie. Des comparaisons avec des algorithmes de l’état-de-l’art en NMF sur des données réalistes montrent l’efficacité ainsi que la robustesse de l’approche proposée.Finalement, nous appliquerons nGMCA sur des données de chromatographie en phase liquide - spectrométrie de masse (liquid chromatography - mass spectrometry, LC-MS). L’observation de ces données montre qu’elles sont contaminées par du bruit multiplicatif, lequel détériore grandement les résultats des algorithmes de NMF. Une extension de nGMCA conçue pour prendre en compte ce type de bruit à l’aide d’un a priori non-stationnaire permet alors d’obtenir d’excellents résultats sur des données réelles annotées. / Blind source separation aims at extracting unknown source signals from observations where these sources are mixed together by an unknown process. However, this very generic and non-supervised approach does not always provide exploitable results. Therefore, it is often necessary to add more constraints, generally arising from physical considerations, in order to favor the recovery of sources with a particular sought-after structure. Non-negative matrix factorization (NMF), which is the main focus of this thesis, aims at searching for non-negative sources which are observed through non-negative linear mixtures.In some cases, further information still remains necessary in order to correctly separate the sources. Here, we focus on the sparsity concept, which helps improving the contrast between the sources, while providing very robust approaches, even when the data are contaminated by noise. We show that in order to obtain stable solutions, the non-negativity and sparse constraints must be applied adequately. In addition, using sparsity in a potentially redundant transformed domain could allow to capture the structure of most of natural image, but this kind of regularization proves difficult to apply together with the non-negativity constraint in the direct domain. We therefore propose a sparse NMF algorithm, named nGMCA (non-negative Generalized Morphological Component Analysis), which overcomes these difficulties by making use of proximal calculus techniques. Experiments on simulated data show that this algorithm is robust to additive Gaussian noise contamination, with an automatic control of the sparsity parameter. This novel algorithm also proves to be more efficient and robust than other state-of-the-art NMF algorithms on realistic data.Finally, we apply nGMCA on liquid chromatography - mass spectrometry data. Observation of these data show that they are contaminated by multiplicative noise, which greatly deteriorates the results of the NMF algorithms. An extension of nGMCA was designed to take into account this type of noise, thanks to the use of a non-stationary prior. This extension is then able to obtain excellent results on annotated real data.

Le développement de méthodes de décomposition de tableaux multi-dimensionnels suscite toujours autant d'attention, notamment d'un point de vue applicatif. La plupart des algorithmes, de décompositions tensorielles, existants requièrent une estimation du rang du tenseur et sont sensibles à une surestimation de ce dernier. Toutefois, une telle estimation peut être difficile par exemple pour des rapports signal à bruit faibles. D'un autre côté, estimer simultanément le rang et les matrices de facteurs du tenseur ou du tenseur cœur n'est pas tâche facile tant les problèmes de minimisation de rang sont généralement NP-difficiles. Plusieurs travaux existants proposent d'utiliser la norme nucléaire afin de servir d'enveloppe convexe de la fonction de rang. Cependant, la minimisation de la norme nucléaire engendre généralement un coût de calcul prohibitif pour l'analyse de données de grande taille. Dans cette thèse, nous nous sommes donc intéressés à l'approximation d'un tenseur bruité par un tenseur de rang faible. Plus précisément, nous avons étudié trois modèles de décomposition tensorielle, le modèle CPD (Canonical Polyadic Decomposition), le modèle BTD (Block Term Decomposition) et le modèle MTD (Multilinear Tensor Decomposition). Pour chacun de ces modèles, nous avons proposé une nouvelle méthode d'estimation de rang utilisant une métrique moins coûteuse exploitant la parcimonie de groupe. Ces méthodes de décomposition comportent toutes deux étapes : une étape d'estimation de rang, et une étape d'estimation des matrices de facteurs exploitant le rang estimé. Des simulations sur données simulées et sur données réelles montrent que nos méthodes présentent toutes une plus grande robustesse à la présence de bruit que les approches classiques. / Last decades, tensor decompositions have gained in popularity in several application domains. Most of the existing tensor decomposition methods require an estimating of the tensor rank in a preprocessing step to guarantee an outstanding decomposition results. Unfortunately, learning the exact rank of the tensor can be difficult in some particular cases, such as for low signal to noise ratio values. The objective of this thesis is to compute the best low-rank tensor approximation by a joint estimation of the rank and the loading matrices from the noisy tensor. Based on the low-rank property and an over estimation of the loading matrices or the core tensor, this joint estimation problem is solved by promoting group sparsity of over-estimated loading matrices and/or the core tensor. More particularly, three new methods are proposed to achieve efficient low rank estimation for three different tensors decomposition models, namely Canonical Polyadic Decomposition (CPD), Block Term Decomposition (BTD) and Multilinear Tensor Decomposition (MTD). All the proposed methods consist of two steps: the first step is designed to estimate the rank, and the second step uses the estimated rank to compute accurately the loading matrices. Numerical simulations with noisy tensor and results on real data the show effectiveness of the proposed methods compared to the state-of-the-art methods.

Cette thèse contribue à la recherche de méthodes de détection de signaux inconnus à très faible Rapport Signal-à-Bruit. Ce travail se concentre sur la définition, l’étude et la mise en œuvre de méthodes efficaces capables de discerner entre observations caractérisées seulement par du bruit de celles qui au contraire contiennent l’information d’intérêt supposée parcimonieuse. Dans la partie applicative, la pertinence de ces méthodes est évaluée sur des données hyperspectrales. Dans la première partie de ce travail, les principes à la base des tests statistiques d’hypothèses et un aperçu général sur les représentations parcimonieuses, l’estimation et la détection sont introduits. Dans la deuxième partie du manuscrit deux tests d’hypothèses statistiques sont proposés et étudiés, adaptés à la détection de signaux parcimonieux. Les performances de détection des tests sont comparés à celles de méthodes fréquentistes et Bayésiennes classiques. Conformément aux données tridimensionnelles considérées dans la partie applicative, et pour se rapprocher de scénarios plus réalistes impliquant des systèmes d’acquisition de données, les méthodes de détection proposées sont adaptées de façon à exploiter un modèle plus précis basé sur des dictionnaires qui prennent en compte l’effet d’étalement spatio-spectral de l’information causée par les fonctions d’étalement du point de l’instrument. Les tests sont finalement appliqués à des données astrophysiques massives de type hyperspectral dans le contexte du Multi Unit Spectroscopic Explorer de l’Observatoire Européen Austral. / This thesis deals with the problem of detecting unknown signals at low Signal- to- Noise Ratio. This work focuses on the definition, study and implementation of efficient methods able to discern only-noise observations from those that presumably carry the information of interest in a sparse way. The relevance of these methods is assessed on hyperspectral data as an applicative part. In the first part of this work, the basic principles of statistical hypothesis testing together with a general overview on sparse representations, estimation and detection are introduced. In the second part of the manuscript, two statistical hypotheses tests are proposed and studied. Both are adapted to the detection of sparse signals. The behaviors and the relative differences between the tests are theoretically investigated through a detailed study of their analytical and structural characteristics. The tests’ detection performances are compared with those of classical frequentist and Bayesian methods. According to the three-dimensional data sets considered in the applicative part, and to be closer to realistic scenarios involving data acquisition systems, the proposed detection strategies are then adapted in order to: i) account for spectrally variable noise; ii) exploit the spectral similarities of neighbors pixels in the spatial domain and iii) exploit the greater accuracy brought by dictionary-based models, which take into account the spatiospectral blur of information caused by instrumental Point Spread Functions. The tests are finally applied to massive astrophysical hyperspectral data in the context of the European Southern Observatory’s Multi Unit Spectroscopic Explorer.

La sélection d'un modèle approprié est l'une des tâches essentielles de l'apprentissage statistique. En général, pour une tâche d'apprentissage donnée, on considère plusieurs classes de modèles ordonnées selon un certain ordre de "complexité". Dans ce cadre, le processus de sélection de modèle revient à trouver la "complexité" optimale, permettant d'estimer un modèle assurant une bonne généralisation. Ce problème de sélection de modèle se résume à l'estimation d'un ou plusieurs hyperparamètres définissant la complexité du modèle, par opposition aux paramètres qui permettent de spécifier le modèle dans la classe de complexité choisie.<br>L'approche habituelle pour déterminer ces hyperparamètres consiste à utiliser une "grille". On se donne un ensemble de valeurs possibles et on estime, pour chacune de ces valeurs, l'erreur de généralisation du meilleur modèle. On s'intéresse, dans cette thèse, à une approche alternative consistant à calculer l'ensemble des solutions possibles pour toutes les valeurs des hyperparamètres. C'est ce qu'on appelle le chemin de régularisation. Il se trouve que pour les problèmes d'apprentissage qui nous intéressent, des programmes quadratiques paramétriques, on montre que le chemin de régularisation associé à certains hyperparamètres est linéaire par morceaux et que son calcul a une complexité numérique de l'ordre d'un multiple entier de la complexité de calcul d'un modèle avec un seul jeu hyper-paramètres.<br>La thèse est organisée en trois parties. La première donne le cadre général des problèmes d'apprentissage de type SVM (Séparateurs à Vaste Marge ou Support Vector Machines) ainsi que les outils théoriques et algorithmiques permettant d'appréhender ce problème. La deuxième partie traite du problème d'apprentissage supervisé pour la classification et l'ordonnancement dans le cadre des SVM. On montre que le chemin de régularisation de ces problèmes est linéaire par morceaux. Ce résultat nous permet de développer des algorithmes originaux de discrimination et d'ordonnancement. La troisième partie aborde successivement les problèmes d'apprentissage semi supervisé et non supervisé. Pour l'apprentissage semi supervisé, nous introduisons un critère de parcimonie et proposons l'algorithme de chemin de régularisation associé. En ce qui concerne l'apprentissage non supervisé nous utilisons une approche de type "réduction de dimension". Contrairement aux méthodes à base de graphes de similarité qui utilisent un nombre fixe de voisins, nous introduisons une nouvelle méthode permettant un choix adaptatif et approprié du nombre de voisins.

L'objectif de cette thèse est d'améliorer la recherche d'objets visuels à l'aide de l'interactivité avec l'utilisateur. Notre solution est de construire un système intéractif permettant aux utilisateurs de définir leurs propres concepts visuels à partir de certains mots-clés visuels. Ces mots-clés visuels, qui en théorie représentent les mots visuels les plus informatifs liés à une catégorie d'objets, sont appris auparavant à l'aide d'un algorithme d'apprentissage supervisé et d'une manière discriminative. Le challenge est de construire des mots-clés visuels concis et interprétables. Notre contribution repose sur deux points. D'abord, contrairement aux approches existantes qui utilisent les sacs de mots, nous proposons d'employer les descripteurs locaux sans aucune quantification préalable. Deuxièmement, nous proposons d'ajouter une contrainte de régularisation à la fonction de perte de notre classifieur pour favoriser la parcimonie des modèles produits. La parcimonie est en effet préférable pour sa concision (nombre de mots visuels réduits) ainsi pour sa diminution du temps de prédiction. Afin d'atteindre ces objectifs, nous avons développé une méthode d'apprentissage à instances multiples utilisant une version modifiée de l'algorithme BLasso. BLasso est une forme de boosting qui se comporte similairement au LASSO (Least Absolute Shrinkage and Selection Operator). Cet algorithme régularise efficacement la fonction de perte avec une contrainte additive de type $L_1$ et ceci en alternant entre des itérations en avant et en arrière. La méthode proposée est générique dans le sens où elle pourrait être utilisée avec divers descripteurs locaux voire un ensemble structuré de descripteurs locaux qui décrit une région locale de l'image.

La compression numérique est devenue un outil indispensable pour la transmission et le stockage de contenus multimédias de plus en plus volumineux. Pour répondre à ces besoins, la norme actuelle de compression vidéo, H.264/AVC, se base sur un codage prédictif visant à réduire la quantité d'information à transmettre. Une image de prédiction est générée, puis soustraite à l'originale pour former une image résiduelle contenant un minimum d'information. La prédiction H.264/AVC de type intra repose sur la propagation de pixels voisins, le long de quelques directions prédéfinies. Bien que très efficace pour étendre des motifs répondants aux mêmes caractéristiques, cette prédiction présente des performances limitées pour l'extrapolation de signaux bidimensionnels complexes. Pour pallier cette problématique, les travaux de cette thèse proposent un nouveau schéma de prédiction basée sur les représentations parcimonieuses. Le but de l'approximation parcimonieuse est ici de rechercher une extrapolation linéaire approximant le signal analysé en termes de fonctions bases, choisies au sein d'un ensemble redondant. Les performances de cette approche ont été éprouvées dans un schéma de compression basé sur la norme H.264/AVC. Nous proposons également un nouveau schéma de prédiction spatiale inter-couches dans le cadre de la compression « scalable » basé sur H.264/SVC. Le succès de telles prédictions repose sur l'habileté des fonctions de base à étendre correctement des signaux texturés de natures diverses. Dans cette optique, nous avons également exploré des pistes visant la création de panels de fonctions de base, adaptées pour la prédiction de zones texturées.

In this document I present the works I undertook since the end of my Ph.D. I started my Ph.D in September 2004 at the Laboratoire de Probabilit{é}s et Mod{é}les Al{é}atoires of Universit{é} Paris 6. I was then hired in October 2007 by the CNRS and spent my first two years at the Laboratoire d'Analyse, Topologie et Probabilit{é} in Marseille. In 2009, I moved to the Laboratoire d'Analyse et Math{é}matiques Appliqu{é}es at the Universit{é} Paris-Est Marne-la-vall{é}e. I will also use the opportunity of writing this manuscript to add some remarks and extensions to these works.

La sélection d'un modèle approprié est l'une des tâches essentielles de l'apprentissage statistique. En général, pour une tâche d'apprentissage donnée, on considère plusieurs classes de modèles ordonnées selon un certain ordre de " complexité". Dans ce cadre, le processus de sélection de modèle revient 'a trouver la " complexité " optimale, permettant d'estimer un modèle assurant une bonne généralisation. Ce problème de sélection de modèle se résume à l'estimation d'un ou plusieurs hyper-paramètres définissant la complexité du modèle, par opposition aux paramètres qui permettent de spécifier le modèle dans la classe de complexité choisie. L'approche habituelle pour déterminer ces hyper-paramètres consiste à utiliser une " grille ". On se donne un ensemble de valeurs possibles et on estime, pour chacune de ces valeurs, l'erreur de généralisation du meilleur modèle. On s'intéresse, dans cette thèse, à une approche alternative consistant à calculer l'ensemble des solutions possibles pour toutes les valeurs des hyper-paramètres. C'est ce qu'on appelle le chemin de régularisation. Il se trouve que pour les problèmes d'apprentissage qui nous intéressent, des programmes quadratiques paramétriques, on montre que le chemin de régularisation associé à certains hyper-paramètres est linéaire par morceaux et que son calcul a une complexité numérique de l'ordre d'un multiple entier de la complexité de calcul d'un modèle avec un seul jeu hyper-paramètres. La thèse est organisée en trois parties. La première donne le cadre général des problèmes d'apprentissage de type SVM (Séparateurs à Vaste Marge ou Support Vector Machines) ainsi que les outils théoriques et algorithmiques permettant d'appréhender ce problème. La deuxième partie traite du problème d'apprentissage supervisé pour la classification et l'ordonnancement dans le cadre des SVM. On montre que le chemin de régularisation de ces problèmes est linéaire par morceaux. Ce résultat nous permet de développer des algorithmes originaux de discrimination et d'ordonnancement. La troisième partie aborde successivement les problèmes d'apprentissage semi supervisé et non supervisé. Pour l'apprentissage semi supervisé, nous introduisons un critère de parcimonie et proposons l'algorithme de chemin de régularisation associé. En ce qui concerne l'apprentissage non supervisé nous utilisons une approche de type " réduction de dimension ". Contrairement aux méthodes à base de graphes de similarité qui utilisent un nombre fixe de voisins, nous introduisons une nouvelle méthode permettant un choix adaptatif et approprié du nombre de voisins.

Cette thèse contribue à la recherche de méthodes de détection de signaux inconnus à très faible Rapport Signal-à-Bruit. Ce travail se concentre sur la définition, l'étude et la mise en œuvre de méthodes efficaces capables de discerner entre observations caractérisées seulement par du bruit de celles qui au contraire contiennent l'information d'intérêt supposée parcimonieuse. Dans la partie applicative, la pertinence de ces méthodes est évaluée sur des données hyperspectrales. Dans la première partie de ce travail, les principes à la base des tests statistiques d'hypothèses et un aperçu général sur les représentations parcimonieuses, l'estimation et la détection sont introduits. Dans la deuxième partie du manuscrit deux tests d'hypothèses statistiques sont proposés et étudiés, adaptés à la détection de signaux parcimonieux. Les performances de détection des tests sont comparés à celles de méthodes fréquentistes et Bayésiennes classiques. Conformément aux données tridimensionnelles considérées dans la partie applicative, et pour se rapprocher de scénarios plus réalistes impliquant des systèmes d'acquisition de données, les méthodes de détection proposées sont adaptées de façon à exploiter un modèle plus précis basé sur des dictionnaires qui prennent en compte l'effet d'étalement spatio-spectral de l'information causée par les fonctions d'étalement du point de l'instrument. Les tests sont finalement appliqués à des données astrophysiques massives de type hyperspectral dans le contexte du Multi Unit Spectroscopic Explorer de l'Observatoire Européen Austral.

Les images issues d'une chaîne d'acquisition sont généralement dégradées par le bruit du capteur. La tâche qui consiste à restaurer une image de bonne qualité à partir de sa version bruitée est communément appelée débruitage. Celui-ci a engendré une importante littérature en pré-traitement des images. Lors de ce travail de thèse, et après avoir posé le problème du débruitage en présence d'un bruit additif gaussien, nous avons effectué un état de l'art méthodique sur ce sujet. Les méthodes présentées cherchent pour la plupart à reconstruire une solution qui présente une certaine régularité. En s'appuyant sur un cadre bayésien, la régularité de la solution, qui peut être imposée de différentes manières, a été formellement mise en place en passant dans le domaine des transformées multi-échelle. Ainsi, afin d'établir un modèle d'a priori, nous avons mené une modélisation des statistiques marginales et jointes des coefficients d'images dans le domaine des transformées multi-échelles orientées (e.g. curvelets) et non-orientées (e.g. ondelettes). Ensuite, nous avons proposé de nouveaux estimateurs bayésiens pour le débruitage. La mise en œuvre de ces estimateurs est effectuée en deux étapes, la première consistant à estimer les hyperparamètres du modèle de l'a priori en présence du bruit et la seconde à trouver une forme analytique pour l'estimateur bayésien correspondant. Dans un premier temps, nous avons mis en place des estimateurs bayésiens univariés en mettant à profit les statistiques marginales des coefficients des images dans des représentations multi-échelle comme les ondelettes. Ces lois marginales ont été analytiquement modélisées par le biais des distributions: ?-stable et les Formes K de Bessel. Dans un second temps, nous avons amélioré les performances de nos estimateurs univariés en introduisant l'information géométrique dans le voisinage des coefficients. Plus précisément, nous avons proposé un cadre statistique bayésien multivarié permettant de prendre en compte les dépendances inter- et intra-échelle des coefficients, en mettant à profit les statistiques jointes de ces derniers dans le domaine des curvelets et des ondelettes non décimées. Ensuite, nous avons mis en place l'estimateur bayésien multivarié correspondant basé sur une extension multivariée de la distribution des Formes K de Bessel. Une large étude comparative a finalement été menée afin de confronter nos algorithmes de débruitage à d'autres débruiteurs de l'état de l'art.