Nous étudions dans cette thèse une représentation particulière de signaux fondée sur une méthode d’apprentissage statistique, qui consiste à modéliser des données comme combinaisons linéaires de quelques éléments d’un dictionnaire appris. Ceci peut être vu comme une extension du cadre classique des ondelettes, dont le but est de construire de tels dictionnaires (souvent des bases orthonormales) qui sont adaptés aux signaux naturels. Un succès important de cette approche a été sa capacité à modéliser des imagettes, et la performance des méthodes de débruitage d’images fondées sur elle. Nous traitons plusieurs questions ouvertes, qui sont reliées à ce cadre : Comment apprendre efficacement un dictionnaire ? Comment enrichir ce modèle en ajoutant une structure sous-jacente au dictionnaire ? Est-il possible d’améliorer les méthodes actuelles de traitement d’image fondées sur cette approche ? Comment doit-on apprendre le dictionnaire lorsque celui-ci est utilisé pour une tâche autre que la reconstruction de signaux ? Y a-t-il des applications intéressantes de cette méthode en vision par ordinateur ? Nous répondons à ces questions, avec un point de vue multidisciplinaire, en empruntant des outils d’apprentissage statistique, d’optimisation convexe et stochastique, de traitement des signaux et des images, de vison par ordinateur, mais aussi d'optimisation sur des graphes. / We study in this thesis a particular machine learning approach to represent signals that that consists of modelling data as linear combinations of a few elements from a learned dictionary. It can be viewed as an extension of the classical wavelet framework, whose goal is to design such dictionaries (often orthonormal basis) that are adapted to natural signals. An important success of dictionary learning methods has been their ability to model natural image patches and the performance of image denoising algorithms that it has yielded. We address several open questions related to this framework: How to efficiently optimize the dictionary? How can the model be enriched by adding a structure to the dictionary? Can current image processing tools based on this method be further improved? How should one learn the dictionary when it is used for a different task than signal reconstruction? How can it be used for solving computer vision problems? We answer these questions with a multidisciplinarity approach, using tools from statistical machine learning, convex and stochastic optimization, image and signal processing, computer vision, but also optimization on graphs.

Cette thèse s’inscrit dans la recherche d’images basée sur leur contenu. La recherche opère sur des images eprésentéesdans un domaine transformé et où sont construits directement les vecteurs de caractéristiques ou indices. Deux types detransformations sont explorés : la transformée en cosinus discrète ou Discrete Cosine Transform (DCT) et la transforméen ondelettes discrète ou Discrete Wavelet Transform (DWT), utilisés dans les normes de compression JPEG et JPEG2000. Basés sur les propriétés des coefficients de la transformation, différents vecteurs de caractéristiquessont proposés. Ces vecteurs sont mis en oeuvre dans la reconnaissance de visages et de textures couleur.Dans le domaine DCT, sont proposés quatre types de vecteurs de caractéristiques dénommés «patterns» : Zigzag-Pattern,Sum-Pattern, Texture-Pattern et Color-Pattern. Le premier type est l’amélioration d’une approche existante. Les trois derniers intègrent la capacité de compactage des coefficients DCT, sachant que certains coefficients représentent une information de directionnalité. L’histogramme de ces vecteurs est retenu comme descripteur de l’image. Pour une réduction de la dimension du descripteur lors de la construction de l’histogramme il est défini, soit une adjacence sur des patterns proches puis leur fusion, soit une sélection des patterns les plus fréquents. Ces approches sont évaluées sur des bases de données d’images de visages ou de textures couramment utilisées. Dans le domaine DWT, deux types d’approches sont proposés. Dans le premier, un vecteur-couleur et un vecteur–texture multirésolution sont élaborés. Cette approche se classe dans le cadre d’une caractérisation séparée de la couleur et de la texture. La seconde approche se situe dans le contexte d’une caractérisation conjointe de la couleur et de la texture. Comme précédemment, l’histogramme des vecteurs est choisi comme descripteur en utilisant l’algorithme K-means pour construire l’histogramme à partir de deux méthodes. La première est le procédé classique de regroupement des vecteurs par partition. La seconde est un histogramme basé sur une représentation parcimonieuse dans laquelle la valeur des bins représente le poids total des vecteurs de base de la représentation. / This thesis comes within content-based image retrieval for images by constructing feature vectors directly fromtransform domain. In particular, two kinds of transforms are concerned: Discrete Cosine Transform (DCT) andDiscrete Wavelet Transform (DWT), which are used in JPEG and JPEG2000 compression standards. Based onthe properties of transform coefficients, various feature vectors in DCT domain and DWT domain are proposedand applied in face recognition and color texture retrieval. The thesis proposes four kinds of feature vectors in DCTdomain: Zigzag-Pattern, Sum-Pattern, Texture-Pattern and Color-Pattern. The first one is an improved method based onan existing approach. The last three ones are based on the capability of DCT coefficients for compacting energy and thefact that some coefficients hold the directional information of images. The histogram of these patterns is chosen as descriptor of images. While constructing the histogram, with the objective to reduce the dimension of the descriptor, either adjacent patterns are defined and merged or a selection of the more frequent patterns is done. These approaches are evaluated on widely used face databases and texture databases. In the aspect of DWT domain, two kinds of approaches for color texture retrieval are proposed. In the first one, color-vector and multiresolution texture-vector are constructed, which categorize this approach into the context of extracting color and texture features separately. In contrast, the second approachis in the context of extracting color and texture features jointly: multiresolution feature vectors are extracted from luminance and chrominance components of color texture. Histogram of vectors is again chosen as descriptor and using k-means algorithm to divide feature vectors into partitions corresponding to the bins of histogram. For histogram generation, two methods are used. The first one is the classical method, in which the number of vectors that fall into the corresponding partition is counted. The second one is the proposition of a sparse representation based histogram in which a bin value represents the total weight of corresponding basis vector in the sparse representation.

La thèse porte sur le développement d'algorithmes d'estimation rapides pour l'analyse modale de signaux multidimensionnels (R-D) présentant des problèmes de résolution et de complexité numérique. Un signal multidimensionnel de dimension R est la superposition de produits de R sinusoïdes. L'application visée est la spectroscopie RMN.Dans un premier temps, après un état de l'art des méthodes d'estimation dites « algébriques », nous proposons une méthode paramétrique basée sur les tenseurs. Celle-ci utilise le treillis multidimensionnel du tenseur du signal R-D et exploite la structure des vecteurs propres du sous-espace signal obtenus en utilisant la décomposition en valeurs singulières d'ordre supérieur. Contrairement à la plupart des approches tensorielles, la méthode proposée permet d'éviter la phase d'appariement des coordonnées des modes dans chacune des dimensions ou d'une diagonalisation conjointe. Dans un deuxième temps, le problème d'estimation modale multidimensionnelle est présenté comme un problème d'approximation parcimonieuse dans lequel le dictionnaire est obtenu par la discrétisation de fonctions exponentielles complexes. Afin d'atteindre une bonne résolution spectrale, il est nécessaire de choisir une grille très fine, ce qui conduit à la manipulation d'un dictionnaire de grande taille avec tous les problèmes calculatoires sous-jacents. Nous proposons alors une méthode originale qui consiste à combiner une approximation parcimonieuse et une approche multigrille sur plusieurs niveaux de résolution. L'approche est validée au travers de plusieurs exemples 1-D et 2-D. En outre, une étude sur l'influence du choix du dictionnaire initial sur la convergence est également menée. Les méthodes développées sont ensuite appliquées à l'estimation des paramètres de signaux de spectroscopie RMN 1-D et 2-D. Afin de réduire le coût de calcul dans le cas de signaux bidimensionnels de grande taille, nous proposons également une approche exploitant la notion de parcimonie simultanée, pour estimer les coordonnées des modes sur chacune des dimensions. La procédure consiste à effectuer deux approximations parcimonieuses 1-D suivies d'une phase de reformation des paires de modes 2-D / This thesis aims at the developpement of modal analysis algorithms for multidimensional signals (R-D) presenting resolution and numerical complexity problems. A multidimensional signal of dimension R is the superimposition of products of R monodimensional sinusoids. The intended application is NMR spectroscopy. Firstly, after a state-of-the-art on the so-called ''algebraic'' estimation methods, we propose a parametric method based on tensors. It uses the multidimensional tensor lattice of the R-D modal signal and exploits the eigenvectors structure of the signal subspace obtained using a higher-order singular value decomposition (HOSVD). Unlike most tensor-based eigenvalue approaches, modes estimated by the proposed method are automatically paired, thus it avoids a separate pairing step and joint diagonalization. Secondly, the multidimensional modal estimation problem is formulated as a sparse approximation problem in which the dictionary is obtained by the discretization of complex exponential functions. To achieve good spectral resolution, it is necessary to choose a very fine grid, which leads to handling a large dictionary with all the underlying computational problems. Hence, we propose a novel method that consists in combining a sparse approximation and a multigrid approach on several levels of resolution. The approach is demonstrated using several 1-D and 2-D examples. In addition, the influence of the initial dictionary on the algorithm convergence is also studied. The developed methods are then applied to estimate 1-D and 2-D NMR signal parameters. To reduce the computation cost in the case of large bidimensional signals, we also propose an approach exploiting the simultaneous sparsity principle to estimate the coordinates of the modes on each dimension. The procedure involves two 1-D sparse approximations followed by a 2-D modes painring step.

L'apprentissage de dictionnaires à partir de données temporelles est un problème fondamental pour l’extraction de caractéristiques temporelles latentes, la révélation de primitives saillantes et la représentation de données temporelles complexes. Cette thèse porte sur l’apprentissage de dictionnaires pour la représentation parcimonieuse de séries temporelles. On s’intéresse à l’apprentissage de représentations pour la reconstruction, la classification et le clustering de séries temporelles sous des transformations de distortions temporelles. Nous proposons de nouveaux modèles invariants aux distortions temporelles.La première partie du travail porte sur l’apprentissage de dictionnaire pour des tâches de reconstruction et de classification de séries temporelles. Nous avons proposé un modèle TWI-OMP (Time-Warp Invariant Orthogonal Matching Pursuit) invariant aux distorsions temporelles, basé sur un opérateur de maximisation du cosinus entre des séries temporelles. Nous avons ensuite introduit le concept d’atomes jumelés (sibling atomes) et avons proposé une approche d’apprentissage de dictionnaires TWI-kSVD étendant la méthode kSVD à des séries temporelles.Dans la seconde partie du travail, nous nous sommes intéressés à l’apprentissage de dictionnaires pour le clustering de séries temporelles. Nous avons proposé une formalisation du problème et une solution TWI-DLCLUST par descente de gradient.Les modèles proposés sont évalués au travers plusieurs jeux de données publiques et réelles puis comparés aux approches majeures de l’état de l’art. Les expériences conduites et les résultats obtenus montrent l’intérêt des modèles d’apprentissage de représentations proposés pour la classification et le clustering de séries temporelles. / Learning dictionary for sparse representing time series is an important issue to extract latent temporal features, reveal salient primitives and sparsely represent complex temporal data. This thesis addresses the sparse coding and dictionary learning problem for time series classification and clustering under time warp. For that, we propose a time warp invariant sparse coding and dictionary learning framework where both input samples and atoms define time series of different lengths that involve varying delays.In the first part, we formalize an L0 sparse coding problem and propose a time warp invariant orthogonal matching pursuit based on a new cosine maximization time warp operator. For the dictionary learning stage, a non linear time warp invariant kSVD (TWI-kSVD) is proposed. Thanks to a rotation transformation between each atom and its sibling atoms, a singular value decomposition is used to jointly approximate the coefficients and update the dictionary, similar to the standard kSVD. In the second part, a time warp invariant dictionary learning for time series clustering is formalized and a gradient descent solution is proposed.The proposed methods are confronted to major shift invariant, convolved and kernel dictionary learning methods on several public and real temporal data. The conducted experiments show the potential of the proposed frameworks to efficiently sparse represent, classify and cluster time series under time warp.

La ''super-résolution'' est définie comme une classe de techniques qui améliorent la résolution spatiale d’images. Les méthodes de super-résolution peuvent être subdivisés en méthodes à partir d’une seule image et à partir de multiple images. Cette thèse porte sur le développement d’algorithmes basés sur des théories mathématiques pour résoudre des problèmes de super-résolution à partir d’une seule image. En effet, pour estimer un’image de sortie, nous adoptons une approche mixte : nous utilisons soit un dictionnaire de « patches » avec des contraintes de parcimonie (typique des méthodes basées sur l’apprentissage) soit des termes régularisation (typiques des méthodes par reconstruction). Bien que les méthodes existantes donnent déjà de bons résultats, ils ne prennent pas en compte la géométrie des données dans les différentes tâches. Par exemple, pour régulariser la solution, pour partitionner les données (les données sont souvent partitionnées avec des algorithmes qui utilisent la distance euclidienne comme mesure de dissimilitude), ou pour apprendre des dictionnaires (ils sont souvent appris en utilisant PCA ou K-SVD). Ainsi, les méthodes de l’état de l’art présentent encore certaines limites. Dans ce travail, nous avons proposé trois nouvelles méthodes pour dépasser ces limites. Tout d’abord, nous avons développé SE-ASDS (un terme de régularisation basé sur le tenseur de structure) afin d’améliorer la netteté des bords. SE-ASDS obtient des résultats bien meilleurs que ceux de nombreux algorithmes de l’état de l’art. Ensuite, nous avons proposé les algorithmes AGNN et GOC pour déterminer un sous-ensemble local de données d’apprentissage pour la reconstruction d’un certain échantillon d’entrée, où l’on prend en compte la géométrie sous-jacente des données. Les méthodes AGNN et GOC surclassent dans la majorité des cas la classification spectrale, le partitionnement de données de type « soft », et la sélection de sous-ensembles basée sur la distance géodésique. Ensuite, nous avons proposé aSOB, une stratégie qui prend en compte la géométrie des données et la taille du dictionnaire. La stratégie aSOB surpasse les méthodes PCA et PGA. Enfin, nous avons combiné tous nos méthodes dans un algorithme unique, appelé G2SR. Notre algorithme montre de meilleurs résultats visuels et quantitatifs par rapport aux autres méthodes de l’état de l’art. / Image super-resolution is defined as a class of techniques that enhance the spatial resolution of images. Super-resolution methods can be subdivided in single and multi image methods. This thesis focuses on developing algorithms based on mathematical theories for single image super-resolution problems. Indeed, in order to estimate an output image, we adopt a mixed approach: i.e., we use both a dictionary of patches with sparsity constraints (typical of learning-based methods) and regularization terms (typical of reconstruction-based methods). Although the existing methods already perform well, they do not take into account the geometry of the data to: regularize the solution, cluster data samples (samples are often clustered using algorithms with the Euclidean distance as a dissimilarity metric), learn dictionaries (they are often learned using PCA or K-SVD). Thus, state-of-the-art methods still suffer from shortcomings. In this work, we proposed three new methods to overcome these deficiencies. First, we developed SE-ASDS (a structure tensor based regularization term) in order to improve the sharpness of edges. SE-ASDS achieves much better results than many state-of-the-art algorithms. Then, we proposed AGNN and GOC algorithms for determining a local subset of training samples from which a good local model can be computed for reconstructing a given input test sample, where we take into account the underlying geometry of the data. AGNN and GOC methods outperform spectral clustering, soft clustering, and geodesic distance based subset selection in most settings. Next, we proposed aSOB strategy which takes into account the geometry of the data and the dictionary size. The aSOB strategy outperforms both PCA and PGA methods. Finally, we combine all our methods in a unique algorithm, named G2SR. Our proposed G2SR algorithm shows better visual and quantitative results when compared to the results of state-of-the-art methods.

Deux approches pour la décomposition parcimonieuse des signaux sont étudiées.<br /> L'une utilise des méthodes variationnelles avec une attache aux données l2 pénalisée par une norme mixte permettant de structurer la parcimonie. Les fonctionnelles sont minimisées par des algorithmes itératifs dont la convergence est prouvée. Les normes mixtes donnent des estimations par des opérateurs de seuillage généralisés, qui ont été modifiés pour les localiser ou introduire de la persistance.<br />L'autre modélise les signaux comme combinaisons linéaires parcimonieuses d'atomes temps-fréquence choisis dans l'union de deux bases orthonormées, à coefficients aléatoires. La distribution de ces coefficients fait intervenir deux niveaux d'aléa : leur valeur et leur position dans leur espace temps-fréquence. L'étude des coefficients d'analyse permet une estimation des cartes temps-fréquence. La projection du signal sur ces cartes donne une décomposition en deux couches plus un résidu.

Dans cette thèse nous étudions certains designs déterministes pour la régression parcimonieuse. Notre problématique est largement inspirée du " Compressed Sensing " où l'on cherche à acquérir et compresser simultanément un signal de grande taille à partir d'un petit nombre de mesures linéaires. Plus précisément, nous faisons le lien entre l'erreur d'estimation et l'erreur de prédiction des estimateurs classiques (lasso, sélecteur Dantzig et basis pursuit) et la distorsion (qui mesure l'" écart " entre la norme 1 et la norme Euclidienne) du noyau du design considéré. Notre étude montre que toute construction de sous-espaces de faibles distorsions (appelés sous-espaces " presque "- Euclidiens) conduit à de " bons " designs. Dans un second temps, nous nous intéressons aux designs construits à partir de graphes expanseurs déséquilibrés. Nous en établissons de manière précise les performances en termes d'erreur d'estimation et d'erreur de prédiction. Enfin, nous traitons la reconstruction exacte de mesures signées sur la droite réelle. Nous démontrons que tout système de Vandermonde généralisé permet la reconstruction fidèle de n'importe quel vecteur parcimonieux à partir d'un très faible nombre d'observations. Dans une partie indépendante, nous étudions la stabilité de l'inégalité isopérimétrique sur la droite réelle pour des mesures log-concaves.

Cette thèse est consacrée à l'élaboration de nouvelles méthodes d'acquisition et de traitement de données en IRM de diffusion (IRMd) afin de caractériser la diffusion des molécules d'eau dans les fibres de matière blanche à l'échelle d'un voxel. Plus particulièrement, nous travaillons sur un moyen de reconstruction précis de l'Ensemble Average Propagator (EAP), qui représente la fonction de probabilité de diffusion des molécules d'eau. Plusieurs modèles de diffusion tels que le tenseur de diffusion ou la fonction de distribution d'orientation sont très utilisés dans la communauté de l'IRMd afin de quantifier la diffusion des molécules d'eau dans le cerveau. Ces modèles sont des représentations partielles de l'EAP et ont été développés en raison du petit nombre de mesures nécessaires à leurs estimations. Cependant, il est important de pouvoir reconstruire précisément l'EAP afin d'acquérir une meilleure compréhension des mécanismes du cerveau et d'améliorer le diagnostique des troubles neurologiques. Une estimation correcte de l'EAP nécessite l'acquisition de nombreuses images de diffusion sensibilisées à des orientations différentes dans le q-space. Ceci rend son estimation trop longue pour être utilisée dans la plupart des scanners cliniques. Dans cette thèse, nous utilisons des techniques de reconstruction parcimonieuses et en particulier la technique connue sous le nom de Compressive Sensing (CS) afin d'accélérer le calcul de l'EAP. Les multiples aspects de la théorie du CS et de son application à l'IRMd sont présentés dans cette thèse.

Cette thèse est consacrée à l'élaboration de nouvelles méthodes d'acquisition et de traitement de données en IRM de diffusion (IRMd) afin de caractériser la diffusion des molécules d'eau dans les fibres de matière blanche à l'échelle d'un voxel. Plus particulièrement, nous travaillons sur un moyen de reconstruction précis de l'Ensemble Average Propagator (EAP), qui représente la fonction de probabilité de diffusion des molécules d'eau. Plusieurs modèles de diffusion tels que le tenseur de diffusion ou la fonction de distribution d'orientation sont très utilisés dans la communauté de l'IRMd afin de quantifier la diffusion des molécules d'eau dans le cerveau. Ces modèles sont des représentations partielles de l'EAP et ont été développés en raison du petit nombre de mesures nécessaires à leurs estimations. Cependant, il est important de pouvoir reconstruire précisément l'EAP afin d'acquérir une meilleure compréhension des mécanismes du cerveau et d'améliorer le diagnostique des troubles neurologiques. Une estimation correcte de l'EAP nécessite l'acquisition de nombreuses images de diffusion sensibilisées à des orientations différentes dans le q-space. Ceci rend son estimation trop longue pour être utilisée dans la plupart des scanners cliniques. Dans cette thèse, nous utilisons des techniques de reconstruction parcimonieuses et en particulier la technique connue sous le nom de Compressive Sensing (CS) afin d'accélérer le calcul de l'EAP. Les multiples aspects de la théorie du CS et de son application à l'IRMd sont présentés dans cette thèse.

Nous abordons dans cette thèse les approches de la Programmation DC et DCAen Data Mining (fouille de données). Plus particulièrement, nous nous intéressons aux problèmes de parcimonie en modélisation parcimonieuse de données. Le travail porte sur des recherches théoriques et algorithmiques et la principale approche utilisée est la programmation DC et DCA.Nous avons établi des propriétés intéressantes, des reformulations DC, voire quadratiques,équivalentes pour ces problèmes grâce à de nouvelles techniques de pénalité exacte développées durant cette thèse. Ces résultats donnent une nouvelle facette et une nouvelle manière de voir ces problèmes de parcimonie afin de permettre une meilleure compréhension et prise en main de ces problèmes. Ces nouvelles techniques ont été appliquées dans le cadre de la modélisation parcimonieuse pour le problème de la valeur propre maximale et dans le cadre de la modélisation parcimonieuse dans les modèles de régression linéaire.La structure simple des reformulations obtenues se prête bien à la programmation DC et DCA pour la résolution. Les simulations numériques, obtenues avec DCA et un algorithme combiné DCA et la procédure Séparation et Evaluation pour l'optimisation globale, sont très intéressantes et très prometteuses et illustrent bien le potentiel de cette nouvelle approche.