Dans cette thèse nous avons cherché et développé un modèle du traitement de l'aspect dans les langues naturelles. Notre objectif a été d'élaborer un modèle détaillé et explicatif qui montre la possibilité de traiter l'aspect sur un nombre choisi d’énoncés tout en suivant des contraintes fortes de parcimonie et de plausibilité cognitive. Nous avons réussi à mettre au point un modèle original dans sa réalisation, mais aussi dans ses résultats : des explications nouvelles sont données pour le traitement d'interprétations comme la répétition, la perfectivité ou l'inchoativité ; tout en dévoilant un phénomène original dit de "prédication". / The purpose of this work is to design and to implement a computational model for the processing of aspect in natural language.Our goal is to elaborate a detailed and explicative model of aspect. This model should be able to process aspect on a chosen number of sentences, while following strong constraints of parsimony and cognitive plausibility. We were successful in creating such a model, with both an original design and an extensive explanatory power. New explanations have been obtained for phenomena like repetition, perfectivity and inchoativity. We also propose a new mechanism based on the notion of “predication”.

Le titre de cette thèse de doctorat est formé de trois mots clés: parcimonie, image hyperspectrale, et détection de cibles. La parcimonie signifie généralement « petit en nombre ou quantité, souvent répartie sur une grande zone ». Une image hyperspectrale est constituée d'une série d'images de la même scène spatiale, mais prises dans plusieurs dizaines de longueurs d'onde contiguës et très étroites, qui correspondent à autant de "couleurs". Lorsque la dimension spectrale est très grande, la détection de cibles devient délicate et caractérise une des applications les plus importantes pour les images hyperspectrales. Le but principal de cette thèse de doctorat est de répondre à la question « Comment et Pourquoi la parcimonie peut-elle être exploitée pour détecter de cibles dans les images hyperspectrales ? ». La réponse à cette question nous a permis de développer des méthodes de détection de cibles prenant en compte l'hétérogénéité de l'environnement, le fait que les objets d'intérêt sont situés dans des parties relativement réduites de l'image observée et enfin que l'estimation de la matrice de covariance d'un pixel d'une image hyperspectrale peut être compliquée car cette matrice appartient à un espace de grande dimension. Les méthodes proposées sont évaluées sur des données synthétiques ainsi que réelles, dont les résultats démontrent leur efficacité pour la détection de cibles dans les images hyperspectrales. / The title of this PhD thesis is formed by three keywords: sparsity, hyperspectral image, and target detection. Sparsity is a word that is used everywhere and in everyday life. It generally means « small in number or amount, often spread over a large area ». A hyperspectral image is a three dimensional data cube consisting of a series of images of the same spatial scene in a contiguous and multiple narrow spectral wavelength (color) bands. According to the high spectral dimensionality, target detection is not surprisingly one of the most important applications in hyperspectral imagery. The main objective of this PhD thesis is to answer the question « How and Why can sparsity be exploited for hyperspectral target detection? ». Answering this question has allowed us to develop different target detection methods that mainly take into consideration the heterogeneity of the environment, the fact that the total image area of all the targets is very small relative to the whole image, and the estimation challenge of the covariance matrix (surrounding the test pixel) in large dimensions. The proposed mehods are evaluated on both synthetic and real experiments, the results of which demonstrate their effectiveness for hyperspectral target detection.

Dans cette thèse, nous visons à combiner les théories d'échantillonnage compressé (CS) avec une structure d'acquisition par blocs de mesures. D'une part, nous obtenons des résultats théoriques de CS avec contraintes d'acquisition par blocs, pour la reconstruction de tout vecteur s-parcimonieux et pour la reconstruction d'un vecteur x de support S fixé. Nous montrons que l'acquisition structurée peut donner de bons résultats de reconstruction théoriques, à condition que le signal à reconstruire présente une structure de parcimonie, adaptée aux contraintes d'échantillonnage. D'autre part, nous proposons des méthodes numériques pour générer des schémas d'échantillonnage efficaces reposant sur des blocs de mesures. Ces méthodes s'appuient sur des techniques de projection de mesure de probabilité. / This PhD. thesis is dedicated to combine compressed sensing with block structured acquisition. In the first part of this work, theoretical CS results are derived with blocks acquisition constraints, for the recovery of any s-sparse signal and for the recovery of a vector with a given support S.We show that structured acquisition can be successfully used in a CS framework, provided that the signal to reconstruct presents an additional structure in its sparsity, adapted to the sampling constraints.In the second part of this work, we propose numerical methods to generate efficient block sampling schemes. This approach relies on the measure projection on admissible measures.

Dans cette thèse, nous étudions les méthodes d'approximation et d'apprentissage qui fournissent des représentations parcimonieuses. Ces méthodes permettent d'analyser des bases de données très redondantes à l'aide de dictionnaires d'atomes appris. Etant adaptés aux données étudiées, ils sont plus performants en qualité de représentation que les dictionnaires classiques dont les atomes sont définis analytiquement. Nous considérons plus particulièrement des signaux multivariés résultant de l'acquisition simultanée de plusieurs grandeurs, comme les signaux EEG ou les signaux de mouvements 2D et 3D. Nous étendons les méthodes de représentations parcimonieuses au modèle multivarié, pour prendre en compte les interactions entre les différentes composantes acquises simultanément. Ce modèle est plus flexible que l'habituel modèle multicanal qui impose une hypothèse de rang 1. Nous étudions des modèles de représentations invariantes : invariance par translation temporelle, invariance par rotation, etc. En ajoutant des degrés de liberté supplémentaires, chaque noyau est potentiellement démultiplié en une famille d'atomes, translatés à tous les échantillons, tournés dans toutes les orientations, etc. Ainsi, un dictionnaire de noyaux invariants génère un dictionnaire d'atomes très redondant, et donc idéal pour représenter les données étudiées redondantes. Toutes ces invariances nécessitent la mise en place de méthodes adaptées à ces modèles. L'invariance par translation temporelle est une propriété incontournable pour l'étude de signaux temporels ayant une variabilité temporelle naturelle. Dans le cas de l'invariance par rotation 2D et 3D, nous constatons l'efficacité de l'approche non-orientée sur celle orientée, même dans le cas où les données ne sont pas tournées. En effet, le modèle non-orienté permet de détecter les invariants des données et assure la robustesse à la rotation quand les données tournent. Nous constatons aussi la reproductibilité des décompositions parcimonieuses sur un dictionnaire appris. Cette propriété générative s'explique par le fait que l'apprentissage de dictionnaire est une généralisation des K-means. D'autre part, nos représentations possèdent de nombreuses invariances, ce qui est idéal pour faire de la classification. Nous étudions donc comment effectuer une classification adaptée au modèle d'invariance par translation, en utilisant des fonctions de groupement consistantes par translation. / In this thesis, we study approximation and learning methods which provide sparse representations. These methods allow to analyze very redundant data-bases thanks to learned atoms dictionaries. Being adapted to studied data, they are more efficient in representation quality than classical dictionaries with atoms defined analytically. We consider more particularly multivariate signals coming from the simultaneous acquisition of several quantities, as EEG signals or 2D and 3D motion signals. We extend sparse representation methods to the multivariate model, to take into account interactions between the different components acquired simultaneously. This model is more flexible that the common multichannel one which imposes a hypothesis of rank 1. We study models of invariant representations: invariance to temporal shift, invariance to rotation, etc. Adding supplementary degrees of freedom, each kernel is potentially replicated in an atoms family, translated at all samples, rotated at all orientations, etc. So, a dictionary of invariant kernels generates a very redundant atoms dictionary, thus ideal to represent the redundant studied data. All these invariances require methods adapted to these models. Temporal shift-invariance is an essential property for the study of temporal signals having a natural temporal variability. In the 2D and 3D rotation invariant case, we observe the efficiency of the non-oriented approach over the oriented one, even when data are not revolved. Indeed, the non-oriented model allows to detect data invariants and assures the robustness to rotation when data are revolved. We also observe the reproducibility of the sparse decompositions on a learned dictionary. This generative property is due to the fact that dictionary learning is a generalization of K-means. Moreover, our representations have many invariances that is ideal to make classification. We thus study how to perform a classification adapted to the shift-invariant model, using shift-consistent pooling functions.

On propose dans cette thèse de compresser et de synthétiser un signal audio par inversion de ses motifs d'excitation auditive. On traite l'approche du codage dans le domaine perceptuel et on propose un codeur qui exploite la redondance présente dans ces motifs. On commence par proposer un nouveau filtre auditif à faible complexité qui peut non seulement modéliser les réponses mécaniques de la membrane basilaire, synthétiser les réponses impulsionnelles du nerf auditif mais aussi expliquer les expériences du masquage fréquentiel. Ensuite on détaille l'exploitation de ce même banc de filtres auditifs pour la discipline de la compression des signaux audio. Des modèles de masquage adaptés à ce banc de filtres sont appliqués aux motifs d'excitation auditives pour obtenir des représentations éparses. Des expériences montrent que ce codeur permet de réduire considérablement la redondance dans le domaine perceptuel tout en maintenant une bonne qualité subjective de synthèse.

Cette thèse est organisée en deux parties indépendantes. La première partie s'intéresse à l'estimation convexe de matrice en prenant en compte à la fois la parcimonie et le rang. Dans le contexte de graphes avec une structure de communautés, on suppose souvent que la matrice d'adjacence sous-jacente est diagonale par blocs dans une base appropriée. Cependant, de tels graphes possèdent généralement une matrice d'adjacente qui est aussi parcimonieuse, ce qui suggère que combiner parcimonie et range puisse permettre de modéliser ce type d'objet de manière plus fine. Nous proposons et étudions ainsi une pénalité convexe pour promouvoir parcimonie et rang faible simultanément. Même si l'hypothèse de rang faible permet de diminuer le sur-apprentissage en diminuant la capacité d'un modèle matriciel, il peut être souhaitable lorsque suffisamment de données sont disponible de ne pas introduire une telle hypothèse. Nous étudions un exemple dans le contexte multiple kernel learning localisé, où nous proposons une famille de méthodes a vaste-marge convexes et accompagnées d'une analyse théorique. La deuxième partie de cette thèse s'intéresse à des problèmes de détection d'objets ou de signaux structurés. Dans un premier temps, nous considérons un problème de test statistique, pour des modèles où l'alternative correspond à des capteurs émettant des signaux corrélés. Contrairement à la littérature traditionnelle, nous considérons des procédures de test séquentielles, et nous établissons que de telles procédures permettent de détecter des corrélations significativement plus faible que les méthodes traditionnelles. Dans un second temps, nous considérons le problème de localiser des objets dans des images. En s'appuyant sur de récents résultats en apprentissage de représentation pour des problèmes similaires, nous intégrons des features de grande dimension issues de réseaux de neurones convolutionnels dans les modèles déformables traditionnellement utilisés pour ce type de problème. Nous démontrons expérimentalement que ce type d'approche permet de diminuer significativement le taux d'erreur de ces modèles. / This thesis is organized in two independent parts. The first part focused on convex matrix estimation problems, where both rank and sparsity are taken into account simultaneously. In the context of graphs with community structures, a common assumption is that the underlying adjacency matrices are block-diagonal in an appropriate basis. However, these types of graphs are usually far from complete, and their adjacency representations are thus also inherently sparse. This suggests that combining the sparse hypothesis and the low rank hypothesis may allow to more accurately model such objects. To this end, we propose and analyze a convex penalty to promote both low rank and high sparsity at the same time. Although the low rank hypothesis allows to reduce over-fitting by decreasing the modeling capacity of a matrix model, the opposite may be desirable when enough data is available. We study such an example in the context of localized multiple kernel learning, which extends multiple kernel learning by allowing each of the kernels to select different support vectors. In this framework, multiple kernel learning corresponds to a rank one estimator, while higher-rank estimators have been observed to increase generalization performance. We propose a novel family of large-margin methods for this problem that, unlike previous methods, are both convex and theoretically grounded. The second part of the thesis is about detection of objects or signals which exhibit combinatorial structures, and we present two such problems. First, we consider detection in the statistical hypothesis testing sense, in models where anomalous signals correspond to correlated values at different sensors. In most existing work, detection procedures are provided with a full sample of all the sensors. However, the experimenter may have the capacity to make targeted measurements in an on-line and adaptive manner, and we investigate such adaptive sensing procedures. Finally, we consider the task of identifying and localizing objects in images. This is an important problem in computer vision, where hand-crafted features are usually used. Following recent successes in learning ad-hoc representations for similar problems, we integrate the method of deformable part models with high-dimensional features from convolutional neural networks, and shows that this significantly decreases the error rates of existing part-based models.

En apprentissage automatique on a pour but d'apprendre un modèle, à partir de données, qui soit capable de faire des prédictions sur des nouvelles données (pas explorées auparavant). Pour obtenir un modèle qui puisse se généraliser sur les nouvelles données, et éviter le sur-apprentissage, nous devons restreindre le modèle. Ces restrictions sont généralement une connaissance a priori de la structure du modèle. Les premières approches considérées dans la littérature sont la régularisation de Tikhonov et plus tard le Lasso pour induire de la parcimonie dans la solution. La parcimonie fait partie d'un concept fondamental en apprentissage automatique. Les modèles parcimonieux sont attrayants car ils offrent plus d'interprétabilité et une meilleure généralisation (en évitant le sur-apprentissage) en induisant un nombre réduit de paramètres dans le modèle. Au-delà de la parcimonie générale et dans de nombreux cas, les modèles sont structurellement contraints et ont une représentation simple de certains éléments fondamentaux, comme par exemple une collection de vecteurs, matrices ou tenseurs spécifiques. Ces éléments fondamentaux sont appelés atomes. Dans ce contexte, les normes atomiques fournissent un cadre général pour estimer ce type de modèles. périodes de modèles. Le but de cette thèse est d'utiliser le cadre de parcimonie convexe fourni par les normes atomiques pour étudier une forme de parcimonie matricielle. Tout d'abord, nous développons un algorithme efficace basé sur les méthodes de Frank-Wolfe et qui est particulièrement adapté pour résoudre des problèmes convexes régularisés par une norme atomique. Nous nous concentrons ensuite sur l'estimation de la structure des modèles graphiques gaussiens, où la structure du modèle est encodée dans la matrice de précision et nous étudions le cas avec des variables manquantes. Nous proposons une formulation convexe avec une approche algorithmique et fournissons un résultat théorique qui énonce les conditions nécessaires pour récupérer la structure souhaitée. Enfin, nous considérons le problème de démixage d'un signal en deux composantes ou plus via la minimisation d’une somme de normes ou de jauges, encodant chacune la structure a priori des composants à récupérer. En particulier, nous fournissons une garantie de récupération exacte dans le cadre sans bruit, basée sur des mesures d'incohérence / The goal of machine learning is to learn a model from some data that will make accurate predictions on data that it has not seen before. In order to obtain a model that will generalize on new data, and avoid overfitting, we need to restrain the model. These restrictions are usually some a priori knowledge of the structure of the model. First considered approaches included a regularization, first ridge regression and later Lasso regularization for inducing sparsity in the solution. Sparsity, also known as parsimony, has emerged as a fundamental concept in machine learning. Parsimonious models are appealing since they provide more interpretability and better generalization (avoid overfitting) through the reduced number of parameters. Beyond general sparsity and in many cases, models are constrained structurally so they have a simple representation in terms of some fundamental elements, consisting for example of a collection of specific vectors, matrices or tensors. These fundamental elements are called atoms. In this context, atomic norms provide a general framework for estimating these sorts of models. The goal of this thesis is to use the framework of convex sparsity provided by atomic norms to study a form of matrix sparsity. First, we develop an efficient algorithm based on Frank-Wolfe methods that is particularly adapted to solve problems with an atomic norm regularization. Then, we focus on the structure estimation of Gaussian graphical models, where the structure of the graph is encoded in the precision matrix and study the case with unobserved variables. We propose a convex formulation with an algorithmic approach and provide a theoretical result that states necessary conditions for recovering the desired structure. Finally, we consider the problem of signal demixing into two or more components via the minimization of a sum of norms or gauges, encoding each a structural prior on the corresponding components to recover. In particular, we provide general exact recovery guarantees in the noiseless setting based on incoherence measures

Ce document est organisé en quatre chapitres dont trois rédigés en anglais et une annexe en français. Le premier chapitre décrit mes contributions dans le domaine de la séparation de sources audio, qui constituent certainement le volet le plus appliqué de mon activité scientifique, volet auquel ont contribué significativement plusieurs doctorants et collaborateurs. Les deux chapitres suivants sont consacrés aux aspects plus mathématiques de mon travail, le premier sur les approximations non-linéaires avec des dictionnaires redondants, en collaboration étroite avec Morten Nielsen, le second sur l'analyse des performances des algorithmes de décomposition parcimonieuse, avec le concours notamment de Pierre Vandergheynst. Dans ces trois chapitres, j'ai adopté un style sans doute peu conventionnel dans la littérature scientifique : j'y ai opté pour le "je" plus que le "nous" et j'ai choisi d'agrémenter le texte de divers éléments de contexte. L'annexe, dans un style plus traditionnel, reproduit le chapitre de synthèse « Séparation de sources basée sur la parcimonie » que j'ai écrit pour l'ouvrage « Séparation de Sources » coordonné par Pierre Comon et Christian Jutten dans la collection IC2 publié par Hermès.

Cette thèse présente d'une part, la construction d'approximations parcimonieuses de champs acoustiques, d'autre part l'utilisation de ces approximations pour la résolution de problèmes inverses. L'approximation de solutions de l'équation d'Helmholtz est étendue à des modèles de vibration de plaques, ce qui, entre autres, permet également de concevoir une méthode de calcul de mode propres alternative aux méthodes de référence. Différents problèmes inverses sont ensuite étudiés, en se basant sur ces résultats d'approximation. Le premier est l'holographie acoustique en champ propre, pour laquelle nous développons une nouvelle méthode de régularisation, ainsi qu'une antenne aléatoire permettant de réduire le nombre de mesures nécessaires à la reconstruction de déformées opérationnelles de plaques. Le deuxième problème inverse étudié est l'interpolation spatiale de réponses impulsionnelles de plaques, où nous montrons qu'en mesurant le champ vibratoire sur un ensemble d'échantillons bien choisi (justifié par une analyse théorique), les réponses impulsionnelles d'une plaque peuvent être obtenues avec moins de mesures que demandées par le théorème d'échantillonnage de Shannon. Enfin, le problème de la localisation de sources dans un espace clos réverbérant est étudié. Nous montrons qu'en utilisant des modèles parcimonieux d'ondes, la localisation est possible sans connaissances a priori sur les conditions aux limites du domaine de propagation des ondes.

Dans le contexte général de la résolution de problèmes inverses en acoustique et traitement du signal audio les défis sont nombreux. Pour la résolution de ces problèmes, leur caractère souvent mal posé nécessite de considérer des modèles de signaux appropriés. Les travaux de cette thèse montrent sur la base d'un cadre algorithmique générique polyvalent comment les différentes formes de parcimonie (à l'analyse ou à la synthèse, simple, structurée ou sociale) sont particulièrement adaptées à la reconstruction de signaux sonores dans un cadre mono ou multicanal. Le cœur des travaux de thèse permet de mettre en évidence les limites des conditions d'évaluation de l'état de l'art pour le problème de désaturation et de mettre en place un protocole rigoureux d'évaluation à grande échelle pour identifier les méthodes les plus appropriées en fonction du contexte (musique ou parole, signaux fortement ou faiblement dégradés). On démontre des améliorations de qualité substantielles par rapport à l'état de l'art dans certains régimes avec des configurations qui n'avaient pas été précédemment considérées, nous obtenons également des accélérations conséquentes. Enfin, un volet des travaux aborde la localisation de sources sonores sous l'angle de l'apprentissage statistique « virtuellement supervisé ». On montre avec cette méthode des résultats encourageants sur l'estimation de directions d'arrivée et de distance. / Today's challenges in the context of audio and acoustic signal processing inverse problems are multiform. Addressing these problems often requires additional appropriate signal models due to their inherent ill-posedness. This work focuses on designing and evaluating audio reconstruction algorithms. Thus, it shows how various sparse models (analysis, synthesis, plain, structured or “social”) are particularly suited for single or multichannel audio signal reconstruction. The core of this work notably identifies the limits of state-of-the-art methods evaluation for audio declipping and proposes a rigourous large-scale evaluation protocol to determine the more appropriate methods depending on the context (music or speech, moderately or highly degraded signals). Experimental results demonstrate substantial quality improvements for some newly considered testing configurations. We also show computational efficiency of the different methods and considerable speed improvements. Additionally, a part of this work is dedicated to the sound source localization problem. We address it with a “virtually supervised” machine learning technique. Experiments show with this method promising results on distance and direction of arrival estimation.