Dans cette thèse, nous nous sommes intéressés à proposer de nouvelles méthodes de Séparation Aveugle de Sources (SAS) adaptées aux modèles de mélange non-linéaires. La SAS consiste à estimer les signaux sources inconnus à partir de leurs mélanges observés lorsqu'il existe très peu d'informations disponibles sur le modèle de mélange. La contribution méthodologique de cette thèse consiste à prendre en considération les interactions non-linéaires qui peuvent se produire entre les sources en utilisant le modèle linéaire-quadratique (LQ). A cet effet, nous avons développé trois nouvelles méthodes de SAS. La première méthode vise à résoudre le problème du démélange hyperspectral en utilisant un modèle linéaire-quadratique. Celle-ci se repose sur la méthode d'Analyse en Composantes Parcimonieuses (ACPa) et nécessite l'existence des pixels purs dans la scène observée. Dans le même but, nous proposons une deuxième méthode du démélange hyperspectral adaptée au modèle linéaire-quadratique. Elle correspond à une méthode de Factorisation en Matrices Non-négatives (FMN) se basant sur l'estimateur du Maximum A Posteriori (MAP) qui permet de prendre en compte les informations a priori sur les distributions des inconnus du problème afin de mieux les estimer. Enfin, nous proposons une troisième méthode de SAS basée sur l'analyse en composantes indépendantes (ACI) en exploitant les Statistiques de Second Ordre (SSO) pour traiter un cas particulier du mélange linéaire-quadratique qui correspond au mélange bilinéaire. / In this thesis, we were interested to propose new Blind Source Separation (BSS) methods adapted to the nonlinear mixing models. BSS consists in estimating the unknown source signals from their observed mixtures when there is little information available on the mixing model. The methodological contribution of this thesis consists in considering the non-linear interactions that can occur between sources by using the linear-quadratic (LQ) model. To this end, we developed three new BSS methods. The first method aims at solving the hyperspectral unmixing problem by using a linear-quadratic model. It is based on the Sparse Component Analysis (SCA) method and requires the existence of pure pixels in the observed scene. For the same purpose, we propose a second hyperspectral unmixing method adapted to the linear-quadratic model. It corresponds to a Non-negative Matrix Factorization (NMF) method based on the Maximum A Posteriori (MAP) estimate allowing to take into account the available prior information about the unknown parameters for a better estimation of them. Finally, we propose a third BSS method based on the Independent Component Analysis (ICA) method by using the Second Order Statistics (SOS) to process a particular case of the linear-quadratic mixture that corresponds to the bilinear one.

La séparation de signaux corrélés à partir de leurs combinaisons linéaires est une tâche difficile et possède plusieurs applications en traitement du signal. Nous étudions deux problèmes, à savoir la séparation aveugle de sources parcimonieuses et le filtrage adaptatif des réflexions multiples en acquisition sismique. Un intérêt particulier est porté sur les mélanges convolutifs : pour ces deux problèmes, des filtres à réponses impulsionnelles finies peuvent être estimés afin de récupérer les signaux désirés.Pour les modèles de mélange instantanés et convolutifs, nous donnons les conditions nécessaires et suffisantes pour l'extraction et la séparation exactes de sources parcimonieuses en utilisant la pseudo-norme L0 comme une fonction de contraste. Des équivalences entre l'analyse en composantes parcimonieuses et l'analyse en composantes disjointes sont examinées.Pour la soustraction adaptative des réflexions sismiques, nous discutons les limites des méthodes basées sur l'analyse en composantes indépendantes et nous soulignons l'équivalence avec les méthodes basées sur les normes Lp. Nous examinons de quelle manière les paramètres de régularisation peuvent être plus décisifs pour l'estimation des primaires. Enfin, nous proposons une amélioration de la robustesse de la soustraction adaptative en estimant les filtres adaptatifs directement dans le domaine des curvelets. Les coûts en calcul et en mémoire peuvent être atténués par l'utilisation de la transformée en curvelet discrète et uniforme. / The recovery of correlated signals from their linear combinations is a challenging task and has many applications in signal processing. We focus on two problems that are the blind separation of sparse sources and the adaptive subtraction of multiple events in seismic processing. A special focus is put on convolutive mixtures: for both problems, finite impulse response filters can indeed be estimated for the recovery of the desired signals.For instantaneous and convolutive mixing models, we address the necessary and sufficient conditions for the exact extraction and separation of sparse sources by using the L0 pseudo-norm as a contrast function. Equivalences between sparse component analysis and disjoint component analysis are investigated.For adaptive multiple subtraction, we discuss the limits of methods based on independent component analysis and we highlight equivalence with Lp-norm-based methods. We investigate how other regularization parameters may have more influence on the estimation of the desired primaries. Finally, we propose to improve the robustness of adaptive subtraction by estimating the extracting convolutive filters directly in the curvelet domain. Computation and memory costs are limited by using the uniform discrete curvelet transform.

We often have to face the fact that several signals are mixed together in unknown environment. The signals must be first extracted from the mixture in order to interpret them correctly. This problem is in signal processing society called blind source separation. This dissertation thesis deals with multi-channel separation of audio signals in real environment, when the source signals outnumber the sensors. An introduction to blind source separation is presented in the first part of the thesis. The present state of separation methods is then analyzed. Based on this knowledge, the separation systems implementing fuzzy time-frequency mask are introduced. However these methods are still introducing nonlinear changes in the signal spectra, which can yield in musical noise. In order to reduce musical noise, novel methods combining time-frequency binary masking and beamforming are introduced. The new separation system performs linear spatial filtering even if the source signals outnumber the sensors. Finally, the separation systems are evaluated by objective and subjective tests in the last part of the thesis.