Le codage parcimonieux permet la reconstruction d'un signal à partir de quelques projections linéaires de celui-ci, sous l'hypothèse que le signal se décompose de manière parcimonieuse, c'est-à-dire avec peu de coefficients, sur un dictionnaire connu. Le codage est simple, et la complexité est déportée sur la reconstruction. Après une explication détaillée du fonctionnement du codage parcimonieux, une présentation de quelques résultats théoriques et quelques simulations pour cerner les performances envisageables, nous nous intéressons à trois problèmes : d'abord, l'étude de conception d'un système permettant le codage d'un signal par une matrice binaire, et des avantages apportés par une telle implémentation. Ensuite, nous nous intéressons à la détermination du dictionnaire de représentation parcimonieuse du signal par des méthodes d'apprentissage. Enfin, nous discutons la possibilité d'effectuer des opérations comme la classification sur le signal sans le reconstruire.

Le codage parcimonieux permet la reconstruction d'un signal à partir de quelques projections linéaires de celui-ci, sous l'hypothèse que le signal se décompose de manière parcimonieuse, c'est-à-dire avec peu de coefficients, sur un dictionnaire connu. Le codage est simple, et la complexité est déportée sur la reconstruction. Après une explication détaillée du fonctionnement du codage parcimonieux, une présentation de quelques résultats théoriques et quelques simulations pour cerner les performances envisageables, nous nous intéressons à trois problèmes : d'abord, l'étude de conception d'un système permettant le codage d'un signal par une matrice binaire, et des avantages apportés par une telle implémentation. Ensuite, nous nous intéressons à la détermination du dictionnaire de représentation parcimonieuse du signal par des méthodes d'apprentissage. Enfin, nous discutons la possibilité d'effectuer des opérations comme la classification sur le signal sans le reconstruire. / Compressed sensing allows to reconstruct a signal from a few linear projections, under the assumption that the signal can be sparsely represented, that is, with only a few coefficients, on a known dictionary. Coding is very simple and all the complexity is gathered on the reconstruction. After more detailed explanations of the principle of compressed sensing, some theoretic resultats from literature and a few simulations allowing to get an idea of expected performances, we focusson three problems: First, the study for the building of a system using compressed sensing with a binary matrix and the obtained benefits. Then, we have a look at the building of a dictionary for sparse representations of the signal. And lastly, we discuss the possibility of processing signal without reconstruction, with an example in classification.

De nos jours, les réseaux de neurones artificiels sont largement utilisés dans de nombreusesapplications telles que le traitement d’image ou du signal. Récemment, un nouveau modèlede réseau de neurones a été proposé pour concevoir des mémoires associatives, le GBNN(Gripon-Berrou Neural Network). Ce modèle offre une capacité de stockage supérieure àcelle des réseaux de Hopfield lorsque les informations à mémoriser ont une distributionuniforme. Des méthodes améliorant leur performance pour des distributions non-uniformesainsi que des architectures matérielles mettant en œuvre les réseaux GBNN ont étéproposés. Cependant, ces solutions restent très coûteuses en ressources matérielles, et lesarchitectures proposées sont restreintes à des réseaux de tailles fixes et sont incapables depasser à l’échelle.Les objectifs de cette thèse sont les suivants : (1) concevoir des modèles inspirés du modèle GBNN et plus performants que l’état de l’art, (2) proposer des architectures moins coûteusesque les solutions existantes et (3) concevoir une architecture générique configurable mettanten œuvre les modèles proposés et capable de manipuler des réseaux de tailles variables.Les résultats des travaux de thèse sont exposés en plusieurs parties. Le concept de réseaux àclones de neurone et ses différentes instanciations sont présentés dans un premier temps. Cesréseaux offrent de meilleures performances que l’état de l’art pour un coût mémoireidentique lorsqu’une distribution non-uniforme des informations à mémoriser estconsidérée. Des optimisations de l’architecture matérielle sont ensuite introduites afin defortement réduire le coût en termes de ressources. Enfin, une architecture générique capablede passer à l’échelle et capable de manipuler des réseaux de tailles variables est proposée. / Nowadays, artificial neural networks are widely used in many applications such as image and signal processing. Recently, a new model of neural network was proposed to design associative memories, the GBNN (Gripon-Berrou Neural Network). This model offers a storage capacity exceeding those of Hopfield networks when the information to be stored has a uniform distribution. Methods improving performance for non-uniform distributions and hardware architectures implementing the GBNN networks were proposed. However, on one hand, these solutions are very expensive in terms of hardware resources and on the other hand, the proposed architectures can only implement fixed size networks and are not scalable. The objectives of this thesis are: (1) to design GBNN inspired models outperforming the state of the art, (2) to propose architectures cheaper than existing solutions and (3) to design a generic architecture implementing the proposed models and able to handle various sizes of networks. The results of these works are exposed in several parts. Initially, the concept of clone based neural networks and its variants are presented. These networks offer better performance than the state of the art for the same memory cost when a non-uniform distribution of the information to be stored is considered. The hardware architecture optimizations are then introduced to significantly reduce the cost in terms of resources. Finally, a generic scalable architecture able to handle various sizes of networks is proposed.

L'efficacité de la reconnaissance auditive peut être décrite et quantifiée suivant deux aspects différents : la quantité d'information nécessaire pour y parvenir et sa rapidité. L'objectif de cette thèse est d'évaluer expérimentalement ces deux aspects. Dans une première partie expérimentale, nous nous sommes intéressés à la quantité d'information en créant des représentations parcimonieuses de sons naturels originaux appelées esquisses auditives. Nous avons montré qu'une esquisse auditive est reconnue malgré la quantité très limitée d'information auditive présente dans les stimuli. Pour l'analyse des stimuli auditifs, nous avons développé un modèle de distance auditive entre catégories sonores. Pour l'analyse des performances des participants, nous avons développé un modèle pour le calcul de la sensibilité par catégorie sonore et tenant compte du biais, qui s'intègre dans la théorie de détection du signal. Ces analyses nous ont permis de montrer qu'en réalité les résultats ne sont pas équivalents entre les différentes catégories sonores. La voix se démarque des autres catégories testées (e.g. instruments de musique) : la technique de sélection de l'information parcimonieuse ne semble pas adaptée aux indices de la voix. Dans une seconde partie expérimentale, nous avons étudié le décours temporel de la reconnaissance auditive. Afin d'estimer le temps nécessaire au système auditif pour reconnaître un son, nous avons utilisé un récent paradigme de présentation audio séquentielle rapide (RASP, pour Rapid Audio Sequential Presentation). Nous avons montré que moins de 50 ms suffisent pour reconnaître un son naturel court, avec une meilleure reconnaissance pour la pour la voix humaine. / The efficacy of auditory recognition relies on two different aspects: the quantity of information necessary and the processing speed. The objective of this thesis was to experimentally evaluate these two aspects. In a first experimental part, we explored the amount of information by creating sparse representations of original natural sounds to form what is called auditory sketches. We showed that an auditory sketch is recognizable despite the very limited quantity of auditory information in the stimuli. To achieve these results, we dedicated an important part of our work on the elaboration of adequate tools in function of the tested sound categories. Thus, for the analysis of auditory stimuli, we have developed an auditory distance model between sound categories. For the analysis of the performances of the participants, we have developed a model to calculate the sensitivity by sound category and taking into account the bias, which falls within the signal detection theory. These analyses allowed us to show that, actually, the results are not equivalent between the different sound categories. Voices stand out from the other categories tested (e.g. musical instruments): the technique of selection of the sparse information does not seem adapted to the voice features. In a second experimental part, we investigated the temporal course of auditory recognition. To estimate the time necessary for the auditory system to recognize a sound, we used a recent paradigm of Rapid Audio Sequential Presentation (RASP). We showed that less than 50 ms are enough to recognize a short natural sound, with a better recognition for the human voice.

Ce mémoire débute par un survol de l'état de l’art des méthodes de compositions musicales assistées par ordinateur (MCMAO). À l’aide d'un ensembles critères permettant l’évaluation des méthodes de compositions musicales assistées par ordinateur, on identifie une technique particulièrement prometteuse. Il s’agit d ’un compositeur statistique, présenté par Hoffman et al. en 2008, utilisant les "mel-frquecy cepstral coefficients" (MFCC), un prétraitement inspiré des techniques en reconnaissance de parole. Toutefois, cette technique présente diverses limitations, comme la qualité de reconstruction des signaux, qui l’empêche d'être utilisée pour composer de la musique utilisable professionnellement. Ainsi, ce mémoire tente de bonifier la méthode de composition musicale assistée par ordinateur de Hoffman et al. en remplaçant la technique MFCC d'analyse/synthèse du signal par une technique novatrice d'analyse/synthèse des signaux sonores nommée "Fast Locally competitive algorithm for audio" (FLCAA). Celle-ci permet une analyse perceptuelle parcimonieuse, en temps réel, ayant une bonne résolution fréquencielle et une bonne résolution temporelle. De plus le FLCAA permet une reconstruction robuste de bonne qualité également en temps réel. L’analyse est constituée de deux parties distinctes. La première consiste à utiliser un prétraitement inspiré de l’audition pour transformer le signal sonore afin d'obtenir une représentation cochléaire. Concrètement, la transformation d'analyse est accomplie à l’aide d'un filtrage par banc de filtres cochléaires combiné à un mécanisme de fenêtre coulissante. Le banc de filtres utilisé est composé de filtres cochléaires passe-bande à réponse impulsionnelle finie, de type "rounded exponential" (RoExp). La deuxième étape consiste à coder la représentation cochléaire de manière parcimonieuse afin d'augmenter la résolution spatiale et temporelle pour mettre en évidence certaines caractéristiques du signal comme les fréquences fondamentales, l’information contenue dans les basses fréquences et les signaux transitoires. Cela est fait, en intégrant un réseau de neurones (nommé LCA) utilisant les mécanismes d'inhibition latérale et de seuillage. À partir des coefficients de la représentation perceptuelle, il est possible d'effectuer la transformation de synthèse en utilisant une technique de reconstruction novatrice qui est expliqué en détail dans ce mémoire.

Les ondes acoustiques subissent peu de dispersion dans le milieu marin, comparé au milieu aérien. Certaines espèces de cétacés communiquent ainsi à grande distance, d'autres utilisent leurs émissions sonores pour s'orienter. La bioacoustique consiste à étudier ces espèces à partir de l'analyse de leurs sons, c'est-à-dire à les détecter, classer, localiser. Cela peut se faire via un réseau d'hydrophones au déploiement fastidieux. Afin de contribuer au passage à l'échelle de la bioacoustique, cette thèse propose des modèles originaux mono-hydrophone pour l'analyse de ces signaux stationnaires ou transitoires. Premièrement, nous dérivons un nouveau modèle d'estimation de la distance entre une source impulsive (ex. biosonar) et un hydrophone. Notre modèle théorique, l'Intra Spectral ATténuation(ISAT), dérive des lois acoustiques de déformation spectrale du signal transitoire induite par l'atténuation durant sa propagation. Ce modèle relie les rapports énergétiques des bandes de fréquences pondérés par un modèle de perte par atténuation fréquentielle (Thorp ou Leroy) à la distance de propagation. Nous approximons aussi ISAT par un modèle neuromimétique. Ces deux modèles sont validés sur le sonar du cachalot (Physeter macrocephalus) enregistré avec notre bouée acoustique autonome BOMBYX et notre système d'acquisition DECAV en collaboration avec le Parc National de Port-Cros et le sanctuaire Pelagos pour la protection des mammifères marins en Méditerranée. Les mesures d'erreur (RMSE) d'environ 500 mètres sur nos références du centre d'essai OTAN aux Bahamas présentent un intérêt opérationnel. Deuxièmement, nous proposons une analyse originale de l'évolution des voisements de cétacé par codage parcimonieux. Notre encodage des cepstres par apprentissage non supervisé d'un dictionnaire met en évidence l'évolution temporelle des bigrammes des chants que les baleines à bosse mâles émettent durant la période de reproduction. Nous validons ce modèle sur nos enregistrements du canal de Sainte-Marie à Madagascar entre 2008 et 2014, via notre réseau d'hydrophones BAOBAB qui constitue une première dans l'Océan Indien. Nos modèles s'inscrivent dans le projet Scaled Bioacoustics (SABIOD, MI CNRS) et ouvrent de nouvelles perspectives pour les passages à l'échelle temporelle et spatiale de la bioacoustique. / Acoustic waves show low dispersion due to the underwater propagation, compared to the propagation in the air. Some species of cetaceans communicate at long distance, others use their sound production for orientation. The goal of the scientic area called bioacoustics is to study animal species based on the analysis of their emitted sound. Their sounds can be used to detect, to classify and to locate the cetaceans. Recordings can be done with an passive acoustic array of multiple hydrophones, but this method is expensive and difficult to deploy. Thus, in order to scale this approach, we propose in this Phd thesis several original single hydrophone models to analyze these stationary or transient signals.Firstly, we provide a new theoretical model to estimate the distance between the impulsive source (ex. biosonar of the cetacean) and the hydrophone. Our model, the Intra Spectral ATtenuation (ISAT), is based on the spectral signal alteration due to the underwater acoustic propagation, especially the differences in different frequency bands. We also approximated ISAT by an artificial neural network. Both models are validated on clicks emitted by sperm whales (Physeter macrocephalus) recorded by our sonobuoy BOMBYX and our data-acquisition system DECAV developed incollaboration with the National Park of Port-Cros (France) and the Pelagos sanctuary for the protection of marine mammals in the Mediterranean sea (France). The error (RMSE) measures on the recordings of the NATO test center in the Bahamas are about500 meters, promising further real applications. Secondly, we worked on the variations of the cetacean vocalizations using the sparse coding method. The encoding of thecepstrums by unsupervised learning of a dictionary shows bigrammic time changes of the songs of humpback whales (Megaptera novaeangliae). We validate this model on signals recorded in the Ste Marie Channel (Madagascar) between 2008 and 2014, through our network of hydrophones BAOBAB which is the first passive acoustic array deployed in the Indian Ocean.Our models are part of the Saled Bioacoustics project (SABIOD, MI CNRS) and open perspectives for temporal and spatial scaling of bioacoustics.

Cette thèse explore l'analyse de l'activité électrique du cerveau. Un défi important de ces signaux est leur grande variabilité à travers différents essais et/ou différents sujets. Nous proposons une nouvelle méthode appelée "adaptive waveform learning" (AWL). Cette méthode est suffisamment générale pour permettre la prise en compte de la variabilité empiriquement rencontrée dans les signaux neuroélectriques, mais peut être spécialisée afin de prévenir l'overfitting du bruit. La première partie de ce travail donne une introduction sur l'électrophysiologie du cerveau, présente les modalités d'enregistrement fréquemment utilisées et décrit l'état de l'art du traitement de signal neuroélectrique. La principale contribution de cette thèse consiste en 3 chapitres introduisant et évaluant la méthode AWL. Nous proposons d'abord un modèle de décomposition de signal général qui inclut explicitement différentes formes de variabilité entre les composantes de signal. Ce modèle est ensuite spécialisé pour deux applications concrètes: le traitement d'une série d'essais expérimentaux segmentés et l'apprentissage de structures répétées dans un seul signal. Deux algorithmes sont développés pour résoudre ces problèmes de décomposition. Leur implémentation efficace basée sur des techniques de minimisation alternée et de codage parcimonieux permet le traitement de grands jeux de données.Les algorithmes proposés sont évalués sur des données synthétiques et réelles contenant des pointes épileptiformes. Leurs performances sont comparées à celles de la PCA, l'ICA, et du template-matching pour la détection de pointe. / This thesis investigates the analysis of brain electrical activity. An important challenge is the presence of large variability in neuroelectrical recordings, both across different subjects and within a single subject, for example, across experimental trials. We propose a new method called adaptive waveform learning (AWL). It is general enough to include all types of relevant variability empirically found in neuroelectric recordings, but can be specialized for different concrete settings to prevent from overfitting irrelevant structures in the data. The first part of this work gives an introduction into the electrophysiology of the brain, presents frequently used recording modalities, and describes state-of-the-art methods for neuroelectrical signal processing. The main contribution of this thesis consists in three chapters introducing and evaluating the AWL method. We first provide a general signal decomposition model that explicitly includes different forms of variability across signal components. This model is then specialized for two concrete applications: processing a set of segmented experimental trials and learning repeating structures across a single recorded signal. Two algorithms are developed to solve these models. Their efficient implementation based on alternate minimization and sparse coding techniques allows the processing of large datasets. The proposed algorithms are evaluated on both synthetic data and real data containing epileptiform spikes. Their performances are compared to those of PCA, ICA, and template matching for spike detection.

Les représentations convolutives extraient des motifs récurrents qui aident à comprendre la structure locale dans un jeu de signaux. Elles sont adaptées pour l’analyse des signaux physiologiques, qui nécessite des visualisations mettant en avant les informations pertinentes. Ces représentations sont aussi liées aux modèles d’apprentissage profond. Dans ce manuscrit, nous décrivons des avancées algorithmiques et théoriques autour de ces modèles. Nous montrons d’abord que l’Analyse du Spectre Singulier permet de calculer efficacement une représentation convolutive. Cette représentation est dense et nous décrivons une procédure automatisée pour la rendre plus interprétable. Nous proposons ensuite un algorithme asynchrone, pour accélérer le codage parcimonieux convolutif. Notre algorithme présente une accélération super-linéaire. Dans une seconde partie, nous analysons les liens entre représentations et réseaux de neurones. Nous proposons une étape d’apprentissage supplémentaire, appelée post-entraînement, qui permet d’améliorer les performances du réseau entraîné, en s’assurant que la dernière couche soit optimale. Puis nous étudions les mécanismes qui rendent possible l’accélération du codage parcimonieux avec des réseaux de neurones. Nous montrons que cela est lié à une factorisation de la matrice de Gram du dictionnaire. Finalement, nous illustrons l’intérêt de l’utilisation des représentations convolutives pour les signaux physiologiques. L’apprentissage de dictionnaire convolutif est utilisé pour résumer des signaux de marche et le mouvement du regard est soustrait de signaux oculométriques avec l’Analyse du Spectre Singulier. / Convolutional representations extract recurrent patterns which lead to the discovery of local structures in a set of signals. They are well suited to analyze physiological signals which requires interpretable representations in order to understand the relevant information. Moreover, these representations can be linked to deep learning models, as a way to bring interpretability intheir internal representations. In this disserta tion, we describe recent advances on both computational and theoretical aspects of these models.First, we show that the Singular Spectrum Analysis can be used to compute convolutional representations. This representation is dense and we describe an automatized procedure to improve its interpretability. Also, we propose an asynchronous algorithm, called DICOD, based on greedy coordinate descent, to solve convolutional sparse coding for long signals. Our algorithm has super-linear acceleration.In a second part, we focus on the link between representations and neural networks. An extra training step for deep learning, called post-training, is introduced to boost the performances of the trained network by making sure the last layer is optimal. Then, we study the mechanisms which allow to accelerate sparse coding algorithms with neural networks. We show that it is linked to afactorization of the Gram matrix of the dictionary.Finally, we illustrate the relevance of convolutional representations for physiological signals. Convolutional dictionary learning is used to summarize human walk signals and Singular Spectrum Analysis is used to remove the gaze movement in young infant’s oculometric recordings.

Dans les séries temporelles neurophysiologiques, on observe de fortes oscillations neuronales, et les outils d'analyse sont donc naturellement centrés sur le filtrage à bande étroite.Puisque cette approche est trop réductrice, nous proposons de nouvelles méthodes pour représenter ces signaux.Nous centrons tout d'abord notre étude sur le couplage phase-amplitude (PAC), dans lequel une bande haute fréquence est modulée en amplitude par la phase d'une oscillation neuronale plus lente.Nous proposons de capturer ce couplage dans un modèle probabiliste appelé modèle autoregressif piloté (DAR). Cette modélisation permet une sélection de modèle efficace grâce à la mesure de vraisemblance, ce qui constitue un apport majeur à l'estimation du PAC.%Nous présentons différentes paramétrisations des modèles DAR et leurs algorithmes d'inférence rapides, et discutons de leur stabilité.Puis nous montrons comment utiliser les modèles DAR pour l'analyse du PAC, et démontrons l'avantage de l'approche par modélisation avec trois jeux de donnée.Puis nous explorons plusieurs extensions à ces modèles, pour estimer le signal pilote à partir des données, le PAC sur des signaux multivariés, ou encore des champs réceptifs spectro-temporels.Enfin, nous proposons aussi d'adapter les modèles de codage parcimonieux convolutionnels pour les séries temporelles neurophysiologiques, en les étendant à des distributions à queues lourdes et à des décompositions multivariées. Nous développons des algorithmes d'inférence efficaces pour chaque formulations, et montrons que l'on obtient de riches représentations de façon non-supervisée. / In neurophysiological time series, strong neural oscillations are observed in the mammalian brain, and the natural processing tools are thus centered on narrow-band linear filtering.As this approach is too reductive, we propose new methods to represent these signals.We first focus on the study of phase-amplitude coupling (PAC), which consists in an amplitude modulation of a high frequency band, time-locked with a specific phase of a slow neural oscillation.We propose to use driven autoregressive models (DAR), to capture PAC in a probabilistic model. Giving a proper model to the signal enables model selection by using the likelihood of the model, which constitutes a major improvement in PAC estimation.%We first present different parametrization of DAR models, with fast inference algorithms and stability discussions.Then, we present how to use DAR models for PAC analysis, demonstrating the advantage of the model-based approach on three empirical datasets.Then, we explore different extensions to DAR models, estimating the driving signal from the data, PAC in multivariate signals, or spectro-temporal receptive fields.Finally, we also propose to adapt convolutional sparse coding (CSC) models for neurophysiological time-series, extending them to heavy-tail noise distribution and multivariate decompositions. We develop efficient inference algorithms for each formulation, and show that we obtain rich unsupervised signal representations.

No description available.