Dans le cadre de la classification de sons,cette thèse construit des représentations du signal qui vérifient des propriétés d’invariance et de variabilité inter-classe. D’abord, nous étudions le scattering temps- fréquence, une représentation qui extrait des modulations spectrotemporelles à différentes échelles. Enclassification de sons urbains et environnementaux, nous obtenons de meilleurs résultats que les réseaux profonds à convolutions et les descripteurs à court terme. Ensuite, nous introduisons le scattering en spirale, une représentation qui combine des transformées en ondelettes selon le temps, selon les log-fréquences, et à travers les octaves. Le scattering en spirale suit la géométrie de la spirale de Shepard, qui fait un tour complet à chaque octave. Nous étudions les sons voisés avec un modèle source-filtre non stationnaire dans lequel la source et le filtre sont transposés au cours du temps, et montrons que le scattering en spirale sépare et linéarise ces transpositions. Le scattering en spirale améliore lesperformances de l’état de l’art en classification d’instruments de musique. Outre la classification de sons, le scattering temps-fréquence et le scattering en spirale peuvent être utilisés comme des descripteurspour la synthèse de textures audio. Contrairement au scattering temporel, le scattering temps-fréquence est capable de capturer la cohérence de motifs spectrotemporels en bioacoustique et en parole, jusqu’à une échelle d’intégration de 500 ms environ. À partir de ce cadre d’analyse-synthèse, une collaboration artscience avec le compositeur Florian Hecker / This dissertation addresses audio classification by designing signal representations which satisfy appropriate invariants while preserving inter-class variability. First, we study time-frequencyscattering, a representation which extract modulations at various scales and rates in a similar way to idealized models of spectrotemporal receptive fields in auditory neuroscience. We report state-of-the-artresults in the classification of urban and environmental sounds, thus outperforming short-term audio descriptors and deep convolutional networks. Secondly, we introduce spiral scattering, a representationwhich combines wavelet convolutions along time, along log-frequency, and across octaves. Spiral scattering follows the geometry of the Shepard pitch spiral, which makes a full turn at every octave. We study voiced sounds with a nonstationary sourcefilter model where both the source and the filter are transposed through time, and show that spiral scattering disentangles and linearizes these transpositions. Furthermore, spiral scattering reaches state-of-the-art results in musical instrument classification ofsolo recordings. Aside from audio classification, time-frequency scattering and spiral scattering can be used as summary statistics for audio texture synthesis. We find that, unlike the previously existing temporal scattering transform, time-frequency scattering is able to capture the coherence ofspectrotemporal patterns, such as those arising in bioacoustics or speech, up to anintegration scale of about 500 ms. Based on this analysis-synthesis framework, an artisticcollaboration with composer Florian Hecker has led to the creation of five computer music

Les méthodes d’apprentissage profond connaissent une croissance fulgurante. Une explication de ce phénomène est l’essor de la puissance de calcul combiné à l’accessibilité de données en grande quantité. Néanmoins, plusieurs applications de la vie réelle présentent des difficultés: la disponibilité et la qualité des données peuvent être faibles, l’étiquetage des données peut être ardu, etc. Dans ce mémoire, nous examinons deux contextes : celui des données limitées et celui du modèle économique CATS. Pour pallier les difficultés rencontrées dans ces contextes, nous utilisons des modèles d’apprentissage profond pour images avec structure additionnelle. Dans un premier temps, nous examinons les réseaux de scattering et étudions leur version paramétrée sur des petits jeux de données. Dans un second temps, nous adaptons les modèles de diffusion afin de proposer une alternative aux modèles à base d’agents qui sont complexes à construire et à optimiser. Nous vérifions empiriquement la faisabilité de cette démarche en modélisant le marché de l’emploi du modèle CATS. Nous constatons tout d’abord que les réseaux de scattering paramétrés sont performants sur des jeux de données de classification pour des petits échantillons de données. Nous démontrons que les réseaux de scattering paramétrés performent mieux que ceux non paramétrés, c’est-à-dire les réseaux de scattering traditionnels. En effet, nous constatons que des banques de filtres adaptés aux jeux de données permettent d’améliorer l’apprentissage. En outre, nous observons que les filtres appris se différencient selon les jeux de données. Nous vérifions également la propriété de robustesse aux petites déformations lisses expérimentalement. Ensuite, nous confirmons que les modèles de diffusion peuvent être adaptés pour modéliser le marché de l’emploi du modèle CATS dans une approche d’apprentissage profond. Nous vérifions ce fait pour deux architectures de réseau de neurones différentes. De plus, nous constatons que les performances sont maintenues pour différents scénarios impliquant l’apprentissage avec une ou plusieurs séries temporelles issues de CATS, lesquelles peuvent être tirées à partir d’hyperparamètres standards ou de perturbations de ceux-ci. / Deep learning methods are booming. An explanation of this phenomenon is the rise of computing power combined with the accessibility of large data quantity. Nevertheless, several real-life applications present difficulties: the availability and quality of data can be low, data labeling can be tricky, etc. In this thesis, we examine two contexts: that of limited data and that of the CATS economic model. To overcome the difficulties encountered in these contexts, we use deep learning models for images with additional structure. First, we examine scattering networks and study their parameterized version on small datasets. In a second step, we adapt diffusion models in order to propose an alternative to agent-based models which are complex to build and to optimize. We empirically verify the feasibility of this approach by modeling the labor market of the CATS model. We first observe that the parameterized scattering networks perform well on classification datasets for small samples of data. We demonstrate that parameterized scattering networks perform better than those not parametrized, i.e. traditional scattering networks. Indeed, we find that filterbanks adapted to the datasets make it possible to improve learning. Moreover, we observe that the learned filters differ according to the datasets. We also verify the property of robustness to small smooth deformations experimentally.. Then, we confirm that diffusion models can be adapted to model the labor market of the CATS model in a deep learning approach. We verify this fact for two different neural network architectures. Moreover, we find that performance is maintained for different scenarios involving training with one or more time series from CATS, which can be derived from standard hyperparameters or perturbations thereof.

Cette thèse porte sur la statistique spatiale multivariée et l’apprentissage appliqués aux images hyperspectrales et multimodales. Les thèmes suivants sont abordés :Fusion d'images :Le microscope électronique à balayage (MEB) permet d'acquérir des images à partir d'un échantillon donné en utilisant différentes modalités. Le but de ces études est d'analyser l’intérêt de la fusion de l'information pour améliorer les images acquises par MEB. Nous avons mis en œuvre différentes techniques de fusion de l'information des images, basées en particulier sur la théorie de la régression spatiale. Ces solutions ont été testées sur quelques jeux de données réelles et simulées.Classification spatiale des pixels d’images multivariées :Nous avons proposé une nouvelle approche pour la classification de pixels d’images multi/hyper-spectrales. Le but de cette technique est de représenter et de décrire de façon efficace les caractéristiques spatiales / spectrales de ces images. Ces descripteurs multi-échelle profond visent à représenter le contenu de l'image tout en tenant compte des invariances liées à la texture et à ses transformations géométriques.Réduction spatiale de dimensionnalité :Nous proposons une technique pour extraire l'espace des fonctions en utilisant l'analyse en composante morphologiques. Ainsi, pour ajouter de l'information spatiale et structurelle, nous avons utilisé les opérateurs de morphologie mathématique. / This thesis focuses on multivariate spatial statistics and machine learning applied to hyperspectral and multimodal and images in remote sensing and scanning electron microscopy (SEM). In this thesis the following topics are considered:Fusion of images:SEM allows us to acquire images from a given sample using different modalities. The purpose of these studies is to analyze the interest of fusion of information to improve the multimodal SEM images acquisition. We have modeled and implemented various techniques of image fusion of information, based in particular on spatial regression theory. They have been assessed on various datasets.Spatial classification of multivariate image pixels:We have proposed a novel approach for pixel classification in multi/hyper-spectral images. The aim of this technique is to represent and efficiently describe the spatial/spectral features of multivariate images. These multi-scale deep descriptors aim at representing the content of the image while considering invariances related to the texture and to its geometric transformations.Spatial dimensionality reduction:We have developed a technique to extract a feature space using morphological principal component analysis. Indeed, in order to take into account the spatial and structural information we used mathematical morphology operators