La synthèse de textures est une technique qui génère une texture automatiquement grâce à un algorithme. Cette technique permet de réduire le temps de création des textures et le coût mémoire étant donné que seuls les algorithmes et leurs paramètres ont besoin d'être stockés. Cependant, des difficultés sont souvent rencontrées lors de l'utilisation des textures synthétisées. D'abord, les paramètres de ces textures sont difficiles à manipuler. Ensuite, l'algorithme de synthèse génère souvent les textures sous forme de tableaux de pixels nécessitant beaucoup de mémoire. Pour aborder ces difficultés, nous proposons les approches suivantes : pour améliorer la visualisation de l'espace des textures synthétisées, nous proposons de construire un résumé de cet espace: une seule image statique qui résume, dans un espace limité de pixels, les apparences produites par un synthétiseur donné. De plus, pour améliorer la sélection de paramètres, nous augmentons les curseurs qui contrôlent les paramètres avec des bandes visuelles révélant les changements qui se produisent quand l'utilisateur manipule les curseurs. Pour permettre à l'utilisateur d'interagir de manière interactive avec les résumés visuels, nous nous reposons sur un algorithme de synthèse par patch permettant de générer les textures de façon rapide grâce à une implémentation parallèle sur le processeur graphique. Au lieu de générer le résultat de ce synthétiseur sous forme d'un tableau de pixels, nous représentons le résultat dans une structure compacte et nous utilisons une méthode rapide permettant de lire des pixels directement à partir de cette structure / Texture synthesis is a technique that algorithmically generates textures at rendering time. The automatic synthesis reduces authoring time and memory requirements since only the algorithm and its parameters need to be stored or transferred. However, two difficulties often arise when using texture synthesis: First, the visualization and parameters selection of synthesized textures are difficult. Second, most synthesizers generate textures in a bitmap format leading to high memory usage. To address these difficulties we propose the following approaches: First, to improve the visualization of synthesized textures we propose the idea of a procedural texture preview: A single static image summarizing in a limited pixel space the appearances produced by a given synthesizer. The main challenge is to ensure that most appearances are visible, are allotted a similar pixel area, and are ordered in a smooth manner throughout the preview. Furthermore, to improve parameters selection we augment sliders controlling parameters with visual previews revealing the changes that will be introduced upon manipulation. Second, to allow user interactions with these visual previews we rely on a fast patch-based synthesizer. This synthesizer achieves a high degree of parallelism and is implemented entirely on the GPU. Finally, rather than generating the output of the synthesizer as a bitmap texture we encode the result in a compact representation and allow to decoding texels from this representation during rendering

Cette thèse prend pour cadre la synthèse par l'exemple et l'édition de contenu graphique en infographie et propose une réflexion sur les possibles sources d'information utiles à ces fins. Contrairement aux techniques "procédurales", l'approche par l'exemple se distingue par sa grande simplicité d'utilisation : reviennent en effet à l'algorithme de synthèse l'identification, analyse et reproduction des éléments caractéristiques des exemples fournis en entrée par l'utilisateur. Ce mode de création de même que les techniques approfondies d'édition ont grandement contribué à la facilitation de la production à grande échelle de contenus graphiques convaincants et ainsi participé à l'adoption par la communauté des artistes des outils proposés par le support numérique. Mais pour être ainsi exploitées, celles-ci doivent également être hautement contrôlables tout en évitant l'écueil de n'être que le simple prolongement de la main de l'artiste. Nous explorons ici cette thématique dans le cadre de la création de rendus dits expressifs et étudions les interactions (collaboratives ou concurrentielles) entre les différentes sources d'information au cœur de ce processus. Ces dernières sont à notre sens au nombre de trois : l'analyse automatique des données d'entrée avant rendu ou traitement ; l'utilisation de modèles a priori en vue de leur compréhension ; et enfin le contrôle explicite par l'utilisateur. En les combinant au plus juste, nous proposons des techniques nouvelles dans divers domaines de la synthèse en rendu expressif. Au delà du réalisme photographique, le rendu expressif se caractérise par sa poursuite de critères plus difficilement quantifiables tels la facilité de compréhension ou le caractère artistique de ses résultats. La subjectivité de tels objectifs nous force donc ici plus qu'ailleurs à estimer avec soin les sources d'information à privilégier, le niveau d'implication à accorder à l'utilisateur (sans que ce choix ne s'opère au détriment de la qualité théorique de la méthode), ainsi que le possible recours à des modèles d'analyse (sans en compromettre la généralité). Trois principales instances de synthèse sont ici détaillés : la génération de textures, la désaturation d'images, et la représentation de maillages par le dessin au trait. La grande variété des données d'entrée (textures matricielles ou vectorielles, images complexes, géométries 3d), des modalités de synthèse (imitation, conversion, représentation alternative) et d'objectifs (reproduction de la signature visuelle d'une texture, restitution crédible de contrastes chromatiques, génération de dessins conformes au style de l'utilisateur) permettent l'examen de divers équilibres entre ces sources d'information et l'exploration de degrés plus ou moins élevés d'interaction avec l'utilisateur.

Dans le cadre de la classification de sons,cette thèse construit des représentations du signal qui vérifient des propriétés d’invariance et de variabilité inter-classe. D’abord, nous étudions le scattering temps- fréquence, une représentation qui extrait des modulations spectrotemporelles à différentes échelles. Enclassification de sons urbains et environnementaux, nous obtenons de meilleurs résultats que les réseaux profonds à convolutions et les descripteurs à court terme. Ensuite, nous introduisons le scattering en spirale, une représentation qui combine des transformées en ondelettes selon le temps, selon les log-fréquences, et à travers les octaves. Le scattering en spirale suit la géométrie de la spirale de Shepard, qui fait un tour complet à chaque octave. Nous étudions les sons voisés avec un modèle source-filtre non stationnaire dans lequel la source et le filtre sont transposés au cours du temps, et montrons que le scattering en spirale sépare et linéarise ces transpositions. Le scattering en spirale améliore lesperformances de l’état de l’art en classification d’instruments de musique. Outre la classification de sons, le scattering temps-fréquence et le scattering en spirale peuvent être utilisés comme des descripteurspour la synthèse de textures audio. Contrairement au scattering temporel, le scattering temps-fréquence est capable de capturer la cohérence de motifs spectrotemporels en bioacoustique et en parole, jusqu’à une échelle d’intégration de 500 ms environ. À partir de ce cadre d’analyse-synthèse, une collaboration artscience avec le compositeur Florian Hecker / This dissertation addresses audio classification by designing signal representations which satisfy appropriate invariants while preserving inter-class variability. First, we study time-frequencyscattering, a representation which extract modulations at various scales and rates in a similar way to idealized models of spectrotemporal receptive fields in auditory neuroscience. We report state-of-the-artresults in the classification of urban and environmental sounds, thus outperforming short-term audio descriptors and deep convolutional networks. Secondly, we introduce spiral scattering, a representationwhich combines wavelet convolutions along time, along log-frequency, and across octaves. Spiral scattering follows the geometry of the Shepard pitch spiral, which makes a full turn at every octave. We study voiced sounds with a nonstationary sourcefilter model where both the source and the filter are transposed through time, and show that spiral scattering disentangles and linearizes these transpositions. Furthermore, spiral scattering reaches state-of-the-art results in musical instrument classification ofsolo recordings. Aside from audio classification, time-frequency scattering and spiral scattering can be used as summary statistics for audio texture synthesis. We find that, unlike the previously existing temporal scattering transform, time-frequency scattering is able to capture the coherence ofspectrotemporal patterns, such as those arising in bioacoustics or speech, up to anintegration scale of about 500 ms. Based on this analysis-synthesis framework, an artisticcollaboration with composer Florian Hecker has led to the creation of five computer music

Les carottes, extraites lors des forages de puits de pétrole, font partie des éléments les plus importants dans la chaîne de caractérisation de réservoir. L’acquisition de celles-ci à travers un scanner médical permet d’étudier de façon plus fine les variations des types de dépôts. Le but de cette thèse est d’établir les liens entre les imageries scanners 3D de carottes, et les différentes propriétés pétrophysiques et géologiques. Pour cela la phase de modélisation des images, et plus particulièrement des textures, est très importante et doit fournir des descripteurs extraits qui présentent un assez haut degrés de confiance. Une des solutions envisagée pour la recherche de descripteurs a été l’étude des méthodes paramétriques permettant de valider l’analyse faite sur les textures par un processus de synthèse. Bien que ceci ne représente pas une preuve pour un lien bijectif entre textures et paramètres, cela garantit cependant au moins une confiance en ces éléments. Dans cette thèse nous présentons des méthodes et algorithmes développés pour atteindre les objectifs suivants : 1. Mettre en évidence les zones d’homogénéités sur les zones carottées. Cela se fait de façon automatique à travers de la classification et de l’apprentissage basés sur les paramètres texturaux extraits. 2. Établir les liens existants entre images scanners et les propriétés pétrophysiques de la roche. Ceci se fait par prédiction de propriétés pétrophysiques basées sur l’apprentissage des textures et des calibrations grâce aux données réelles. . / Cores extracted, during wells drilling, are essential data for reservoirs characterization. A medical scanner is used for their acquisition. This feature provide high resolution images improving the capacity of interpretation. The main goal of the thesis is to establish links between these images and petrophysical data. Then parametric texture modelling can be used to achieve this goal and should provide reliable set of descriptors. A possible solution is to focus on parametric methods allowing synthesis. Even though, this method is not a proven mathematically, it provides high confidence on set of descriptors and allows interpretation into synthetic textures. In this thesis methods and algorithms were developed to achieve the following goals : 1. Segment main representative texture zones on cores. This is achieved automatically through learning and classifying textures based on parametric model. 2. Find links between scanner images and petrophysical parameters. This is achieved though calibrating and predicting petrophysical data with images (Supervised Learning Process).

Cette thèse prend pour cadre la synthèse par l'exemple et l'édition de contenu graphique en infographie et propose une réflexion sur les possibles sources d'information utiles à ces fins. Contrairement aux techniques "procédurales", l'approche par l'exemple se distingue par sa grande simplicité d'utilisation : reviennent en effet à l'algorithme de synthèse l'identification, analyse et reproduction des éléments caractéristiques des exemples fournis en entrée par l'utilisateur. Ce mode de création de même que les techniques approfondies d'édition ont grandement contribué à la facilitation de la production à grande échelle de contenus graphiques convaincants et ainsi participé à l'adoption par la communauté des artistes des outils proposés par le support numérique. Mais pour être ainsi exploitées, celles-ci doivent également être hautement contrôlables tout en évitant l'écueil de n'être que le simple prolongement de la main de l'artiste. Nous explorons ici cette thématique dans le cadre de la création de rendus dits expressifs et étudions les interactions (collaboratives ou concurrentielles) entre les différentes sources d'information au cœur de ce processus. Ces dernières sont à notre sens au nombre de trois : l'analyse automatique des données d'entrée avant rendu ou traitement ; l'utilisation de modèles a priori en vue de leur compréhension ; et enfin le contrôle explicite par l'utilisateur. En les combinant au plus juste, nous proposons des techniques nouvelles dans divers domaines de la synthèse en rendu expressif. Au delà du réalisme photographique, le rendu expressif se caractérise par sa poursuite de critères plus difficilement quantifiables tels la facilité de compréhension ou le caractère artistique de ses résultats. La subjectivité de tels objectifs nous force donc ici plus qu'ailleurs à estimer avec soin les sources d'information à privilégier, le niveau d'implication à accorder à l'utilisateur (sans que ce choix ne s'opère au détriment de la qualité théorique de la méthode), ainsi que le possible recours à des modèles d'analyse (sans en compromettre la généralité). Trois principales instances de synthèse sont ici détaillés : la génération de textures, la désaturation d'images, et la représentation de maillages par le dessin au trait. La grande variété des données d'entrée (textures matricielles ou vectorielles, images complexes, géométries 3d), des modalités de synthèse (imitation, conversion, représentation alternative) et d'objectifs (reproduction de la signature visuelle d'une texture, restitution crédible de contrastes chromatiques, génération de dessins conformes au style de l'utilisateur) permettent l'examen de divers équilibres entre ces sources d'information et l'exploration de degrés plus ou moins élevés d'interaction avec l'utilisateur. / This thesis focuses on example-based synthesis and editing in Computer Graphics and reflects on the possible sources of information necessary for such goals. Unlike "procedural" techniques, synthesis by example stands out thanks to its extreme ease-of-use : indeed, tasks such as identification, analysis and reproduction of the distinguishing features of the user-provided examples are left to the method itself. Such approaches, along with today's intricate editing methods have greatly favored the production of compelling graphical content at a wide scale, and henceforth facilitated the adoption of computer-assisted tools by artists. But in order to meet with success, they also have to be highly controllable without being a mere extension of the artist's hand. We explore here such concerns in the context of expressive rendering and study the interactions, may they be collaborative or competitive, between the different sources of information at the core of such processes. In our opinion, there are three main sources of information: the automatic analysis of the inputs before processing; the use of prior knowledge through predetermined models; and users' explicit intervention. Through a clever combination of these sources, we propose new expressive synthesis techniques which satisfy the aforementioned usability. More than photographic realism, expressive rendering strives for the fulfillment of less easily quantifiable goals such as the intelligibility or the aesthetic value of its results. The subjectivity behind the assessment of such criteria thus forces us to attach much importance to the careful choice of the source of information to favor; the required amount of user intervention (without being detrimental to the method's theoretical value); and the possible resort to prior models (without endangering its generality). Three main synthesis instances are studied in this document: texture generation, image de-colorization, and artistic line rendering. The great disparity of inputs (raster and vector textures, complex images, 3d meshes), terms of synthesis (imitation, conversion, depiction) and objectives (preservation of a texture's visual signature, plausible restitution of chromatic contrasts, creation of drawings in accordance with users' styles) gives rise to distinct balances between those sources of information and requires the consideration of various modes of user interaction.

La caractérisation des dynamiques de sous-mésoéchelle (<10km) à la surface de l'océan et leurs impacts sur les processus océaniques globaux sont des enjeux scientifiques majeurs. L'imagerie satellitaire est un outil essentiel dans ce contexte, qui présente toutefois des limitations liées aux instruments de télédétection. Dans le cas des images de température de surface des océans (SST), les mesures satellitaires des structures océaniques sont limitées par la résolution grossière des capteurs micro-ondes (~50km) d'une part, et par la sensibilité aux conditions climatiques (e.g., couverture nuageuse) des instruments de mesure infrarouge haute-résolution. Dans cette thèse, nous nous intéressons à l'analyse, la modélisation et la reconstruction des structures turbulentes haute-résolution capturées par imagerie satellitaire de SST, et proposons quatre contributions principales. Dans un premier temps, nous développons une méthode de filtrage conjointe Fourier-ondelettes pour le prétraitement d'artefacts géométriques dans les observations satellitaires infrarouges. Dans un deuxième temps, nous nous focalisons sur la caractérisation de la variabilité géométrique de champs de température de surface (SST) en utilisant des modèles de marches aléatoires appliqués aux lignes de niveaux. En particulier, nous considérons des processus aléatoires de type schramm Loewner (SLE). Nous nous intéressons ensuite à la modélisation stochastique des variabilités inter-échelles de champs de SST. Des modèles stochastiques de textures multivariées sont introduits. Ces modèles permettent de reproduire des propriétés statistiques et spectrales similaires à celles des données ayant servi à les calibrer. Nous développons ensuite des méthodes de super-résolution de champs de SST conditionnellement à une observation basse-résolution. Nous utilisons des modèles multivariés de textures formulés dans le domaine des ondelettes, en exploitant l'apprentissage d'à priori statistiques (i.e., covariances et covariances croisées) des différentes sous-bandes à partir d'images haute-résolution. Des contraintes supplémentaires imposées sur la phase de Fourier des différentes sous-bandes simulées permettent la reconstruction de structures géométriques marquées tels que les fronts. Nous démontrons la pertinence de la méthode proposée sur des images satellitaires de SST obtenues à partir du capteur Modis/Aqua. / The characterization of sub-mesoscale dynamics (<10 km) in the ocean surface and their impact on global ocean processes are major scientific issues. Satellite imagery is an essential tool within this framework. However, the use of remote sensing techniques still raise challenging. For instance, regarding Sea Surface Temperature (SST) images, satellite measurements of oceanic structures are limited by the coarse resolution of microwave sensors (~50km) on one hand, and by sensitivity to climatic conditions (eg., Cloud cover) of high-resolution infrared instruments on the other hand. In this thesis, we are interested in analysis, modeling and reconstruction of high-resolution turbulent structures captured by satellite SST imagery. In this context, we propose four main contributions. First, we develop a joint Fourier-Wavelet filtering method for the pre-processing of geometrical noises in satellite-based infrared observations, namely the striping noises. Secondly, we focus on the characterization of the geometric variability of sea surface temperature (SST) fields using random walk models applied to SST isolines. In particular, we consider the class of Schramm Loewner evolution curves (SLE). We then focus on the stochastic modeling of the cross-scale variabilities of SST fields. Stochastic multivariate texture-based models are introduced. These models are designed to reproduce several statistics and spectral properties that are observed on the data that are used to calibrate the model. We then develop our framework for stochastic super-resolution of SST fields conditionally to low-resolution observations. We use multivariate texture-based models formulated in the wavelet domain. These models exploit the formulation of statistical and spectral priors (i.e., covariances and cross-covariances) on wavelet subbands. These priors are directly learned from exemplar high-resolution images. Additional constraints imposed on the Fourier-phase of the different simulated subbands allow the reconstruction of coherent geometric structures such as the edge information. Our method is tested and validated using infrared high-resolution satellite SST images provided by Aqua Modis sensor.

Le but de cette thèse est de proposer une modélisation mathématique des stimulations visuelles afin d'analyser finement des données expérimentales en psychophysique et en électrophysiologie. Plus précis\'ement, afin de pouvoir exploiter des techniques d'analyse de données issues des statistiques Bayésiennes et de l'apprentissage automatique, il est nécessaire de développer un ensemble de stimulations qui doivent être dynamiques, stochastiques et d'une complexité paramétrée. Il s'agit d'un problème important afin de comprendre la capacité du système visuel à intégrer et discriminer différents stimuli. En particulier, les mesures effectuées à de multiples échelles (neurone, population de neurones, cognition) nous permette d'étudier les sensibilités particulières des neurones, leur organisation fonctionnelle et leur impact sur la prise de décision. Dans ce but, nous proposons un ensemble de contributions théoriques, numériques et expérimentales, organisées autour de trois axes principaux : (1) un modèle de synthèse de textures dynamiques Gaussiennes spécialement paramétrée pour l'étude de la vision; (2) un modèle d'observateur Bayésien rendant compte du biais positif induit par fréquence spatiale sur la perception de la vitesse; (3) l'utilisation de méthodes d'apprentissage automatique pour l'analyse de données obtenues en imagerie optique par colorant potentiométrique et au cours d'enregistrements extra-cellulaires. Ce travail, au carrefour des neurosciences, de la psychophysique et des mathématiques, est le fruit de plusieurs collaborations interdisciplinaires. / The goal of this thesis is to propose a mathematical model of visual stimulations in order to finely analyze experimental data in psychophysics and electrophysiology. More precisely, it is necessary to develop a set of dynamic, stochastic and parametric stimulations in order to exploit data analysis techniques from Bayesian statistics and machine learning. This problem is important to understand the visual system capacity to integrate and discriminate between stimuli. In particular, the measures performed at different scales (neurons, neural population, cognition) allow to study the particular sensitivities of neurons, their functional organization and their impact on decision making. To this purpose, we propose a set of theoretical, numerical and experimental contributions organized around three principal axes: (1) a Gaussian dynamic texture synthesis model specially crafted to probe vision; (2) a Bayesian observer model that accounts for the positive effect of spatial frequency over speed perception; (3) the use of machine learning techniques to analyze voltage sensitive dye optical imaging and extracellular data. This work, at the crossroads of neurosciences, psychophysics and mathematics is the fruit of several interdisciplinary collaborations.