L'objectif de cette thèse est d'étudier l'idée du tatouage dans le traitement du son.Les recherches en tatouage audio se sont principalement tournées vers des applications sécuritaires ou de transmission de données auxiliaires. Une des applications visées par ce concept consiste à améliorer la qualité du signal hôte ayant subi des transformations et ceci en exploitant l'information qu'il véhicule. Le tatouage audio est donc considéré comme mémoire porteuse d'informations sur le signal originel. La compression à bas débit des signaux audio est une des applications visée par ce concept. Dans ce cadre, deux objectifs sont proposés : la réduction du pré-écho et de l'amollissement d'attaque, deux phénomènes introduits par les codeurs audio perceptifs, en particulier les codeurs AAC et MP3; la préservation de l'harmonicité des signaux audio dégradée par les codeurs perceptifs à extension de bande, en particulier le codeur HE-AAC.La première partie de ce manuscrit présente les principes de base des systèmes de codage bas débit et étudie les différentes distorsions introduites par ces derniers. Fondées sur cette étude, deux solutions sont proposées. La première, visant principalement la réduction du pré-écho, consiste à corriger l'enveloppe temporelle du signal après réception en exploitant la connaissance a priori de l'enveloppe temporelle du signal original, supposée transmise par un canal auxiliaire à faible débit (< 500 bits/s). La seconde solution vise à corriger les ruptures d'harmonicité générées par les codeurs à extension de bande. Ce phénomène touche essentiellement les signaux fortement harmoniques (exemple : violon) et est perçu comme une dissonance. Une préservation de l'harmonicité des signaux audio par des opérations de translation spectrale est alors proposée, les paramètres étant là encore transmis par un canal auxiliaire à faible débit.La seconde partie de ce document est consacrée à l'intégration du tatouage audio dans les techniques de renforcement de la qualité des signaux audio précitées. Dans ce contexte, le tatouage audio remplace le canal auxiliaire précédent et œuvre comme une mémoire du signal originel, porteuse d'informations nécessaires pour la correction d'harmonicité et la réduction de pré-écho. Cette seconde partie a été précédée par une étape approfondie de l'évaluation des performances de la technique de tatouage adoptée en terme de robustesse à la compression MPEG (MP3, AAC et aacPlus).

Contexte : La compréhension de la parole dans le silence est dépendante des mécanismes de codage de l’enveloppe temporelle du signal sonore. Une anomalie du codage (d’origine infectieuse, immunitaire, génétique, tumorale, ou environnementale) entraine irrémédiablement une diminution des performances audiométriques vocales. Les méthodes d’exploration fonctionnelle de la cochlée (potentiels d’action composite du nerf auditif, potentiel évoqués auditifs précoces) utilisent des stimuli sonores simples (clics, bouffées tonales) pour détecter une anomalie de codage des indices temporels. Le but de cette étude était de développer une méthode électrophysiologique capable de mesurer les réponses du nerf auditif à des stimuli modulés en amplitude.Matériel et méthodes : La réponse électrophysiologique du nerf auditif a été mesurée à l’aide d’une électrode placée sur la niche de la fenêtre ronde de la cochlée de gerbilles et de rats vieillissants. Les stimuli acoustiques consistaient en des bandes de bruit de 20 secondes modulées sinusoïdalement en amplitude et centrées sur 4, 8 et 16 kHz. Nous avons étudié le niveau, la profondeur de modulation, la fréquence de modulation et la fréquence porteuse.Résultats : Notre étude sur le modèle de perte sélective neuronale (ouabain) montre que l’analyse des potentiels globaux cochléaires permet de détecter une perte de fibres à basse activité spontanée dans le nerf auditif, résultat important car indétectable (« surdités cachées ») actuellement avec les tests utilisés en routine en clinique (EcoG et PEA) (Batrel, Huet, Hasselmann et al, Plos One 2017). Ensuite, en combinant le stimulus de cette étude avec une fonction sinusoïdale, nous avons développé et validé une méthode pour évaluer la qualité de codage de l’enveloppe par le nerf auditif. Nous avons appliqué cette méthode sur un modèle de vieillissement (rat Sprague-Dawley). Nos résultats suggèrent que le viellissement entraine une modifcation du phénotype des fibres du nerf auditif sans pertes de fibres associées (article Occelli, Hasselmann et al, soumis à eNeuro). Conclusion : Notre travail démontre qu’il est indispensable d’élargir le nombre de techniques d’exploration fonctionnelle de la cochlée car les tests utilisés en routine en clinique ne permettent pas de déceler des déficits subtils d’encodage dans le nerf auditif. La mesure de l’activité soutenue des fibres permet de détecter la perte sélective des neurones à basse activité spontanée, indétectable avec les méthodes classiques. Le changement de phénotype des fibres observé au cours du vieillissement du rat Sprague-Dawley est détectable avec notre méthode alors qu’il ne l’est pas avec le potentiel d’action composite du nerf auditif. / Background: Speech intelligibility in quiet is critically dependent on the temporal envelope of a sound signal. An abnormal coding of this temporal cue (due to infectious, immune, genetic, tumoral or environmental of origin) implies a decrease of speech recognition scores. The current proxy to probe deafness in clinical framework (Compound Action Potential of the auditory nerve, auditory brainstem responses) uses simplistic stimuli (clicks, tone bursts) to detect a such abnormal coding of the temporal cues. The aim of this study was to develop a new electrophysiology method in murins able to measure the auditory nerve responses to amplitude-modulation stimuli.Material and methods: The electrophysiology response of the auditory nerve was recorded using an electrode implanted onto the round window niche on normal-hearing gerbil cochlea and aging rat cochlea. The acoustical stimuli consisted of 20 seconds sinusoidally amplitude-modulated noise-band centered on 4, 8 and 16 kHz. We have studied varying sound level, the modulation depth, the modulation frequency and the carrier frequency.Results: Our study on the selective fiber loss ouabain model show the mass potentials recorded at the round window enable the detection of low spontaneous rate fibers in gerbil auditory nerve. This result is important because the current clinical used tests aren’t enough sensitive to detect a such coding impairment (CAP, ABR) (Batrel, Huet, Hasselmann et al., 2017). Then we combined the stimulus of this previous study with a sinusoidal function to develop a new method to assess the envelope coding by the auditory nerve. We validated this new method. Last, we used our method on an aging model (Sprague-Dawley rat). Our results suggest aging leads to a phenotype change of auditory nerve fibers without associated fiber loss (article Occelli, Hasselmann et al, submitted to eNeuro).Conclusion: Our study shows it’s indispensable to expand the number of tools to probe the cochlea because the current clinical used tests aren’t enough sensitive to detect subtle deficits of encoding in the auditory nerve. The recording of the fiber sustained activity enable to detect the selective loss of low-spontaneous rate neurons. A such loss is undetectable with classical clinical tools. The phenotype change of fibers we observed in aging Sprague-Dawley rats is detectable with our method whereas it’s not using the compound action potential of the auditory nerve.

L'objectif de cette thèse est d'étudier l'idée du tatouage dans le traitement du son.Les recherches en tatouage audio se sont principalement tournées vers des applications sécuritaires ou de transmission de données auxiliaires. Une des applications visées par ce concept consiste à améliorer la qualité du signal hôte ayant subi des transformations et ceci en exploitant l'information qu'il véhicule. Le tatouage audio est donc considéré comme mémoire porteuse d'informations sur le signal originel. La compression à bas débit des signaux audio est une des applications visée par ce concept. Dans ce cadre, deux objectifs sont proposés : la réduction du pré-écho et de l'amollissement d'attaque, deux phénomènes introduits par les codeurs audio perceptifs, en particulier les codeurs AAC et MP3; la préservation de l'harmonicité des signaux audio dégradée par les codeurs perceptifs à extension de bande, en particulier le codeur HE-AAC.La première partie de ce manuscrit présente les principes de base des systèmes de codage bas débit et étudie les différentes distorsions introduites par ces derniers. Fondées sur cette étude, deux solutions sont proposées. La première, visant principalement la réduction du pré-écho, consiste à corriger l'enveloppe temporelle du signal après réception en exploitant la connaissance a priori de l'enveloppe temporelle du signal original, supposée transmise par un canal auxiliaire à faible débit (< 500 bits/s). La seconde solution vise à corriger les ruptures d'harmonicité générées par les codeurs à extension de bande. Ce phénomène touche essentiellement les signaux fortement harmoniques (exemple : violon) et est perçu comme une dissonance. Une préservation de l'harmonicité des signaux audio par des opérations de translation spectrale est alors proposée, les paramètres étant là encore transmis par un canal auxiliaire à faible débit.La seconde partie de ce document est consacrée à l'intégration du tatouage audio dans les techniques de renforcement de la qualité des signaux audio précitées. Dans ce contexte, le tatouage audio remplace le canal auxiliaire précédent et œuvre comme une mémoire du signal originel, porteuse d'informations nécessaires pour la correction d'harmonicité et la réduction de pré-écho. Cette seconde partie a été précédée par une étape approfondie de l'évaluation des performances de la technique de tatouage adoptée en terme de robustesse à la compression MPEG (MP3, AAC et aacPlus). / The goal of this thesis is to explore the idea of watermark for sound enhancement. Classically, watermark schemes are oriented towards security applications or maximization of the transmitted bit rates. Our approach is completely different. Our goal is to study how an audio watermarking can improve the quality of the host audio signal by exploiting the information it conveys. The audio watermarking is considered as a memory that carries information about the original signal.The low bitrate compression of audio signals is one of the applications covered by this concept. In this context, two objectives are proposed: reducing the pre-echo and the attack softening, two phenomena introduced by the perceptual audio coders, particularly AAC and MP3 encoders ; preserving the harmonicity of audio signals, distorted by coders with bandwidth extension, especially HE-AAC encoder. These coders are limited in the reconstruction of the high-frequency spectrum mainly because of the potential unpredictability of the fine structure of the latter, as well as imperfect indicators of tonal to noise.The first part of this manuscript presents the basic principles of low rate coding systems and studies the various distortions introduced by the latter. Based on this study, two solutions are proposed. The first one, principally aimed at reducing the pre-echo, consist in correcting the time envelope of the signal after reception by exploiting the prior knowledge of the temporal envelope of the original signal, which is assumed transmitted by an auxiliary channel at low bitrates (<500 bps). The second solution is to correct the harmonicity generated by coders with bandwidth extension. This primarily affects strongly harmonic signals (e.g. violin) and is perceived as a dissonance. We propose then to preserve the harmonicity of audio signals by spectral translations. The parameters being passed again by an auxiliary channel at low bitrates.The second part of this document is dedicated to the integration of audio watermarking techniques in the solution presented in the first part. In this context, the audio watermarking replaces the previous auxiliary channel and is regarded as a memory of the original signal, carrying information necessary for the correction of harmonicity and the pre-echo reduction.

Résumé: Les systèmes de substitution sensorielle convertissent des stimuli d’une modalité sensorielle en des stimuli d’une autre modalité. Ils peuvent fournir les moyens pour les personnes handicapées de percevoir des stimuli d’une modalité défectueuse par une autre modalité. Le but de ce projet de recherche était d’étudier des systèmes de substitution de l’audition vers la vision. Ce type de substitution n’est pas bien étudié probablement en raison de la complexité du système auditif et des difficultés résultant de la désadaptation entre les sons audibles qui peuvent changer avec des fréquences allant jusqu’à 20000 Hz et des stimuli visuels qui changent très lentement avec le temps afin d’être perçus. Deux problèmes spécifiques des systèmes de substitution de l’audition vers la vision ont été ciblés par cette étude: la recherche de correspondances audiovisuelles et l’extraction de caractéristiques auditives. Une expérience audiovisuelle a été réalisée en ligne pour trouver les associations entre les caractéristiques auditives (la fréquence fondamentale et le timbre) et visuelles (la forme, la couleur, et la position verticale). Une forte corrélation entre le timbre des sons utilisés et des formes visuelles a été observée. Les sujets ont fortement associé des timbres “doux” avec des formes arrondies bleues, vertes ou gris clair, des timbres “durs” avec des formes angulaires pointues rouges, jaunes ou gris foncé et des timbres comportant simultanément des éléments de douceur et de dureté avec un mélange des deux formes visuelles arrondies et angulaires. La fréquence fondamentale n’a pas été associée à la position verticale, ni le niveau de gris ou la couleur. Étant donné la correspondance entre le timbre et une forme visuelle, dans l’étape sui- vante, un modèle hiérarchique flexible et polyvalent bio-inspiré pour analyser le timbre et extraire des caractéristiques importantes du timbre a été développé. Inspiré par les découvertes dans les domaines des neurosciences, neurosciences computationnelles et de la psychoacoustique, non seulement le modèle extrait-il des caractéristiques spectrales et temporelles d’un signal, mais il analyse également les modulations d’amplitude sur différentes échelles de temps. Il utilise un banc de filtres cochléaires pour résoudre les composantes spectrales d’un son, l’inhibition latérale pour améliorer la résolution spectrale, et un autre banc de filtres de modulation pour extraire l’enveloppe temporelle et la rugosité du son à partir des modulations d’amplitude. Afin de démontrer son potentiel pour la représentation du timbre, le modèle a été évalué avec succès pour trois applications : 1) la comparaison avec les valeurs subjectives de la rugosité 2) la classification d’instruments de musique 3) la sélection de caractéristiques pour les sons qui ont été regroupés en fonction de la forme visuelle qui leur avait été attribuée dans l’expérience audiovisuelle. La correspondance entre le timbre et la forme visuelle qui a été révélée par cette étude et le modèle proposé pour l’analyse de timbre peuvent être utilisés pour développer des systèmes de substitution de l’audition vers la vision intuitifs codant le timbre en formes visuelles. / Abstract: Sensory substitution systems encode a stimulus modality into another stimulus modality. They can provide the means for handicapped people to perceive stimuli of an impaired modality through another modality. The purpose of this study was to investigate auditory to visual substitution systems. This type of sensory substitution is not well-studied probably because of the complexities of the auditory system and the difficulties arising from the mismatch between audible sounds that can change with frequencies up to 20000 Hz and visual stimuli that should change very slowly with time to be perceived. Two specific problems of auditory to visual substitution systems were targeted in this research: the investigation of audiovisual correspondences and the extraction of auditory features. An audiovisual experiment was conducted online to find the associations between the auditory (pitch and timbre) and visual (shape, color, height) features. One hundred and nineteen subjects took part in the experiments. A strong association between timbre of envelope normalized sounds and visual shapes was observed. Subjects strongly associated soft timbres with blue, green or light gray rounded shapes, harsh timbres with red, yellow or dark gray sharp angular shapes and timbres having elements of softness and harshness together with a mixture of the previous two shapes. Fundamental frequency was not associated with height, grayscale or color. Given the correspondence between timbre and shapes, in the next step, a flexible and multipurpose bio-inspired hierarchical model for analyzing timbre and extracting the important timbral features was developed. Inspired by findings in the fields of neuroscience, computational neuroscience, and psychoacoustics, not only does the model extract spectral and temporal characteristics of a signal, but it also analyzes amplitude modulations on different timescales. It uses a cochlear filter bank to resolve the spectral components of a sound, lateral inhibition to enhance spectral resolution, and a modulation filter bank to extract the global temporal envelope and roughness of the sound from amplitude modulations. To demonstrate its potential for timbre representation, the model was successfully evaluated in three applications: 1) comparison with subjective values of roughness, 2) musical instrument classification, and 3) feature selection for labeled timbres. The correspondence between timbre and shapes revealed by this study and the proposed model for timbre analysis can be used to develop intuitive auditory to visual substitution systems that encode timbre into visual shapes.

Cette recherche visait à clarifier les mécanismes de bas niveau impliqués dans la détection de la modulation de fréquence (FM). Les sons naturels véhiculent des modulations d’amplitude et de fréquence saillantes essentielles à la communication. L’analyse des réponses de neurones auditifs du noyau cochléaire montre que les propriétés spectro-temporelles des stimuli de FM de basse cadence sont représentées par deux mécanismes distincts basés sur le verrouillage en phase à l’enveloppe temporelle (ENV) et à la structure temporelle fine (TFS). La contribution relative de chaque mécanisme s’avère très dépendante des paramètres de stimulation (fréquence porteuse, cadence de modulation et profondeur de modulation) mais aussi du type de neurones, chacun étant spécialisé pour un type de représentation ou l'autre. L’existence de ces deux mécanismes de codage neuronal a été confirmée chez les auditeurs humains en utilisant deux paradigmes psychophysiques. Les résultats de ces études démontrent également que le mécanisme de codage de TFS est efficace dans des conditions d'écoute défavorables (e.g. en présence de modulations interférentes). Cependant, le mécanisme de codage de TFS est susceptible de se dégrader avec l'âge et plus encore avec la perte auditive, alors que le mécanisme de codage d’ENV semble relativement épargné. Deux modèles computationnels ont été développés afin d’expliquer les contributions des indices d’ENV et de TFS dans le système auditif normal et malentendant. / This research aimed at clarifying the low-level mechanisms involved in frequency-modulation (FM) detection. Natural sounds convey salient amplitude- and frequency-modulation patterns crucial for communication. Results from single auditory neurons in the cochlear nucleus show that the spectro-temporal properties of low-rate FM stimuli are accurately represented by two distinct mechanisms based on neural phase-locking to temporal envelope (ENV) and temporal fine structure (TFS) cues. The relative contribution of each mechanism was found to be highly dependent on stimulus parameters (carrier frequency, modulation rate and modulation depth) and also on the type of neuron, with clear specializations for one type of representation or the other. The validity of those two neural encoding mechanisms was confirmed for human listeners using two psychophysical paradigms. Results from those studies also demonstrate that the TFS coding mechanism is efficient in adverse listening conditions, like in the presence of interfering modulations. However, the TFS coding mechanism is prone to decline with age and even more with hearing loss, while the ENV coding mechanism seems relatively spared. Two computational models were developed to fully explain the contributions of ENV and TFS cues in the normal and impaired auditory system.

Les signaux de communication, dont la parole, contiennent des modulations d'amplitude et de fréquence relativement lentes qui jouent un rôle capital dans l'identification et la discrimination des sons. Le but de ce programme de recherche doctorale est de comprendre plus finement les mécanismes impliqués dans la perception de l'AM et de la FM, et de clarifier les effets du vieillissement et de la perte auditive neurosensorielle sur ceux-ci. Les seuils auditifs de détection d'AM et de FM sont mesurés pour des sujets normo-entendants (NE) jeunes et âgés, ainsi que pour des sujets malentendants (ME) âgés, à basse fréquence porteuse (500 Hz) et à basse cadence de modulation (2 et 20 Hz). Le nombre de cycles de modulation, N, varie entre 2 et 9. Les seuils de détection de FM sont mesurés en présence d'une AM interférente, de façon à contraindre l'utilisation des indices d’enveloppe temporelle. Pour l'ensemble des groupes, les seuils de détection d'AM et de FM sont meilleurs à 2 qu'à 20 Hz. La sensibilité à l'AM et la FM s'améliore lorsque N augmente, démontrant une intégration temporelle des indices d’AM et de FM. Pour l’AM, les effets du vieillissement et de la perte auditive sont antagonistes: aux deux cadences de modulation, la sensibilité à l'AM décline avec l'âge, tandis qu'elle s'améliore en présence d'une perte auditive. L'intégration temporelle est similaire pour les deux groupes de NE, tandis que l'intégration temporelle est améliorée chez les sujets ME. Pour la sensibilité à la FM, l'âge dégrade sélectivement les seuils de détection de FM à basse cadence de modulation, tandis que la perte auditive a un effet délétère global aux deux cadences de modulation. L'intégration temporelle est similaire pour l'ensemble des groupes. Deux modèles computationnels (mono-bande et multi-bandes) utilisant un banc de filtres de modulation et un processus d'appariement de gabarit sont développés pour rendre compte des données. Pris ensemble, les données psychophysiques et de modélisation suggèrent que: 1) pour des cadences de modulation rapides, la détection d'AM et de FM sont encodés par un mécanisme commun, probablement basé sur les indices d’enveloppe temporelle. A l'inverse, à basse cadence de modulation, l'AM et la FM sont encodés par des mécanismes distincts, utilisant probablement et respectivement des indices d’enveloppe temporelle et de structure temporelle fine; 2) le vieillissement dégrade la sensibilité à l'AM et la FM (i.e. les indices d’enveloppe temporelle et de structure temporelle fine), mais affecte plus fortement ces derniers; 3) la perte auditive n'affecte pas la sensibilité à l'AM (indices d’enveloppe temporelle), mais dégrade la sensibilité à la FM aux deux cadences de modulation; 4) Les processus décisionnels et mnésiques impliqués dans l'intégration temporelle d'AM et de FM sont préservés par le vieillissement. En présence d'une perte auditive, l'intégration temporelle d'AM est améliorée, probablement en raison de la perte de compression cochléaire, tandis que l'intégration temporelle en FM reste préservée. Toutefois, certains aspects de l’efficacité de traitement (modélisés par un bruit interne) déclinent avec l’âge et encore plus fortement avec une perte auditive. Les implications de ces résultats pour la définition, le diagnostic et la réhabilitation de la presbyacousie sont discutés. / Communication sounds, including speech, contain relatively slow (<5-10 Hz) patterns of amplitude modulation (AM) and frequency modulation (FM) that play an important role in the discrimination and identification of sounds. The goal of this doctoral research program was to better understand the mechanisms involved in AM and FM perception and to clarify the effects of age and hearing loss on AM and FM perception. AM and FM detection thresholds were measured for young and older normal-hearing (NH) listeners and for older hearing-impaired (HI) listeners, using a low carrier frequency (500 Hz) and low modulation rates (2 and 20 Hz). The number of modulation cycles, N, varied between 2 to 9. FM detection thresholds were measured with and without an interfering AM to disrupt temporal-envelope cues. For all groups of listeners, AM and FM detection thresholds were lower for the 2-Hz than for the 20-Hz rate. AM and FM sensitivity improved with increasing N, demonstrating temporal integration for AM and FM detection. As for AM thresholds, opposite effects of age and hearing loss were observed: AM sensitivity declines with age, but improves with hearing loss at both modulation rates. Temporal integration of AM cues was similar across NH listeners, but better for HI listeners. As for FM sensitivity, ageing degrades FM thresholds at the low modulation rate only, whereas hearing loss has a deleterious effect at both modulation rates. Temporal integration of FM cues was similar across all groups. Two computational models (a single-band and a multi-band version) using the modulation filterbank concept and a template-matching decision strategy were developed in order to account for the data. Overall, the psychophysical and modeling data suggest that: 1) at high modulation rates, AM and FM detection are coded by a common underlying mechanism, possibly based on temporal-envelope cues. In contrast, at low modulation rates, AM and FM are coded by different mechanisms, possibly based on temporal-envelope cues and temporal-fine-structure cues, respectively. 2) Ageing reduces sensitivity to both AM and FM (i.e., both temporal-envelope and temporal-fine-structure cues), but more so for the latter. 3) Hearing loss does not affect sensitivity to AM (temporal-envelope cues) but impairs FM sensitivity at both rates. 4) The memory and decision processes involved in the temporal integration of AM and FM cues are preserved with age. With hearing loss, the temporal integration of AM cues is enhanced, probably due to the loss of amplitude compression, while the temporal integration of FM cues remains unchanged. Still, some aspects of processing efficiency (as modeled by internal noise) decline with age and even more following cochlear damage. The implications for the definition, diagnosis and rehabilitation of presbyacysis are discussed.