The dissertation presents the design and development of a systematic signal analysis and representation framework beyond short-time Fourier power spectrum for sounds, in particular environmental sounds. This framework is consistent with the underlying assumptions of the analysis method and its elements are correlated with human perception. The sound signal has to conform to certain conditions for its power spectrum to have a physical and perceptual meaning. We contend that very few environmental sounds readily meet these criteria and argue that the quantities that are traditionally used to describe sounds need to be repurposed and, if necessary, redefined to represent sounds by non-Fourier means. We propose a perceptuo-analytic organization of sounds so that any environmental sound can be analyzed based on its signal characteristics and perception. We present environmental sound acquisition in the context of collection and annotation of a database for the footstep sounds, a common environmental sound, and show that it can be represented by these unconventional means and further analyzed to produce descriptions which are obscured with the traditional analysis. We present a novel application of extracting gait characteristics from the footstep sounds which is enabled by the proposed framework.

Le traitement et la synthèse des sons environnementaux sont devenue un sujet important. Une classe des sons, qui est très important pour la constitution d'environnements sonore, est la classe des textures sonores. Les textures sonores sont décrit par des relations stochastiques et qui contient des composantes non-sinusoïdales à caractère fortement bruité. Il a été montré récemment que la reconnaissance de textures sonores est basée sur des mesures statistiques caractérisant les enveloppes dans les bandes critiques. Il y actuellement très peu d'algorithmes qui permettent à imposer des propriétés statistiques de façon explicite lors de la synthèse de sons. L'algorithme qui impose l'ensemble de statistique qui est perceptivement relevant pour les textures sonore est très couteuse en temps de calcul. Nous proposons une nouvelle approche d'analyse-synthèse qui permet une analyse des statistiques relevant et un mécanisme efficace d'imposer ces statistiques dans le domaine temps-fréquence. La représentation temps-fréquence étudié dans cette thèse est la transformée de Fourier à court terme. Les méthodes proposées par contre sont plus générale et peuvent être généralisé à d'autres représentations temps-fréquence reposant sur des banques de filtres si certaines contraintes sont respectées. L'algorithme proposé dans cette thèse ouvre plusieurs perspectives. Il pourrait être utilisé pour générer des textures sonores à partir d'une description statistique créée artificiellement. Il pourrait servir de base pour des transformations avancées comme le morphing, et on pourrait aussi imaginer à utiliser le modèle pour développer un contrôle sémantique de textures sonores. / The processing of environmental sounds has become an important topic in various areas. Environmental sounds are mostly constituted of a kind of sounds called sound textures. Sound textures are usually non-sinusoidal, noisy and stochastic. Several researches have stated that human recognizes sound textures with statistics that characterizing the envelopes of auditory critical bands. Existing synthesis algorithms can impose some statistical properties to a certain extent, but most of them are computational intensive. We propose a new analysis-synthesis framework that contains a statistical description that consists of perceptually important statistics and an efficient mechanism to adapt statistics in the time-frequency domain. The quality of resynthesised sound is at least as good as state-of-the-art but more efficient in terms of computation time. The statistic description is based on the STFT. If certain conditions are met, it can also adapt to other filter bank based time-frequency representations (TFR). The adaptation of statistics is achieved by using the connection between the statistics on TFR and the spectra of time-frequency domain coefficients. It is possible to adapt only a part of cross-correlation functions. This allows the synthesis process to focus on important statistics and ignore the irrelevant parts, which provides extra flexibility. The proposed algorithm has several perspectives. It could possibly be used to generate unseen sound textures from artificially created statistical descriptions. It could also serve as a basis for transformations like stretching or morphing. One could also expect to use the model to explore semantic control of sound textures.

No description available.

La version intégrale de ce mémoire est disponible uniquement pour consultation individuelle à la Bibliothèque de musique de l’Université de Montréal (www.bib.umontreal.ca/MU). / L’hypothèse d’une influence réciproque entre l’environnement et notre perception sonore représente la base de ma recherche musicale. Villusions est un projet acousmatique qui puise sa source dans l’analyse introspective de cette complexe relation, plus précisément entre les sons du quotidien et l’oreille curieuse d’un voyageur éternel. Les parties les plus intimement liées à mes expériences personnelles de la ville de Montréal et ses banlieues représentent donc le théâtre de cette exploration assidue; les illusions correspondent à trois pièces acousmatiques inspirées par ce contexte de réciprocité. Dans l’ensemble des œuvres présentées, les moments musicaux s’alternent, s’intègrent et se confondent aux éléments sonores naturels qui en constituent souvent la racine génératrice. Ces matériaux ont été développés suivant trois axes principaux : d’abord l’axe des mouvements, associés aux moyens de transport et aux centres névralgiques à travers lesquels se répandent les impulsions de la ville; ensuite l’axe des voix qui témoigne de sa multiethnicité, de sa lymphe vitale; finalement, l’axe de l’alternance des saisons comme prétexte sonore lié au contexte temporel. Des sources sonores instrumentales, dérivées des tablâ et de la harpe, trouvent également leur place dans le projet, en lui donnant une empreinte à la fois rythmique et harmonique. La composante spatiale doit être considérée comme un élément incontournable du discours musical de Villusions. Sa construction octophonique porte sur l’équilibre, délicat et illusoirement immersif, généré par des trajectoires dessinées sur la même ligne temporelle que celle des évènements musicaux, suivant des stratégies intégrées directement dans le processus compositionnel. / This musical research is based on the theory of interaction between the environment and our sound perception. Villusions is an acousmatic project that emerged from the introspective analysis of this complex relationship, in particular between daily sounds and the curious ear of an eternal traveller. Thus, the parts most closely related to my personal experiences in the city (“ville”) of Montréal and its suburbs are where this diligent exploration took place; the illusions are three acousmatic pieces inspired by this context of reciprocity. In the works presented, musical moments alternate, integrate with each other, and merge with the natural sound elements that often constitute the originating roots. This material was developed with three main focuses: firstly, movement, associated with modes of transportation and the nerve centres through which beats the city’s pulse; secondly, the voices that express its multi ethnicity, its vital lymph; and, lastly, the changing of the seasons as an acoustic proxy related to the temporal context. Instrumental sound sources, derived from the tablâ and the harp, are also used in the project, lending both a rhythmic and a harmonic feel. The spatial component should be seen as an essential element of the musical discourse of Villusions. Its octophonic construction features the delicate and deceptively immersive balance created by trajectories drawn on the same timeline as those of the musical events, using techniques directly integrated into the compositional process.

Neuronal activity of monolingual and bilinguals to environmental sounds and words that are semantically related to them were studied using the mismatch negativity (MMN) component of event-related potentials. MMN was expected to reflect the language selection process in bilinguals on the bases of semantics and phonology. In this regard, as lexical stimuli, interlingual homophones ‘car’ and ‘kar’ (snow) were presented together with semantically related environmental sounds in a passive auditory oddball paradigm. The lexical stimuli were recorded by a native English speaker. Three Turkish-English late bilinguals and one native English speaker participated in the study. An early MMN was elicited in both groups with a distribution over the fronto-central and central areas across the scalp with highest peak amplitude at -2.5 with a 113 ms latency. This response indicates that participants of the study were sensitive to the acoustic changes in two different types of stimuli. The further investigation of the interplay between environmental sounds and semantics displayed no conclusive result due to lack of data. Finally, the brain responses gathered from the bilinguals were not enough to draw a conclusion. Whether the bilinguals were sensitive to the sub-phonemic cues in the presented auditory lexical stimuli or not were inconclusive. / Neuronal aktivitet av en- och tvåspråkiga till miljöljud och ord som är semantiskt relaterade till dem studerades med hjälp av Mismatch Negativity (MMN) komponent av event-relaterade potentialer. MMN förväntades spegla språkvalsprocessen i tvåspråkiga baserad på semantik och fonologi. I detta avseende presenterades interlingual-homofoner ’car’ (bil) och ’kar’ (snö) som lexikala stimuli tillsammans med semantiskt besläktade miljöljud i ett passivt auditivt oddball paradigm. De lexikala stimuli spelades in av en modersmålstalare av engelska. Tre turkiska-engelska sena tvåspråkiga och en modersmålstalare av engelska deltog i studien. En tidig MMN framkallades i båda grupperna med en fördelning över de främre central- och centrala områdena över skalp med amplitud vid -2,5 med 113 ms latens. Detta indikerar att deltagarna var sensitiva till de akustiska förändringarna mellan de två olika typerna av stimuli. Den vidare undersökningen av samspelet mellan miljöljud och semantik visade inget avgörande resultat. Dessutom, var det också ett inkonklusivt resultat som handlade om att huruvida tvåspråkiga deltagarna använde subfonemiska signalerna i de presenterade auditiva lexikala stimuli eller inte.

Dans beaucoup de pays du monde, on observe une importante augmentation du nombre de personnes âgées vivant seules. Depuis quelques années, un nombre significatif de projets de recherche sur l’assistance aux personnes âgées ont vu le jour. La plupart de ces projets utilisent plusieurs modalités (vidéo, son, détection de chute, etc.) pour surveiller l'activité de la personne et lui permettre de communiquer naturellement avec sa maison "intelligente", et, en cas de danger, lui venir en aide au plus vite. Ce travail a été réalisé dans le cadre du projet ANR VERSO de recherche industrielle, Sweet-Home. Les objectifs du projet sont de proposer un système domotique permettant une interaction naturelle (par commande vocale et tactile) avec la maison, et procurant plus de sécurité à l'habitant par la détection des situations de détresse. Dans ce cadre, l'objectif de ce travail est de proposer des solutions pour la reconnaissance des sons de la vie courante dans un contexte réaliste. La reconnaissance du son fonctionnera en amont d'un système de Reconnaissance Automatique de la Parole. Les performances de celui-ci dépendent donc de la fiabilité de la séparation entre la parole et les autres sons. Par ailleurs, une bonne reconnaissance de certains sons, complétée par d'autres sources informations (détection de présence, détection de chute, etc.) permettrait de bien suivre les activités de la personne et de détecter ainsi les situations de danger. Dans un premier temps, nous nous sommes intéressés aux méthodes en provenance de la Reconnaissance et Vérification du Locuteur. Dans cet esprit, nous avons testé des méthodes basées sur GMM et SVM. Nous avons, en particulier, testé le noyau SVM-GSL (SVM GMM Supervector Linear Kernel) utilisé pour la classification de séquences. SVM-GSL est une combinaison de SVM et GMM et consiste à transformer une séquence de vecteurs de longueur arbitraire en un seul vecteur de très grande taille, appelé Super Vecteur, et utilisé en entrée d'un SVM. Les expérimentations ont été menées en utilisant une base de données créée localement (18 classes de sons, plus de 1000 enregistrements), puis le corpus du projet Sweet-Home, en intégrant notre système dans un système plus complet incluant la détection multi-canaux du son et la reconnaissance de la parole. Ces premières expérimentations ont toutes été réalisées en utilisant un seul type de coefficients acoustiques, les MFCC. Par la suite, nous nous sommes penchés sur l'étude d'autres familles de coefficients en vue d'en évaluer l'utilisabilité en reconnaissance des sons de l'environnement. Notre motivation fut de trouver des représentations plus simples et/ou plus efficaces que les MFCC. En utilisant 15 familles différentes de coefficients, nous avons également expérimenté deux approches pour transformer une séquence de vecteurs en un seul vecteur, à utiliser avec un SVM linéaire. Dans le première approche, on calcule un nombre fixe de coefficients statistiques qui remplaceront toute la séquence de vecteurs. La seconde approche (une des contributions de ce travail) utilise une méthode de discrétisation pour trouver, pour chaque caractéristique d'un vecteur acoustique, les meilleurs points de découpage permettant d'associer une classe donnée à un ou plusieurs intervalles de valeurs. La probabilité de la séquence est estimée par rapport à chaque intervalle. Les probabilités obtenues ainsi sont utilisées pour construire un seul vecteur qui remplacera la séquence de vecteurs acoustiques. Les résultats obtenus montrent que certaines familles de coefficients sont effectivement plus adaptées pour reconnaître certaines classes de sons. En effet, pour la plupart des classes, les meilleurs taux de reconnaissance ont été observés avec une ou plusieurs familles de coefficients différentes des MFCC. Certaines familles sont, de surcroît, moins complexes et comptent une seule caractéristique par fenêtre d'analyse contre 16 caractéristiques pour les MFCC / In many countries around the world, the number of elderly people living alone has been increasing. In the last few years, a significant number of research projects on elderly people monitoring have been launched. Most of them make use of several modalities such as video streams, sound, fall detection and so on, in order to monitor the activities of an elderly person, to supply them with a natural way to communicate with their “smart-home”, and to render assistance in case of an emergency. This work is part of the Industrial Research ANR VERSO project, Sweet-Home. The goals of the project are to propose a domotic system that enables a natural interaction (using touch and voice command) between an elderly person and their house and to provide them a higher safety level through the detection of distress situations. Thus, the goal of this work is to come up with solutions for sound recognition of daily life in a realistic context. Sound recognition will run prior to an Automatic Speech Recognition system. Therefore, the speech recognition’s performances rely on the reliability of the speech/non-speech separation. Furthermore, a good recognition of a few kinds of sounds, complemented by other sources of information (presence detection, fall detection, etc.) could allow for a better monitoring of the person's activities that leads to a better detection of dangerous situations. We first had been interested in methods from the Speaker Recognition and Verification field. As part of this, we have experimented methods based on GMM and SVM. We had particularly tested a Sequence Discriminant SVM kernel called SVM-GSL (SVM GMM Super Vector Linear Kernel). SVM-GSL is a combination of GMM and SVM whose basic idea is to map a sequence of vectors of an arbitrary length into one high dimensional vector called a Super Vector and used as an input of an SVM. Experiments had been carried out using a locally created sound database (containing 18 sound classes for over 1000 records), then using the Sweet-Home project's corpus. Our daily sounds recognition system was integrated into a more complete system that also performs a multi-channel sound detection and speech recognition. These first experiments had all been performed using one kind of acoustical coefficients, MFCC coefficients. Thereafter, we focused on the study of other families of acoustical coefficients. The aim of this study was to assess the usability of other acoustical coefficients for environmental sounds recognition. Our motivation was to find a few representations that are simpler and/or more effective than the MFCC coefficients. Using 15 different acoustical coefficients families, we have also experimented two approaches to map a sequence of vectors into one vector, usable with a linear SVM. The first approach consists of computing a set of a fixed number of statistical coefficients and use them instead of the whole sequence. The second one, which is one of the novel contributions of this work, makes use of a discretization method to find, for each feature within an acoustical vector, the best cut points that associates a given class with one or many intervals of values. The likelihood of the sequence is estimated for each interval. The obtained likelihood values are used to build one single vector that replaces the sequence of acoustical vectors. The obtained results show that a few families of coefficients are actually more appropriate to the recognition of some sound classes. For most sound classes, we noticed that the best recognition performances were obtained with one or many families other than MFCC. Moreover, a number of these families are less complex than MFCC. They are actually a one-feature per frame acoustical families, whereas MFCC coefficients contain 16 features per frame

Ce mémoire présente une composition d’études et de travaux de recherche orientés autour de trois grandes thématiques : la synthèse, la reproduction et la perception des sons, en considérant à la fois les sons de nature musicale mais aussi environnementale. Il vise en outre un champ d’application, le design sonore, qui implique globalement la création intentionnelle de sons du quotidien. La structure du document est conçu selon un schéma relativement uniforme et comporte, pour chaque partie, une présentation générale de la thématique apportant des éléments théoriques et des données relatives à l’état de l’art, suivie de développements spécifiques permettant de converger vers les sujets d’étude propres à chaque thème – explicitement, formalisme modal dans la synthèse par modélisation physique, pour la partie "Synthèse" ; mesure et contrôle de la directivité des instruments de musique, pour la partie "Reproduction" ; timbre et identification des sources sonores, pour la partie "Perception"– puis d’une présentation détaillée des travaux personnels relatifs à chacun des sujets, le cas échéant, sous la forme d’un article publié. Ces divers éléments de connaissance et d’expérience propose donc une contribution personnelle et originale, volontairement inscrite dans un cadre de recherche élargi, pluridisciplinaire et appliqué. / This dissertation presents a composition of studies and research works articulated around three main topics : synthesis, reproduction and perception of sounds, considering both musical and environmental sounds. Moreover, it focuses on an application field, the sound design, that globally involves the conception of intentional everyday sounds. The document is based on a rather uniform structure and contains, for each part, a general presentation of the topic which brings theoretical elements together with an overview of the state-of-the-art, followed by more precise developments in order to focus on the specific matters related to each topic – in detail, modal formalism in sound synthesis by physical modeling, for the "Synthesis" section ; measurement and control of musical instruments directivity, for the "Reproduction" section ; timbre and sound sources identification, for the "Perception" section – and then followed by a detailed presentation of the personal works related to each matter, in some cases, in the form of published papers. Then, these several elements of knowledge and experience offer a personal and original contribution, deliberately put in a broad, multidisciplinary and applied framework.

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal.

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Ce mémoire présente une composition d’études et de travaux de recherche orientés autour de trois grandes thématiques : la synthèse, la reproduction et la perception des sons, en considérant à la fois les sons de nature musicale mais aussi environnementale. Il vise en outre un champ d’application, le design sonore, qui implique globalement la création intentionnelle de sons du quotidien. La structure du document est conçu selon un schéma relativement uniforme et comporte, pour chaque partie, une présentation générale de la thématique apportant des éléments théoriques et des données relatives à l’état de l’art, suivie de développements spécifiques permettant de converger vers les sujets d’étude propres à chaque thème – explicitement, formalisme modal dans la synthèse par modélisation physique, pour la partie "Synthèse" ; mesure et contrôle de la directivité des instruments de musique, pour la partie "Reproduction" ; timbre et identification des sources sonores, pour la partie "Perception"– puis d’une présentation détaillée des travaux personnels relatifs à chacun des sujets, le cas échéant, sous la forme d’un article publié. Ces divers éléments de connaissance et d’expérience propose donc une contribution personnelle et originale, volontairement inscrite dans un cadre de recherche élargi, pluridisciplinaire et appliqué. / This dissertation presents a composition of studies and research works articulated around three main topics : synthesis, reproduction and perception of sounds, considering both musical and environmental sounds. Moreover, it focuses on an application field, the sound design, that globally involves the conception of intentional everyday sounds. The document is based on a rather uniform structure and contains, for each part, a general presentation of the topic which brings theoretical elements together with an overview of the state-of-the-art, followed by more precise developments in order to focus on the specific matters related to each topic – in detail, modal formalism in sound synthesis by physical modeling, for the "Synthesis" section ; measurement and control of musical instruments directivity, for the "Reproduction" section ; timbre and sound sources identification, for the "Perception" section – and then followed by a detailed presentation of the personal works related to each matter, in some cases, in the form of published papers. Then, these several elements of knowledge and experience offer a personal and original contribution, deliberately put in a broad, multidisciplinary and applied framework.