Synthetic speech is a valuable means of output, in a range of application contexts, for people with visual, cognitive, or other impairments or for situations were other means are not practicable. Noise and reverberation occur in many of these application contexts and are known to have devastating effects on the intelligibility of natural speech, yet very little was known about the effects on synthetic speech based on unit selection or hidden Markov models. In this thesis, we put forward an approach for assessing the intelligibility of synthetic and natural speech in noise, reverberation, or a combination of the two. The approach uses an experimental methodology consisting of Amazon Mechanical Turk, Matrix sentences, and noises that approximate the real-world, evaluated with generalized linear mixed models. The experimental methodologies were assessed against their traditional counterparts and were found to provide a number of additional benefits, whilst maintaining equivalent measures of relative performance. Subsequent experiments were carried out to establish the efficacy of the approach in measuring intelligibility in noise and then reverberation. Finally, the approach was applied to natural speech and the two synthetic speech systems in combinations of noise and reverberation. We have examine and report on the intelligibility of current synthesis systems in real-life noises and reverberation using techniques that bridge the gap between the audiology and speech synthesis communities and using Amazon Mechanical Turk. In the process, we establish Amazon Mechanical Turk and Matrix sentences as valuable tools in the assessment of synthetic speech intelligibility.

Resumo: Neste trabalho é feito um estudo dos métodos de redução de ruído aditivo em sinais de voz baseados em wavelets e, através deste estudo, propõe-se um novo método não-limiar para redução de ruído em sinais de voz no domínio wavelet. Em geral os sinais de voz podem estar contaminados com ruídos artificiais ou reais. O problema consiste que dado um sinal limpo adiciona-se o ruído branco ou colorido, obtendo assim o sinal ruidoso, ambos no domínio do tempo. O que se propõe neste trabalho, é aplicar a transformada wavelet, obtendo assim o sinal transformado no domínio wavelet, reduzindo ou atenuando o ruído sem o uso de limiar. Os métodos mais usados no domínio wavelet são os métodos de redução por limiar, pois permitem bons resultados para sinais contaminados por ruído branco, mas não são eficientes no processamento de sinais contaminados por ruído colorido, que é o tipo de ruído mais comum em situações reais. Nesses métodos, o limiar, geralmente, é calculado nos intervalos de silêncio e aplicado em todo o sinal. Os coeficientes no domínio wavelet são comparados com este limiar e aqueles que estão abaixo deste valor são eliminados ou reduzidos, fazendo assim uma aplicação linear deste limiar. Esta eliminação, na maioria das vezes, causa descontinuidades no tempo e na frequência no sinal processado. Além disso, a forma com que o limiar é calculado pode degradar os trechos de voz do sinal processado, principalmente nos casos em que o limiar depende fortemente da última janela do último trecho de silêncio. O método proposto nesta pesquisa consiste na execução de três processamentos, agindo de acordo com as suas características nas regiões de voz e silêncio, sem o uso de limiar. A execução dos três processamentos é sintetizada numa única função, denominada de função de transferência, que atua como um filtro no processamento do sinal... (Resumo completo, clicar acesso eletrônico abaixo) / Abstract: In this work a study of the methods for speech noise reduction based on wavelets is done and, through this study, a new non-thresholding method for speech noise reduction in the wavelet domain is proposed. Generally, a speech signal may be corrupted by artificial or real noise. Let a clean signal be corrupted by white or colored noise, rising a noisy signal in time domain. This work proposes the wavelet application to which gives rise to in the wavelet domain. In this domain, noise is reduced or attenuated without a threshold use. After, the signal is recomposed using the inverse discrete wavelet transform. The most used methods in the wavelet domain wavelet are the thresholding reduction methods, because they allow good results for signals corrupted by white noise, but they do not have the same efficiency when processing signals corrupted by colored noise, this is the most common noise in real situations. In those methods, the threshold is usually calculated in the silence intervals and applied to the whole signal. The coefficients in the wavelet domain are compared with this threshold and those that have absolute value below this value are eliminated or reduced, making a linear application of this threshold. This elimination causes discontinuities in time and in the frequency of the processed signal. Besides, the form with that the threshold is applied can degrade the voice segments of the processed signal, principally in cases that the threshold depends strongly on the last window of the last silence segment. The method proposed in this research consists in the execution of three processing, acting according to their characteristics in the voice and silence segments, without the threshold use. The three processing execution is synthesized in an unique function, called transfer function, acting as a filter in the signal processing. This method has as main objective the overcoming... (Complete abstract click electronic access below) / Orientador: Francisco Villarreal Alvarado / Coorientador: Jozué Vieira Filho / Banca: Carlos Roberto Minussi / Banca: Ailton Akira Shinoda / Banca: Jorge Diaz Calle / Banca: Leandro de Campos Teixeira Gomes / Doutor

Made available in DSpace on 2014-06-11T19:30:50Z (GMT). No. of bitstreams: 0 Previous issue date: 2009-05-29Bitstream added on 2014-06-13T20:21:16Z : No. of bitstreams: 1 soares_wc_dr_ilha.pdf: 2948445 bytes, checksum: cf47c579c7e9a4f2d231373d9ed5f704 (MD5) / Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) / Neste trabalho é feito um estudo dos métodos de redução de ruído aditivo em sinais de voz baseados em wavelets e, através deste estudo, propõe-se um novo método não-limiar para redução de ruído em sinais de voz no domínio wavelet. Em geral os sinais de voz podem estar contaminados com ruídos artificiais ou reais. O problema consiste que dado um sinal limpo adiciona-se o ruído branco ou colorido, obtendo assim o sinal ruidoso, ambos no domínio do tempo. O que se propõe neste trabalho, é aplicar a transformada wavelet, obtendo assim o sinal transformado no domínio wavelet, reduzindo ou atenuando o ruído sem o uso de limiar. Os métodos mais usados no domínio wavelet são os métodos de redução por limiar, pois permitem bons resultados para sinais contaminados por ruído branco, mas não são eficientes no processamento de sinais contaminados por ruído colorido, que é o tipo de ruído mais comum em situações reais. Nesses métodos, o limiar, geralmente, é calculado nos intervalos de silêncio e aplicado em todo o sinal. Os coeficientes no domínio wavelet são comparados com este limiar e aqueles que estão abaixo deste valor são eliminados ou reduzidos, fazendo assim uma aplicação linear deste limiar. Esta eliminação, na maioria das vezes, causa descontinuidades no tempo e na frequência no sinal processado. Além disso, a forma com que o limiar é calculado pode degradar os trechos de voz do sinal processado, principalmente nos casos em que o limiar depende fortemente da última janela do último trecho de silêncio. O método proposto nesta pesquisa consiste na execução de três processamentos, agindo de acordo com as suas características nas regiões de voz e silêncio, sem o uso de limiar. A execução dos três processamentos é sintetizada numa única função, denominada de função de transferência, que atua como um filtro no processamento do sinal... / In this work a study of the methods for speech noise reduction based on wavelets is done and, through this study, a new non-thresholding method for speech noise reduction in the wavelet domain is proposed. Generally, a speech signal may be corrupted by artificial or real noise. Let a clean signal be corrupted by white or colored noise, rising a noisy signal in time domain. This work proposes the wavelet application to which gives rise to in the wavelet domain. In this domain, noise is reduced or attenuated without a threshold use. After, the signal is recomposed using the inverse discrete wavelet transform. The most used methods in the wavelet domain wavelet are the thresholding reduction methods, because they allow good results for signals corrupted by white noise, but they do not have the same efficiency when processing signals corrupted by colored noise, this is the most common noise in real situations. In those methods, the threshold is usually calculated in the silence intervals and applied to the whole signal. The coefficients in the wavelet domain are compared with this threshold and those that have absolute value below this value are eliminated or reduced, making a linear application of this threshold. This elimination causes discontinuities in time and in the frequency of the processed signal. Besides, the form with that the threshold is applied can degrade the voice segments of the processed signal, principally in cases that the threshold depends strongly on the last window of the last silence segment. The method proposed in this research consists in the execution of three processing, acting according to their characteristics in the voice and silence segments, without the threshold use. The three processing execution is synthesized in an unique function, called transfer function, acting as a filter in the signal processing. This method has as main objective the overcoming... (Complete abstract click electronic access below)

Basierend auf der aktuellen Studienlage wurde versucht, Modellannahmen zum auditi- ven Sprachverständnisses weiter zu ergründen. Im Mittelpunkt stand dabei die Rolle des Gyrus angularis der sprachdominanten Hemisphäre bei der semantischen Integration von Worten in einen gegebenen Satzkontext. Zu diesem Zweck wurden 15 gesunde Proban- den mithilfe von repetitiver transkranieller Magnetstimulation (rTMS) in einem Sprach- verständnisexperiment untersucht. So konnte die funktionelle Relevanz der genannten Hirnregion in Abhängigkeit der Signalqualität des gehörten Satzes und des semanti- schen Kontextes untersucht werden. Zielparameter waren dabei der Anteil der korrekt wiederholten Wörter und Schlüsselwörter des Satzes sowie die Reaktionsgeschwindigkeit.