In many areas of knowledge, considerable amounts of time have been spent to comprehend and to treat noisy data, one of the most common problems regarding information collection, transmission and storage. These noisy data, when used for training Machine Learning techniques, lead to increased complexity in the induced classification models, higher processing time and reduced predictive power. Treating them in a preprocessing step may improve the data quality and the comprehension of the problem. This Thesis aims to investigate the use of data complexity measures capable to characterize the presence of noise in datasets, to develop new efficient noise ltering techniques in such subsamples of problems of noise identification compared to the state of art and to recommend the most properly suited techniques or ensembles for a specific dataset by meta-learning. Both artificial and real problem datasets were used in the experimental part of this work. They were obtained from public data repositories and a cooperation project. The evaluation was made through the analysis of the effect of artificially generated noise and also by the feedback of a domain expert. The reported experimental results show that the investigated proposals are promising. / Em diversas áreas do conhecimento, um tempo considerável tem sido gasto na compreensão e tratamento de dados ruidosos. Trata-se de uma ocorrência comum quando nos referimos a coleta, a transmissão e ao armazenamento de informações. Esses dados ruidosos, quando utilizados na indução de classificadores por técnicas de Aprendizado de Maquina, aumentam a complexidade da hipótese obtida, bem como o aumento do seu tempo de indução, além de prejudicar sua acurácia preditiva. Trata-los na etapa de pré-processamento pode significar uma melhora da qualidade dos dados e um aumento na compreensão do problema estudado. Esta Tese investiga medidas de complexidade capazes de caracterizar a presença de ruídos em um conjunto de dados, desenvolve novos filtros que sejam mais eficientes em determinados nichos do problema de detecção e remoção de ruídos que as técnicas consideradas estado da arte e recomenda as mais apropriadas técnicas ou comitês de técnicas para um determinado conjunto de dados por meio de meta-aprendizado. As bases de dados utilizadas nos experimentos realizados neste trabalho são tanto artificiais quanto reais, coletadas de repositórios públicos e fornecidas por projetos de cooperação. A avaliação consiste tanto da adição de ruídos artificiais quanto da validação de um especialista. Experimentos realizados mostraram o potencial das propostas investigadas.

In many areas of knowledge, considerable amounts of time have been spent to comprehend and to treat noisy data, one of the most common problems regarding information collection, transmission and storage. These noisy data, when used for training Machine Learning techniques, lead to increased complexity in the induced classification models, higher processing time and reduced predictive power. Treating them in a preprocessing step may improve the data quality and the comprehension of the problem. This Thesis aims to investigate the use of data complexity measures capable to characterize the presence of noise in datasets, to develop new efficient noise ltering techniques in such subsamples of problems of noise identification compared to the state of art and to recommend the most properly suited techniques or ensembles for a specific dataset by meta-learning. Both artificial and real problem datasets were used in the experimental part of this work. They were obtained from public data repositories and a cooperation project. The evaluation was made through the analysis of the effect of artificially generated noise and also by the feedback of a domain expert. The reported experimental results show that the investigated proposals are promising. / Em diversas áreas do conhecimento, um tempo considerável tem sido gasto na compreensão e tratamento de dados ruidosos. Trata-se de uma ocorrência comum quando nos referimos a coleta, a transmissão e ao armazenamento de informações. Esses dados ruidosos, quando utilizados na indução de classificadores por técnicas de Aprendizado de Maquina, aumentam a complexidade da hipótese obtida, bem como o aumento do seu tempo de indução, além de prejudicar sua acurácia preditiva. Trata-los na etapa de pré-processamento pode significar uma melhora da qualidade dos dados e um aumento na compreensão do problema estudado. Esta Tese investiga medidas de complexidade capazes de caracterizar a presença de ruídos em um conjunto de dados, desenvolve novos filtros que sejam mais eficientes em determinados nichos do problema de detecção e remoção de ruídos que as técnicas consideradas estado da arte e recomenda as mais apropriadas técnicas ou comitês de técnicas para um determinado conjunto de dados por meio de meta-aprendizado. As bases de dados utilizadas nos experimentos realizados neste trabalho são tanto artificiais quanto reais, coletadas de repositórios públicos e fornecidas por projetos de cooperação. A avaliação consiste tanto da adição de ruídos artificiais quanto da validação de um especialista. Experimentos realizados mostraram o potencial das propostas investigadas.

Submitted by Renata Lopes (renatasil82@gmail.com) on 2017-04-24T15:28:35Z No. of bitstreams: 1 paolajohanasaboyalopez.pdf: 1042873 bytes, checksum: a46dd95de00e062cba39ef4b9b642462 (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-04-24T17:09:24Z (GMT) No. of bitstreams: 1 paolajohanasaboyalopez.pdf: 1042873 bytes, checksum: a46dd95de00e062cba39ef4b9b642462 (MD5) / Made available in DSpace on 2017-04-24T17:09:24Z (GMT). No. of bitstreams: 1 paolajohanasaboyalopez.pdf: 1042873 bytes, checksum: a46dd95de00e062cba39ef4b9b642462 (MD5) Previous issue date: 2013-06-03 / A presente dissertação tem por objetivo propor e avaliar cinco técnicas de detecção de ruídos impulsivos para a melhoria da transmissão digital de dados via redes de energia elétrica (do inglês, Power Line Communications) (PLC). As técnicas propostas contemplam a detecção de ruídos impulsivos no domínio do tempo discreto, no domínio da transformada wavelet discreta (do inglês, Discrete Wavelet Transform) (DWT) e no domínio da transformada discreta de Fourier (do inglês, Discrete Fourier Transform) (DFT). Tais técnicas fazem uso de métodos de extração e seleção de características, assim como métodos de detecção de sinais baseados na teoria de Bayes e redes neurais. Análises comparativas explicitam as vantagens e desvantagens de cada uma das técnicas propostas para o problema em questão, e ainda indicam que estas são bastante adequadas para a solução do mesmo. / This dissertation aims to propose and evaluate five techniques for impulsive noise detection in order to improve digital communications through power line channels. The imput signals for the proposed detection techniques are impulsive noise signals on discrete-time domain, on the Discrete Wavelet Transform domain and on the Discrete Fourier Transform domain and it makes use of feature extraction and selection techniques, as well as detection techniques supported on Bayes Theory and Multi-layer Perceptron Neural Networks. Comparative analysis show some advantages and disadvantages of each proposed technique and the relevance of them to solve the impulsive noise detection problem.