Orientadores: Romis Ribeiro de Faissol Attux, Jugurta Rosa Montalvão Filho / Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-23T23:31:44Z (GMT). No. of bitstreams: 1 Silva_DanielGuerreiroe_D.pdf: 5960509 bytes, checksum: febb8228109537e82dfcce66fca8aae8 (MD5) Previous issue date: 2013 / Resumo: Esta tese de doutorado possui como tema geral o desenvolvimento de algoritmos de Aprendizado de Máquina Baseado na Teoria da Informação (ITL - Information Theoretic Learning). O paradigma de ITL propõe o uso de critérios de treinamento baseados em medidas como entropia e informação mútua, em substituição aos tradicionais critérios baseados em estatísticas de segunda ordem. Os problemas de inversão cega de sistemas de Wiener e separação cega de sinais em corpos de Galois são os objetos de estudo e desenvolvimento dessas ferramentas. Estes problemas apresentam características marcantes quanto à necessidade de descritores estatísticos de ordem superior, por isso, apresenta-se uma série de contribuições que se baseiam em critérios de ITL e empregam algoritmos imuno-inspirados (ou heurísticas de busca) para adaptar os parâmetros dos modelos envolvidos. As propostas desenvolvidas abrem a perspectiva de futuras aplicações em áreas como genômica, codificação e geofísica. Espera-se também que os resultados apresentados fortaleçam um entendimento mais amplo de ITL, a fim de abranger estratégias mais genéricas de busca, de estimação de informação e de modelagem de dados / Abstract: The main theme of this thesis is the development of Information Theoretic Learning (ITL) algorithms. The ITL paradigm proposes the adoption of training criteria based on information measures such as entropy and mutual information, instead of traditional criteria based on second order statistics. The problems of blind inversion of Wiener systems and blind separation of signals over Galois fields are the tasks over which these tools are applied. Such problems present key aspects that establish a demand for higher order statistics, hence we present several contributions that are based on ITL criteria and employ immune-inspired algorithms (or heuristic-based methods) to perform the adaptation of the parameters of each related model. The developed proposals open the perspective of future applications in genomic, coding theory and geophysics. Furthermore, we expect that the presented results support a wider understanding of ITL, in order to comprise more general strategies of search, information estimation and data modeling / Doutorado / Engenharia de Computação / Doutor em Engenharia Elétrica

Este trabalho estuda o modelo de análise em componentes independentes (ICA) para misturas instantâneas, aplicado na separação de sinais de áudio. Três algoritmos de separação de misturas instantâneas são avaliados: FastICA, PP (Projection Pursuit) e PearsonICA; possuindo dois princípios básicos em comum: as fontes devem ser independentes estatisticamente e não-Gaussianas. Para analisar a capacidade de separação dos algoritmos foram realizados dois grupos de experimentos. No primeiro grupo foram geradas misturas instantâneas, sinteticamente, a partir de sinais de áudio pré-definidos. Além disso, foram geradas misturas instantâneas a partir de sinais com características específicas, também geradas sinteticamente, para avaliar o comportamento dos algoritmos em situações específicas. Para o segundo grupo foram geradas misturas convolutivas no laboratório de acústica do LPS. Foi proposto o algoritmo PP, baseado no método de Busca de Projeções comumente usado em sistemas de exploração e classificação, para separação de múltiplas fontes como alternativa ao modelo ICA. Embora o método PP proposto possa ser utilizado para separação de fontes, ele não pode ser considerado um método ICA e não é garantida a extração das fontes. Finalmente, os experimentos validam os algoritmos estudados. / This work studies Independent Component Analysis (ICA) for instantaneous mixtures, applied to audio signal (source) separation. Three instantaneous mixture separation algorithms are considered: FastICA, PP (Projection Pursuit) and PearsonICA, presenting two common basic principles: sources must be statistically independent and non-Gaussian. In order to analyze each algorithm separation capability, two groups of experiments were carried out. In the first group, instantaneous mixtures were generated synthetically from predefined audio signals. Moreover, instantaneous mixtures were generated from specific signal generated with special features, synthetically, enabling the behavior analysis of the algorithms. In the second group, convolutive mixtures were probed in the acoustics laboratory of LPS at EPUSP. The PP algorithm is proposed, based on the Projection Pursuit technique usually applied in exploratory and clustering environments, for separation of multiple sources as an alternative to conventional ICA. Although the PP algorithm proposed could be applied to separate sources, it couldnt be considered an ICA method, and source extraction is not guaranteed. Finally, experiments validate the studied algorithms.

Um Sistema Elétrico de Potência (SEP) está susceptível à presença de diversas fontes de distúrbios que prejudicam a Qualidade da Energia Elétrica (QEE). Desta forma, as suas tensões e/ou correntes podem conter m´múltiplos distúrbios com ocorrência simultânea. Este trabalho apresenta uma metodologia para decomposição do sinal medido em componentes que estimem as formas de onda dos distúrbios individuais quando da ocorrência de m´múltiplos distúrbios, com o posterior reconhecimento de cada um deles. A Análise de Componentes Independentes (ICA) é utilizada como principal ferramenta na etapa de decomposição dos distúrbios. A ICA é originalmente uma t´técnica aplicada em análise multivariada de dados, o que significa que ela necessita de medições realizadas por múltiplos sensores dispostos em diferentes posições de um sistema. No entanto, este trabalho propõe a sua aplicação tendo disponível apenas um sinal medido. Para tanto, são propostos dois métodos para produzir a diversidade necessária para a t´técnica funcionar adequadamente. É demonstrado que ambos os métodos equivalem a um banco de filtros lineares adaptativos capaz de realizar a separação não-supervisionada de múltiplos distúrbios independentes e que sejam espectralmente disjuntos. Por fim, é proposto um sistema de classificação que utiliza Redes Neurais Artificiais (RNAs) para identificar os distúrbios decompostos pela etapa anterior. A metodologia completa é avaliada por meio de testes utilizando dados sintéticos e reais, alcançando resultados altamente satisfatórios para decomposição de sinais contendo múltiplos distúrbios e taxas de acerto globais dos classificadores superiores a 97% / The power system is susceptible to the presence of several sources of disturbances that harm the power quality. In this sense, its voltages and/or currents may contain multiple disturbances with simultaneous occurrence. This work presents a methodology that decomposes the measured signal in components which estimate the waveforms of the individual disturbances followed by their recognition when a multiple disturbance situation occurs. The Independent Component Analysis (ICA) is the main tool in the disturbance decomposition stage. The ICA is originally a technique applied in multivariate data analysis, which means that it requires measurements from multiple sensors allocated in different positions of the system. However, this work proposes its application for a single measured signal available. For this, two methods were developed in order to provide the required diversity to the ICA technique. It is demonstrated that both methods are equivalent to an adaptive linear filter bank capable to perform an unsupervised separation of multiple independent disturbances, if they are spectrally disjoint. A classification system based on artificial neural networks is proposed to identify the disturbances decomposed by the previous stage. The complete system is tested using synthetic and actual data, presenting highly satisfactory results for the decomposition of signals containing multiple disturbances, and precision for the classification task above 97%

Um Sistema Elétrico de Potência (SEP) está susceptível à presença de diversas fontes de distúrbios que prejudicam a Qualidade da Energia Elétrica (QEE). Desta forma, as suas tensões e/ou correntes podem conter m´múltiplos distúrbios com ocorrência simultânea. Este trabalho apresenta uma metodologia para decomposição do sinal medido em componentes que estimem as formas de onda dos distúrbios individuais quando da ocorrência de m´múltiplos distúrbios, com o posterior reconhecimento de cada um deles. A Análise de Componentes Independentes (ICA) é utilizada como principal ferramenta na etapa de decomposição dos distúrbios. A ICA é originalmente uma t´técnica aplicada em análise multivariada de dados, o que significa que ela necessita de medições realizadas por múltiplos sensores dispostos em diferentes posições de um sistema. No entanto, este trabalho propõe a sua aplicação tendo disponível apenas um sinal medido. Para tanto, são propostos dois métodos para produzir a diversidade necessária para a t´técnica funcionar adequadamente. É demonstrado que ambos os métodos equivalem a um banco de filtros lineares adaptativos capaz de realizar a separação não-supervisionada de múltiplos distúrbios independentes e que sejam espectralmente disjuntos. Por fim, é proposto um sistema de classificação que utiliza Redes Neurais Artificiais (RNAs) para identificar os distúrbios decompostos pela etapa anterior. A metodologia completa é avaliada por meio de testes utilizando dados sintéticos e reais, alcançando resultados altamente satisfatórios para decomposição de sinais contendo múltiplos distúrbios e taxas de acerto globais dos classificadores superiores a 97% / The power system is susceptible to the presence of several sources of disturbances that harm the power quality. In this sense, its voltages and/or currents may contain multiple disturbances with simultaneous occurrence. This work presents a methodology that decomposes the measured signal in components which estimate the waveforms of the individual disturbances followed by their recognition when a multiple disturbance situation occurs. The Independent Component Analysis (ICA) is the main tool in the disturbance decomposition stage. The ICA is originally a technique applied in multivariate data analysis, which means that it requires measurements from multiple sensors allocated in different positions of the system. However, this work proposes its application for a single measured signal available. For this, two methods were developed in order to provide the required diversity to the ICA technique. It is demonstrated that both methods are equivalent to an adaptive linear filter bank capable to perform an unsupervised separation of multiple independent disturbances, if they are spectrally disjoint. A classification system based on artificial neural networks is proposed to identify the disturbances decomposed by the previous stage. The complete system is tested using synthetic and actual data, presenting highly satisfactory results for the decomposition of signals containing multiple disturbances, and precision for the classification task above 97%

Submitted by Rosivalda Pereira (mrs.pereira@ufma.br) on 2017-08-14T18:15:08Z No. of bitstreams: 1 DanielCosta.pdf: 1087754 bytes, checksum: ada5f863f42efd8298fff788c37bded3 (MD5) / Made available in DSpace on 2017-08-14T18:15:08Z (GMT). No. of bitstreams: 1 DanielCosta.pdf: 1087754 bytes, checksum: ada5f863f42efd8298fff788c37bded3 (MD5) Previous issue date: 2008-02-25 / Female breast cancer is the major cause of death in western countries. Efforts in Computer Vision have been made in order to add improve the diagnostic accuracy by radiologists. In this work, we present a methodology that uses independent component analysis (ICA) along with support vector machine (SVM) and linear discriminant analysis (LDA) to distinguish between mass or non-mass and benign or malign tissues from mammograms. As a result, it was found that: LDA reaches 90,11% of accuracy to discriminante between mass or non-mass and 95,38% to discriminate between benign or malignant tissues in DDSM database and in mini-MIAS database we obtained 85% to discriminate between mass or non-mass and 92% of accuracy to discriminate between benign or malignant tissues; SVM reaches 99,55% of accuracy to discriminate between mass or non-mass and the same percentage to discriminate between benign or malignat tissues in DDSM database whereas, and in MIAS database it was obtained 98% to discriminate between mass or non-mass and 100% to discriminate between benign or malignant tissues. / Câncer de mama feminino é o câncer que mais causa morte nos países ocidentais. Esforços em processamento de imagens foram feitos para melhorar a precisão dos diagnósticos por radiologistas. Neste trabalho, nós apresentamos uma metodologia que usa análise de componentes independentes (ICA) junto com análise discriminante linear (LDA) e máquina de vetor de suporte (SVM) para distinguir as imagens entre nódulos ou não-nódulos e os tecidos em benignos ou malignos. Como resultado, obteve-se com LDA 90,11% de acurácia na discriminação entre nódulo ou não-nódulo e 95,38% na discriminação de tecidos benignos ou malignos na base de dados DDSM. Na base de dados mini- MIAS, obteve-se 85% e 92% na discriminação entre nódulos ou não-nódulos e tecidos benignos ou malignos respectivamente. Com SVM, alcançou-se uma taxa de até 99,55% na discriminação de nódulos ou não-nódulos e a mesma porcentagem na discriminação entre tecidos benignos ou malignos na base de dados DDSM enquanto que na base de dados mini-MIAS, obteve-se 98% e até 100% na discriminação de nódulos ou não-nódulos e tecidos benignos ou malignos, respectivamente.

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / Monitoring of process control systems is extremely important for industries to ensure the quality of the product and the safety of the process. Predictive controllers, also known by MPC (Model Predictive Control), usually has a well performance initially. However, after a period, many factors contribute to the deterioration of its performance. This highlights the importance of monitoring the MPC control systems. In this work, tools based on multivariate statistical methods are discussed and applied to the problem of monitoring and Performance Assessment of predictive controllers. The methods presented here are: PCA (Principal Component Analysis) and ICA (Independent Component Analysis). Both are techniques that use data collected directly from the process. The first is widely used in Performance Assessment of predictive controllers. The second is a more recent technique that has arisen, mainly in order to be used in fault detection systems. The analyzes are made when applied in simulated processes characteristic of the petrochemical industry operating under MPC control. / O monitoramento de sistemas de controle de processos é extremamente importante no que diz respeito às indústrias, para garantir a qualidade do que é produzido e a segurança do processo. Os controladores preditivos, também conhecidos pela sigla em inglês MPC (Model Predictive Control), costumam ter um bom desempenho inicialmente. Entretanto, após um certo período, muitos fatores contribuem para a deterioração de seu desempenho. Isto evidencia a importância do monitoramento dos sistemas de controle MPC. Neste trabalho aborda-se ferramentas, baseada em métodos estatísticos multivariados, aplicados ao problema de monitoramento e avaliação de desempenho de controladores preditivos. Os métodos aqui apresentados são: o PCA (Análise por componentes principais) e o ICA (Análise por componentes independentes). Ambas são técnicas que utilizam dados coletados diretamente do processo. O primeiro é largamente utilizado na avaliação de desempenho de controladores preditivos. Já o segundo, é uma técnica mais recente que surgiu, principalmente, com o intuito de ser utilizado em sistemas de detecção de falhas. As análises são feitas quando aplicadas em processos simulados característicos da indústria petroquímica operando sob controle MPC.

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / Monitoring of process control systems is extremely important for industries to ensure the quality of the product and the safety of the process. Predictive controllers, also known by MPC (Model Predictive Control), usually has a well performance initially. However, after a period, many factors contribute to the deterioration of its performance. This highlights the importance of monitoring the MPC control systems. In this work, tools based on multivariate statistical methods are discussed and applied to the problem of monitoring and Performance Assessment of predictive controllers. The methods presented here are: PCA (Principal Component Analysis) and ICA (Independent Component Analysis). Both are techniques that use data collected directly from the process. The first is widely used in Performance Assessment of predictive controllers. The second is a more recent technique that has arisen, mainly in order to be used in fault detection systems. The analyzes are made when applied in simulated processes characteristic of the petrochemical industry operating under MPC control. / O monitoramento de sistemas de controle de processos é extremamente importante no que diz respeito às indústrias, para garantir a qualidade do que é produzido e a segurança do processo. Os controladores preditivos, também conhecidos pela sigla em inglês MPC (Model Predictive Control), costumam ter um bom desempenho inicialmente. Entretanto, após um certo período, muitos fatores contribuem para a deterioração de seu desempenho. Isto evidencia a importância do monitoramento dos sistemas de controle MPC. Neste trabalho aborda-se ferramentas, baseada em métodos estatísticos multivariados, aplicados ao problema de monitoramento e avaliação de desempenho de controladores preditivos. Os métodos aqui apresentados são: o PCA (Análise por componentes principais) e o ICA (Análise por componentes independentes). Ambas são técnicas que utilizam dados coletados diretamente do processo. O primeiro é largamente utilizado na avaliação de desempenho de controladores preditivos. Já o segundo, é uma técnica mais recente que surgiu, principalmente, com o intuito de ser utilizado em sistemas de detecção de falhas. As análises são feitas quando aplicadas em processos simulados característicos da indústria petroquímica operando sob controle MPC.

Na área de processamento de sinais biomédicos a extração de informação, baseada em um conjunto de medidas adquiridas no tempo, é considerada de suma importância. A qualidade desta informação extraída permite avaliar o funcionamento dos diversos órgãos. Objetivos: (1) propor o método de análise de componentes dependentes para auxiliar a extração de componentes de interesse, a partir de medidas multivariadas; (2) caraterizar as componentes extraídas através de representações em termos de tempo e freqüência, e espectro de potência; e, (3) aplicar o método e avaliar as componentes de interesse extraídas no contexto real MCGf, MGG e fMRI. A proposta para a extração fundamenta-se no método chamado de Análise de Componentes Dependentes ACD. As medidas a serem processadas são multivariadas a partir de sensores distribuídos, espacialmente, no corpo humano dando origem a um conjunto de dados correlacionados no tempo e/ou no espaço. Observa-se que os sinais de interesse raramente são registrados de forma isolada, e sim misturados com outros sinais superpostos, ruído e artefatos fisiológicos ou ambientais, onde a relação sinal-ruído é geralmente baixa. Nesse contexto, a estratégia a ser utilizada baseia-se na ACD, que permitirá extrair um pequeno número de fontes, de potencial interesse, com informações úteis. A estratégia ACD para extração de informação é aplicada em três importantes problemas, na área de processamento de sinais biomédicos: (1) detecção do sinal do feto em magnetocardiografia fetal (MCGf); (2) detecção da atividade de resposta elétrica do estômago em magnetogastrografia (MGG); e, (3) detecção de regiões ativas do cérebro em experimentos de imagens por ressonância magnética funcional (Functional Magnetic Resonance Imaging, fMRI). Os resultados, nos três casos estudados, mostraram que o método utilizado, como estratégia, é efetivo e computacionalmente eficiente para extração de sinais de interesse. Concluímos, baseados nas aplicações, que o método proposto é eficaz, mostrando seu potencial para futuras pesquisas clínicas._________________________________________________________________________________________ ABSTRACT: An important goal in biomedical signal processing is the extraction of information based on a set of physiological measurements made along time. Generally, biomedical signals are electromagnetic measurements. Those measurements (usually made with multichannel equipment) are registered using spatially distributed sensors around some areas of the human body, originating a set of time and/or space correlated data. The signals of interest are rarely registered alone, being usually observed as a mixture of other spurious, noisy signals (sometimes superimposed) and environmental or physiological artifacts. More over, the signal-to-noise ratio is generally low. In many applications, a big number of sensors are available, but just a few sources are of interest and the remainder can be considered noise. For such kind of applications, it is necessary to develop trustful, robust and effective learning algorithms that allow the extraction of only a few sources potentially of interest and that hold useful information. The strategy used here for extraction of sources is applied in three important problems in biomedical signal processing: (1) detection of the fetal magnetocardiogram signal (fMCG); (2) detection of the electrical activity of the stomach in magnetogastrograms (MGG); and (3) detection of active regions of the brain in experiments in functional Magnetic Resonance Imaging (fMRI). The results, within the three cases of study, showed that the DCA method used as strategy is effective and computationally efficient on extraction of desired signals.

Identify some digestive features in people through Electrogastrogram (EGG) is important because this is a cheap, non-invasive and less bother way than traditional endoscopy procedure. This work evaluates the learning behavior of Artificial Neural Networks (ANN) and Hidden Markov Model (HMM) on components extracted by Independent Component Analysis (ICA) algorithms. In this research, an experiment was made with statistical analysis that shows the relationship between neutral, negative or positive images and digestive reactions. Training some classifiers with an EGG signal database, where the emotional states of individuals are known during processing, would it be possible to carry out the other way? Meaning, just from the EGG signal, estimate the emotional state of individuals. The initial challenge is to treat the EGG signal, which is mixed with the signals from other organs such as heart and lung. For this, the FastICA and Tensorial Methods algorithms were used, in order to produce a set of independent components, where one can identify the stomach component. Then, the EGG signal classification is performed through ANN and HMM models. The results have shown that extracting only the stomach signal component before the experiment can reduce the learning error rate in classifiers. / Identificar características digestivas de pessoas através da Eletrogastrografia (EGG) é importante pois esta costuma ser uma opção barata, não-invasiva e incomoda menos que o tradicional procedimento de Endoscopia. Este trabalho avalia o comportamento do aprendizado das Redes Neurais Artificiais (RNA) e do Modelo Oculto de Markov (HMM) diante de componentes extraídas por algoritmos de Análise de Componentes Independentes (ICA). Nesta pesquisa é realizado um experimento com análise estatística cujo objetivo apresenta a relação entre a visualização de imagens neutras, negativas ou positivas e as reações digestivas. Treinando alguns classificadores com uma base de dados de sinais EGG, onde se conhece os estados emocionais dos indivíduos durante a sua obtenção, seria possível realizar o caminho inverso? Em outras palavras, apenas a partir dos sinais EGG, pode-se estimar o estado emocional de indivíduos? O desafio inicial é tratar o sinal EGG que encontra-se misturado aos sinais de outros órgãos como coração e pulmão. Para isto foi utilizado o algoritmo FastICA e os métodos tensoriais, com o intuito de produzir um conjunto de componentes independentes onde se possa identificar a componente do estômago. Em seguida, a classifição do sinal EGG é realizada por meio dos modelos de RNA e HMM. Os resultados mostraram que classificar apenas as componentes com mais presença da frequência do sinal do estômago pode reduzir a taxa de erro do aprendizado dos classificadores no experimento realizado.

Este trabalho estuda o modelo de análise em componentes independentes (ICA) para misturas instantâneas, aplicado na separação de sinais de áudio. Três algoritmos de separação de misturas instantâneas são avaliados: FastICA, PP (Projection Pursuit) e PearsonICA; possuindo dois princípios básicos em comum: as fontes devem ser independentes estatisticamente e não-Gaussianas. Para analisar a capacidade de separação dos algoritmos foram realizados dois grupos de experimentos. No primeiro grupo foram geradas misturas instantâneas, sinteticamente, a partir de sinais de áudio pré-definidos. Além disso, foram geradas misturas instantâneas a partir de sinais com características específicas, também geradas sinteticamente, para avaliar o comportamento dos algoritmos em situações específicas. Para o segundo grupo foram geradas misturas convolutivas no laboratório de acústica do LPS. Foi proposto o algoritmo PP, baseado no método de Busca de Projeções comumente usado em sistemas de exploração e classificação, para separação de múltiplas fontes como alternativa ao modelo ICA. Embora o método PP proposto possa ser utilizado para separação de fontes, ele não pode ser considerado um método ICA e não é garantida a extração das fontes. Finalmente, os experimentos validam os algoritmos estudados. / This work studies Independent Component Analysis (ICA) for instantaneous mixtures, applied to audio signal (source) separation. Three instantaneous mixture separation algorithms are considered: FastICA, PP (Projection Pursuit) and PearsonICA, presenting two common basic principles: sources must be statistically independent and non-Gaussian. In order to analyze each algorithm separation capability, two groups of experiments were carried out. In the first group, instantaneous mixtures were generated synthetically from predefined audio signals. Moreover, instantaneous mixtures were generated from specific signal generated with special features, synthetically, enabling the behavior analysis of the algorithms. In the second group, convolutive mixtures were probed in the acoustics laboratory of LPS at EPUSP. The PP algorithm is proposed, based on the Projection Pursuit technique usually applied in exploratory and clustering environments, for separation of multiple sources as an alternative to conventional ICA. Although the PP algorithm proposed could be applied to separate sources, it couldnt be considered an ICA method, and source extraction is not guaranteed. Finally, experiments validate the studied algorithms.