Orientadores: Fernando Antonio Campos Gomide, Marcos Eduardo Ribeiro do Valle Mesquita / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-26T08:06:32Z (GMT). No. of bitstreams: 1
Rosa_RaulArthurFernandes_M.pdf: 8750754 bytes, checksum: 0535142e4de0e75e311aea59a977386e (MD5)
Previous issue date: 2014 / Resumo: Esta dissertação estuda uma classe de redes neurais evolutivas para modelagem de sistemas a partir de um fluxo de dados. Esta classe é caracterizada por redes evolutivas com estruturas feedforward e uma camada intermediária cujo número de neurônios é variável e determinado durante a modelagem. A aprendizagem consiste em utilizar métodos de agrupamento para estimar o número de neurônios na camada intermediária e algoritmos de aprendizagem extrema para determinar os pesos da camada intermediária e de saída da rede. Neste caso, as redes neurais são chamadas de redes neurais evolutivas. Um caso particular de redes evolutivas é quando o número de neurônios da camada intermediária é determinado a priori, mantido fixo, e somente os pesos da camada intermediária e de saída da rede são atualizados de acordo com dados de entrada. Os algoritmos de agrupamento e de aprendizagem extrema que compõem os métodos evolutivos são recursivos, pois a aprendizagem ocorre de acordo com o processamento de um fluxo de dados. Em particular, duas redes neurais evolutivas são propostas neste trabalho. A primeira é uma rede neural nebulosa híbrida evolutiva. Os neurônios da camada intermediária desta rede são unineurônios, neurônios nebulosos com processamento sináptico realizado por uninormas. Os neurônios da camada de saída são sigmoidais. Um algoritmo recursivo de agrupamento baseado em densidade, chamado de nuvem, é utilizado para particionar o espaço de entrada-saída do sistema e estimar o número de neurônios da camada intermediária da rede; a cada nuvem corresponde um neurônio. Os pesos da rede neural nebulosa híbrida são determinados utilizando a máquina de aprendizado extremo com o algoritmo quadrados mínimos recursivo ponderado. O segundo tipo de rede proposto neste trabalho é uma rede neural multicamada evolutiva com neurônios sigmoidais na camada intermediária e de saída. Similarmente à rede híbrida, nuvens particionam o espaço de entrada-saída do sistema e são utilizadas para estimar o número de neurônios da camada intermediária. O algoritmo para determinar os pesos da rede é a mesma versão recursiva da máquina de aprendizado extremo. Além das redes neurais evolutivas, sugere-se também uma variação da rede adaptativa OS-ELM (online sequential extreme learning machine) mantendo o número de neurônios na camada intermediária fixo e introduzindo neurônios sigmoidais na camada de saída. Neste caso, a aprendizagem usa o algoritmo dos quadrados mínimos recursivo ponderado no aprendizado extremo. As redes foram analisadas utilizando dois benchmarks clássicos: identificação de forno a gás com o conjunto de dados de Box-Jenkins e previsão de série temporal caótica de Mackey-Glass. Dados sintéticos foram gerados para analisar as redes neurais na modelagem de sistemas com parâmetros e estrutura variantes no tempo (concept drif e concept shift). Os desempenhos foram quantificados usando a raiz quadrada do erro quadrado médio e avaliados com o teste estatístico de Deibold-Mariano. Os desempenhos das redes neurais evolutivas e da rede adaptativa foram comparados com os desempenhos da rede neural com aprendizagem extrema e dos métodos de modelagem evolutivos representativos do estado da arte. Os resultados mostram que as redes neurais evolutivas sugeridas neste trabalho são competitivas e têm desempenhos similares ou superiores às abordagens evolutivas propostas na literatura / Abstract: Abstract: This dissertation studies a class of evolving neural networks for system modeling from data streams. The class encompasses single hidden layer feedforward neural networks with variable and online de nition of the number of hidden neurons. Evolving neural network learning uses clustering methods to estimate the number of hidden neurons simultaneously with extreme learning algorithms to compute the weights of the hidden and output layers. A particular case is when the evolving network keeps the number of hidden neurons xed. In this case, the number of hidden neurons is found a priori, and the hidden and output layer weights updated as data are input. Clustering and extreme learning algorithms are recursive. Therefore, the learning process may occur online or real-time using data stream as input. Two evolving neural networks are suggested in this dissertation. The rst is na evolving hybrid fuzzy neural network with unineurons in the hidden layer. Unineurons are fuzzy neurons whose synaptic processing is performed using uninorms. The output neurons are sigmoidals. A recursive clustering algorithm based on density and data clouds is used to granulate the input-output space, and to estimate the number of hidden neurons of the network. Each cloud corresponds to a hidden neuron. The weights of the hybrid fuzzy neural network are found using the extreme learning machine and the weighted recursive least squares algorithm. The second network is an evolving multilayer neural network with sigmoidal hidden and output neurons. Like the hybrid neural fuzzy network, clouds granulate the input-output space and gives the number of hidden neurons. The algorithm to compute the network weights is the same recursive version of the extreme learning machine. A variation of the adaptive OS-ELM (online sequential extreme learning machine) network is also suggested. Similarly as the original, the new OS-ELM xes the number of hidden neurons, but uses sigmoidal instead of linear neurons in the output layer. The new OS-ELM also uses weighted recursive least square.The hybrid and neural networks were evaluated using two classic benchmarks: the gas furnace identi cation using the Box-Jenkins data, and forecasting of the chaotic Mackey-Glass time series. Synthetic data were produced to evaluate the neural networks when modeling systems with concept drift and concept shift. This a modeling circumstance in which system structure and parameters change simultaneously. Evaluation was done using the root mean square error and the Deibold-Mariano statistical test. The performance of the evolving and adaptive neural networks was compared against neural network with extreme learning, and evolving modeling methods representative of the current state of the art. The results show that the evolving neural networks and the adaptive network suggested in this dissertation are competitive and have similar or superior performance than the evolving approaches proposed in the literature / Mestrado / Engenharia de Computação / Mestre em Engenharia Elétrica
| Identifer | oai:union.ndltd.org:IBICT/oai:repositorio.unicamp.br:REPOSIP/259065 |
| Date | 26 August 2018 |
| Creators | Rosa, Raul Arthur Fernandes, 1989- |
| Contributors | UNIVERSIDADE ESTADUAL DE CAMPINAS, Mesquita, Marcos Eduardo Ribeiro do Valle, 1979-, Gomide, Fernando Antonio Campos, 1951-, Hell, Michel Bortolini, Attux, Romis Ribeiro de Faissol |
| Publisher | [s.n.], Universidade Estadual de Campinas. Faculdade de Engenharia Elétrica e de Computação, Programa de Pós-Graduação em Engenharia Elétrica |
| Source Sets | IBICT Brazilian ETDs |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Format | 97 f. : il., application/pdf |
| Source | reponame:Repositório Institucional da Unicamp, instname:Universidade Estadual de Campinas, instacron:UNICAMP |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0019 seconds