Orientador: Fernando José Von Zuben / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-26T07:59:40Z (GMT). No. of bitstreams: 1
Kulaif_AndreaCarolinaPeres_M.pdf: 1163458 bytes, checksum: ce006fc65c25e72acbf0a2efeb2a3450 (MD5)
Previous issue date: 2014 / Resumo: Máquinas de Aprendizado Extremo (ELMs, do inglês Extreme Learning Machines) são redes neurais com uma camada de entrada, uma camada intermediária e uma camada de saída. Sua arquitetura é equivalente à do perceptron de múltiplas camadas (MLP, do inglês Multilayer Perceptron), mas os pesos e o número de neurônios da camada intermediária em ELMs são definidos arbitrariamente e a priori, enquanto os pesos da camada de saída são os únicos parâmetros ajustáveis durante o processo de treinamento supervisionado. O ajuste desses pesos da camada de saída leva a um problema de otimização linear, responsável pelo fato de o treinamento de uma ELM ser ao menos uma ordem de magnitude mais rápido do que o treinamento de uma MLP. No entanto, o desempenho das ELMs é bastante influenciado pelo grau de regularização adotado no ajuste dos pesos da camada de saída. Além disso, por serem definidos de forma arbitrária e não estarem susceptíveis a treinamento, geralmente opera-se com um número elevado de neurônios na camada intermediária, sendo muito comum a presença de neurônios redundantes e pouco funcionais, de modo que sua extração não compromete o desempenho da rede neural como um todo. Em vista desse cenário, esta dissertação apresenta contribuições, junto a ELMs voltadas para tarefas de regressão, em duas frentes principais: (1) Definição de um grau apropriado de regularização no cálculo dos pesos da camada de saída de ELMs; e (2) Ajuste do número de neurônios na camada intermediária, pela extração automática de neurônios redundantes ou pouco funcionais. Mostra-se neste trabalho que, diferentemente do que é praticado na literatura, o grau de regularização mais indicado para uma ELM não varia apenas entre problemas de regressão distintos, mas dentro do mesmo problema de regressão, ainda que se mantenha constante o número de neurônios na camada intermediária. Uma vez detectada a necessidade do ajuste do grau de regularização a cada configuração de ELM, propõe-se aqui uma busca unidimensional mais refinada do que aquela já existente na literatura. Quanto à proposta apresentada para definição do número de neurônios na camada intermediária, faz-se uma análise do espaço de características gerado pelos neurônios dessa camada e aplica-se poda de neurônios que pouco ou nada contribuem para gerar este espaço de características. Além disso, propõe-se o emprego de LASSO e Elastic Net como técnicas de regularização, as quais promovem poda adicional de neurônios que não contribuem para a tarefa de regressão. Para as duas contribuições do trabalho, são apresentados resultados experimentais e comparações com outras propostas da literatura. Há um aumento de custo computacional com as propostas deste trabalho, mas é expressivo o ganho em desempenho em alguns cenários / Abstract: Extreme learning machines are neural networks composed of one input layer, one hidden layer, and one output layer. Their architecture is equivalent to the one of the multilayer perceptron, but the weights and the number of hidden neurons in ELMs are defined a priori and in an arbitrary manner, while the weights at the output layer are the only adjustable parameters during supervised learning. The adjustment of the weights at the output layer leads to a linear optimization problem, responsible for the fact that the training of an ELM be at least one order of magnitude faster than training an MLP. However, the performance of ELMs is greatly influenced by the regularization degree adopted when setting the weights of the output layer. Moreover, by being arbitrarily defined and not susceptible to learning, it is usual to adopt a large number of neurons in the hidden layer, thus promoting the presence of redundant and poorly functional neurons, so that their extraction does not compromise the neural network performance as a whole. Under those circumstances, this dissertation presents contributions to ELMs devoted to regression problems on two main fronts: (1) Definition of a proper degree of regularization when computing the weights at the output layer of ELMs; and (2) Adjustment of the number of neurons at the hidden layer, by the automatic extraction of redundant or poorly functional neurons. It is shown in this work that, different from what is done in the literature, the most suitable degree of regularization for an ELM varies not only among different regression problems, but within the same regression problem and even if it is kept constant the number of neurons at the hidden layer. Once detected the need for adjustment of the degree of regularization for each ELM configuration, it is proposed here a one-dimensional search endowed with more refined steps than that available in the literature. Regarding the proposal to properly define the number of neurons in the hidden layer, an analysis of the feature space generated by neurons in the hidden layer is performed and neurons with no or even a shallow contribution to span the feature space are pruned. Furthermore, the use of LASSO and Elastic Net as regularization techniques are proposed here, which promotes additional pruning of neurons that do not contribute to the regression task. For both contributions of this work, experimental results and comparisons with other proposals in the literature are presented. There is an increase in the computational cost with the proposals of this work, but it is significant the gain in performance in some scenarios / Mestrado / Engenharia de Computação / Mestra em Engenharia Elétrica
| Identifer | oai:union.ndltd.org:IBICT/oai:repositorio.unicamp.br:REPOSIP/259075 |
| Date | 26 August 2018 |
| Creators | Kulaif, Andrea Carolina Peres, 1988- |
| Contributors | UNIVERSIDADE ESTADUAL DE CAMPINAS, Von Zuben, Fernando José, 1968-, Zuben, Fernando José Von, 1968-, Coelho, Guilherme Palermo, Attux, Romis Ribeiro de Faissol |
| Publisher | [s.n.], Universidade Estadual de Campinas. Faculdade de Engenharia Elétrica e de Computação, Programa de Pós-Graduação em Engenharia Elétrica |
| Source Sets | IBICT Brazilian ETDs |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Format | 45 f. : il., application/pdf |
| Source | reponame:Repositório Institucional da Unicamp, instname:Universidade Estadual de Campinas, instacron:UNICAMP |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0205 seconds