Perceptrons são redes neurais sem retroalimentação onde os neurônios estão dispostos em camadas. O perceptron considerado neste trabalho consiste de uma camada de N neurônios sensores Si = ±1; i = 1, , N ligados a um neurônio motor δ através das conexões sinápticas (pesos) Wi; i = 1, ..., N cujos valores restringimos a ±1. Utilizando o formalismo de Mecânica Estatística desenvolvido por Gardner (1988), estudamos os efeitos de eliminarmos uma fração de conexões sinápticas (diluição ) nas capacidades de memorização e generalização da rede neural descrita acima. Consideramos também o efeito de ruído atuando durante o estágio de treinamento do perceptron. Consideramos dois tipos de diluição: diluição móvel na qual os pesos são cortados de maneira a minimizar o erro de treinamento e diluição fixa na qual os pesos são cortados aleatoriamente. A diluição móvel, que modela lesões em cérebro de pacientes muito jovens, pode melhorar a capacidade de memorização e, no caso da rede ser treinada com ruído, também pode melhorar a capacidade de generalização. Por outro lado, a diluição fixa, que modela lesões em cérebros de pacientes adultos, sempre degrada o desempenho da rede, sendo seu principal efeito introduzir um ruído efetivo nos exemplos de treinamento. / Perceptrons are layered, feed-forward neural networks. In this work we consider a per-ceptron composed of one input layer with N sensor neurons Si = ±1; i = 1, ... , N which are connected to a single motor neuron δ through the synaptic weights Wj; i = 1, ... , N, which are constrained to take on the values ±1 only. Using the Statistical Mechanics formalism developed by Gardner (1988), we study the effects of eliminating a fraction of synaptic weights on the memorization and generalization capabilities of the neural network described above. We consider also the effects of noise acting during the perceptron training stage. We consider two types of dilution: annealed dilution, where the weights are cut so as to minimize the training error and quenched dilution, where the weights are cut randomly. The annealed dilution which models brain damage in very young patients can improve the memorization ability and, in the case of training with noise, it can also improve the generalization ability. On the other hand, the quenched dilution which models lesions on adult brains always degrades the performance of the network, its main effect being to introduce an effective noise in the training examples.
| Identifer | oai:union.ndltd.org:IBICT/oai:teses.usp.br:tde-05092008-144618 |
| Date | 08 September 1993 |
| Creators | Daniela Maria Lemos Barbato |
| Contributors | Jose Fernando Fontanari, Nestor Felipe Caticha Alfonso, Sylvio Goulart Rosa Junior |
| Publisher | Universidade de São Paulo, Física, USP, BR |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Source | reponame:Biblioteca Digital de Teses e Dissertações da USP, instname:Universidade de São Paulo, instacron:USP |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0074 seconds