Perceptrons são redes neurais sem retroalimentação onde os neurônios estão dispostos em camadas. O perceptron considerado neste trabalho consiste de uma camada de N neurônios sensores Si = ±1; i = 1, , N ligados a um neurônio motor δ através das conexões sinápticas (pesos) Wi; i = 1, ..., N cujos valores restringimos a ±1. Utilizando o formalismo de Mecânica Estatística desenvolvido por Gardner (1988), estudamos os efeitos de eliminarmos uma fração de conexões sinápticas (diluição ) nas capacidades de memorização e generalização da rede neural descrita acima. Consideramos também o efeito de ruído atuando durante o estágio de treinamento do perceptron. Consideramos dois tipos de diluição: diluição móvel na qual os pesos são cortados de maneira a minimizar o erro de treinamento e diluição fixa na qual os pesos são cortados aleatoriamente. A diluição móvel, que modela lesões em cérebro de pacientes muito jovens, pode melhorar a capacidade de memorização e, no caso da rede ser treinada com ruído, também pode melhorar a capacidade de generalização. Por outro lado, a diluição fixa, que modela lesões em cérebros de pacientes adultos, sempre degrada o desempenho da rede, sendo seu principal efeito introduzir um ruído efetivo nos exemplos de treinamento. / Perceptrons are layered, feed-forward neural networks. In this work we consider a per-ceptron composed of one input layer with N sensor neurons Si = ±1; i = 1, ... , N which are connected to a single motor neuron δ through the synaptic weights Wj; i = 1, ... , N, which are constrained to take on the values ±1 only. Using the Statistical Mechanics formalism developed by Gardner (1988), we study the effects of eliminating a fraction of synaptic weights on the memorization and generalization capabilities of the neural network described above. We consider also the effects of noise acting during the perceptron training stage. We consider two types of dilution: annealed dilution, where the weights are cut so as to minimize the training error and quenched dilution, where the weights are cut randomly. The annealed dilution which models brain damage in very young patients can improve the memorization ability and, in the case of training with noise, it can also improve the generalization ability. On the other hand, the quenched dilution which models lesions on adult brains always degrades the performance of the network, its main effect being to introduce an effective noise in the training examples.

Perceptrons são redes neurais sem retroalimentação cujos os neurônios estão dispostos em camadas. O perceptron considerado neste trabalho consiste de uma camada de N neurônios sensores Si = 1; i = 1,.... N ligados a um único neurônio motor através das conexões sinápticas , Ji; i = 1, .... N. Utilizando o formalismo da Mecânica Estatística desenvolvido por Gardner e colaboradores, estudamos os efeitos da eliminação de uma fração dos pesos sinápticos (diluição) nas capacidades de aprendizado e generalização de dois tipos de perceptrons, a saber, o perceptron linear e o perceptron Booleano. No perceptron linear comparamos o desempenho de redes lesadas por diferentes tipos de diluição, que podem ocorrer durante ou após o processo de aprendizado. Essa comparação mostra que a estratégia de minimizar o erro de treinamento, não fornece o menor erro de generalização, além do que, dependendo do tamanho do conjunto de treinamento e do nível de ruído, os pesos menores podem se tornar os fatores mais importantes para o bom funcionamento da rede. No perceptron Booleano investigamos apenas o efeito da diluição após o término do aprendizado na capacidade de generalização da rede neural treinada com padrões ruidosos. Neste caso, apresentamos uma comparação entre os desempenhos relativos de cinco regras de aprendizado: regra de Hebb, pseudo-inversa, algoritmo de Gibbs, algoritmo de estabilidade ótima e algoritmo de Bayes. Em particular mostramos que a diluição sempre degrada o desempenho de generalização e o algoritmo de Bayes sempre fornece o menor erro de generalização. / Perceptrons are layered, feed-forward neural networks. In this work we consider a perceptron composed of one input layer with N sensor neurons Si = 1; i = 1,..., N which are connected to a single motor neuron a through the synaptic weights Ji; i = 1,..., N. Using the Statistical Mechanics formalism developed by Gardner and co-workers, we study the effects of eliminating a fraction of synaptic weights (dilution) on the learning and generalization capabilities of the two types of perceptrons, namely, the linear perceptron and the Boolean perceptron. In the linear perceptron we compare the performances of networks damaged by different types of dilution, which may occur either during or after the learning stage. The comparison between the effects of the different types of dilution, shows that the strategy of minimizing the training error does not yield the best generalization performance. Moreover, this comparison also shows that, depending on the size of the training set and on the level of noise corrupting the training data, the smaller weights may became the determinant factors in the good functioning of the network. In the Boolean perceptron we investigate the effect of dilution after learning on the generalization ability when this network is trained with noise examples. We present a thorough comparison between the relative performances of five learning rules or algorithms: the Hebb rule, the pseudo-inverse rule, the Gibbs algorithm, the optimal stability algorithm and the Bayes algorithm. In particular, we show that the effect of dilution is always deleterious, and that the Bayes algorithm always gives the lest generalization performance.

Perceptrons são redes neurais sem retroalimentação onde os neurônios estão dispostos em camadas. O perceptron considerado neste trabalho consiste de uma camada de N neurônios sensores Si = ±1; i = 1, , N ligados a um neurônio motor δ através das conexões sinápticas (pesos) Wi; i = 1, ..., N cujos valores restringimos a ±1. Utilizando o formalismo de Mecânica Estatística desenvolvido por Gardner (1988), estudamos os efeitos de eliminarmos uma fração de conexões sinápticas (diluição ) nas capacidades de memorização e generalização da rede neural descrita acima. Consideramos também o efeito de ruído atuando durante o estágio de treinamento do perceptron. Consideramos dois tipos de diluição: diluição móvel na qual os pesos são cortados de maneira a minimizar o erro de treinamento e diluição fixa na qual os pesos são cortados aleatoriamente. A diluição móvel, que modela lesões em cérebro de pacientes muito jovens, pode melhorar a capacidade de memorização e, no caso da rede ser treinada com ruído, também pode melhorar a capacidade de generalização. Por outro lado, a diluição fixa, que modela lesões em cérebros de pacientes adultos, sempre degrada o desempenho da rede, sendo seu principal efeito introduzir um ruído efetivo nos exemplos de treinamento. / Perceptrons are layered, feed-forward neural networks. In this work we consider a per-ceptron composed of one input layer with N sensor neurons Si = ±1; i = 1, ... , N which are connected to a single motor neuron δ through the synaptic weights Wj; i = 1, ... , N, which are constrained to take on the values ±1 only. Using the Statistical Mechanics formalism developed by Gardner (1988), we study the effects of eliminating a fraction of synaptic weights on the memorization and generalization capabilities of the neural network described above. We consider also the effects of noise acting during the perceptron training stage. We consider two types of dilution: annealed dilution, where the weights are cut so as to minimize the training error and quenched dilution, where the weights are cut randomly. The annealed dilution which models brain damage in very young patients can improve the memorization ability and, in the case of training with noise, it can also improve the generalization ability. On the other hand, the quenched dilution which models lesions on adult brains always degrades the performance of the network, its main effect being to introduce an effective noise in the training examples.

Perceptrons são redes neurais sem retroalimentação cujos os neurônios estão dispostos em camadas. O perceptron considerado neste trabalho consiste de uma camada de N neurônios sensores Si = 1; i = 1,.... N ligados a um único neurônio motor através das conexões sinápticas , Ji; i = 1, .... N. Utilizando o formalismo da Mecânica Estatística desenvolvido por Gardner e colaboradores, estudamos os efeitos da eliminação de uma fração dos pesos sinápticos (diluição) nas capacidades de aprendizado e generalização de dois tipos de perceptrons, a saber, o perceptron linear e o perceptron Booleano. No perceptron linear comparamos o desempenho de redes lesadas por diferentes tipos de diluição, que podem ocorrer durante ou após o processo de aprendizado. Essa comparação mostra que a estratégia de minimizar o erro de treinamento, não fornece o menor erro de generalização, além do que, dependendo do tamanho do conjunto de treinamento e do nível de ruído, os pesos menores podem se tornar os fatores mais importantes para o bom funcionamento da rede. No perceptron Booleano investigamos apenas o efeito da diluição após o término do aprendizado na capacidade de generalização da rede neural treinada com padrões ruidosos. Neste caso, apresentamos uma comparação entre os desempenhos relativos de cinco regras de aprendizado: regra de Hebb, pseudo-inversa, algoritmo de Gibbs, algoritmo de estabilidade ótima e algoritmo de Bayes. Em particular mostramos que a diluição sempre degrada o desempenho de generalização e o algoritmo de Bayes sempre fornece o menor erro de generalização. / Perceptrons are layered, feed-forward neural networks. In this work we consider a perceptron composed of one input layer with N sensor neurons Si = 1; i = 1,..., N which are connected to a single motor neuron a through the synaptic weights Ji; i = 1,..., N. Using the Statistical Mechanics formalism developed by Gardner and co-workers, we study the effects of eliminating a fraction of synaptic weights (dilution) on the learning and generalization capabilities of the two types of perceptrons, namely, the linear perceptron and the Boolean perceptron. In the linear perceptron we compare the performances of networks damaged by different types of dilution, which may occur either during or after the learning stage. The comparison between the effects of the different types of dilution, shows that the strategy of minimizing the training error does not yield the best generalization performance. Moreover, this comparison also shows that, depending on the size of the training set and on the level of noise corrupting the training data, the smaller weights may became the determinant factors in the good functioning of the network. In the Boolean perceptron we investigate the effect of dilution after learning on the generalization ability when this network is trained with noise examples. We present a thorough comparison between the relative performances of five learning rules or algorithms: the Hebb rule, the pseudo-inverse rule, the Gibbs algorithm, the optimal stability algorithm and the Bayes algorithm. In particular, we show that the effect of dilution is always deleterious, and that the Bayes algorithm always gives the lest generalization performance.

No description available.

Generalization error describes how well a supervised machine learning algorithm predicts the labels of input data that it has not been trained with. This project aims to explore two different methods for bounding generalization error, f-CMI and ISMI, which explicitly use mutual information. Our experiments are based on the experiments in the papers in which the methods were proposed. The experiments implement and validate the accuracy of the mathematically derived bounds. Each methodology also has a different method for calculating mutual information. The ISMI bound experiment used a multivariate normal distribution dataset, whereas a dataset consisting of cats and dogs was used for the experiment using f-CMI. Our results show that both methods are capable of bounding the generalization error of a binary classification algorithm and provide bounds that closely follow the true generalization error. The results of the experiments agree with the original experiments, indicating that the proposed methods also work for similar applications with different datasets. / Generaliseringsfel beskriver hur väl en övervakad maskininlärnings algoritm förutspår etiketter av indata som den inte har blivit tränad med. Syftet med projektet är att utforska två olika metoder för att begränsa generaliseringsfelet, f-CMI och ISMI som explicit använder ömsesidig information. Vårt experiment är baserat på experimenten i artiklarna som tog fram metoderna. Experimenten implementerade och validerade noggrannheten av de matematiskt härleda gränserna. Varje metod har olika sätt att beräkna den ömsesidiga informationen. ISMI gräns experimentet använde en flerdimensionell normalfördelning som data set, medan en datauppsättning med katter och hundar användes för f-CMI gränsen. Våra resultat visar att båda metoder kan begränsa generaliseringsfelet av en binär klassificerings algoritm och förse gränser som nära följer det sanna generaliseringsfelet. Resultatet av experimenten instämmer med de ursprungliga författarnas experiment vilket indikerar att de föreslagna metoderna också fungerar for liknande tillämpningar med andra data set. / Kandidatexjobb i elektroteknik 2022, KTH, Stockholm

No description available.

<p dir="ltr">The generalization error of a classifier is related to the complexity of the set of functions among which the classifier is chosen. We study a family of low-complexity classifiers consisting of thresholding a random one-dimensional feature. The feature is obtained by projecting the data on a random line after embedding it into a higher-dimensional space parametrized by monomials of order up to k. More specifically, the extended data is projected n-times and the best classifier among those n, based on its performance on training data, is chosen. </p><p dir="ltr">We show that this type of classifier is extremely flexible, as it is likely to approximate, to an arbitrary precision, any continuous function on a compact set as well as any Boolean function on a compact set that splits the support into measurable subsets. In particular, given full knowledge of the class conditional densities, the error of these low-complexity classifiers would converge to the optimal (Bayes) error as k and n go to infinity. On the other hand, if only a training dataset is given, we show that the classifiers will perfectly classify all the training points as k and n go to infinity. </p><p dir="ltr">We also bound the generalization error of our random classifiers. In general, our bounds are better than those for any classifier with VC dimension greater than O(ln(n)). In particular, our bounds imply that, unless the number of projections n is extremely large, there is a significant advantageous gap between the generalization error of the random projection approach and that of a linear classifier in the extended space. Asymptotically, as the number of samples approaches infinity, the gap persists for any such n. Thus, there is a potentially large gain in generalization properties by selecting parameters at random, rather than optimization. </p><p dir="ltr">Given a classification problem and a family of classifiers, the Rashomon ratio measures the proportion of classifiers that yield less than a given loss. Previous work has explored the advantage of a large Rashomon ratio in the case of a finite family of classifiers. Here we consider the more general case of an infinite family. We show that a large Rashomon ratio guarantees that choosing the classifier with the best empirical accuracy among a random subset of the family, which is likely to improve generalizability, will not increase the empirical loss too much. </p><p dir="ltr">We quantify the Rashomon ratio in two examples involving infinite classifier families in order to illustrate situations in which it is large. In the first example, we estimate the Rashomon ratio of the classification of normally distributed classes using an affine classifier. In the second, we obtain a lower bound for the Rashomon ratio of a classification problem with a modified Gram matrix when the classifier family consists of two-layer ReLU neural networks. In general, we show that the Rashomon ratio can be estimated using a training dataset along with random samples from the classifier family and we provide guarantees that such an estimation is close to the true value of the Rashomon ratio.</p>