Made available in DSpace on 2019-03-29T23:42:20Z (GMT). No. of bitstreams: 0 Previous issue date: 2013-11-25 / Radial basis function (RBF) neural networks are feedforward neural models that typically have three layers of neurons: an input layer, a hidden layer, and an output layer. These models are widely used due to their property of universal approximation. The neurons within the hidden layer are represented by radial basis functions, and the choice of the parameters (center and width) of each RBF might have a great impact on the accuracy of the model. Algorithms, such as the orthogonal least squares (OLS), fast recursive algorithm (FRA) and two-stage selection (TSS), have been developed to select the RBF centers automatically. This work also tackles the center selection problem, but cooperative game theory (CGT) concepts are used instead. The CGT investigates formal solutions to the problem of sharing resources between players who belong to a coalition. In our approach, the hidden layer of a RBF network is modeled as a coalition and the centers of the hidden neurons are treated as players of a cooperative game. The contribution of a center candidate to the networks it takes part in is measured by the Shapley value, which is one of the most investigated CGT solution concepts. Two algorithms were developed based on the Shapley value for ranking the centers, whereas the final RBF neural model selection is conducted based on this ranking and on the Akaike information criterion (AIC). The first ranking algorithm evaluates the quality of the center candidates in a single iteration, whereas the second algorithm, which is constructive, needs more than one iteration, and as such, the center recruited in iteration k influences the evaluation of the neurons in the next iterations. The proposed approach is applied in four benchmark regression problems and compared with OLS, FRA, and TSS algorithms. The results demonstrate that the proposed approach is effective, with the second algorithm, in particular, obtaining competitive results when compared to the state-of-the-art algorithms. On the other hand, the proposed algorithms have a higher computational cost compared to the others. Keywords: Radial Basis Functions, RBF Neural Networks, Center Selection, Cooperative Game Theory, Shapley Value, Regression. / Redes neurais de função de base radial (redes RBF) são modelos neurais compostos de uma camada de entrada, uma camada escondida e uma camada de saída de neurônios. Por exibirem a propriedade de aproximação universal de funções contínuas, tais modelos são muito utilizados para resolver roblemas de regressão. A escolha do tipo e dos parâmetros (notadamente, centro e dispersão) das funções de base radial que compõem a camada oculta de uma rede RBF pode afetar sobremaneira a sua acurácia, sendo que algoritmos tais como orthogonal least squares (OLS), fast recursive algorithm (FRA) e two-stage selection (TSS), vêm sendo desenvolvidos para resolver essa tarefa de forma automática. Neste contexto, o presente trabalho também aborda o problema de seleção de centros de redes RBF, porém lançando mão de conceitos da área de teoria dos jogos cooperativos (TJC). Esse campo de pesquisa investiga soluções formais para o problema de se dividir a recompensa adquirida por uma coalizão de jogadores entre os seus membros, levando-se em consideração a contribuição de cada um deles. Em particular, na abordagem proposta aqui, a camada oculta de uma rede neural RBF é modelada como uma coalizão ao passo que os centros dos neurônios que a compõem são tratados como jogadores. A contribuição de cada candidato a centro aos desempenhos das redes em que ele participa é mensurada mediante o valor de Shapley, que é um dos conceitos de solução mais investigados na TJC, dadas as propriedades teóricas relevantes que ele apresenta. Dois algoritmos são propostos com base no valor de Shapley para ranquear os centros, sendo que a seleção da ordem do modelo final de rede RBF é feita com base nesse ranqueamento e adota o critério de informação de Akaike. Enquanto o primeiro algoritmo de ranqueamento avalia a qualidade dos centros em uma única iteração, o segundo algoritmo é de natureza construtiva, sendo que o centro recrutado na iteração k influencia nas avaliações dos demais neurônios nas próximas iterações. No estudo experimental realizado, o desempenho da nova abordagem foi avaliado com base em quatro problemas de regressão bem conhecidos, comparando-se a qualidade preditiva das redes RBF produzidas pelos dois algoritmos propostos com aquela gerada pela redes produzidas pelos algoritmos OLS, FRA e TSS. Os resultados obtidos mostram que a abordagem baseada na TJC é eficaz, considerando particularmente o algoritmo construtivo, que apresentou resultados competitivos aos algoritmos estado-da-arte. Por outro lado, os dois algoritmos propostos perdem no quesito eficiência, possuindo um custo computacional mais elevado. Palavras-chave: Redes Neurais RBF, Função de Base Radial, Seleção de Centros, Teoria dos Jogos Cooperativos, Valor de Shapley, Regressão.

A apneia é um Distúrbio Respiratório do Sono com grande incidência, estimando-se que esteja presente em 13% dos homens e 6% das mulheres nos Estados Unidos. Correlacionados com a apoeia, estão a obesidade, a diabete mellitus e, principalmente, algumas doenças cardíacas. No Brasil ainda há poucas pesquisas, possivelmente pelo difícil acesso e pelo alto custo das Polissonografias. Neste trabalho são analisados alguns sinais de Polissonografia, como o Eletrocardiograma, a Saturação do Oxigênio no Sangue, o Flu.xo Respiratório e o Esforço Respiratório. Mostramos como a Transformada Wavelet Discreta e as Redes Nemais constituem ferramentas matemáticas computacionais que possibilitam a extração de características e a classificação, servindo de suporte ao diagnóstico utilizado at ualmente. / Apnea is a highly incident Sleep-Disordered Breathing, which a icts roughly 13% of men and 6% of the women in the USA. It is also found a few correlations with other diseases, like obesity, diabetes mellitus and, especially, certain cardiac diseases. In Brazil, there are few studies, possibly due to the di cult access and the cost of Polysomnography. In this study, we analyzed some signals of Polysomnography, as the electrocardiogram, the oxygen saturation, the respiratory ow and respiratory e ort. We show how the Discrete Wavelet Transform and Neural Network may be applied as computational mathematical tools that enable feature extraction and classi cation, serving to support the diagnosis currently used.

Um modelo para redes de neurônios é estudado onde a função energia E é dada pelo produto do quadrado das distâncias no espaço de fase entre o estado S da rede e os P padrões armazenados.Os tempos de convergência e as correspondentes dispersões também foram estudados numericamente e estão relacionados ao número de estados espúrios ao redor de cada configuração armazenada. Ambas quantidades sâo pequenas na fase de recuperaçâo , indicando a homogeneidade e suavidade do espaço de fase. / A model for neural networks is studied through a multineuron interaction energy function E given by the product of the squared distances in phase space between the state S of the net and the P stored patterns. Convergence times and the corresponding dispersions have also been studied numerically a.s para.meters to measure the efficiency of this model. These quantities are related to the number of spurious sLates for ea.ch configuration of stored pa.tterns. Both the average convergence time and the dispersions are small in the retrieval phase, indicating the homogeneity and smoothness of the phase space.

A disponibilidade de séries contínuas de chuva pode viabilizar a execução de muitos estudos que não seriam possíveis com séries que apresentam falhas, pois muitos modelos hidrológicos não apresentam bons resultados quando utilizados dados de entrada com valores faltantes. Neste estudo, as capacidades de Redes Neurais Artificiais (RNAs) foram analisadas para estimar falta de dados das estações pluviométricas. Assim, o objetivo deste trabalho consistiu em testar a utilização de séries pluviométricas preenchidas, em escala horária, a partir de redes neurais artificiais como entrada em um modelo hidrológico de base física, com parâmetros distribuídos. A hipótese levantada neste estudo é que o preenchimento de falhas de séries históricas de precipitação com as Redes Neurais Artificiais potencializam a sua utilização em estudos e na modelização hidrológica. Na metodologia foi proposto um método para preenchimento de falhas dos dados históricos de precipitação horária monitorados em dezoito postos pluviométricos. Posteriormente os dados de precipitação preenchidos foram aplicados em um modelo de previsão de vazão (SWAT). Foram simuladas sete situações para a verificação do desempenho do modelo SWAT, utilizando dados de entrada horários preenchidos de 16 postos pluviométricos, posteriormente, as séries de entrada foram sendo reduzidas, para 8 postos, 4, 2 e por fim 1 posto pluviométrico. Também foi simulado um cenário onde se utilizou como dados de entrada as 16 séries de dados horários sem preenchimento, e um cenário onde os dados horários preenchidos foram convertidos em diários. Foram construídos 1784 modelos para preenchimento de falhas nas séries de dados horários dos postos pluviométricos da bacia. O preenchimento das falhas apresentou coeficientes de analise de desempenho dos modelos elevados. De maneira geral, os valores do coeficiente de Nash-Sutcliffe (NS) encontrados no treinamento e na verificação das redes variaram de 0,80 a 0,99. A frequência com que foram encontrados valores de NS menores que 0.90 nos preenchimentos dos pluviógrafos foi baixa, da ordem de 3,6%. Na aplicação do modelo SWAT, a calibração e a verificação dos parâmetros do modelo foram realizadas com o uso das 16 séries horárias preenchidas com as RNAs. Resultados demonstraram que o coeficiente de eficiência de NS diminui à medida que quantidade de estações pluviométricas utilizadas na entrada do modelo são reduzidas, de 16 para 8, de 8 para 4, de 4 para 2 e de 2 para 1. Variaram de NS = 0,86 (com 16 pluviógrafos) a NS = 0,75 (com dois e um pluviógrafos). Ao se utilizar os dados sem preenchimento o modelo obteve um desempenho inferior, alcançando um coeficiente de NS 6 igual a 0,69. Com relação ao último cenário, em que os dados horários preenchidos foram acumulados e convertidos em diários para serem inseridos no modelo, os resultados foram os piores obtidos, o NS se igualou a 0,61. Nota-se que o preenchimento das falhas das precipitações horárias proporcionou a maximização dos dados disponíveis, com representação das variabilidades espaciais e, a realização de simulações para intervalos de tempo compatíveis com o tempo de resposta da bacia. / The availability of continuous rainfall series can enable the execution of many studies that are not possible with failed series, because many hydrological models do not provide good results when used input data with missing values. In this study, the capabilities of Artificial Neural Networks (ANN) were analyzed to estimate missing data rainfall stations. The aim of this study was to test the use of filled rainfall series as an hourly scale, as of artificial neural networks as input to a hydrological model physical basis, with distributed parameters. The hypothesis in this study is that the filling of historic precipitation series faults with the Artificial Neural Networks maximizes its use in studies and hydrological modeling. The methodology has been proposed a method for gap filling of the historical data of hourly rainfall monitored in eighteen rain gauges. Subsequently the completed precipitation data were applied in a flow forecasting model (SWAT). Seven situations were simulated to verify the efficiency of the SWAT model, a scenario with input time of 16 rain gauges with gap filling using RNAs, subsequently the input series were being reduced to 8 stations, 4, 2 and finally 1 rain gauges data filled. Was also simulated a scenario in which were used as input hourly data series of 16 unfilled posts, and a scenario with daily data entry was also simulated, where the hourly data filled of 16 stations were converted to daily data. 1784 models were constructed to fill gaps in the hourly data series of rain gauges in the basin. The gaps filling in hourly precipitation showed high efficiency coefficients of models. In general, coefficient of Nash-Sutcliffe (NS) values found during the training and verification networks ranged from 0.80 to 0.99. The frequency with which NS values smaller than 0.90 were found in the fill of the rain gauge was 3.6%. Based on the rainfall filled series, these were tested for their efficiency in the hydrologic simulation process, using the physically based SWAT model. The calibration and verification of the model parameters were performed using 16 pluviograph stations with hourly series filled with RNAs. Results showed that the efficiency coefficients of NS decreases as the amount of rainfall stations used in the input model are reduced from 16 to 8, from 8 to 4, 4 to 2 and 2 to 1. Ranged from NS = 086 (16 pluviographs) NS = 0.75 (with two one pluviographs). When using the not filling data, the model obtained a lower performance, achieving a 8 coefficient NS equal to 0.69. On respect to the latter scenario, in which hourly data were accumulated and converted filled in daily to be inserted in the model, the worst results were obtained, the NS equaled 0.61. It is noticed in this way, that the filling gaps of hourly rainfall provided the maximization of available data, with representation of spatial variability and, performing simulations to intervals compatible with the response time of the basin.

No presente trabalho é explorada em detalhe a implementação de um modelo de neurônio de tempo discreto proposto por Nikolai Rulkov, tanto em neurônios isolados como em redes de neurônios acoplados. Primeiramente, o neurônio individual é analisado com a construção do espaço de fases e com a identificação dos estados assintóticos do sistema no espaço de parâmetros através do cálculo do maior expoente de Lyapunov. Em seguida, duas células idênticas são conectadas via sinapse elétrica simétrica e homogênea. Fixando um dos parâmetros de controle do mapa, relações entre bacias de atração e diferenças de fase entre trens de pulsos são estudadas, assim como medidas de variância e covariância do sistema. Finalmente, é criada uma rede quadrada composta por neurônios idênticos, com conexões elétricas homogêneas e simétricas entre primeiros vizinhos, e é investigada a estabilidade dos diferentes regimes de sincronização que emergem macroscopicamente. Com o auxílio dos parâmetros de ordem variância e covariância e da distribuição de fases, também é construído um diagrama resumindo as configurações em que ocorrem cada regime e suas respectivas transições. / In the present work the implementation of a map-based neuron model proposed by Nikolai Rulkov is studied, both in isolated neurons and in coupled neurons networks. Initially, the individual neuron is analyzed through the construction of the phase space and the identification of asymptotic states of the system on the parameters space using the larger Lyapunov exponent calculation. Then, two identical cells are connected trough symmetric and homogeneous electrical synapses. Fixing one of the control parameters of the map, relations between basins of attraction and phase difference between spike bursts are studied, as well as measures of the system variance and covariance. Finally, a square network composed by identical neurons is created, the connections are among the first neighbors, are homogenous and symmetric. The stability of the different synchronization regimes that emerge macroscopically is investigated. With the aid of the order parameters variance and covariance and of the phase distributions, a diagram is also constructed, summarizing the configurations set in which each regime occurs and their respective transitions.

Made available in DSpace on 2014-06-12T17:39:51Z (GMT). No. of bitstreams: 2 arquivo6971_1.pdf: 519832 bytes, checksum: 35de3846e1bc6e866dd2ee8b7a6bc74b (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2006 / O presente trabalho apresenta um sistema de previsão de carga horária em curto prazo (sete dias à frente) formado por duas etapas. Na primeira etapa foram escolhidas duas redes neurais artificiais para prever o consumo diário total em um horizonte de sete dias à frente, uma rede para os dias úteis e outra para aos dias não-úteis, o processo de escolha das redes passou por uma análise da estrutura de entrada, da base de dados e do algoritmo de treinamento. Para gerar as melhores redes utilizou-se o método k-fold crossvalidation. A segunda etapa é responsável em fornecer o comportamento da curva de carga, ou seja, a distribuição horária do consumo diário, para isso utilizou-se o sistema ANFIS (Adaptive Network-based Fuzzy Inference System) para gerar um Sistema de Inferência Fuzzy- SIF que fornece um coeficiente que representa a fração do consumo horário em relação ao consumo diário, para inicialização dos modelos optou-se pela comparação entre dois métodos: o método de clusterização subtrativa desenvolvido por Chui S e o método por inspeção onde o SIF é gerado a partir do conhecimento do especialista. Optou-se por estes modelos devido à facilidade de implementação, a capacidade de generalização e resposta rápida. Os resultados obtidos foram comparados com a bibliografia e mostram que o modelo desenvolvido tem alta capacidade de generalização e apresenta baixos valores de MAPE (erro médio percentual), além de utilizar somente dados de carga elétrica como entrada para as redes e para o sistema ANFIS sem a necessidade de dados climáticos

A aplicação da Mecânica Estatística no estudo de Redes Neurais é baseada no fato que a extração de informação de dados (exemplos) pode ser modelada por um processo de minimização de uma função energia. Técnicas originadas no estudo de sistemas desordenados, tais como o Método de Réplicas; o Método da Cavidade; Equações de TAP; bem como técnicas de Monte Carlo tem sido exaustivamente estudadas, levando a vários resultados dentro do que temos conhecido como aprendizagem off-line, onde o sistema é posto em equilíbrio termodinâmico. A possibilidade do tempo de relaxação ser muito grande implica alto custo computacional, o que tem estimulado a busca por algoritmos de aprendizagem fora do equilíbrio, onde surge uma interessante classe de métodos conhecidos por aprendizagem on-line, na qual cada informação (exemplo) é apresentada ao sistema apenas uma vez, trazendo um baixo custo computacional junto a um bom desempenho. Nessa dissertação nós trabalhamos em cima do trabalho de Opper, que relacionou a aprendizagem on-line ótima à aprendizagem off-line Bayesiana por meio de uma aproximação Gaussiana da distribuição posterior. Isso porém, pode ser visto como apenas o primeiro passo numa expansão generalizada de Gram-Charlier (G-Ch) da densidade posterior, a qual pode trazer novos caminhos para o entendimento da relação on-line/off-line. A expansão também pode ser estendida à aprendizagem por potencial, onde a distribuição de probabilidades é Gibbsiana utilizando-se de todos os termos da série, ou seja, na aprendizagem off-line.Assim a G-Ch nos permite estudar extensões não Gaussianas da aprendizagem fora do equilíbrio (on-line) para uma aprendizagem em equilíbrio (off-line), dando uma interpretação do uso das famílias dos hiperparâmetros, construídos a partir dos cumulantes da distribuição posterior, como uma incorporação de informações sobre a forma geométrica do espaço de Versões. Apresentamos duas aplicações para os algoritmos obtidos por tais caminhos: um Perceptron unidimensional e um N-dimensional. Na primeira observamos a aprendizagem Bayesiana na presença de ruído e quando a regra a ser aprendida muda no tempo, onde construímos um diagrama de robustez para a análise da adaptabilidade do algoritmo frente a estimação incorreta do nível de ruído. Na segunda aplicação apresentamos resultados preliminares para o Perceptron em N dimensões. Estudamos aprendizagem usando o potencial ótimo que leva à saturação do limite de Bayes para a generalização no limite termodinâmico.

Dissertação (Mestrado em Engenharia Elétrica) - Centro Universitário FEI, São Bernardo do Campo, 2015

Dissertação (Mestrado em Engenharia Mecânica) - Centro Universitário da FEI, São Bernardo do Campo, 2016

Com o avanço das técnicas analíticas, tem sido possível estudadar redes neurais atratoras onde cada unidade de processamento é conectada com um número finito de vizinhos, sendo que esse número independe do tamanho do sistema. Aplicamos essas técnicas ao estudo de redes atratoras com padrões que possuem uma quebra de simetria sobre o número de bits ativos e quiscentes. O objetivo deste trabalho é estudar a capacidade da rede neural em armazenar padrões com atividade não nula, uma vez que a conectividade por neurônio é finita. Inicialmente, apresentamos os modelos predecessores de redes atratoras, como o modelo de Hopfield e os modelos de Amit, Gutfreund e Sompolinsky. Em tais modelos, o aprendizado é definido através de modificações sinápticas, inspiradas nas ideias de Hebb. Mostramos como é estimada a capacidade da rede. Mencionamos a introdução de uma função de energia para o sistema, que permite uma ligação com estudo de sistemas magnéticos através da mecânica estatística. Apresentamos também regras de aprendizado para lidar com padrões com atividade não nula. Num segundo momento, aplicamos o método de réplicas, utilizado para tratar sistemas desordenados, ao problema da rede atratora com conectividade e atividade dos padrões finitas. Utilizamos o formalismo de funções de ordem e fazemos uso do conceito de sub-redes, que permite particionar o grafo de acordo com os padrões a serem armazenados em cada neurônio. Obtemos, assim, uma função de ordem por sub-rede que contém toda informação sobre o estado do sistema. Aplicando o ansatz de simetria de réplicas, é possível derivar distribuições autoconsistentes dos campos locais para cada sub-rede. Tais distribuições passam a fornecer toda informação necessária para calcularmos os observáveis relevantes. As distribuições são calculadas numericamente a partir do método da dinâmica de populações. Em seguida, traçamos diagramas de fases para três regras de aprendizado. A partir desses, estimamos a capacidade, temperatura e atividade críticas. Observa-se a presença de fases de vidro de spin, transições decontínuas e pontos tricríticos. / With the advance of analytical tools it has been possible to study attractor neural networks in which each processing unit is connected to a finite number of neighbours. Being that, the number of neighbours is independent of the size of the system. We apply these tools to the study of attractor networks in which the patterns have a broken symmetry with respect to the number of active and inactive bits. The objetive of this work is to study the capacity of the neural network to store patterns with activity different from zero, being that the conectivity per neuron is finite. First, we present the predecessor models of attractor networks like the Hopfield and Amit, Gutfreund e Sompolinsky ones. In such models the learning is defined through sinaptic modifications, inspired by Hebb’s ideas. We show how to estimate the storage capacity of the network. We mention the introduction of a energy function for the system, which allows a link with the study of magnetic systems through statistical machanics. We present learning rules to deal with patterns which have non zero activity. In the second part, we apply the replic method, utilized to deal with disordered systems to the problem of an attractor neural network with finite conectivity and activity. We utilized the formalism of order functions and the concept of sublattices, this concept allows to partition the graph according with the patterns to be stored in each neuron. This way, we obtain an order function per sublattice which contain all the information about the state of the system. Applying the replica symmetry ansatz it is possible to derive self-consistent distributions of the local fields per sublattice. Such distributions start to provide all the necessary information to calculate the relevant observables. These distributions are calculated numerically using the population dynamics method. Then, we draw phase diagrams for three learning rules. Using these, we estimate the storage capacity, the temperature and the critical activity. We observe the presence of spin glass phases, discontinuos phase transiotions and tricritical points.