Neste trabalho apresenta-se uma proposta de uma técnica para implementação em hardware, das estruturas básicas de uma Rede Neural Competitiva, baseada em técnicas analógicas. Através desta proposta, será abordada uma das classes mais interessantes de Redes Neurais Artificiais (RNA) que são as Redes Neurais Competitivas (RNC), que possuem forte inspiração biológica. As equações fundamentais que descrevem o comportamento da RNC foram derivadas de estudos interdisciplinares, a maioria envolvendo observações neurofisiológicas. O estudo do neurônio biológico, por exemplo, nos leva a clássica equação da membrana. A técnica mostrada para a implementação das Redes Neurais Competitivas se baseia no use das técnicas analógicas. Estas conduzem a um projeto mais compacto além de permitirem um processamento em tempo real, visto que o circuito computacional analógico altera simultaneamente e continuamente todos os estados dos neurônios que se encontram interligados em paralelo. Para esta proposta de implementação, a mostrado que as equações fundamentais que governam as Redes Neurais Competitivas possuem uma relação com componentes eletrônicos básicos, podendo então, serem implementados através destes simples componentes com os quais as equações fundamentais se relacionam. Para tanto, é mostrado por meio de simulações em software, o comportamento das equações fundamentais deste tipo de Redes Neurais, e então, é comparado este comportamento, com os obtidos através de simulações elétricas dos circuitos equivalentes oriundos destas equações fundamentais. Mostra-se também, em ambas as simulações, uma das características mais importantes existentes nos modelos de RNC, conhecida como Memória de Tempo Curto (STM). Por fim, é apresentada uma aplicação típica na área de clusterização de padrões utilizando pesos sinápticos, a fim de demonstrar a implementação utilizando as técnicas descritas durante o trabalho. Esta aplicação é demonstrada através de simulações elétricas, sendo estas realizadas para tipos diferentes de tecnologia, mostrando assim, o correto desempenho da proposta deste trabalho. / In this work we present a proposal of a technique to hardware implementation of the basic structures of a Competitive Neural Network, based on analog circuits techniques. This proposal approaches one of the most interesting classes of Artificial Neural Networks (ANN) that are the Competitive Neural Networks (CNN), that possess strong biological inspiration. The fundamental equations that describe the behavior of CNN were derived from interdisciplinary studies, mostly involving neurophysiological observations. The study of the biological neuron, for example, leads to the classical membrane equation. The presented technique for implementation of Competitive Neural Networks is based on the use of analog circuits techniques. This leads to a more compact project and allows real time processing, because computation in analog circuits modifies simultaneously and continuouslly all the states of the neurons that are connected in parallel. In this proposal, it is shown that the fundamental equations that describe the behavior of Competitive Neural Networks possess a relationship with some basic electronic components. This fact allows the direct implementation of CNN with these electronic components. Initially the behavior of the fundamental equations of this type of Neural Networks is studied by means of software simulations. This behavior is then compared, with the one obtained through electric simulations of the equivalent circuits originated from these fundamental equations. It is also shown, in both simulations, one of the more important characteristic in the models of CNN, known as Short Term Memory (STM). Finally, a typical application is presented in the area of pattern clustering using synaptic weights, to demonstrate an implementation using the techniques described in this work. This application is demonstrated through electric simulations, for different IC technologies, comproving the correctness of the presented proposal.

Neste trabalho apresenta-se uma proposta de uma técnica para implementação em hardware, das estruturas básicas de uma Rede Neural Competitiva, baseada em técnicas analógicas. Através desta proposta, será abordada uma das classes mais interessantes de Redes Neurais Artificiais (RNA) que são as Redes Neurais Competitivas (RNC), que possuem forte inspiração biológica. As equações fundamentais que descrevem o comportamento da RNC foram derivadas de estudos interdisciplinares, a maioria envolvendo observações neurofisiológicas. O estudo do neurônio biológico, por exemplo, nos leva a clássica equação da membrana. A técnica mostrada para a implementação das Redes Neurais Competitivas se baseia no use das técnicas analógicas. Estas conduzem a um projeto mais compacto além de permitirem um processamento em tempo real, visto que o circuito computacional analógico altera simultaneamente e continuamente todos os estados dos neurônios que se encontram interligados em paralelo. Para esta proposta de implementação, a mostrado que as equações fundamentais que governam as Redes Neurais Competitivas possuem uma relação com componentes eletrônicos básicos, podendo então, serem implementados através destes simples componentes com os quais as equações fundamentais se relacionam. Para tanto, é mostrado por meio de simulações em software, o comportamento das equações fundamentais deste tipo de Redes Neurais, e então, é comparado este comportamento, com os obtidos através de simulações elétricas dos circuitos equivalentes oriundos destas equações fundamentais. Mostra-se também, em ambas as simulações, uma das características mais importantes existentes nos modelos de RNC, conhecida como Memória de Tempo Curto (STM). Por fim, é apresentada uma aplicação típica na área de clusterização de padrões utilizando pesos sinápticos, a fim de demonstrar a implementação utilizando as técnicas descritas durante o trabalho. Esta aplicação é demonstrada através de simulações elétricas, sendo estas realizadas para tipos diferentes de tecnologia, mostrando assim, o correto desempenho da proposta deste trabalho. / In this work we present a proposal of a technique to hardware implementation of the basic structures of a Competitive Neural Network, based on analog circuits techniques. This proposal approaches one of the most interesting classes of Artificial Neural Networks (ANN) that are the Competitive Neural Networks (CNN), that possess strong biological inspiration. The fundamental equations that describe the behavior of CNN were derived from interdisciplinary studies, mostly involving neurophysiological observations. The study of the biological neuron, for example, leads to the classical membrane equation. The presented technique for implementation of Competitive Neural Networks is based on the use of analog circuits techniques. This leads to a more compact project and allows real time processing, because computation in analog circuits modifies simultaneously and continuouslly all the states of the neurons that are connected in parallel. In this proposal, it is shown that the fundamental equations that describe the behavior of Competitive Neural Networks possess a relationship with some basic electronic components. This fact allows the direct implementation of CNN with these electronic components. Initially the behavior of the fundamental equations of this type of Neural Networks is studied by means of software simulations. This behavior is then compared, with the one obtained through electric simulations of the equivalent circuits originated from these fundamental equations. It is also shown, in both simulations, one of the more important characteristic in the models of CNN, known as Short Term Memory (STM). Finally, a typical application is presented in the area of pattern clustering using synaptic weights, to demonstrate an implementation using the techniques described in this work. This application is demonstrated through electric simulations, for different IC technologies, comproving the correctness of the presented proposal.

Neste trabalho apresenta-se uma proposta de uma técnica para implementação em hardware, das estruturas básicas de uma Rede Neural Competitiva, baseada em técnicas analógicas. Através desta proposta, será abordada uma das classes mais interessantes de Redes Neurais Artificiais (RNA) que são as Redes Neurais Competitivas (RNC), que possuem forte inspiração biológica. As equações fundamentais que descrevem o comportamento da RNC foram derivadas de estudos interdisciplinares, a maioria envolvendo observações neurofisiológicas. O estudo do neurônio biológico, por exemplo, nos leva a clássica equação da membrana. A técnica mostrada para a implementação das Redes Neurais Competitivas se baseia no use das técnicas analógicas. Estas conduzem a um projeto mais compacto além de permitirem um processamento em tempo real, visto que o circuito computacional analógico altera simultaneamente e continuamente todos os estados dos neurônios que se encontram interligados em paralelo. Para esta proposta de implementação, a mostrado que as equações fundamentais que governam as Redes Neurais Competitivas possuem uma relação com componentes eletrônicos básicos, podendo então, serem implementados através destes simples componentes com os quais as equações fundamentais se relacionam. Para tanto, é mostrado por meio de simulações em software, o comportamento das equações fundamentais deste tipo de Redes Neurais, e então, é comparado este comportamento, com os obtidos através de simulações elétricas dos circuitos equivalentes oriundos destas equações fundamentais. Mostra-se também, em ambas as simulações, uma das características mais importantes existentes nos modelos de RNC, conhecida como Memória de Tempo Curto (STM). Por fim, é apresentada uma aplicação típica na área de clusterização de padrões utilizando pesos sinápticos, a fim de demonstrar a implementação utilizando as técnicas descritas durante o trabalho. Esta aplicação é demonstrada através de simulações elétricas, sendo estas realizadas para tipos diferentes de tecnologia, mostrando assim, o correto desempenho da proposta deste trabalho. / In this work we present a proposal of a technique to hardware implementation of the basic structures of a Competitive Neural Network, based on analog circuits techniques. This proposal approaches one of the most interesting classes of Artificial Neural Networks (ANN) that are the Competitive Neural Networks (CNN), that possess strong biological inspiration. The fundamental equations that describe the behavior of CNN were derived from interdisciplinary studies, mostly involving neurophysiological observations. The study of the biological neuron, for example, leads to the classical membrane equation. The presented technique for implementation of Competitive Neural Networks is based on the use of analog circuits techniques. This leads to a more compact project and allows real time processing, because computation in analog circuits modifies simultaneously and continuouslly all the states of the neurons that are connected in parallel. In this proposal, it is shown that the fundamental equations that describe the behavior of Competitive Neural Networks possess a relationship with some basic electronic components. This fact allows the direct implementation of CNN with these electronic components. Initially the behavior of the fundamental equations of this type of Neural Networks is studied by means of software simulations. This behavior is then compared, with the one obtained through electric simulations of the equivalent circuits originated from these fundamental equations. It is also shown, in both simulations, one of the more important characteristic in the models of CNN, known as Short Term Memory (STM). Finally, a typical application is presented in the area of pattern clustering using synaptic weights, to demonstrate an implementation using the techniques described in this work. This application is demonstrated through electric simulations, for different IC technologies, comproving the correctness of the presented proposal.

Nesta dissertaÃÃo à apresentada uma abordagem evolucionÃria para o projeto eciente de classificadores baseados em protÃtipos utilizando EvoluÃÃo Diferencial. Para esta finalidade foram reunidos conceitos presentes na famÃlia de redes neurais LVQ (Learning Vector Quantization, introduzida por Kohonen para classificaÃÃo supervisionada, juntamente com conceitos extraÃdos da tÃcnica de clusterizaÃÃo automÃtica proposta por Das et al. baseada na metaheurÃstica EvoluÃÃo Diferencial. A abordagem proposta visa determinar tanto o nÃmero Ãtimo de protÃtipos por classe, quanto as posiÃÃes correspondentes de cada protÃtipo no espaÃo de cobertura do problema. AtravÃs de simulaÃÃes computacionais abrangentes realizadas sobre vÃrios conjuntos de dados comumente utilizados em estudos de comparaÃÃo de desempenho, foi demonstrado que o classificador resultante, denominado LVQ-DE, alcanÃa resultados equivalentes (ou muitas vezes atà melhores) que o estado da arte em classificadores baseados em protÃtipos, com um nÃmero muito menor de protÃtipos. / In this Master's dissertation we introduce an evolutionary approach for the eficient design of prototyp e-based classiers using dierential evolution (DE). For this purp ose we amalgamate ideas from the Learning Vector Quantization (LVQ) framework for sup ervised classication by Kohonen (KOHONEN, 2001), with the DE-based automatic clustering approach by Das et al. (DAS; ABRAHAM; KONAR, 2008) in order to evolve sup ervised classiers. The prop osed approach is able to determine b oth the optimal numb er of prototyp es p er class and the corresp onding p ositions of these prototyp es in the data space. By means of comprehensive computer simulations on b enchmarking datasets, we show that the resulting classier, named LVQ-DE, consistently outp erforms state-of-the-art prototyp e-based classiers.

nÃo hà / Esta dissertaÃÃo tem como principal meta realizar um estudo comparativo do desempenho de algoritmos de redes neurais competitivas nÃo-supervisionadas em problemas de quantizaÃÃo vetorial (QV) e aplicaÃÃes correlatas, tais como anÃlise de agrupamentos (clustering) e compressÃo de imagens. A motivaÃÃo para tanto parte da percepÃÃo de que hà uma relativa escassez de estudos comparativos sistemÃticos entre algoritmos neurais e nÃo-neurais de anÃlise de agrupamentos na literatura especializada. Um total de sete algoritmos sÃo avaliados, a saber: algoritmo K -mÃdias e as redes WTA, FSCL, SOM, Neural-Gas, FuzzyCL e RPCL. De particular interesse à a seleÃÃo do nÃmero Ãtimo de neurÃnios. NÃo hà um mÃtodo que funcione para todas as situaÃÃes, restando portanto avaliar a influÃncia que cada tipo de mÃtrica exerce sobre algoritmo em estudo. Por exemplo, os algoritmos de QV supracitados sÃo bastante usados em tarefas de clustering. Neste tipo de aplicaÃÃo, a validaÃÃo dos agrupamentos à feita com base em Ãndices que quantificam os graus de compacidade e separabilidade dos agrupamentos encontrados, tais como Ãndice Dunn e Ãndice Davies-Bouldin (DB). Jà em tarefas de compressÃo de imagens, determinado algoritmo de QV à avaliado em funÃÃo da qualidade da informaÃÃo reconstruÃda, daà as mÃtricas mais usadas serem o erro quadrÃtico mÃdio de quantizaÃÃo (EQMQ) ou a relaÃÃo sinal-ruÃdo de pico (PSNR). Empiricamente verificou-se que, enquanto o Ãndice DB favorece arquiteturas com poucos protÃtipos e o Dunn com muitos, as mÃtricas EQMQ e PSNR sempre favorecem nÃmeros ainda maiores. Nenhuma das mÃtricas supracitadas leva em consideraÃÃo o nÃmero de parÃmetros do modelo. Em funÃÃo disso, esta dissertaÃÃo propÃe o uso do critÃrio de informaÃÃo de Akaike (AIC) e o critÃrio do comprimento descritivo mÃnimo (MDL) de Rissanen para selecionar o nÃmero Ãtimo de protÃtipos. Este tipo de mÃtrica mostra-se Ãtil na busca do nÃmero de protÃtipos que satisfaÃa simultaneamente critÃrios opostos, ou seja, critÃrios que buscam o menor erro de reconstruÃÃo a todo custo (MSE e PSNR) e critÃrios que buscam clusters mais compactos e coesos (Ãndices Dunn e DB). Como conseqÃÃncia, o nÃmero de protÃtipos obtidos pelas mÃtricas AIC e MDL à geralmente um valor intermediÃrio, i.e. nem tÃo baixo quanto o sugerido pelos Ãndices Dunn e DB, nem tÃo altos quanto o sugerido pelas mÃtricas MSE e PSNR. Outra conclusÃo importante à que nÃo necessariamente os algoritmos mais sofisticados do ponto de vista da modelagem, tais como as redes SOM e Neural-Gas, sÃo os que apresentam melhores desempenhos em tarefas de clustering e quantizaÃÃo vetorial. Os algoritmos FSCL e FuzzyCL sÃo os que apresentam melhores resultados em tarefas de quantizaÃÃo vetorial, com a rede FSCL apresentando melhor relaÃÃo custo-benefÃcio, em funÃÃo do seu menor custo computacional. Para finalizar, vale ressaltar que qualquer que seja o algoritmo escolhido, se o mesmo tiver seus parÃmetros devidamente ajustados e seus desempenhos devidamente avaliados, as diferenÃas de performance entre os mesmos sÃo desprezÃveis, ficando como critÃrio de desempate o custo computacional. / The main goal of this master thesis was to carry out a comparative study of the performance of algorithms of unsupervised competitive neural networks in problems of vector quantization (VQ) tasks and related applications, such as cluster analysis and image compression. This study is mainly motivated by the relative scarcity of systematic comparisons between neural and nonneural algorithms for VQ in specialized literature. A total of seven algorithms are evaluated, namely: K-means, WTA, FSCL, SOM, Neural-Gas, FuzzyCL and RPCL. Of particular interest is the problem of selecting an adequate number of neurons given a particular vector quantization problem. Since there is no widespread method that works satisfactorily for all applications, the remaining alternative is to evaluate the influence that each type of evaluation metric has on a specific algorithm. For example, the aforementioned vector quantization algorithms are widely used in clustering-related tasks. For this type of application, cluster validation is based on indexes that quantify the degrees of compactness and separability among clusters, such as the Dunn Index and the Davies- Bouldin (DB) Index. In image compression tasks, however, a given vector quantization algorithm is evaluated in terms of the quality of the reconstructed information, so that the most used evaluation metrics are the mean squared quantization error (MSQE) and the peak signal-to-noise ratio (PSNR). This work verifies empirically that, while the indices Dunn and DB or favors architectures with many prototypes (Dunn) or with few prototypes (DB), metrics MSE and PSNR always favor architectures with well bigger amounts. None of the evaluation metrics cited previously takes into account the number of parameters of the model. Thus, this thesis evaluates the feasibility of the use of the Akaikeâs information criterion (AIC) and Rissanenâs minimum description length (MDL) criterion to select the optimal number of prototypes. This type of evaluation metric indeed reveals itself useful in the search of the number of prototypes that simultaneously satisfies conflicting criteria, i.e. those favoring more compact and cohesive clusters (Dunn and DB indices) versus those searching for very low reconstruction errors (MSE and PSNR). Thus, the number of prototypes suggested by AIC and MDL is generally an intermediate value, i.e nor so low as much suggested for the indexes Dunn and DB, nor so high as much suggested one for metric MSE and PSNR. Another important conclusion is that sophisticated models, such as the SOM and Neural- Gas networks, not necessarily have the best performances in clustering and VQ tasks. For example, the algorithms FSCL and FuzzyCL present better results in terms of the the of the reconstructed information, with the FSCL presenting better cost-benefit ratio due to its lower computational cost. As a final remark, it is worth emphasizing that if a given algorithm has its parameters suitably tuned and its performance fairly evaluated, the differences in performance compared to others prototype-based algorithms is minimum, with the coputational cost being used to break ties.

CoordenaÃÃo de AperfeiÃoamento de Pessoal de NÃvel Superior / O paradigma de classificaÃÃo baseada em comitÃs tem recebido considerÃvel atenÃÃo na literatura cientÃfica em anos recentes. Neste contexto, redes neurais supervisionadas tÃm sido a escolha mais comum para compor os classificadores base dos comitÃs. Esta dissertaÃÃo tem a intenÃÃo de projetar e avaliar comitÃs de classificadores obtidos atravÃs de modificaÃÃes impostas a algoritmos de aprendizado nÃo-supervisionado, tais como as redes Fuzzy ART e SOM, dando origem, respectivamente, Ãs arquiteturas ARTIE (ART in Ensembles) e MUSCLE (Multiple SOM Classifiers in Ensembles). A sintonia dos parÃmetros e a seleÃÃo dos atributos das redes neurais que compÃem as arquiteturas ARTIE e MUSCLE foram tratados por otimizaÃÃo metaheurÃstica, a partir da proposiÃÃo do algoritmo I-HPSO (Improved Hybrid Particles Swarm Optimization). As arquiteturas ARTIE e MUSCLE foram avaliadas e comparadas com comitÃs baseados nas redes Fuzzy ARTMAP, LVQ e ELM em 12 conjuntos de dados reais. Os resultados obtidos indicam que as arquiteturas propostas apresentam desempenhos superiores aos dos comitÃs baseados em redes neurais supervisionadas.

nÃo hà / Nesta tese aborda-se o problema de identificaÃÃo de sistemas dinÃmicos sobre a Ãtica dos modelos locais, em que o espaÃo de entrada à particionado em regiÃes de operaÃÃo menores sobre as quais sÃo construÃdos modelos de menor complexidade (em geral, lineares). Este tipo de modelo à uma alternativa aos chamados modelos globais em que a dinÃmica do sistema à identificada usando-se uma Ãnica estrutura (em geral, nÃo-linear) que cobre todo o espaÃo de entrada. Assim, o tema alvo desta tese à o projeto de modelos lineares locais cujo espaÃo de entrada à particionado por meio do uso de algoritmos de quantizaÃÃo vetorial, principalmente aqueles baseados em redes neurais competitivas. Para este fim, sÃo propostos trÃs novos modelos lineares locais baseados na rede SOM (self-organizing map), que sÃo avaliados na tarefa de identificaÃÃo do modelo inverso de quatro sistemas dinÃmicos comumente usados na literatura em benchmarks de desempenhos. Os modelos propostos sÃo tambÃm comparados com modelos globais baseados nas redes MLP (multilayer perceptron) e ELM (extreme learning machines), bem como com outros modelos lineares locais, tais como o modelo fuzzy Takagi-Sugeno e o modelo neural LLM (local linear mapping). Um amplo estudo à realizado visando comparar os desempenhos de todos os modelos supracitados segundo trÃs critÃrios de avaliaÃÃo, a saber: (i) erro mÃdio quadrÃtico normalizado, (ii) anÃlise dos resÃduos, e (iii) teste estatÃstico de Kolmogorov-Smirnov. De particular interesse para esta tese, à a avaliaÃÃo da robustez dos modelos locais propostos com relaÃÃo ao algoritmo de quantizaÃÃo vetorial usado no treinamento do modelo. Os resultados obtidos indicam que os desempenhos dos modelos locais propostos sÃo superiores aos dos modelos globais baseados na rede MLP e equivalentes aos modelos globais baseados na rede ELM. / In this thesis the problem of nonlinear system identification is approached from the viewpoint of local models. The input space is partitioned into smaller operational regions with lower complexity models (usually linear) built for each one. This type of model is an alternative to global models, for which the system dynamics is identified using a single structure (usually nonlinear ones) that covers the whole input space. The aim of this thesis is to design of local linear models whose input space is partitioned by means of vector quantization algorithms, special those based on competitive learning neural networks. For this purpose, three novel local linear modeling methods based on the SOM (self-organizing map) are introduced and evaluated on the identification of the inverse model of four dynamical systems commonly used in the literature for performance benchmarking. The proposed models are also compared with global models based on the MLP (multilayer perceptron) and ELM (extreme learning machines), as well as with alternative local linear models, such as the Takagi-Sugeno fuzzy model and the LLM(local linear mapping) neural model. A comprehensive study is carried out to compare the performances of all the aforementioned models according to three evaluation criteria, namely: (i) normalized mean squared error, (ii) residual analysis, and (iii) Kolmogorov-Smirnov test. Of particular interest to this thesis is the evaluation of the robustness of the proposed local models with respect to the vector quantization algorithm used to train the model. The obtained results indicates that the performance of the proposed local models are superior to those achieved by the MLP-based global models and equivalent to those achieved by ELM-based global models.