Associative Memories (AMs) are essential building blocks for brain-like intelligent computing with applications in artificial vision, speech recognition, artificial intelligence, and robotics. Computations for such applications typically rely on spatial and temporal associations in the input patterns and need to be robust against noise and incomplete patterns. The conventional method for implementing AMs is through Artificial Neural Networks (ANNs). Improving the density of ANN based on conventional circuit elements poses a challenge as devices reach their physical scalability limits. Furthermore, stored information in AMs is vulnerable to destructive input signals. Novel nano-scale components, such as memristors, represent one solution to the density problem. Memristors are non-linear time-dependent circuit elements with an inherently small form factor. However, novel neuromorphic circuits typically use memristors to replace synapses in conventional ANN circuits. This sub-optimal use is primarily because there is no established design methodology to exploit the memristor's non-linear properties in a more encompassing way. The objective of this thesis is to explore denser and more robust AM designs using memristor networks. We hypothesize that such network AMs will be more area-efficient than the traditional ANN designs if we can use the memristor's non-linear property for spatial and time-dependent temporal association. We have built a comprehensive simulation framework that employs Genetic Programming (GP) to evolve AM circuits with memristors. The framework is based on the ParadisEO metaheuristics API and uses ngspice for the circuit evaluation. Our results show that we can evolve efficient memristor-based networks that have the potential to replace conventional ANNs used for AMs. We obtained AMs that a) can learn spatial and temporal correlation in the input patterns; b) optimize the trade-off between the size and the accuracy of the circuits; and c) are robust against destructive noise in the inputs. This robustness was achieved at the expense of additional components in the network. We have shown that automated circuit discovery is a promising tool for memristor-based circuits. Future work will focus on evolving circuits that can be used as a building block for more complicated intelligent computing architectures.

Nesta tese, uma família de memórias associativas bidirecionais caóticas (família C-BAM) é proposta, implementada e testada com o objetivo de estender a relevância da presença e do estudo do fenômeno caótico a modelos de redes associativas. Na modelagem da família C-BAM, todos os neurônios da memória associativa bidirecional caótica (BAM), BAM com atraso e BAM exponencial (eBAM) foram substituídos por neurônios caóticos. Cada parâmetro do neurônio caótico na família C-BAM tem sua influência estimada através do planejamento de experimentos, em diferentes dinâmicas. Com base no planejamento de experimentos, valores de parâmetros são selecionados a fim de ilustrar a emergência de comportamentos dinâmicos como bifurcação, caos determinístico e crise. A existência de dinâmicas caóticas é confirmada pelo cálculo dos expoentes de Lyapunov. Experimentos empíricos mostraram que a dinâmica caótica modifica a acessibilidade à memória da família C-BAM. Ao invés de recuperar um único par, como a família BAM fazia, a versão caótica é capaz de gerar uma grande diversidade de padrões recuperados, envolvendo complexas transições entre os padrões armazenados, para algumas variações paramétricas. Tal comportamento permite à família C-BAM acessar padrões inacessíveis às redes BAMs originais. Além disso, a nova acessibilidade à memória, na qual seqüências de recuperação (com diferentes tamanhos) compostas de padrões treinados e não treinados têm emergido, pode ser usada para modelar a habilidade de um indivíduo saltar passos na solução de uma tarefa. Esta tese seleciona a rede C-BAM para ilustrar que a seqüência de recuperação da rede pode modelar a habilidade de um noviço ou a habilidade de um especialista executar uma tarefa. Embora a família C-BAM possa alcançar todos os padrões armazenados durante o comportamento caótico, ela não consegue convergir para um padrão específico. Duas estratégias de controle são propostas para permitir que as redes caóticas convirjam para a memória desejada: o método de controle por pinagem e um método de controle adaptativo. Conseqüentemente, os modelos C-BAM podem, de fato, realizar a hetero-associação de memórias antes inacessíveis, e a rede C-BAM pode estabilizar-se no estado final de uma tarefa, dado o primeiro estado / In this thesis, a family of bidirectional associative memories (C-BAM family) is proposed, implemented and tested to extend the study of chaotic phenomenon in associative models. In the C-BAM model, all the original neurons of bidirectional associative memory (BAM), BAM with delay and exponenetial BAM (eBAM) were substituted for chaotic neurons. Based on the experimental design, values of C-BAM family parameters are set to illustrate the emergence of a diversity of dynamic behavior, such as bifurcation, deterministic chaos and crisis. The existence of the chaotic dynamics is confirmed by calculation of Lyapunov exponents. Empiric experiments showed that the chaotic dynamics modifies the behavior of memory accessibility. Instead of recalling a single pair, as BAM did, its chaotic version yielded a wide diversity of recalled patterns, involving complex transitions via memorized patterns for some parametric variations. Hence, C-BAM family can access patterns that original BAM family cannot. Moreover, the new way of memory accessibility, in which several recall sequences (with distinct sizes) composed of trained and nontrained patterns have emerged, can be used to model the ability of skipping steps by an individual in a task solution. This thesis selected C-BAM network to illustrate that the retrieval sequence can model the ability of a novice or the ability of an expert to execute a task. There are also illustrated cases in which a novice recall can be transformed into an expert recall through parametric variation. Although C-BAM family can reach all stored patterns during the chaotic behavior, it can not converge towards a specific pattern, consequently a desired output is not produced. In this thesis, two control strategies are proposed in order to make the chaotic networks to converge towards the desired memory: the pinning control method and the adaptive control method. Consequently, the C-BAM models can effectively realize the correct heteroassociation to former non-accessible memories and the C-BAM network can quickly be stabilized in the final state of a task, given the first state

Nesta tese, uma família de memórias associativas bidirecionais caóticas (família C-BAM) é proposta, implementada e testada com o objetivo de estender a relevância da presença e do estudo do fenômeno caótico a modelos de redes associativas. Na modelagem da família C-BAM, todos os neurônios da memória associativa bidirecional caótica (BAM), BAM com atraso e BAM exponencial (eBAM) foram substituídos por neurônios caóticos. Cada parâmetro do neurônio caótico na família C-BAM tem sua influência estimada através do planejamento de experimentos, em diferentes dinâmicas. Com base no planejamento de experimentos, valores de parâmetros são selecionados a fim de ilustrar a emergência de comportamentos dinâmicos como bifurcação, caos determinístico e crise. A existência de dinâmicas caóticas é confirmada pelo cálculo dos expoentes de Lyapunov. Experimentos empíricos mostraram que a dinâmica caótica modifica a acessibilidade à memória da família C-BAM. Ao invés de recuperar um único par, como a família BAM fazia, a versão caótica é capaz de gerar uma grande diversidade de padrões recuperados, envolvendo complexas transições entre os padrões armazenados, para algumas variações paramétricas. Tal comportamento permite à família C-BAM acessar padrões inacessíveis às redes BAMs originais. Além disso, a nova acessibilidade à memória, na qual seqüências de recuperação (com diferentes tamanhos) compostas de padrões treinados e não treinados têm emergido, pode ser usada para modelar a habilidade de um indivíduo saltar passos na solução de uma tarefa. Esta tese seleciona a rede C-BAM para ilustrar que a seqüência de recuperação da rede pode modelar a habilidade de um noviço ou a habilidade de um especialista executar uma tarefa. Embora a família C-BAM possa alcançar todos os padrões armazenados durante o comportamento caótico, ela não consegue convergir para um padrão específico. Duas estratégias de controle são propostas para permitir que as redes caóticas convirjam para a memória desejada: o método de controle por pinagem e um método de controle adaptativo. Conseqüentemente, os modelos C-BAM podem, de fato, realizar a hetero-associação de memórias antes inacessíveis, e a rede C-BAM pode estabilizar-se no estado final de uma tarefa, dado o primeiro estado / In this thesis, a family of bidirectional associative memories (C-BAM family) is proposed, implemented and tested to extend the study of chaotic phenomenon in associative models. In the C-BAM model, all the original neurons of bidirectional associative memory (BAM), BAM with delay and exponenetial BAM (eBAM) were substituted for chaotic neurons. Based on the experimental design, values of C-BAM family parameters are set to illustrate the emergence of a diversity of dynamic behavior, such as bifurcation, deterministic chaos and crisis. The existence of the chaotic dynamics is confirmed by calculation of Lyapunov exponents. Empiric experiments showed that the chaotic dynamics modifies the behavior of memory accessibility. Instead of recalling a single pair, as BAM did, its chaotic version yielded a wide diversity of recalled patterns, involving complex transitions via memorized patterns for some parametric variations. Hence, C-BAM family can access patterns that original BAM family cannot. Moreover, the new way of memory accessibility, in which several recall sequences (with distinct sizes) composed of trained and nontrained patterns have emerged, can be used to model the ability of skipping steps by an individual in a task solution. This thesis selected C-BAM network to illustrate that the retrieval sequence can model the ability of a novice or the ability of an expert to execute a task. There are also illustrated cases in which a novice recall can be transformed into an expert recall through parametric variation. Although C-BAM family can reach all stored patterns during the chaotic behavior, it can not converge towards a specific pattern, consequently a desired output is not produced. In this thesis, two control strategies are proposed in order to make the chaotic networks to converge towards the desired memory: the pinning control method and the adaptive control method. Consequently, the C-BAM models can effectively realize the correct heteroassociation to former non-accessible memories and the C-BAM network can quickly be stabilized in the final state of a task, given the first state