Cette thèse s'inscrit dans le contexte de l'étude des circuits neuromorphiques utilisant des dispositifs memristifs comme synapses. Son objectif principal est d'évaluer les mérites d'une nouvelle classe de mémoires organiques développées au LICSEN (CEA Saclay/IRAMIS) et, plus particulièrement, leur adéquation avec les propositions d'implémentation et les règles d'apprentissage proposées par l'équipe NanoArchi de l'IEF (Univ. Paris-Sud, Orsay). Les memristors étudiés sont basés sur l'electro-greffage en films minces de complexes organiques redox pour la formation de jonctions métal/molécules/métal robustes et scalables. Outre la fabrication de memristors, le travail inclut d'importants efforts de caractérisation électrique (vitesse, non-volatilité, scalabilité, robustesse, etc.) visant d'une part à étudier les mécanismes de commutation dans ces nouveaux matériaux memristifs organiques, et d'autres part, à évaluer leur potentiel en tant que synapses. Cette thèse présente également une étude préparatoire à la réalisation d'un démonstrateur de circuit mixte de type réseaux de neurones combinant nano-memristors et électronique conventionnelle (programmabilité des dispositifs en mode impulsionnel, réalisation d'assemblées de dispositifs, variabilité). De plus, la démonstration de la compatibilité de ces memristors avec la propriété STDP (Spike Timing Dependent Plasticity) ainsi que de l’apprentissage d’un « réflexe conditionné » ouvrent la voie aux apprentissages non-supervisés. / This PhD project takes place in the context of the study of neuromorphic circuits using memristor devices as synapses. The main objective is to evaluate a new class of organic memories developed at LICSEN (CEA Saclay/IRAMIS) and particularly their compatibility with the learning rules and the implementation strategy proposed by the Nanoarchi group at IEF (Univ. Paris-Sud, Orsay). These new memristors are based on the electro-grafting of organic redox complexes thin films to form robust and scalable metal/molecules/metal junctions. In addition to memristor fabrication, this work includes detailed electrical characterization studies (speed, retention property, scalability, robustness, etc.) aiming at, on the one hand, establishing the commutation mechanism in these new memristors and, on the other hand, evaluating their potential as synapses. This work also proposes a preparatory study of a neural-network type mixed-circuit demonstrator combining nano-memristors and conventional electronic (programmability of devices by spikes, fabrication of assemblies of memristors, variability). Moreover the demonstration of the compatibility of such memristors with the STDP (Spike Timing Dependent Plasticity) property and of the learning of a “conditioned reflex” opens the way to future unsupervised learning studies.

Dans ces travaux de thèse, nous nous sommes intéressés à l'influence du bruit synaptique sur la plasticité synaptique dans un réseau de neurones biophysiquement réalistes. Le simulateur utilisé est un système électronique neuromorphique. Nous avons implanté un modèle de neurones à conductances basé sur le formalisme de Hodgkin et Huxley, et un modèle biophysique de plasticité. Ces travaux ont inclus la configuration du système, le développement d'outils pour l'exploiter, son utilisation ainsi que la mise en place d'une plateforme le rendant accessible à la communauté scientifique via Internet et l'utilisation de scripts PyNN (langage de description de simulations en neurosciences computationnelles). / In this work, we have investigated the effect of input noise patterns on synaptic plasticity applied to a neural network. The study was realised using a neuromorphic hardware simulation system. We have implemented a neural conductance model based on Hodgkin and Huxley formalism, and a biophysical model for plasticity. The tasks performed during this thesis project included the configuration of the system, the development of software tools, the analysis tools to explore experimental results, and the development of the software modules for the remote access to the system via Internet using PyNN scripts (PyNN is a neural network description language commonly used in computational neurosciences).

Durant ces trois années de doctorat, financées par le projet ANR MHANN (MemristiveHardware Analog Neural Network), nous nous sommes intéressés au développement d’une nouvelle architecture de calculateur à l’aide de réseaux de neurones. Les réseaux de neurones artificiels sont particulièrement bien adaptés à la reconnaissance d’images et peuvent être utilisés en complément des processeurs séquentiels. En 2008, une nouvelle technologie de composant a vu le jour : le memristor. Classé comme étant le quatrième élément passif, il est possible de modifier sa résistance en fonction de la densité de courant qui le traverse et de garder en mémoire ces changements. Grâce à leurs propriétés, les composants memristifs sont des candidats idéaux pour jouer le rôle des synapses au sein des réseaux de neurones artificiels. En effectuant des mesures sur la technologie des memristors ferroélectriques de l’UMjCNRS/Thalès de l’équipe de Julie Grollier, nous avons pu démontrer qu’il était possible d’obtenir un apprentissage de type STDP (Spike Timing Dependant Plasticity) classiquement utilisé avec les réseaux de neurones impulsionnels. Cette forme d’apprentissage, inspirée de la biologie, impose une variation des poids synaptiques en fonction des évènements neuronaux. En s’appuyant sur les mesures réalisées sur ces memristors et sur des simulations provenant d’un programme élaboré avec nos partenaires de l’INRIA Saclay, nous avons conçu successivement deux puces en silicium pour deux technologies de memristors ferroélectriques. La première technologie (BTO), moins performante, a été mise de côté au profit d’une seconde technologie (BFO). La seconde puce a été élaborée avec les retours d’expérience de la première puce. Elle contient deux couches d’un réseau de neurones impulsionnels dédié à l’apprentissage d’images de 81 pixels. En la connectant à un boitier contenant un crossbar de memristors, nous pourrons réaliser un démonstrateur d’un réseau de neurones hybride réalisé avec des synapses memristives ferroélectriques. / Supported financially by ANR MHANN project, this work proposes an architecture ofspiking neural network in order to recognize pictures, where traditional processing units are inefficient regarding this. In 2008, a new passive electrical component had been discovered : the memristor. Its resistance can be adjusted by applying a potential between its terminals. Behaving intrinsically as artificial synapses, memristives devices can be used inside artificial neural networks.We measure the variation in resistance of a ferroelectric memristor (obtained from UMjCNRS/Thalès) similar to the biological law STDP (Spike Timing Dependant Plasticity) used with spiking neurons. With our measurements on the memristor and our network simulation (aided by INRIASaclay) we designed successively two versions of the IC. The second IC design is driven by specifications of the first IC with additional functionalists. The second IC contains two layers of a spiking neural network dedicated to learn a picture of 81 pixels. A demonstrator of hybrid neural networks will be achieved by integrating a chip of memristive crossbar interfaced with thesecond IC.

La représentation de l’information mnésique est toujours une question d’intérêt majeur en neurobiologie, mais également, du point de vue informatique, en apprentissage artificiel. Dans certains modèles de réseaux de neurones artificiels, nous sommes confrontés au dilemme de la récupération de l’information sachant, sur la base de la performance du modèle, que cette information est effectivement stockée mais sous une forme inconnue ou trop complexe pour être facilement accessible. C’est le dilemme qui se pose pour les grands réseaux de neurones et auquel tente de répondre le paradigme du « reservoir computing ».Le « reservoir computing » est un courant de modèles qui a émergé en même temps que le modèle que nous présentons ici. Il s’agit de décomposer un réseau de neurones en (1) une couche d’entrée qui permet d’injecter les exemples d’apprentissage, (2) un « réservoir » composé de neurones connectés avec ou sans organisation particulière définie, et dans lequel il peut y avoir des mécanismes d’adaptation, (3) une couche de sortie, les « readout », sur laquelle un apprentissage supervisé est opéré. Nous apportons toutefois une particularité, qui est celle d’utiliser les délais axonaux, temps de propagation d’une information d’un neurone à un autre. Leur mise en oeuvre est un apport computationnel en même temps qu’un argument biologique pour la représentation de l’information. Nous montrons que notre modèle est capable d’un apprentissage artificiel efficace et prometteur même si encore perfectible. Sur la base de ce constat et dans le but d’améliorer les performances nous cherchons à comprendre les dynamiques internes du modèle. Plus précisément nous étudions comment la topologie du réservoir peut influencer sa dynamique. Nous nous aidons pour cela de la théorie des groupes polychrones. Nous avons développé, pour l’occasion, des algorithmes permettant de détecter ces structures topologico-dynamiques dans un réseau, et dans l’activité d’un réseau de topologie donnée.Si nous comprenons les liens entre topologie et dynamique, nous pourrons en tirer parti pour créer des réservoirs adaptés aux besoins de l’apprentissage. Finalement, nous avons mené une étude exhaustive de l’expressivité d’un réseau en termes de groupes polychrones, en fonction de différents types de topologies (aléatoire, régulière, petit-monde) et de nombreux paramètres (nombre de neurones, connectivité, etc.). Nous pouvons enfin formuler un certain nombre de recommandations pour créer un réseau dont la topologie peut être un support riche en représentations possibles. Nous tentons également de faire le lien avec la théorie cognitive de la mémoire à traces multiples qui peut, en principe, être implémentée et étudiée par le prisme des groupes polychrones. / How memory information is represented is still an open question in neurobiology, but also, from the computer science point of view, in machine learning. Some artificial neuron networks models have to face the problem of retrieving information, knowing that, in regard to the model performance, this information is actually stored but in an unknown form or too complex to be easily accessible. This is one of the problems met in large neuron networks and which « reservoir computing » intends to answer.« Reservoir computing » is a category of models that has emerged at the same period as, and has propoerties similar to the model we present here. It is composed of three parts that are (1) an input layer that allows to inject learning examples, (2) a « reservoir » composed of neurons connected with or without a particular predefined, and where there can be adaptation mecanisms, (3) an output layer, called « readout », on which a supervised learning if performed. We bring a particularity that consists in using axonal delays, the propagation time of information from one neuron to another through an axonal connexion. Using delays is a computational improvement in the light of machin learning but also a biological argument for information representation.We show that our model is capable of a improvable but efficient and promising artificial learning. Based on this observation and in the aim of improving performance we seek to understand the internal dynamics of the model. More precisely we study how the topology of the reservoir can influence the dynamics. To do so, we make use of the theory of polychronous groups. We have developped complexe algorithms allowing us to detect those topologicodynamic structures in a network, and in a network activity having a given topology.If we succeed in understanding the links between topology and dynamics, we may take advantage of it to be able to create reservoir with specific properties, suited for learning. Finally, we have conducted an exhaustive study of network expressivness in terms of polychronous groups, based on various types of topologies (random, regular, small-world) and different parameters (number of neurones, conectivity, etc.). We are able to formulate some recommandations to create a network whose topology can be rich in terms of possible representations. We propose to link with the cognitive theory of multiple trace memory that can, in principle, be implemented and studied in the light of polychronous groups.

Adaptation is one of the basic phenomena of biology, while adaptability is an important feature for neural network. Young barn owl can well adapt its visual and auditory integration to the environmental change, such as prism wearing. At first, a mathematical model is introduced by the related study in biological experiment. The model well explained the mechanism of the sensory map realignment through axongenesis and synaptogenesis. Simulation results of this model are consistent with the biological data. Thereafter, to test the model’s application in hardware, the model is implemented into a robot. Visual and auditory signals are acquired by the sensors of the robot and transferred back to PC through bluetooth. Results of the robot experiment are presented, which shows the SC model allowing the robot to adjust visual and auditory integration to counteract the effects of a prism. Finally, based on the model, a silicon Superior Colliculus is designed in VLSI circuit and fabricated. Performance of the fabricated chip has shown the synaptogenesis and axogenesis can be emulated in VLSI circuit. The circuit of neural model provides a new method to update signals and reconfigure the switch network (the chip has an automatic reconfigurable network which is used to correct the disparity between signals). The chip is also the first Superior Colliculus VLSI circuit to emulate the sensory map realignment.

Spike-timing dependent plasticity is a learning mechanism used extensively within neural modelling. The learning rule has been shown to allow a neuron to find the onset of a spatio-temporal pattern repeated among its afferents. In this thesis, the first question addressed is ‘what does this neuron learn?’ With a spiking neuron model and linear prediction, evidence is adduced that the neuron learns two components: (1) the level of average background activity and (2) specific spike times of a pattern. Taking advantage of these findings, a network is developed that can train recognisers for longer spatio-temporal input signals using spike-timing dependent plasticity. Using a number of neurons that are mutually connected by plastic synapses and subject to a global winner-takes-all mechanism, chains of neurons can form where each neuron is selective to a different segment of a repeating input pattern, and the neurons are feedforwardly connected in such a way that both the correct stimulus and the firing of the previous neurons are required in order to activate the next neuron in the chain. This is akin to a simple class of finite state automata. Following this, a novel resource-based STDP learning rule is introduced. The learning rule has several advantages over typical implementations of STDP and results in synaptic statistics which match favourably with those observed experimentally. For example, synaptic weight distributions and the presence of silent synapses match experimental data.

Spiking neural networks have, in recent years, become a popular tool for investigating the properties and computational performance of large massively connected networks of neurons. Equally as interesting is the investigation of the potential computational power of individual spiking neurons. An overview is provided of current and relevant research into the Liquid Sate Machine, biologically inspired artificial STDP learning mechanisms and the investigation of aspects of the computational power of artificial, recurrent networks of spiking neurons. First, it is shown that, using simple structures of spiking Leaky Integrate and Fire (LIF) neurons, a network n(P), can be built to perform any program P that can be performed by a general parallel programming language. Next, a form of STDP learning with normalisation is developed, referred to as STDP + N learning. The effects of applying this STDP + N learning within recurrently connected networks of neurons is then investigated. It is shown experimentally that, in very specific circumstances Anti-Hebbian and Hebbian STDP learning may be considered to be approximately equivalent processes. A metric is then developed that can be used to measure the distance between any two spike trains. The metric is then used, along with the STDP + N learning, in an experiment to examine the capacity of a single spiking neuron that receives multiple input spike trains, to simultaneously learn many temporally precise Input/Output spike train associations. The STDP +N learning is further modified for use in recurrent networks of spiking neurons, to give the STDP + NType2 learning methodology. An experiment is devised which demonstrates that the Type 2 method of applying learning to the synapses of a recurrent network — effectively a randomly shifting locality of learning — can enable the network to learn firing patterns that the typical application of learning is unable to learn. The resulting networks could, in theory, be used to create to simple structures discussed in the first chapter of original work.

La théorie du traitement visuel rapide se base sur un codage par latence de l'information visuelle, et explique ainsi sa rapidité. Nous démontrons dans cette thèse qu'un mécanisme de plasticité synaptique dépendant des temps de décharges, la STDP, permet, au sein de cette théorie, d'expliquer la formation de sélectivités neuronales à même de produire des réponses rapides et sélectives. Par STDP, un neurone va concentrer ses poids synaptiques sur les entrées les plus précoces, une loi qui se traduit au niveau des populations par l'émergence de représentations inspirées de la voie ventrale, lorsque le système est exposé à des images naturelles.<br />Nous montrons de plus, par une expérience de psychophysique, que le traitement visuel rapide est non seulement précis mais qu'il présente aussi une quasi-invariance à la rotation des images.

Tobulėjanti pavienių nervinių ląstelių parametrų matavimo technika suteikia milžiniškus kiekius informacijos. Kad apdoroti tokias gausias duomenų apimtis, būtina taikyti sudėtingus duomenų apdorojimo metodus pasitelkiant galingas skaičiavimo priemones ir algoritmus. Šio darbo tikslas - nustatyti optimalią interneuronų tiesioginio sklidimo slopinančių sinapsių mokymosi taisyklę, kuri leistų išsaugoti įėjimo signalų aukštą laikinę skiriamąją gebą, kuomet žadinančių sinapsių svorių koeficientai keičiami pagal nuo įėjimų laiko priklausančią sinapsių plastiškumo (angl. spike-timing dependent synaptic plasticity, (STDP)) taisyklę. Vykstant žadinančių sinapsių ilgalaikei potenciacijai, įėjimų signalų integravimo langas išauga. Siekiant išsaugoti integravimo langą siaurą, reikalingas ir tiesioginio sklidimo slopinančių sinapsių plastiškumas. / Plentiful results are coming from advances in single cell recordings. All these data have to be treated in complex ways implementing powerful computational techniques. Goal of this study was to identify the optimal learning rule of feedforward inhibitory interneurons that preserves high temporal precision of input discrimination while excitatory synapses undergo synaptic modifications according to the asymmetric spike-timing dependent plasticity rule. Temporal integration of inputs is enhanced if excitatory synapses undergo long term potentiation. To preserve narrow temporal integration window, feedforward inhibitory synapses must be plastic as well.

abstract: This work focuses on the existence of multiple resistance states in a type of emerging non-volatile resistive memory device known commonly as Programmable Metallization Cell (PMC) or Conductive Bridge Random Access Memory (CBRAM), which can be important for applications such as multi-bit memory as well as non-volatile logic and neuromorphic computing. First, experimental data from small signal, quasi-static and pulsed mode electrical characterization of such devices are presented which clearly demonstrate the inherent multi-level resistance programmability property in CBRAM devices. A physics based analytical CBRAM compact model is then presented which simulates the ion-transport dynamics and filamentary growth mechanism that causes resistance change in such devices. Simulation results from the model are fitted to experimental dynamic resistance switching characteristics. The model designed using Verilog-a language is computation-efficient and can be integrated with industry standard circuit simulation tools for design and analysis of hybrid circuits involving both CMOS and CBRAM devices. Three main circuit applications for CBRAM devices are explored in this work. Firstly, the susceptibility of CBRAM memory arrays to single event induced upsets is analyzed via compact model simulation and experimental heavy ion testing data that show possibility of both high resistance to low resistance and low resistance to high resistance transitions due to ion strikes. Next, a non-volatile sense amplifier based flip-flop architecture is proposed which can help make leakage power consumption negligible by allowing complete shutdown of power supply while retaining its output data in CBRAM devices. Reliability and energy consumption of the flip-flop circuit for different CBRAM low resistance levels and supply voltage values are analyzed and compared to CMOS designs. Possible extension of this architecture for threshold logic function computation using the CBRAM devices as re-configurable resistive weights is also discussed. Lastly, Spike timing dependent plasticity (STDP) based gradual resistance change behavior in CBRAM device fabricated in back-end-of-line on a CMOS die containing integrate and fire CMOS neuron circuits is demonstrated for the first time which indicates the feasibility of using CBRAM devices as electronic synapses in spiking neural network hardware implementations for non-Boolean neuromorphic computing. / Dissertation/Thesis / Doctoral Dissertation Electrical Engineering 2015