Normalization is important for a large range of phenomena in biological neural systems such as light adaptation in the retina, context dependent decision making and probabilistic inference. In a normalizing circuit the activity of one neuron/-group of neurons is divisively rescaled in relation to the activity of other neurons/­­groups. This creates neural responses invariant to certain stimulus dimensions and dynamically adapts the range over which a neural system can respond discriminatively on stimuli. This thesis examines whether a biologically realistic normalizing circuit can be implemented by a spiking neural network model based on the columnar structure found in cortex. This was done by constructing and evaluating a highly structured spiking neural network model, modelling layer 2/3 of a cortical hypercolumn using a group of neurons as the basic computational unit. The results show that the structure of this hypercolumn module does not per se create a normalizing network. For most model versions the modulatory effect is better described as subtractive inhibition. However three mechanisms that shift the modulatory effect towards normalization were found: An increase in membrane variance for increased modulatory inputs; variability in neuron excitability and connections; and short-term depression on the driving synapses. Moreover it is shown that by combining those mechanisms it is possible to create a spiking neural network that implements approximate normalization over at least ten times increase in input magnitude. These results point towards possible normalizing mechanisms in a cortical hypercolumn; however more studies are needed to assess whether any of those could in fact be a viable explanation for normalization in the biological nervous system. / Normalisering är viktigt för en lång rad fenomen i biologiska nervsystem såsom näthinnans ljusanpassning, kontextberoende beslutsfattande och probabilistisk inferens. I en normaliserande krets skalas aktiviteten hos en nervcell/grupp av nervceller om i relation till aktiviteten hos andra nervceller/grupper. Detta ger neurala svar som är invarianta i förhållande till vissa dimensioner hos stimuli, och anpassar dynamiskt för vilka inputmagnituder ett system kan särskilja mellan stimuli. Den här uppsatsen undersöker huruvida en biologiskt realistisk normal­iserande krets kan implementeras av ett spikande neuronnätverk konstruerat med utgångspunkt från kolumnstrukturen i kortex. Detta gjordes genom att konstruera och utvärdera ett hårt strukturerat rekurrent spikande neuronnätverk, som modellerar lager 2/3 av en kortikal hyperkolumn med en grupp av neuroner som grundläggande beräkningsenhet. Resultaten visar att strukturen i hyperkolumn­modulen inte i sig skapar ett normaliserande nätverk. För de flesta nätverks­versioner implementerar nätverket en modulerande effekt som bättre beskrivs som subtraktiv inhibition. Dock hittades tre mekanismer som skapar ett mer normaliserande nätverk: Ökad membranvarians för större modulerande inputs; variabilitet i excitabilitet och inkommande kopplingar; och korttidsdepression på drivande synapser. Det visas också att genom att kombinera dessa mekanismer är det möjligt att skapa ett spikande neuronnät som approximerar normalisering över ett en åtminstone tio gångers ökning av storleken på input. Detta pekar på möjliga normaliserande mekanismer i en kortikal hyperkolumn, men ytterligare studier är nödvändiga för att avgöra om en eller flera av dessa kan vara en förklaring till hur normalisering är implementerat i biologiska nervsystem.

Every year, 250,000 people worldwide suffer a spinal cord injury (SCI) that leaves them with chronic paraplegia - permanent loss of ability to move their legs. SCI interrupts axons passing along the spinal cord, thereby isolating motor neurons from brain inputs. To date, there are no effective treatments that can reconnect these interrupted axons. In a recent breakthrough, .NeuroRestore developed the STIMO neuroprosthesis that can restore walking after paralyzing SCI using Epidural Electrical Stimulation (EES) of the lumbar spinal cord. Yet, the calibration of EES requires highly trained personnel and a vast amount of time, and the mechanism by which EES restores movement is not fully understood. In this master thesis, we propose to address this issue using modeling combined with Artificial Neural Networks (ANNs). To do so, we introduce the CyberSpine model to predict EES-induced motor response. The implementation of the model relies on the construction of a multipolar basis of solution of the Poisson equation which is then coupled to an ANN trained against actual data of an implanted STIMO user. Furthermore, we show that our CyberSpine model is particularly well adapted to extract biologically relevant information regarding the efficient connectivity of the patient’s spine. Finally, a user-friendly interactive visualization software is built. / Varje år drabbas 250 000 människor i hela världen av en ryggmärgsskada som ger dem kronisk paraplegi - permanent förlust av förmågan att röra benen. Vid en ryggmärgsskada bryts axonerna som passerar längs ryggmärgen, vilket isolerar de motoriska neuronpoolerna från hjärnans ingångar. Hittills finns det inga effektiva behandlingar som kan återansluta dessa avbrutna axoner. NeuroRestore utvecklade nyligen neuroprotesen STIMO som kan återställa gångförmågan efter förlamande ryggmärgsskada med hjälp av epidural elektrisk stimulering (EES) av ländryggmärgen. Kalibreringen av EES-stimuleringar kräver dock högutbildad personal och mycket tid, och den mekanism genom vilken EES återställer rörelse är inte helt klarlagd. I denna masteruppsats föreslår vi att vi tar itu med denna fråga med hjälp av modellering i kombination med artificiell intelligens. För att göra detta introducerar vi CyberSpine-modellen, en modell som kan förutsäga EES-inducerad motorisk respons. Implementeringen av modellen bygger på konstruktionen av en multipolär bas för lösning av Poisson-ekvationen som sedan kopplas till ett artificiellt neuralt nätverk som tränas mot faktiska data från en implanterad STIMO-deltagare. Dessutom visar vi att vår CyberSpine-modell är särskilt väl anpassad för att extrahera biologiskt relevant information om den effektiva anslutningen av patientens ryggrad. Slutligen bygger vi en användarvänlig interaktiv visualiseringsprogramvara.

This research investigated the concept of a sparsity method inspired by the principles of structural plasticity in the brain in order to create a sparse model of the Bayesian Confidence Propagation Neural Networks (BCPNN) during the training phase. This was done by extending the structural plasticity in the implementation of the BCPNN. While the initial algorithm presented two synaptic states (Active and Silent), this research extended it to three synaptic states (Active, Silent and Absent) with the aim to enhance sparsity configurability and emulate a more brain-like algorithm, drawing parallels with synaptic states observed in the brain. Benchmarking was conducted using the MNIST and Fashion-MNIST dataset, where the proposed threestate model was compared against the previous two-state model in terms of representational learning. The findings suggest that the three-state model not only provides added configurability but also, in certain low-sparsity settings, showcases similar representational learning abilities as the two-state model. Moreover, in high-sparsity settings, the three-state model demonstrates a commendable balance between accuracy and sparsity trade-off. / Denna forskning undersökte en konceptuell metod för gleshet inspirerad av principerna för strukturell plasticitet i hjärnan för att skapa glesa BCPNN. Forskningen utvidgade strukturell plasticitet i en implementering av BCPNN. Medan den ursprungliga algoritmen presenterade två synaptiska tillstånd (Aktiv och Tyst), utvidgade denna forskning den till tre synaptiska tillstånd (Aktiv, Tyst och Frånvarande) med målet att öka konfigurerbarheten av sparsitet och efterlikna en mer hjärnliknande algoritm, med paralleller till synaptiska tillstånd observerade i hjärnan. Jämförelse gjordes med hjälp av MNIST och Fashion-MNIST datasetet, där det föreslagna tre-tillståndsmodellen jämfördes med den tidigare tvåtillståndsmodellen med avseende på representationslärande. Resultaten tyder på att tre-tillståndsmodellen inte bara ger ökad konfigurerbarhet utan också, i vissa lågt glesa inställningar, visar samma inlärningsförmåga som två-tillståndsmodellen. Dessutom visar den tre-tillståndsmodellen i högsparsamma inställningar en anmärkningsvärd balans mellan noggrannhet och avvägningen mellan sparsitet.