Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2008-2009 / Suite aux traumatismes crâniens pénétrants, le cerveau devient graduellement hyperexcitable et génère des activités paroxystiques spontanées. Les mécanismes qui sous-tendent l’épileptogénèse demeurent cependant peu connus. La ligne directrice de nos travaux consiste en l'hypothèse que la diminution de l'activité corticale engendrée par la déafférentation déclenche des mécanismes homéostatiques agissant tant au niveau cellulaire qu’au niveau du réseau cortical, et qui mènent à une excitabilité neuronale accrue culminant en crises d’épilepsie. Nous avons testé cette hypothèse chez des chats adultes, lors de différents états de vigilance ou sous anesthésie, ayant subits une déafférentation partielle du gyrus suprasylvien. Nous avons évalué les effets de la déafférentation corticale aigue et chronique sur la survie des neurones et des cellules gliales et nous avons investigué comment la privation chronique d'afférences neuronales pourrait modifier les propriétés du réseau cortical et déclencher des crises d’épilepsie. Après la déafférentation du gyrus suprasylvien, les neurones situés dans les couches corticales profondes, en particulier les neurones inhibiteurs GABAérgiques, dégénèrent progressivement et parallèlement à une fréquence croissante des activités paroxystiques, notamment pendant le sommeil à ondes lentes. La privation chronique d'afférences neuronales et la perte de neurones activent les mécanismes homéostatiques de plasticité qui favorisent une plus grande connectivité neuronale, une efficacité plus élevée des connexions synaptiques excitatrices et des changements des propriétés neuronales intrinsèques. Ensemble, ces facteurs favorisent une excitation accrue du réseau cortical. L'activité corticale spontanée, mesurée par les taux moyens de décharge, augmente progressivement, en particulier pendant le sommeil à ondes lentes, caractérisé par des périodes silencieuses alternant avec des périodes actives. Ceci soutient, en outre, notre hypothèse concernant la participation des mécanismes de plasticité homéostatique. La dégénération des neurones des couches corticales profondes produit des changements importants dans la distribution laminaire de l'activité neuronale, qui est déplacée vers les couches plus superficielles, dans la partie déafferenté du gyrus. Ce changement dans la distribution de profils de profondeurs de décharges neuronales modifie également le déclenchement de l'activité corticale spontanée. Dans le cortex normal et dans la partie relativement intacte du gyrus suprasylvien, l'activité corticale est générée dans les couches corticales profondes. Pourtant, dans le cortex chroniquement déafferenté, l'oscillation lente et les activités ictales sont générées dans les couches superficielles et puis diffusent vers les couches plus profondes. Le traumatisme cortical induit également une importante gliose réactive et une altération de la fonction normale des cellules gliales, ce qui cause l’enlèvement dysfonctionnel du K+ extracellulaire et qui augmente l'excitabilité des neurones favorisant ainsi la génération d’activités paroxystiques. En conclusion, les mécanismes de plasticité homéostatique déclenchés par le niveau diminué d'activité dans le cortex déafferenté produisent une hyperexcitabilité corticale incontrôlable et génèrent finalement les crises d’épilepsie. Dans ces conditions, l’augmentation de l'activité corticale plutôt que la diminution avec des médicaments antiépileptiques pourrait être salutaire pour empêcher le développement de l'épileptogenèse post-traumatique. / After penetrating cortical wounds, the brain becomes gradually hyperexcitable and generates spontaneous paroxysmal activity, but the progressive mechanisms of epileptogenesis remain virtually unknown. The guiding line of our experiments was the hypothesis that the reduced cortical activity following deafferentation triggers homeostatic mechanisms acting at cellular and network levels, leading to an increased neuronal excitability and finally generating paroxysmal activities. We tested this hypothesis either in anesthetized adult cats, or during natural sleep and wake, using the model of partially deafferented suprasylvian gyrus to induce posttraumatic epileptogenesis. We evaluated the effects of acute and chronic cortical deafferentation on the survival of neurons and glial cells and how long-term input deprivation could shape up the properties of neuronal networks and the initiation of spontaneous cortical activity. Following cortical deafferentation of the suprasylvian gyrus, the deeply laying neurons, particularly the inhibitory GABAergic ones, degenerate progressively in parallel with an increased propensity to paroxysmal activity, mainly during slow-wave sleep. The chronic input deprivation and the death of neurons activate homeostatic plasticity mechanisms, which promote a gradual increased neuronal connectivity, higher efficacy of excitatory synaptic connections and changes in intrinsic cellular properties favoring increased excitation. The spontaneous cortical activity quantified by means of firing rate augments also progressively, particularly during slow-wave sleep, characterized by periods of silent states alternating with periods of active states, which supports furthermore our hypothesis regarding the involvement of homeostatic plasticity mechanisms. The degeneration of neurons in the deep cortical layers generates important changes in the laminar distribution of neuronal activity, which is shifted from the deeper layers to the more superficial ones, in the partially deafferented part of the gyrus. This change in the depth profile distribution of firing rates modifies also the initiation of spontaneous cortical activity which, in normal cortex, and in the relatively intact part of the deafferented gyrus, is initiated in the deep cortical layers. Conversely, in late stages of the undercut, both the cortical slow oscillation and the ictal activity are initiated in the more superficial layers and then spread to the deeper ones. Cortical trauma induces also an important reactive gliosis associated with an impaired function of glial cells, responsible for a dysfunctional K+ clearance in the injured cortex, which additionally increases the excitability of neurons, promoting the generation of paroxysmal activity. We conclude, that the homeostatic plasticity mechanisms triggered by the decreased level of activity in the deafferented cortex, generate an uncontrollable cortical hyperexcitability, finally leading to seizures. If this statement is true, augmenting cortical activity rapidly after cortical trauma rather than decreasing it with antiepileptic medication, could prove beneficial in preventing the development of posttraumatic epileptogenesis.

Les élévations calciques sont nécessaires dans plusieurs formes de plasticité synaptique. Toutefois, la dynamique des élévations calciques dendritiques de même que leurs rôles dans les interneurones restent indéterminés. En utilisant une combinaison de patch-clamp et d'imagerie calcique dans les tranches aiguës d'hippocampe de souris, nous avons examiné les mécanismes associés aux élévations calciques dans les dendrites d'interneurones du stratum radiatum (RAD). Les données indiquent que les élévations calciques évoquées par les potentiels d'action rétropropagés sont restreintes à la portion proximale des dendrites. De plus, les élévations calciques démontrent des propriétés spécifiques au type d'interneurone, notamment en ce qui a trait à l'expression des canaux calciques voltage-dépendants. D'autre part, l'entrée de calcium répétitive était suffisante pour induire une potentialisation à long terme aux synapses inhibitrices formées sur les interneurones. Finalement, nos résultats démontrent le rôle central des élévations calciques dans le contrôle de la transmission synaptique dans les interneurones du RAD.

Tableau d'honneur de la Faculté des études supérieures et postdoctorales, 2019 / La signalisation calcique dendritique joue un rôle important dans la régulation de mécanismes neuronaux, tels que la plasticité synaptique et l’intégration de l’information transmise. Bien compris chez les neurones principaux, ce processus de régulation est moins étudié chez les divers types d’interneurones GABAergiques qui modulent l’acquisition et l’envoi de signaux neuronaux. Chez les interneurones à décharge rapide, un type d’interneurone commun dans les circuits corticaux, il a été démontré qu’il y a absence de rétropropagation des potentiels d’action dans les dendrites distales (Hu et al., 2010). Cette découverte a des implications fonctionnelles, car la rétropropagation des potentiels d’action est un signal important pour l’induction des formes de plasticité synaptique hebbiennes. Par contre, il a été suggéré que l’activité dendritique locale pourrait compenser pour l’absence de rétropropagation des potentiels d’action. En conséquence, ce travail porte sur l’étude des évènements calciques dans les dendrites distales des interneurones à décharge rapide. Nous avons cherché à déterminer s’il est possible de générer ces signaux calciques par stimulation dendritique locale, à étudier les mécanismes responsables de ces signaux et à déterminer si ces signaux jouent un rôle dans la régulation de la plasticité synaptique à ces synapses. Pour atteindre ces objectifs, nous avons utilisé une combinaison de méthodes électrophysiologiqes (patch-clamp en mode cellule entière), d’imagerie calcique deux-photons et de modélisation computationnelle. Nous avons pu établir qu’il est possible de générer des évènements calciques postsynaptiques supralinéaires dans les synapses excitatrices étudiées par stimulation électrique locale. Ces signaux sont médiés par l’influx calcique provenant de l’activation des récepteurs AMPA perméables au Ca2+, qui déclenche à son tour le relâchement de Ca2+ par les récepteurs ryanodine présents sur réserves calciques intracellulaires. Ces signaux comprennent aussi une contribution calcique mineure des récepteurs NMDA, et ils restent locaux (pas de propagation dans l’arbre dendritique). De plus, nous avons déterminé que ces évènements calciques supralinéaires produisent un revirement de la plasticité synaptique, car ils induisent la dépression à long-terme dans les synapses étudiées, alors que les signaux calciques de basse amplitude induisent la potentiation à long-terme. Nous avons aussi examiné si ces évènements calciques supralinéaires étaient générés de façon équivalente dans les dendrites apicales et basales, qui reçoivent des synapses de différentes sources. Nous avons observé que les signaux des dendrites apicales avaient une plus grande amplitude et étaient associés à un plus haut niveau de dépolarisation. À partir de la modélisation, nous avons pu prédire le nombre de synapses nécessaires à la génération de ces signaux et la contribution potentielle des mécanismes d’extrusion du Ca2+. Finalement, nous avons étudié la spécificité cellulaire des mécanismes d’intégration dendritique en combinant l’imagerie calcique et la modélisation dans un type différent d’interneurone, les interneurones spécifiques aux interneurones type III. En conclusion, nous avons prouvé qu’il existe dans certains interneurones des mécanismes alternatifs, médiés par des hausses de Ca2+ locales, permettant la régulation de la plasticité aux synapses excitatrices. / Dendritic Ca2+ signaling plays an important role in the regulation of neuronal processes, such as synaptic plasticity and input integration. Well-studied in principal neurons, this form of regulation is not well understood in the various types of GABAergic interneurons that modulate activity in neuronal networks. In fastspiking (FS) interneurons, a common interneuron type in cortical circuits, it has been shown that there is a lack of action potential (AP) backpropagation in distal dendrites (Hu et al., 2010). This discovery has functional implications, AP backpropagation is an important signal for the induction of Hebbian forms of synaptic plasticity. However, it has been suggested that local dendritic activity could compensate for the absence of AP backpropagation. Consequently, this work focuses on the study of Ca2+ transients in distal dendrites of FS interneurons. We sought to determine whether it is possible to generate supralinear Ca2+ transients through local dendritic stimulation, to study the mechanisms responsible for those transients and to determine whether those signals play a role in the regulation of synaptic plasticity at those synapses. To reach those objectives, we used a combination of electrophysiological methods (whole-cell patch-clamp recordings), two-photon Ca2+ imaging and of computational modeling. We were able to establish that supralinear postsynaptic Ca2+ transients can be generated through local electrical stimulation of excitatory synapses in distal dendrites. These Ca2+ transients were mediated by Ca2+ influx from the activation of Ca2+-permeable AMPA receptors, which triggers Ca2+ release through ryanodine receptors present on intracellular Ca2+ stores (Ca2+-induced Ca2+ release). These Ca2+ signals also contain a minor contribution from NMDA receptors, and stay localized (no significant propagation in the dendritic arbor). In addition, we determined that these supralinear Ca2+ signals constitute a switch in the expression of synaptic plasticity, as they induce long-term depression in local synapses, while low-amplitude Ca2+ signals induced synaptic long-term potentiation. We also examined whether these supralinear Ca2+ transients were generated in both apical and basal dendrites, which receive synaptic contacts from different sources (Schaffer collaterals vs local collaterals). We observed that Ca2+ transients in apical dendrites had a higher amplitude and were associated with a higher level of somatic depolarization. We were also able to predict, through computational modeling, the number of synapses necessary to the generation of those signals and the potential contribution of Ca2+ extrusion mechanisms. Finally, we studied the cell-specificity of dendritic integration mechanisms by combining Ca2+ imaging and modeling in a different interneuron type, interneuron-specific interneurons type III. In conclusion, we were able to prove that certain interneurons possess alternative mechanisms, mediated through local Ca2+ transients, that allow for the regulation of plasticity at excitatory synapses.

Les études GWAS associent les variantes du gène Fxr1 à la schizophrénie, les maladies bipolaires, l’insomnie et la durée du sommeil. Gsk3β peut directement phosphoryler et ainsi réguler négativement Fxr1. De plus, les interactions fonctionnelles entre Gsk3β et Fxr1 sont associées avec la stabilité émotionnelle chez les humains. Comment Gsk3β-Fxr1 régule l’activité neuronale, la plasticité et le comportement reste inconnu. Gsk3β peut être activé en aval des récepteurs D2 de dopamine. L’activité de Gsk3β peut être modulée par les stabilisateurs d’humeur, les antipsychotiques et les antidépresseurs en régulant des comportements. Néanmoins, les corrélations neuroanatomiques de Gsk3β en aval des récepteurs D2 restent inexplorées. Nous avons étudié, en premier lieu, les relations de Gsk3β-Fxr1 avec l’activité neuronale et les comportements. Nous avons découvert que Fxr1 et son régulateur négatif Gsk3β affectent les comportements liés à l’anxiété ainsi que la neurotransmission glutamatergique via la régulation des récepteurs AMPA synaptiques. Deuxièmement, nous avons exploré l’Implication de Gsk3β-Fxr1 dans la plasticité synaptique et le sommeil. Nous avons constaté que Fxr1 est le régulateur central («maître») de la mise à l’échelle synaptique homéostatique. D’ailleurs, il est aussi engage dans l’homéostasie du sommeil et module la force synaptique en régulant les transcripts impliqués dans la synthèse locale des protéines et la structure synaptique. Troisièmement, dans le but de comprendre les corrélations neuroanatomiques nous avons généré une carte des neurones exprimant des récepteurs D2 de tout le cortex et leurs projections. En quatrième lieu, nous avons visé d’investiguer les fonctions de Gsk3β en aval des récepteurs D2 dépendamment de leur emplacement anatomique. L’invalidation (knockout) intersectoriel de Gsk3β dans les neurones D2 du cortex préfrontal murin par CRISPR/Cas9 nous a permis de révéler sa contribution dans la régulation des comportements cognitifs, sociaux et de ceux associés à l’humeur. En résumé, cette thèse de doctorat élucide les fonctions de Fxr1 dans le cerveau tout en démontrant l’utilité du CRISPR/Cas9 dans le ciblage génétique ayant pour but d’explorer les fonctions des gènes spécifiquement dans un circuit donné. / Variants in Fxr1 gene are GWAS-associated to schizophrenia, bipolar disorders, insomnia, and sleep duration. Gsk3β can directly phosphorylate and negatively regulate Fxr1. Moreover, functional interaction between Gsk3β and Fxr1 is associated with emotional stability in humans. How Gsk3β-Fxr1 regulates neuronal activity, plasticity and behaviors remains unclear. Gsk3β can be activated downstream of dopamine D2 receptors. Gsk3β activity can be modulated by mood stabilizers, antipsychotics and antidepressants to regulate behaviors. Nevertheless, neuroanatomical correlates of Gsk3β functions downstream of D2 receptors remain elusive. First, we investigated the relationship of Gsk3β-Fxr1 to neuronal activity and behaviors. We discovered that Fxr1 and its negative regulator Gsk3β affect anxiety-related behaviors and glutamatergic neurotransmission via regulation of synaptic AMPA receptors. Second, we addressed the involvement of Gsk3β-Fxr1 in synaptic plasticity and sleep. We discovered that Fxr1 is a master regulator of homeostatic synaptic scaling. Moreover, it is engaged during sleep homeostasis to modulate synaptic strength via regulation of transcripts involved in local protein synthesis and synaptic structure. Third, to understand neuroanatomical correlates of D2 receptor signaling we generated a cortex-wide map of D2 expressing neurons and their projection targets. Fourth, we aimed to understand anatomically defined functions of Gsk3β downstream of D2 receptors. CRISPR/Cas9 mediated intersectional knockout of Gsk3β in D2 neurons of mPFC elucidated its contribution to the regulation of cognitive, social and mood-related behaviors. Overall, this thesis sheds light on brain functions of a GWAS-identified risk gene Fxr1 and shows the utility of intersectional CRISPR/Cas9 mediated genetic targeting for the interrogation of circuitspecific functions of genes.

In this thesis inhibition as a means for competition among neurons in an unsupervised learning system is studied. In the first part of the thesis, the role of inhibition in robustness against loss of information in the form of occlusion in visual data is investigated. In the second part, inhibition as a reason for loss of information in the mathematical models of neural system is addressed. In that part, a learning rule for modeling inhibition with lowered loss of information and also a dis-inhibitory system which induces a winner-take-all mechanism are introduced. The models used in this work are unsupervised feature extractors made of biologically plausible neural networks which simulate the V1 layer of the visual cortex.

Der Einsatz von neuronalen Netzen in Edge-Geräten und deren Einbindung in unser tägliches Leben findet immer mehr Beachtung. Ihre hohen Rechenkosten machen jedoch viele eingebettete Anwendungen zu einer Herausforderung. Das Hauptziel meiner Doktorarbeit ist es, einen Beitrag zur Lösung dieses Dilemmas zu leisten: die Optimierung neuronaler Netze und die Entwicklung entsprechender neuronaler Verarbeitungseinheiten für Endgeräte. Diese Arbeit nahm die algorithmische Forschung als Ausgangspunkt und wandte dann deren Ergebnisse an, um das Architekturdesign von Neural Processing Units (NPUs) zu verbessern. Die Optimierung neuronaler Netzwerkmodelle begann mit der Quantisierung neuronaler Netzwerke mit einfacher Präzision und entwickelte sich zu gemischter Präzision. Die Entwicklung der NPU-Architektur folgte den Erkenntnissen der Algorithmusforschung, um ein Hardware/Software Co-Design zu erreichen. Darüber hinaus wurde ein neuartiger Ansatz zur gemeinsamen Entwicklung von Hardware und Software vorgeschlagen, um das Prototyping und die Leistungsbewertung von NPUs zu beschleunigen. Dieser Ansatz zielt auf die frühe Entwicklungsphase ab. Er hilft Entwicklern, sich auf das Design und die Optimierung von NPUs zu konzentrieren und verkürzt den Entwicklungszyklus erheblich. Im Abschlussprojekt wurde ein auf maschinellem Lernen basierender Ansatz angewendet, um die Rechen- und Speicherressourcen der NPU zu erkunden and optimieren. Die gesamte Arbeit umfasst mehrere verschiedene Bereiche, von der Algorithmusforschung bis zum Hardwaredesign. Sie alle arbeiten jedoch an der Verbesserung der Inferenz-Effizienz neuronaler Netze. Die Optimierung der Algorithmen zielt insbesondere darauf ab, den Speicherbedarf und die Rechenkosten von neuronalen Netzen zu verringern. Das NPU-Design hingegen konzentriert sich auf die Verbesserung der Nutzung von Hardwareressourcen. Der vorgeschlagene Ansatz zur gemeinsamen Entwicklung von Software und Hardware verkürzt den Entwurfszyklus und beschleunigt die Entwurfsiterationen. Die oben dargestellte Reihenfolge entspricht dem Aufbau dieser Dissertation. Jedes Kapitel ist einem Thema gewidmet und umfasst relevante Forschungsarbeiten, Methodik und Versuchsergebnisse.:1 Introduction 2 Convolutional Neural Networks 2.1 Convolutional layer 2.1.1 Padding 2.1.2 Convolution 2.1.3 Batch Normalization 2.1.4 Nonlinearity 2.2 Pooling Layer 2.3 Fully Connected Layer 2.4 Characterization 2.4.1 Composition of Operations and Parameters 2.4.2 Arithmetic Intensity 2.5 Optimization 3 Quantization with Double-Stage Squeeze-and-Threshold 19 3.1 Overview 3.1.1 Binarization 3.1.2 Multi-bit Quantization 3.2 Quantization of Convolutional Neural Networks 3.2.1 Quantization Scheme 3.2.2 Operator fusion of Conv2D 3.3 Activation Quantization with Squeeze-and-Threshold 3.3.1 Double-Stage Squeeze-and-Threshold 3.3.2 Inference Optimization 3.4 Experiment 3.4.1 Ablation Study of Squeeze-and-Threshold 3.4.2 Comparison with State-of-the-art Methods 3.5 Summary 4 Low-Precision Neural Architecture Search 39 4.1 Overview 4.2 Differentiable Architecture Search 4.2.1 Gumbel Softmax 4.2.2 Disadvantage and Solution 4.3 Low-Precision Differentiable Architecture Search 4.3.1 Convolution Sharing 4.3.2 Forward-and-Backward Scaling 4.3.3 Power Estimation 4.3.4 Architecture of Supernet 4.4 Experiment 4.4.1 Effectiveness of solutions to the dominance problem 4.4.2 Softmax and Gumbel Softmax 4.4.3 Optimizer and Inverted Learning Rate Scheduler 4.4.4 NAS Method Evaluation 4.4.5 Searched Model Analysis 4.4.6 NAS Cost Analysis 4.4.7 NAS Training Analysis 4.5 Summary 5 Configurable Sparse Neural Processing Unit 65 5.1 Overview 5.2 NPU Architecture 5.2.1 Buffer 5.2.2 Reshapeable Mixed-Precision MAC Array 5.2.3 Sparsity 5.2.4 Post Process Unit 5.3 Mapping 5.3.1 Mixed-Precision MAC 5.3.2 MAC Array 5.3.3 Support of Other Operation 5.3.4 Configurability 5.4 Experiment 5.4.1 Performance Analysis of Runtime Configuration 5.4.2 Roofline Performance Analysis 5.4.3 Mixed-Precision 5.4.4 Comparison with Cortex-M7 5.5 Summary 6 Agile Development and Rapid Design Space Exploration 91 6.1 Overview 6.1.1 Agile Development 6.1.2 Design Space Exploration 6.2 Agile Development Infrastructure 6.2.1 Chisel Backend 6.2.2 NPU Software Stack 6.3 Modeling and Exploration 6.3.1 Area Modeling 6.3.2 Performance Modeling 6.3.3 Layered Exploration Framework 6.4 Experiment 6.4.1 Efficiency of Agile Development Infrastructure 6.4.2 Effectiveness of Agile Development Infrastructure 6.4.3 Area Modeling 6.4.4 Performance Modeling 6.4.5 Rapid Exploration and Pareto Front 6.5 Summary 7 Summary and Outlook 123 7.1 Summary 7.2 Outlook A Appendix of Double-Stage ST Quantization 127 A.1 Training setting of ResNet-18 in Table 3.3 A.2 Training setting of ReActNet in Table 3.4 A.3 Training setting of ResNet-18 in Table 3.4 A.4 Pseudocode Implementation of Double-Stage ST B Appendix of Low-Precision Neural Architecture Search 131 B.1 Low-Precision NAS on CIFAR-10 B.2 Low-Precision NAS on Tiny-ImageNet B.3 Low-Precision NAS on ImageNet Bibliography 137 / Deploying neural networks on edge devices and bringing them into our daily lives is attracting more and more attention. However, its expensive computational cost makes many embedded applications daunting. The primary objective of my doctoral studies is to make contributions towards resolving this predicament: optimizing neural networks and designing corresponding efficient neural processing units for edge devices. This work took algorithmic research, specifically the optimization of deep neural networks, as a starting point and then applied its findings to steer the architecture design of Neural Processing Units (NPUs). The optimization of neural network models started with single precision neural network quantization and progressed to mixed precision. The NPU architecture development followed the algorithmic research findings to achieve hardware/software co-design. Furthermore, a new approach to hardware and software co-development was introduced, aimed at expediting the prototyping and performance assessment of NPUs. This approach targets early-stage development. It helps developers to focus on the design and optimization of NPUs and significantly shortens the development cycle. In the final project, a machine learning-based approach was applied to explore and optimize the computational and memory resources of the NPU. The entire work covers several different areas, from algorithmic research to hardware design. But they all work on improving the inference efficiency of neural networks. Specifically, algorithm optimization aims to reduce the memory footprint and computational cost of neural networks. The NPU design, on the other hand, focuses on improving the utilization of hardware resources. The proposed software and hardware co-development approach shortens the design cycle and speeds up the design iteration. The order presented above corresponds to the structure of this dissertation. Each chapter corresponds to a topic and covers relevant research, methodology, and experimental results.:1 Introduction 2 Convolutional Neural Networks 2.1 Convolutional layer 2.1.1 Padding 2.1.2 Convolution 2.1.3 Batch Normalization 2.1.4 Nonlinearity 2.2 Pooling Layer 2.3 Fully Connected Layer 2.4 Characterization 2.4.1 Composition of Operations and Parameters 2.4.2 Arithmetic Intensity 2.5 Optimization 3 Quantization with Double-Stage Squeeze-and-Threshold 19 3.1 Overview 3.1.1 Binarization 3.1.2 Multi-bit Quantization 3.2 Quantization of Convolutional Neural Networks 3.2.1 Quantization Scheme 3.2.2 Operator fusion of Conv2D 3.3 Activation Quantization with Squeeze-and-Threshold 3.3.1 Double-Stage Squeeze-and-Threshold 3.3.2 Inference Optimization 3.4 Experiment 3.4.1 Ablation Study of Squeeze-and-Threshold 3.4.2 Comparison with State-of-the-art Methods 3.5 Summary 4 Low-Precision Neural Architecture Search 39 4.1 Overview 4.2 Differentiable Architecture Search 4.2.1 Gumbel Softmax 4.2.2 Disadvantage and Solution 4.3 Low-Precision Differentiable Architecture Search 4.3.1 Convolution Sharing 4.3.2 Forward-and-Backward Scaling 4.3.3 Power Estimation 4.3.4 Architecture of Supernet 4.4 Experiment 4.4.1 Effectiveness of solutions to the dominance problem 4.4.2 Softmax and Gumbel Softmax 4.4.3 Optimizer and Inverted Learning Rate Scheduler 4.4.4 NAS Method Evaluation 4.4.5 Searched Model Analysis 4.4.6 NAS Cost Analysis 4.4.7 NAS Training Analysis 4.5 Summary 5 Configurable Sparse Neural Processing Unit 65 5.1 Overview 5.2 NPU Architecture 5.2.1 Buffer 5.2.2 Reshapeable Mixed-Precision MAC Array 5.2.3 Sparsity 5.2.4 Post Process Unit 5.3 Mapping 5.3.1 Mixed-Precision MAC 5.3.2 MAC Array 5.3.3 Support of Other Operation 5.3.4 Configurability 5.4 Experiment 5.4.1 Performance Analysis of Runtime Configuration 5.4.2 Roofline Performance Analysis 5.4.3 Mixed-Precision 5.4.4 Comparison with Cortex-M7 5.5 Summary 6 Agile Development and Rapid Design Space Exploration 91 6.1 Overview 6.1.1 Agile Development 6.1.2 Design Space Exploration 6.2 Agile Development Infrastructure 6.2.1 Chisel Backend 6.2.2 NPU Software Stack 6.3 Modeling and Exploration 6.3.1 Area Modeling 6.3.2 Performance Modeling 6.3.3 Layered Exploration Framework 6.4 Experiment 6.4.1 Efficiency of Agile Development Infrastructure 6.4.2 Effectiveness of Agile Development Infrastructure 6.4.3 Area Modeling 6.4.4 Performance Modeling 6.4.5 Rapid Exploration and Pareto Front 6.5 Summary 7 Summary and Outlook 123 7.1 Summary 7.2 Outlook A Appendix of Double-Stage ST Quantization 127 A.1 Training setting of ResNet-18 in Table 3.3 A.2 Training setting of ReActNet in Table 3.4 A.3 Training setting of ResNet-18 in Table 3.4 A.4 Pseudocode Implementation of Double-Stage ST B Appendix of Low-Precision Neural Architecture Search 131 B.1 Low-Precision NAS on CIFAR-10 B.2 Low-Precision NAS on Tiny-ImageNet B.3 Low-Precision NAS on ImageNet Bibliography 137

Wahrnehmung ist kein vollständig durch sensorische Reize determinierter bottom-up Prozeß, sondern wird stark beeinflußt durch von diesen Reizen unabhängige top-down Prozesse wie etwa Aufmerksamkeit oder Erwartungen. Welche neuronalen Mechanismen liegen der Integration von bottom-up und top-down gerichteter Verarbeitung sensorischer Information zu Grunde? Im ersten Teil dieser Arbeit wurde diese Frage an Hand von Simulationen eines neuronales Netzwerks zweier vereinfachter kortikaler Areale untersucht. Dieses Netzwerk berücksichtigt hierbei jüngste zellphysiologische Befunde über die stark asymmetrischen funktionellen Eigenschaften kortikaler Neurone. Das simulierte Netzwerk repliziert zentrale neurophysiologische Befunde: 1) Top-down Signale erhöhen die Feuerraten der Neurone sowohl in einem hierarchisch hohen als auch tiefen kortikalen Areal. 2) Durch selektive top-down Signale wird die Verarbeitung simultaner Reize zu Gunsten eines faszilitierten Reizes moduliert. 3) Durch die reziproke Netzwerkarchitektur kommt es zu einem bidirektionalen Informationsfluß zwischen Arealen. Diese kooperative Verarbeitung bedingt gemeinsam mit einer nichtlinearen somato-dendritischen Interaktion neuronale Salvenentladungen, die ein hohes Signal-Rausch-Verhältnis aufweisen. Das simulierte Netzwerk demonstriert, welche zentrale Rolle die komplexen nichtlinearen Eigenschaften kortikaler Neurone bei der Integration bottom-up und top-down gerichteter Verarbeitung sensorischer Information spielen. Im Mittelpunkt der im zweiten Abschnitt vorgestellten experimentellen Studie steht die hochfrequente Synchronisation neuronaler Aktivität. Das große neurowissenschaftliche Interesse an der zeitlichen Struktur neuronaler Aktivität liegt insbesondere in der kontrovers diskutierten Hypothese eines „Synchronisationscodes“ begründet, gemäß welcher Information nicht nur durch die Feuerraten kortikaler Neurone, sondern auch durch die Synchronisation der Aktionspotentiale einer Neuronenpopulation codiert wird. Finden sich solche Synchronisationsphänomene in wachen, sich unter möglichst natürlichen Bedingungen verhaltenden Tieren wieder? Sind diese Synchronisationen selektiv für Eigenschaften des Reizes? Gelingt es, an Hand eines objektiven Kriteriums ein funktionelles Frequenzband neuronaler Synchronisation zu definieren? Diese Fragestellungen wurden mittels chronischer extrazellulärer Ableitungen im primären visuellen Kortex wacher, sich verhaltender Katzen untersucht: 1) Visuelle Stimulation induziert einen breitbandigen hochfrequenten Anstieg neuronaler Synchronisation. 2) Diese Synchronisation ist selektiv für die Orientierung visueller Reize. 3) Durch Analyse dieser Stimulusselektivität kann ein funktionelles Band neuronaler Synchronisation von etwa 45 Hz bis 120 Hz definiert werden. Diese Untersuchungen an wachen, sich unter vergleichsweise natürlichen Bedingungen verhaltenden Tieren demonstrieren eine überraschend breite Frequenzverteilung neuronaler Synchronisation, die im hochfrequenten Bereich weit über die üblicherweise untersuchten Frequenzbänder hinausreicht. Diese Befunde sprechen gegen die Hypothese hochfrequenter kortikaler Synchronisation als einem schmalbandigen statischen Phänomen. / Sensory perception is not purely a bottom-up process determined only by sensory stimuli, but is strongly dependent on top-down factors such as attention or expectations.Which neuronal mechanisms underlie the integration of bottom-up and top-down directed processing of sensory information? In the first part of this study this question was addressed by numerical simulations of a neural network model of two simplified cortical areas. The simulated network takes into account recent findings concerning the pronounced functional asymmetry of cortical neurons.The network replicates several important neurophysiological findings: 1) Top-down signals enhance firing rates in hierarchically high and low cortical areas. 2) The processing of two competing stimuli is biased towards one stimulus by selective top-down signals. 3) The reciprocal network architecture results in a bidirectional flow of information. Together with the implemented non-linear somato-dendritic interaction this leads to neuronal bursting behaviour with a high signal to noise ratio. The simulated network demonstrates the critical role of the complex non-linear properties of cortical neurons for the integration of bottom-up and top-down directed sensory processing. The central question of the second part of this study is the functional role of high-frequency synchronization of neuronal activity. The strong interest in the temporal dynamics of neuronal activity is particularly due to the hypothesis of a “synchronization-code” according to which information is not solely encoded by firing rates but also by the synchronization of neuronal ensembles. Is such synchronization observed in awake animals behaving under natural conditions? Are these synchronizations stimulus selective? Is it possible to define a functional frequency band of synchronization based on an objective criterion? These questions were addressed by chronic extracellular recordings of neuronal activity in primary visual cortex of awake behaving cats: 1) Visual stimulation induces neuronal synchronization in a broad and high frequency range. 2) This synchronization is selective for the orientation of a visual stimulus. 3) By analyzing the stimulus selectivity of synchronization a functional band of neuronal synchronization can be defined from about 45 to 120 Hz. These results from animals behaving under natural conditions show a surprisingly broad spectral distribution of synchronization that extends well beyond typically investigated frequency ranges. These results cast doubt on the hypothesis of cortical high-frequency synchronizations as a spectrally sharp and static phenomenon.

Un déséquilibre de la balance énergétique constitue la principale cause du développement des pathologies métaboliques telles que l’obésité et le diabète de type 2. Au sein du cerveau, l’hypothalamus joue un rôle primordial dans le contrôle de la prise alimentaire et du métabolisme périphérique via le système nerveux autonome. Ce contrôle, repose sur l’existence de différentes populations neuronales au sein de l’hypothalamus médio-basal (MBH), neurones à neuropeptide Y (NPY)/Agouti-related peptide (AgRP), et neurones a proopiomelanocortine (POMC), dont l’activité est directement modulée par les variations des taux circulants des nutriments tels que le glucose et les acides gras (FA). Alors que les mécanismes de détection et le métabolisme intracellulaire du glucose ont été largement étudiés, l’implication du métabolisme intracellulaire des FA dans leurs effets centraux, est très peu comprise. De plus, on ignore si le glucose, module le métabolisme intracellulaire des acides gras à longue chaine (LCFA) dans le MBH. Le but de notre première étude est, de déterminer l'impact du glucose sur le métabolisme des LCFA, le rôle de l’AMP-activated protein kinase (AMPK), kinase détectrice du statut énergétique cellulaire, et d'établir s’il y a des changements dans le métabolisme des LCFA en fonction de leur structure, du type cellulaire et de la région cérébrale. Nos résultats montrent que le glucose inhibe l'oxydation du palmitate via l’AMPK dans les neurones et les astrocytes primaires hypothalamiques, in vitro, ainsi que dans les explants du MBH, ex vivo, mais pas dans les astrocytes et les explants corticaux. De plus, le glucose augmente l'estérification du palmitate et non de l’oléate dans les neurones et les explants du MBH, mais pas dans les astrocytes hypothalamiques. Ces résultats décrivent le devenir métabolique de différents LCFA dans le MBH, ainsi que, la régulation AMPK - dépendante de leur métabolisme par le glucose dans les astrocytes et les neurones, et démontrent pour la première fois que le métabolisme du glucose et des LCFA est couplé spécifiquement dans les noyaux du MBH, dont le rôle est critique pour le contrôle de l'équilibre énergétique. Le deuxième volet de cette thèse s’est intéressé à déterminer les mécanismes intracellulaires impliqués dans le rôle de la protéine de liaison ACBP dans le métabolisme central des FA. Nous avons démontré que le métabolisme de l’oléate et non celui du palmitate est dépendant de la protéine ACBP, dans les astrocytes hypothalamiques ainsi que dans les explants du MBH. Ainsi, nos résultats démontrent qu’ACBP, protéine identifiée originellement au niveau central, comme un modulateur allostérique des récepteurs GABA, agit comme un régulateur du métabolisme intracellulaire des FA. Ces résultats ouvrent de nouvelles pistes de recherche liées à la régulation du métabolisme des acides gras au niveau central, ainsi que, la nouvelle fonction de la protéine ACBP dans la régulation du métabolisme des FA au niveau du système nerveux central. Ceci aiderait à identifier des cibles moléculaires pouvant contribuer au développement de nouvelles approches thérapeutiques de pathologies telles que l’obésité et le diabète de type 2. / An imbalance of energy balance is the main cause of the development of metabolic diseases such as obesity and type 2 diabetes. Within the brain, the hypothalamus plays an important role in the control of food intake and peripheral metabolism, via the autonomic nervous system. This control relies on the existence of different neuronal populations in the medio-basal hypothalamus (MBH), including neuropeptide Y (NPY), agouti-related peptide (AgRP) and proopiomelanocortin (POMC) neurons, the activity of which, is directly modulated by changes in the circulating levels of nutrients such as glucose and fatty acids (FA). While mechanisms governing the detection and the intracellular metabolism of glucose have been extensively studied, the involvement of FA intracellular metabolism, in their central effects is poorly understood. It is currently unknown if glucose regulates long chain fatty acids (LCFA) metabolism in the MBH. The aim of our first study was to determine the impact of glucose on LCFA metabolism, assess the role of AMP-activated Kinase (AMPK), a sensor of cellular energy status, and to establish if changes in LCFA metabolism, and its regulation by glucose, vary as a function of LCFA type, cell type and brain region. We show that glucose inhibits palmitate oxidation via AMPK in hypothalamic neuronal cell lines, primary hypothalamic astrocyte cultures and MBH slices, ex vivo, but not in cortical astrocytes and slice preparations. In addition, our results show that glucose increases palmitate but not oleate esterification into neutral lipids, in neurons and MBH slices, but not in hypothalamic astrocytes. These findings reveal the metabolic fate of different LCFA in the MBH, demonstrate AMPK-dependent glucose regulation of LCFA oxidation in both astrocytes and neurons and established for the first time the metabolic coupling of glucose and LCFA as a specific feature of the MBH, whose role is critical for the control of energy balance. During the second part of this thesis, we were interested to determine the intracellular mechanisms involved in the role of Acyl-CoA binding protein (ACBP), in the central metabolism of FA. We have shown that the metabolism of oleate but not palmitate is ACBP -dependent in hypothalamic astrocytes and MBH slices. Thus, our results demonstrate That ACBP, a protein originally identified as an allosteric modulator of GABA receptor peptide, acts as a regulator of intracellular metabolism of FA. These results open a new avenues of research related to the central regulation of fatty acid metabolism and the new function of ACBP protein in the regulation of FA metabolism in the central nervous system, which could help to identify molecular targets that may contribute to the development of new therapeutic approaches of diseases such as obesity and type 2 diabetes.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.