Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2008-2009 / Suite aux traumatismes crâniens pénétrants, le cerveau devient graduellement hyperexcitable et génère des activités paroxystiques spontanées. Les mécanismes qui sous-tendent l’épileptogénèse demeurent cependant peu connus. La ligne directrice de nos travaux consiste en l'hypothèse que la diminution de l'activité corticale engendrée par la déafférentation déclenche des mécanismes homéostatiques agissant tant au niveau cellulaire qu’au niveau du réseau cortical, et qui mènent à une excitabilité neuronale accrue culminant en crises d’épilepsie. Nous avons testé cette hypothèse chez des chats adultes, lors de différents états de vigilance ou sous anesthésie, ayant subits une déafférentation partielle du gyrus suprasylvien. Nous avons évalué les effets de la déafférentation corticale aigue et chronique sur la survie des neurones et des cellules gliales et nous avons investigué comment la privation chronique d'afférences neuronales pourrait modifier les propriétés du réseau cortical et déclencher des crises d’épilepsie. Après la déafférentation du gyrus suprasylvien, les neurones situés dans les couches corticales profondes, en particulier les neurones inhibiteurs GABAérgiques, dégénèrent progressivement et parallèlement à une fréquence croissante des activités paroxystiques, notamment pendant le sommeil à ondes lentes. La privation chronique d'afférences neuronales et la perte de neurones activent les mécanismes homéostatiques de plasticité qui favorisent une plus grande connectivité neuronale, une efficacité plus élevée des connexions synaptiques excitatrices et des changements des propriétés neuronales intrinsèques. Ensemble, ces facteurs favorisent une excitation accrue du réseau cortical. L'activité corticale spontanée, mesurée par les taux moyens de décharge, augmente progressivement, en particulier pendant le sommeil à ondes lentes, caractérisé par des périodes silencieuses alternant avec des périodes actives. Ceci soutient, en outre, notre hypothèse concernant la participation des mécanismes de plasticité homéostatique. La dégénération des neurones des couches corticales profondes produit des changements importants dans la distribution laminaire de l'activité neuronale, qui est déplacée vers les couches plus superficielles, dans la partie déafferenté du gyrus. Ce changement dans la distribution de profils de profondeurs de décharges neuronales modifie également le déclenchement de l'activité corticale spontanée. Dans le cortex normal et dans la partie relativement intacte du gyrus suprasylvien, l'activité corticale est générée dans les couches corticales profondes. Pourtant, dans le cortex chroniquement déafferenté, l'oscillation lente et les activités ictales sont générées dans les couches superficielles et puis diffusent vers les couches plus profondes. Le traumatisme cortical induit également une importante gliose réactive et une altération de la fonction normale des cellules gliales, ce qui cause l’enlèvement dysfonctionnel du K+ extracellulaire et qui augmente l'excitabilité des neurones favorisant ainsi la génération d’activités paroxystiques. En conclusion, les mécanismes de plasticité homéostatique déclenchés par le niveau diminué d'activité dans le cortex déafferenté produisent une hyperexcitabilité corticale incontrôlable et génèrent finalement les crises d’épilepsie. Dans ces conditions, l’augmentation de l'activité corticale plutôt que la diminution avec des médicaments antiépileptiques pourrait être salutaire pour empêcher le développement de l'épileptogenèse post-traumatique. / After penetrating cortical wounds, the brain becomes gradually hyperexcitable and generates spontaneous paroxysmal activity, but the progressive mechanisms of epileptogenesis remain virtually unknown. The guiding line of our experiments was the hypothesis that the reduced cortical activity following deafferentation triggers homeostatic mechanisms acting at cellular and network levels, leading to an increased neuronal excitability and finally generating paroxysmal activities. We tested this hypothesis either in anesthetized adult cats, or during natural sleep and wake, using the model of partially deafferented suprasylvian gyrus to induce posttraumatic epileptogenesis. We evaluated the effects of acute and chronic cortical deafferentation on the survival of neurons and glial cells and how long-term input deprivation could shape up the properties of neuronal networks and the initiation of spontaneous cortical activity. Following cortical deafferentation of the suprasylvian gyrus, the deeply laying neurons, particularly the inhibitory GABAergic ones, degenerate progressively in parallel with an increased propensity to paroxysmal activity, mainly during slow-wave sleep. The chronic input deprivation and the death of neurons activate homeostatic plasticity mechanisms, which promote a gradual increased neuronal connectivity, higher efficacy of excitatory synaptic connections and changes in intrinsic cellular properties favoring increased excitation. The spontaneous cortical activity quantified by means of firing rate augments also progressively, particularly during slow-wave sleep, characterized by periods of silent states alternating with periods of active states, which supports furthermore our hypothesis regarding the involvement of homeostatic plasticity mechanisms. The degeneration of neurons in the deep cortical layers generates important changes in the laminar distribution of neuronal activity, which is shifted from the deeper layers to the more superficial ones, in the partially deafferented part of the gyrus. This change in the depth profile distribution of firing rates modifies also the initiation of spontaneous cortical activity which, in normal cortex, and in the relatively intact part of the deafferented gyrus, is initiated in the deep cortical layers. Conversely, in late stages of the undercut, both the cortical slow oscillation and the ictal activity are initiated in the more superficial layers and then spread to the deeper ones. Cortical trauma induces also an important reactive gliosis associated with an impaired function of glial cells, responsible for a dysfunctional K+ clearance in the injured cortex, which additionally increases the excitability of neurons, promoting the generation of paroxysmal activity. We conclude, that the homeostatic plasticity mechanisms triggered by the decreased level of activity in the deafferented cortex, generate an uncontrollable cortical hyperexcitability, finally leading to seizures. If this statement is true, augmenting cortical activity rapidly after cortical trauma rather than decreasing it with antiepileptic medication, could prove beneficial in preventing the development of posttraumatic epileptogenesis.

Tableau d'honneur de la Faculté des études supérieures et postdoctorales, 2019 / La signalisation calcique dendritique joue un rôle important dans la régulation de mécanismes neuronaux, tels que la plasticité synaptique et l’intégration de l’information transmise. Bien compris chez les neurones principaux, ce processus de régulation est moins étudié chez les divers types d’interneurones GABAergiques qui modulent l’acquisition et l’envoi de signaux neuronaux. Chez les interneurones à décharge rapide, un type d’interneurone commun dans les circuits corticaux, il a été démontré qu’il y a absence de rétropropagation des potentiels d’action dans les dendrites distales (Hu et al., 2010). Cette découverte a des implications fonctionnelles, car la rétropropagation des potentiels d’action est un signal important pour l’induction des formes de plasticité synaptique hebbiennes. Par contre, il a été suggéré que l’activité dendritique locale pourrait compenser pour l’absence de rétropropagation des potentiels d’action. En conséquence, ce travail porte sur l’étude des évènements calciques dans les dendrites distales des interneurones à décharge rapide. Nous avons cherché à déterminer s’il est possible de générer ces signaux calciques par stimulation dendritique locale, à étudier les mécanismes responsables de ces signaux et à déterminer si ces signaux jouent un rôle dans la régulation de la plasticité synaptique à ces synapses. Pour atteindre ces objectifs, nous avons utilisé une combinaison de méthodes électrophysiologiqes (patch-clamp en mode cellule entière), d’imagerie calcique deux-photons et de modélisation computationnelle. Nous avons pu établir qu’il est possible de générer des évènements calciques postsynaptiques supralinéaires dans les synapses excitatrices étudiées par stimulation électrique locale. Ces signaux sont médiés par l’influx calcique provenant de l’activation des récepteurs AMPA perméables au Ca2+, qui déclenche à son tour le relâchement de Ca2+ par les récepteurs ryanodine présents sur réserves calciques intracellulaires. Ces signaux comprennent aussi une contribution calcique mineure des récepteurs NMDA, et ils restent locaux (pas de propagation dans l’arbre dendritique). De plus, nous avons déterminé que ces évènements calciques supralinéaires produisent un revirement de la plasticité synaptique, car ils induisent la dépression à long-terme dans les synapses étudiées, alors que les signaux calciques de basse amplitude induisent la potentiation à long-terme. Nous avons aussi examiné si ces évènements calciques supralinéaires étaient générés de façon équivalente dans les dendrites apicales et basales, qui reçoivent des synapses de différentes sources. Nous avons observé que les signaux des dendrites apicales avaient une plus grande amplitude et étaient associés à un plus haut niveau de dépolarisation. À partir de la modélisation, nous avons pu prédire le nombre de synapses nécessaires à la génération de ces signaux et la contribution potentielle des mécanismes d’extrusion du Ca2+. Finalement, nous avons étudié la spécificité cellulaire des mécanismes d’intégration dendritique en combinant l’imagerie calcique et la modélisation dans un type différent d’interneurone, les interneurones spécifiques aux interneurones type III. En conclusion, nous avons prouvé qu’il existe dans certains interneurones des mécanismes alternatifs, médiés par des hausses de Ca2+ locales, permettant la régulation de la plasticité aux synapses excitatrices. / Dendritic Ca2+ signaling plays an important role in the regulation of neuronal processes, such as synaptic plasticity and input integration. Well-studied in principal neurons, this form of regulation is not well understood in the various types of GABAergic interneurons that modulate activity in neuronal networks. In fastspiking (FS) interneurons, a common interneuron type in cortical circuits, it has been shown that there is a lack of action potential (AP) backpropagation in distal dendrites (Hu et al., 2010). This discovery has functional implications, AP backpropagation is an important signal for the induction of Hebbian forms of synaptic plasticity. However, it has been suggested that local dendritic activity could compensate for the absence of AP backpropagation. Consequently, this work focuses on the study of Ca2+ transients in distal dendrites of FS interneurons. We sought to determine whether it is possible to generate supralinear Ca2+ transients through local dendritic stimulation, to study the mechanisms responsible for those transients and to determine whether those signals play a role in the regulation of synaptic plasticity at those synapses. To reach those objectives, we used a combination of electrophysiological methods (whole-cell patch-clamp recordings), two-photon Ca2+ imaging and of computational modeling. We were able to establish that supralinear postsynaptic Ca2+ transients can be generated through local electrical stimulation of excitatory synapses in distal dendrites. These Ca2+ transients were mediated by Ca2+ influx from the activation of Ca2+-permeable AMPA receptors, which triggers Ca2+ release through ryanodine receptors present on intracellular Ca2+ stores (Ca2+-induced Ca2+ release). These Ca2+ signals also contain a minor contribution from NMDA receptors, and stay localized (no significant propagation in the dendritic arbor). In addition, we determined that these supralinear Ca2+ signals constitute a switch in the expression of synaptic plasticity, as they induce long-term depression in local synapses, while low-amplitude Ca2+ signals induced synaptic long-term potentiation. We also examined whether these supralinear Ca2+ transients were generated in both apical and basal dendrites, which receive synaptic contacts from different sources (Schaffer collaterals vs local collaterals). We observed that Ca2+ transients in apical dendrites had a higher amplitude and were associated with a higher level of somatic depolarization. We were also able to predict, through computational modeling, the number of synapses necessary to the generation of those signals and the potential contribution of Ca2+ extrusion mechanisms. Finally, we studied the cell-specificity of dendritic integration mechanisms by combining Ca2+ imaging and modeling in a different interneuron type, interneuron-specific interneurons type III. In conclusion, we were able to prove that certain interneurons possess alternative mechanisms, mediated through local Ca2+ transients, that allow for the regulation of plasticity at excitatory synapses.

Ce document fait la synthèse d'un ensemble de travaux concernant la nature de la plasticité neuronale et la manière dont la neurostimulation peut être utilisée pour améliorer la récupération motrice après une atteinte neurologique. Nous commençons par les principes fondamentaux généraux des neurosciences, la structure du système nerveux moteur chez l'homme et le rat, ainsi qu'une brève discussion sur les lésions neurologiques. Les sujets sont vastes et couverts avec la brièveté nécessaire, mais ils fournissent un contexte essentiel pour les chapitres suivants, présentés sous forme d'articles scientifiques. Dans le premier article, nous passons en revue le domaine de la neurostimulation sous ses aspects fondamental et clinique avec l'Accident Vasculaire Cerebral (AVC) en tant que maladie modèle pour les lésions neurologiques. Nous classifions les interventions de stimulation en trois modèles différents d'induction de la plasticité. Notre thèse centrale est qu'une meilleure compréhension des règles sous-jacentes de la plasticité, accompagnée de progrès dans une plus grande précision spatio-temporelle, est nécessaire pour faire avancer le domaine de la neurostimulation. Dans le deuxième article, nous décrivons, étape par étape, un nouveau protocole pour évaluer l'excitabilité corticospinale chez le rongeur éveillé pendant le comportement libre, ainsi que les plateformes matérielles et logicielles associées que notre équipe a développées à cette fin. L'une de ses principale caractéristique est la possibilité d'évaluer l'excitabilité corticomotrice en boucle fermée, en fonction de l'EMG, une nouvelle façon d'accroître l'uniformité des mesures sur des animaux en comportement. Cette plateforme de développement sera utile aux neuroscientifiques intéressés par l'évaluation de l'excitabilité du système nerveux chez les rongeurs éveillés par le biais d'une interrogation électrique ou optogénétique, un intermédiaire important avant les essais chez les primates non humains et éventuellement chez les humains. Dans le troisième article, nous avons utilisé cette plateforme prototype pour étudier la stimulation électrique associative appariée et le rôle de la plasticité dépendant de la synchronisation des potentiels d'action chez des rats implantés de façon chronique, sans l'influence de l'anesthésie. Nous nous sommes concentrés sur la variation systématique de l'intervalle entre la stimulation corticale et musculaire dans notre cohorte d'animaux afin de révéler l'effet de la synchronisation relative de l'activité aux niveaux cortical et spinal. Nous n'avons pas observé de potentialisation significative dans tous les intervalles de stimulation testés, mais plutôt des tendances vers des effets de type LTD dans la plupart des conditions de synchronisation. Nous discutons des raisons possibles pour lesquelles nous avons observé ces résultats. Dans le dernier article et dans le projet en cours, nous décrivons les premiers travaux prometteurs impliquant la neurostimulation optogénétique et électrique, ainsi que la réadaptation post-AVC comme tremplin pour des recherches futures. Nous concluons par une discussion générale et nous nous projetons dans l'avenir, tant à moyen qu'à long terme. La poursuite scientifique, tant sur le plan personnel que sur celui du domaine, se poursuivra, comme il se doit. Bien que ce travail soit conçu pour être lu dans un ordre séquentiel, chaque chapitre est indépendant. Collectivement, les travaux de cette thèse posent les bases et plaident en faveur d'une meilleure compréhension de la plasticité neuronale, du développement d'outils pour l'évaluer et de l'étude de ses applications pratiques pour parvenir à une meilleure récupération motrice après une lésion neurologique. / This document synthesizes a body of work concerning the nature of neural plasticity and how neurostimulation may be used to improve motor recovery after neurological insult. We begin with general foundational principles in neuroscience, the structure of the nervous and motor systems in humans and rats, and a brief discussion of neurological injury. The topics are broad and covered with the necessary brevity, but provides critical context for the following chapters. In the first paper, we review the fields of neurostimulation across the clinical and basic science domains in the service of stroke as a model disease for neurological injury, framing the field in terms of three different models of plasticity induction. Our central thesis here is that enhanced understanding of the underlying rules of plasticity, accompanied with advances in greater spatiotemporal precision is necessary to move the field of neurostimulation forward. In the second paper we describe a stable, novel step-by-step protocol to assess corticospinal excitability in the awake, freely behaving rodent, and the associated hardware and software platforms that our team has developed for this purpose. A core feature enables corticomotor excitability assessment in a closed-loop, Electromyogram (EMG)-dependent manner, a novel way of increasing consistency during free behavior in untrained animals. This development platform will be of use to neuroscientists interested in assessing the excitability of the nervous system in awake, unrestrained rodents via electrical or optogenetic interrogation, an important intermediary before trials in non-human primates and eventually humans. In the third paper, we used this prototype platform to investigate electrical paired associative stimulation and the role of spike-timing-dependent plasticity in chronically implanted rats, without the influence of anaesthesia. Our focus was on systematically varying the Inter-Stimulus Interval (ISI) between cortical and muscle stimulation in our animal cohort in order to reveal the effect of relative activity timing at both the cortical and spinal levels. We did not observe significant potentiation across all of the stimulus intervals we tested, but instead observed trends towards Long-Term Depression (LTD)-like effects in the short term across most timing conditions. We discuss possible reasons why we observed these results. In the final paper and project currently in progress, we describe early promising work involving optogenetic and electrical neurostimulation, and stroke recovery as a launchpad for future investigations. We conclude with a general discussion and peer into the future, both in the medium term and the long term. The scientific pursuit, both personally and as a field will continue, as it should. Although this work is designed to be read in sequential order, each chapter stands alone. Collectively, the work in this thesis lays the groundwork and argues for a greater understanding of neural plasticity, development of tools to assess it, and study of its practical applications to achieve enhanced motor recovery after neurological injury.

La maladie d'Alzheimer (MA) est la maladie neurodégénérative la plus courante et la cause prédominante de la démence sénile (caractérisé par une perte de mémoire et de raisonnement) et du déclin cognitif. Elle résulte d'une dégénérescence des neurones et d'une atrophie sévère qui commence dans les lobes temporal, pariétal et frontal et dans le gyrus cingulaire, puis dans des régions sous-corticales telles que l'hippocampe et le noyau de Meynert. Des observations récentes chez les patients atteints de la MA ont fait état d'une activité cérébrale anormale, commune à d'autres troubles neurologiques avant la perte des neurones. L'hyperexcitabilité neuronale se manifeste tôt dans la MA, ce qui entraîne une hyperactivité corticale et hippocampique et parfois même une activité épileptiforme et des crises chez la souris et l'homme. Cependant, les mécanismes sous-jacents à l'hyperexcitabilité dans le cerveau de la maladie d'Alzheimer restent obscurs. Une hypothèse importante suggère que l'accumulation d'amyloïde-β perturbe la signalisation inhibitrice médiée par le GABA[indice A]. Le vieillissement normal est également associé à un déclin des fonctions cognitives, indépendamment de tout trouble neurodégénératif. Les causes du déclin cognitif associé au vieillissement (DCAV) sont multiples, mais le facteur clé est l'équilibre entre l'excitation et l'inhibition synaptiques. Comme dans le cas de la maladie d'Alzheimer, une hyperactivité neuronale dans l'hippocampe, une région du cerveau impliquée dans la formation et la rétention de la mémoire, ou une absence de désactivation du réseau du mode par défaut (DMN) ont été décrites dans les troubles cognitifs associés au vieillissement. Pourtant, dans le cortex préfrontal, une région du cerveau cruciale pour les fonctions exécutives, une réduction manifeste de la ramification dendritique se produit avec le vieillissement, entraînant une diminution de la transmission synaptique excitatrice et une augmentation de l'entrée inhibitrice. Les études présentées dans cette thèse visent à identifier les altérations de la transmission synaptique conduisant aux déficits cognitifs associés à la MA et à l'ARCD mais visent également à dévoiler les mécanismes potentiels sous-jacents à l'hyperactivité neuronale. Dans la MA, les résultats présentés ici montrent une perte de fonction de l'extrudeur de chlorure neuronal KCC2, responsable du maintien de la robustesse de l'inhibition médiée par le GABA[indice A]. La restauration de KCC2 chez les souris porteuses de mutations liées à la maladie d'Alzheimer a permis d'inverser les déficits de mémoire spatiale et les dysfonctionnements sociaux, reliant la dyshoméostasie des chlorures au déclin cognitif lié à la maladie d'Alzheimer. Avec le vieillissement normal, un sous-ensemble de souris a développé des déficits de mémoire non spatiale, un comportement de type anxieux et un dysfonctionnement social. Dans ce sous-ensemble de souris âgées atteintes de troubles cognitifs, les niveaux de protéines synaptiques inhibitrices clés étaient élevés dans le cortex préfrontal médian (CPM). L'activation optogénétique des neurones GABAergiques du CPM a modifié le comportement des jeunes souris et a reproduit certaines des déficiences cognitives observées chez les vieilles souris souffrant de troubles cognitifs. D'autre part, lorsque la stimulation optogénétique a été utilisée pour générer un modèle d'hyperactivité neuronale soutenue et chronique dans l'hippocampe de jeunes souris, les niveaux de protéines synaptiques excitatrices et inhibitrices ont été réduits, ce qui indique une perturbation générale de la transmission synaptique. Enfin, et surtout, lorsque l'on compare les protéines modifiées lors d'une stimulation optogénétique chronique chez des souris de type sauvage à celles modifiées par des mutations et des pathologies dans les modèles de la maladie d'Alzheimer, seules quelques protéines sont exprimées différemment. Ces résultats suggèrent que l'hyperactivité neuronale pourrait contribuer directement à la perturbation de la transmission synaptique et à la neuropathologie liée à la MA. En résumé, le déclin cognitif peut se produire avec une inhibition à la fois exagérée et diminuée. Ces deux voies opposées, la première étant observée dans le déclin cognitif lié à l'âge et la seconde étant typique de la MA, perturbent de manière unique le fonctionnement normal du cerveau, ce qui entraîne à son tour un déclin cognitif. Une appréciation de ces résultats peut avoir des implications pour les interventions thérapeutiques dans les deux conditions. Dans l'ensemble, les travaux présentés dans cette thèse soulignent non seulement la contribution de l'altération de la transmission inhibitrice dans le développement du déclin cognitif dans la MA et le vieillissement, mais décrivent également l'implication de l'hyperactivité neuronale dans la perturbation des synapses et la neurodégénération. / Alzheimer's disease (AD) is the most common neurodegenerative disorder and the predominant cause of senile dementia (characterized by a loss of memory and reasoning) and cognitive decline. It results from neuron degeneration and severe atrophy initiating from the temporal, parietal and frontal lobe, the cingulate gyrus and the hippocampus following by subcortical regions such as the the nucleus basalis of Meynert. Recent observations have reported an abnormal brain activity in AD patients, common to other neurological disorders prior to the neuron loss. Neuronal hyperexcitability manifests early in AD which leads to cortical and hippocampal hyperactivity and sometimes even epileptiform activity and seizures in mice and humans. However, the mechanisms underlying hyperexcitability in the AD brain remains elusive. A prominent hypothesis suggests that amyloid-β accumulation disrupts GABA[subscript A]-mediated inhibitory signaling. Normal aging is associated also with a decline in cognitive function independently of any neurodegenerative disorder. The causes of aging associated cognitive decline (ASCD) are multifaceted but a key factor is the imbalance between synaptic excitation and inhibition. Similar to AD, neuronal hyperactivity in the hippocampus, a brain region involved in memory formation and retention, or failure of deactivation of the Default Mode Network (DMN) has been described in ASCD. Yet, in the prefrontal cortex, a brain region crucial for executive functions, an overt reduction in the dendritic branching occurs with aging resulting in diminished excitatory synaptic transmission together with an increase in the inhibitory input. The studies presented in this thesis aim to identify alterations in synaptic transmission leading to cognitive deficits associated with AD and ARCD but also aim to unveil potential mechanisms underlying neuronal hyperactivity. In AD, the results presented here show a loss of function of the neuronal chloride extruder KCC2, responsible for maintaining the robustness of GABA[subscript A]-mediated inhibition. Restoring KCC2 in mice carrying AD-linked mutations reversed spatial memory deficits and social dysfunction linking chloride dyshomeostasis with AD-related cognitive decline. With normal aging, a subset of mice developed non-spatial memory impairments, anxiety-like behavior, and social dysfunction. In this subset of cognitively impaired old mice, the levels of key inhibitory synaptic proteins were elevated within the medial prefrontal cortex (mPFC). Activating mPFC GABAergic neurons optogenetically altered the behavior of young mice and mimicked some of the cognitive impairments found in the old, cognitively impaired mice. On the other hand, when optogenetic stimulation was used to generate a model of sustained, chronic neuronal hyperactivity in the hippocampus of young mice, both excitatory and inhibitory synaptic proteins levels were reduced pointing to a general disruption of synaptic transmission. Finally, and more importantly, when we compared the proteins altered upon chronic optogenetic stimulation in wild-type mice to that altered due to mutations and pathology in AD models, only a few proteins where differently expressed. These results suggest that neuronal hyperactivity could contribute directly to the disruption of synaptic transmission and the neuropathology linked to AD. To sum up, cognitive decline can occur with both exaggerated and diminished inhibition. These two opposing paths, with the first seen in age-related cognitive decline, and the second being typical to AD, uniquely disrupt normal brain functioning which in turn leads to cognitive decline. An appreciation of these findings can have implications for therapeutic interventions in the two conditions. Taken together, the work presented in this thesis not only highlights the contribution of altered inhibitory transmission in the development of cognitive decline in AD and aging, but also describes the involvement of neuronal hyperactivity in synapse disruption and neurodegeneration.

In this thesis inhibition as a means for competition among neurons in an unsupervised learning system is studied. In the first part of the thesis, the role of inhibition in robustness against loss of information in the form of occlusion in visual data is investigated. In the second part, inhibition as a reason for loss of information in the mathematical models of neural system is addressed. In that part, a learning rule for modeling inhibition with lowered loss of information and also a dis-inhibitory system which induces a winner-take-all mechanism are introduced. The models used in this work are unsupervised feature extractors made of biologically plausible neural networks which simulate the V1 layer of the visual cortex.

Der Einsatz von neuronalen Netzen in Edge-Geräten und deren Einbindung in unser tägliches Leben findet immer mehr Beachtung. Ihre hohen Rechenkosten machen jedoch viele eingebettete Anwendungen zu einer Herausforderung. Das Hauptziel meiner Doktorarbeit ist es, einen Beitrag zur Lösung dieses Dilemmas zu leisten: die Optimierung neuronaler Netze und die Entwicklung entsprechender neuronaler Verarbeitungseinheiten für Endgeräte. Diese Arbeit nahm die algorithmische Forschung als Ausgangspunkt und wandte dann deren Ergebnisse an, um das Architekturdesign von Neural Processing Units (NPUs) zu verbessern. Die Optimierung neuronaler Netzwerkmodelle begann mit der Quantisierung neuronaler Netzwerke mit einfacher Präzision und entwickelte sich zu gemischter Präzision. Die Entwicklung der NPU-Architektur folgte den Erkenntnissen der Algorithmusforschung, um ein Hardware/Software Co-Design zu erreichen. Darüber hinaus wurde ein neuartiger Ansatz zur gemeinsamen Entwicklung von Hardware und Software vorgeschlagen, um das Prototyping und die Leistungsbewertung von NPUs zu beschleunigen. Dieser Ansatz zielt auf die frühe Entwicklungsphase ab. Er hilft Entwicklern, sich auf das Design und die Optimierung von NPUs zu konzentrieren und verkürzt den Entwicklungszyklus erheblich. Im Abschlussprojekt wurde ein auf maschinellem Lernen basierender Ansatz angewendet, um die Rechen- und Speicherressourcen der NPU zu erkunden and optimieren. Die gesamte Arbeit umfasst mehrere verschiedene Bereiche, von der Algorithmusforschung bis zum Hardwaredesign. Sie alle arbeiten jedoch an der Verbesserung der Inferenz-Effizienz neuronaler Netze. Die Optimierung der Algorithmen zielt insbesondere darauf ab, den Speicherbedarf und die Rechenkosten von neuronalen Netzen zu verringern. Das NPU-Design hingegen konzentriert sich auf die Verbesserung der Nutzung von Hardwareressourcen. Der vorgeschlagene Ansatz zur gemeinsamen Entwicklung von Software und Hardware verkürzt den Entwurfszyklus und beschleunigt die Entwurfsiterationen. Die oben dargestellte Reihenfolge entspricht dem Aufbau dieser Dissertation. Jedes Kapitel ist einem Thema gewidmet und umfasst relevante Forschungsarbeiten, Methodik und Versuchsergebnisse.:1 Introduction 2 Convolutional Neural Networks 2.1 Convolutional layer 2.1.1 Padding 2.1.2 Convolution 2.1.3 Batch Normalization 2.1.4 Nonlinearity 2.2 Pooling Layer 2.3 Fully Connected Layer 2.4 Characterization 2.4.1 Composition of Operations and Parameters 2.4.2 Arithmetic Intensity 2.5 Optimization 3 Quantization with Double-Stage Squeeze-and-Threshold 19 3.1 Overview 3.1.1 Binarization 3.1.2 Multi-bit Quantization 3.2 Quantization of Convolutional Neural Networks 3.2.1 Quantization Scheme 3.2.2 Operator fusion of Conv2D 3.3 Activation Quantization with Squeeze-and-Threshold 3.3.1 Double-Stage Squeeze-and-Threshold 3.3.2 Inference Optimization 3.4 Experiment 3.4.1 Ablation Study of Squeeze-and-Threshold 3.4.2 Comparison with State-of-the-art Methods 3.5 Summary 4 Low-Precision Neural Architecture Search 39 4.1 Overview 4.2 Differentiable Architecture Search 4.2.1 Gumbel Softmax 4.2.2 Disadvantage and Solution 4.3 Low-Precision Differentiable Architecture Search 4.3.1 Convolution Sharing 4.3.2 Forward-and-Backward Scaling 4.3.3 Power Estimation 4.3.4 Architecture of Supernet 4.4 Experiment 4.4.1 Effectiveness of solutions to the dominance problem 4.4.2 Softmax and Gumbel Softmax 4.4.3 Optimizer and Inverted Learning Rate Scheduler 4.4.4 NAS Method Evaluation 4.4.5 Searched Model Analysis 4.4.6 NAS Cost Analysis 4.4.7 NAS Training Analysis 4.5 Summary 5 Configurable Sparse Neural Processing Unit 65 5.1 Overview 5.2 NPU Architecture 5.2.1 Buffer 5.2.2 Reshapeable Mixed-Precision MAC Array 5.2.3 Sparsity 5.2.4 Post Process Unit 5.3 Mapping 5.3.1 Mixed-Precision MAC 5.3.2 MAC Array 5.3.3 Support of Other Operation 5.3.4 Configurability 5.4 Experiment 5.4.1 Performance Analysis of Runtime Configuration 5.4.2 Roofline Performance Analysis 5.4.3 Mixed-Precision 5.4.4 Comparison with Cortex-M7 5.5 Summary 6 Agile Development and Rapid Design Space Exploration 91 6.1 Overview 6.1.1 Agile Development 6.1.2 Design Space Exploration 6.2 Agile Development Infrastructure 6.2.1 Chisel Backend 6.2.2 NPU Software Stack 6.3 Modeling and Exploration 6.3.1 Area Modeling 6.3.2 Performance Modeling 6.3.3 Layered Exploration Framework 6.4 Experiment 6.4.1 Efficiency of Agile Development Infrastructure 6.4.2 Effectiveness of Agile Development Infrastructure 6.4.3 Area Modeling 6.4.4 Performance Modeling 6.4.5 Rapid Exploration and Pareto Front 6.5 Summary 7 Summary and Outlook 123 7.1 Summary 7.2 Outlook A Appendix of Double-Stage ST Quantization 127 A.1 Training setting of ResNet-18 in Table 3.3 A.2 Training setting of ReActNet in Table 3.4 A.3 Training setting of ResNet-18 in Table 3.4 A.4 Pseudocode Implementation of Double-Stage ST B Appendix of Low-Precision Neural Architecture Search 131 B.1 Low-Precision NAS on CIFAR-10 B.2 Low-Precision NAS on Tiny-ImageNet B.3 Low-Precision NAS on ImageNet Bibliography 137 / Deploying neural networks on edge devices and bringing them into our daily lives is attracting more and more attention. However, its expensive computational cost makes many embedded applications daunting. The primary objective of my doctoral studies is to make contributions towards resolving this predicament: optimizing neural networks and designing corresponding efficient neural processing units for edge devices. This work took algorithmic research, specifically the optimization of deep neural networks, as a starting point and then applied its findings to steer the architecture design of Neural Processing Units (NPUs). The optimization of neural network models started with single precision neural network quantization and progressed to mixed precision. The NPU architecture development followed the algorithmic research findings to achieve hardware/software co-design. Furthermore, a new approach to hardware and software co-development was introduced, aimed at expediting the prototyping and performance assessment of NPUs. This approach targets early-stage development. It helps developers to focus on the design and optimization of NPUs and significantly shortens the development cycle. In the final project, a machine learning-based approach was applied to explore and optimize the computational and memory resources of the NPU. The entire work covers several different areas, from algorithmic research to hardware design. But they all work on improving the inference efficiency of neural networks. Specifically, algorithm optimization aims to reduce the memory footprint and computational cost of neural networks. The NPU design, on the other hand, focuses on improving the utilization of hardware resources. The proposed software and hardware co-development approach shortens the design cycle and speeds up the design iteration. The order presented above corresponds to the structure of this dissertation. Each chapter corresponds to a topic and covers relevant research, methodology, and experimental results.:1 Introduction 2 Convolutional Neural Networks 2.1 Convolutional layer 2.1.1 Padding 2.1.2 Convolution 2.1.3 Batch Normalization 2.1.4 Nonlinearity 2.2 Pooling Layer 2.3 Fully Connected Layer 2.4 Characterization 2.4.1 Composition of Operations and Parameters 2.4.2 Arithmetic Intensity 2.5 Optimization 3 Quantization with Double-Stage Squeeze-and-Threshold 19 3.1 Overview 3.1.1 Binarization 3.1.2 Multi-bit Quantization 3.2 Quantization of Convolutional Neural Networks 3.2.1 Quantization Scheme 3.2.2 Operator fusion of Conv2D 3.3 Activation Quantization with Squeeze-and-Threshold 3.3.1 Double-Stage Squeeze-and-Threshold 3.3.2 Inference Optimization 3.4 Experiment 3.4.1 Ablation Study of Squeeze-and-Threshold 3.4.2 Comparison with State-of-the-art Methods 3.5 Summary 4 Low-Precision Neural Architecture Search 39 4.1 Overview 4.2 Differentiable Architecture Search 4.2.1 Gumbel Softmax 4.2.2 Disadvantage and Solution 4.3 Low-Precision Differentiable Architecture Search 4.3.1 Convolution Sharing 4.3.2 Forward-and-Backward Scaling 4.3.3 Power Estimation 4.3.4 Architecture of Supernet 4.4 Experiment 4.4.1 Effectiveness of solutions to the dominance problem 4.4.2 Softmax and Gumbel Softmax 4.4.3 Optimizer and Inverted Learning Rate Scheduler 4.4.4 NAS Method Evaluation 4.4.5 Searched Model Analysis 4.4.6 NAS Cost Analysis 4.4.7 NAS Training Analysis 4.5 Summary 5 Configurable Sparse Neural Processing Unit 65 5.1 Overview 5.2 NPU Architecture 5.2.1 Buffer 5.2.2 Reshapeable Mixed-Precision MAC Array 5.2.3 Sparsity 5.2.4 Post Process Unit 5.3 Mapping 5.3.1 Mixed-Precision MAC 5.3.2 MAC Array 5.3.3 Support of Other Operation 5.3.4 Configurability 5.4 Experiment 5.4.1 Performance Analysis of Runtime Configuration 5.4.2 Roofline Performance Analysis 5.4.3 Mixed-Precision 5.4.4 Comparison with Cortex-M7 5.5 Summary 6 Agile Development and Rapid Design Space Exploration 91 6.1 Overview 6.1.1 Agile Development 6.1.2 Design Space Exploration 6.2 Agile Development Infrastructure 6.2.1 Chisel Backend 6.2.2 NPU Software Stack 6.3 Modeling and Exploration 6.3.1 Area Modeling 6.3.2 Performance Modeling 6.3.3 Layered Exploration Framework 6.4 Experiment 6.4.1 Efficiency of Agile Development Infrastructure 6.4.2 Effectiveness of Agile Development Infrastructure 6.4.3 Area Modeling 6.4.4 Performance Modeling 6.4.5 Rapid Exploration and Pareto Front 6.5 Summary 7 Summary and Outlook 123 7.1 Summary 7.2 Outlook A Appendix of Double-Stage ST Quantization 127 A.1 Training setting of ResNet-18 in Table 3.3 A.2 Training setting of ReActNet in Table 3.4 A.3 Training setting of ResNet-18 in Table 3.4 A.4 Pseudocode Implementation of Double-Stage ST B Appendix of Low-Precision Neural Architecture Search 131 B.1 Low-Precision NAS on CIFAR-10 B.2 Low-Precision NAS on Tiny-ImageNet B.3 Low-Precision NAS on ImageNet Bibliography 137

Wahrnehmung ist kein vollständig durch sensorische Reize determinierter bottom-up Prozeß, sondern wird stark beeinflußt durch von diesen Reizen unabhängige top-down Prozesse wie etwa Aufmerksamkeit oder Erwartungen. Welche neuronalen Mechanismen liegen der Integration von bottom-up und top-down gerichteter Verarbeitung sensorischer Information zu Grunde? Im ersten Teil dieser Arbeit wurde diese Frage an Hand von Simulationen eines neuronales Netzwerks zweier vereinfachter kortikaler Areale untersucht. Dieses Netzwerk berücksichtigt hierbei jüngste zellphysiologische Befunde über die stark asymmetrischen funktionellen Eigenschaften kortikaler Neurone. Das simulierte Netzwerk repliziert zentrale neurophysiologische Befunde: 1) Top-down Signale erhöhen die Feuerraten der Neurone sowohl in einem hierarchisch hohen als auch tiefen kortikalen Areal. 2) Durch selektive top-down Signale wird die Verarbeitung simultaner Reize zu Gunsten eines faszilitierten Reizes moduliert. 3) Durch die reziproke Netzwerkarchitektur kommt es zu einem bidirektionalen Informationsfluß zwischen Arealen. Diese kooperative Verarbeitung bedingt gemeinsam mit einer nichtlinearen somato-dendritischen Interaktion neuronale Salvenentladungen, die ein hohes Signal-Rausch-Verhältnis aufweisen. Das simulierte Netzwerk demonstriert, welche zentrale Rolle die komplexen nichtlinearen Eigenschaften kortikaler Neurone bei der Integration bottom-up und top-down gerichteter Verarbeitung sensorischer Information spielen. Im Mittelpunkt der im zweiten Abschnitt vorgestellten experimentellen Studie steht die hochfrequente Synchronisation neuronaler Aktivität. Das große neurowissenschaftliche Interesse an der zeitlichen Struktur neuronaler Aktivität liegt insbesondere in der kontrovers diskutierten Hypothese eines „Synchronisationscodes“ begründet, gemäß welcher Information nicht nur durch die Feuerraten kortikaler Neurone, sondern auch durch die Synchronisation der Aktionspotentiale einer Neuronenpopulation codiert wird. Finden sich solche Synchronisationsphänomene in wachen, sich unter möglichst natürlichen Bedingungen verhaltenden Tieren wieder? Sind diese Synchronisationen selektiv für Eigenschaften des Reizes? Gelingt es, an Hand eines objektiven Kriteriums ein funktionelles Frequenzband neuronaler Synchronisation zu definieren? Diese Fragestellungen wurden mittels chronischer extrazellulärer Ableitungen im primären visuellen Kortex wacher, sich verhaltender Katzen untersucht: 1) Visuelle Stimulation induziert einen breitbandigen hochfrequenten Anstieg neuronaler Synchronisation. 2) Diese Synchronisation ist selektiv für die Orientierung visueller Reize. 3) Durch Analyse dieser Stimulusselektivität kann ein funktionelles Band neuronaler Synchronisation von etwa 45 Hz bis 120 Hz definiert werden. Diese Untersuchungen an wachen, sich unter vergleichsweise natürlichen Bedingungen verhaltenden Tieren demonstrieren eine überraschend breite Frequenzverteilung neuronaler Synchronisation, die im hochfrequenten Bereich weit über die üblicherweise untersuchten Frequenzbänder hinausreicht. Diese Befunde sprechen gegen die Hypothese hochfrequenter kortikaler Synchronisation als einem schmalbandigen statischen Phänomen. / Sensory perception is not purely a bottom-up process determined only by sensory stimuli, but is strongly dependent on top-down factors such as attention or expectations.Which neuronal mechanisms underlie the integration of bottom-up and top-down directed processing of sensory information? In the first part of this study this question was addressed by numerical simulations of a neural network model of two simplified cortical areas. The simulated network takes into account recent findings concerning the pronounced functional asymmetry of cortical neurons.The network replicates several important neurophysiological findings: 1) Top-down signals enhance firing rates in hierarchically high and low cortical areas. 2) The processing of two competing stimuli is biased towards one stimulus by selective top-down signals. 3) The reciprocal network architecture results in a bidirectional flow of information. Together with the implemented non-linear somato-dendritic interaction this leads to neuronal bursting behaviour with a high signal to noise ratio. The simulated network demonstrates the critical role of the complex non-linear properties of cortical neurons for the integration of bottom-up and top-down directed sensory processing. The central question of the second part of this study is the functional role of high-frequency synchronization of neuronal activity. The strong interest in the temporal dynamics of neuronal activity is particularly due to the hypothesis of a “synchronization-code” according to which information is not solely encoded by firing rates but also by the synchronization of neuronal ensembles. Is such synchronization observed in awake animals behaving under natural conditions? Are these synchronizations stimulus selective? Is it possible to define a functional frequency band of synchronization based on an objective criterion? These questions were addressed by chronic extracellular recordings of neuronal activity in primary visual cortex of awake behaving cats: 1) Visual stimulation induces neuronal synchronization in a broad and high frequency range. 2) This synchronization is selective for the orientation of a visual stimulus. 3) By analyzing the stimulus selectivity of synchronization a functional band of neuronal synchronization can be defined from about 45 to 120 Hz. These results from animals behaving under natural conditions show a surprisingly broad spectral distribution of synchronization that extends well beyond typically investigated frequency ranges. These results cast doubt on the hypothesis of cortical high-frequency synchronizations as a spectrally sharp and static phenomenon.

Un déséquilibre de la balance énergétique constitue la principale cause du développement des pathologies métaboliques telles que l’obésité et le diabète de type 2. Au sein du cerveau, l’hypothalamus joue un rôle primordial dans le contrôle de la prise alimentaire et du métabolisme périphérique via le système nerveux autonome. Ce contrôle, repose sur l’existence de différentes populations neuronales au sein de l’hypothalamus médio-basal (MBH), neurones à neuropeptide Y (NPY)/Agouti-related peptide (AgRP), et neurones a proopiomelanocortine (POMC), dont l’activité est directement modulée par les variations des taux circulants des nutriments tels que le glucose et les acides gras (FA). Alors que les mécanismes de détection et le métabolisme intracellulaire du glucose ont été largement étudiés, l’implication du métabolisme intracellulaire des FA dans leurs effets centraux, est très peu comprise. De plus, on ignore si le glucose, module le métabolisme intracellulaire des acides gras à longue chaine (LCFA) dans le MBH. Le but de notre première étude est, de déterminer l'impact du glucose sur le métabolisme des LCFA, le rôle de l’AMP-activated protein kinase (AMPK), kinase détectrice du statut énergétique cellulaire, et d'établir s’il y a des changements dans le métabolisme des LCFA en fonction de leur structure, du type cellulaire et de la région cérébrale. Nos résultats montrent que le glucose inhibe l'oxydation du palmitate via l’AMPK dans les neurones et les astrocytes primaires hypothalamiques, in vitro, ainsi que dans les explants du MBH, ex vivo, mais pas dans les astrocytes et les explants corticaux. De plus, le glucose augmente l'estérification du palmitate et non de l’oléate dans les neurones et les explants du MBH, mais pas dans les astrocytes hypothalamiques. Ces résultats décrivent le devenir métabolique de différents LCFA dans le MBH, ainsi que, la régulation AMPK - dépendante de leur métabolisme par le glucose dans les astrocytes et les neurones, et démontrent pour la première fois que le métabolisme du glucose et des LCFA est couplé spécifiquement dans les noyaux du MBH, dont le rôle est critique pour le contrôle de l'équilibre énergétique. Le deuxième volet de cette thèse s’est intéressé à déterminer les mécanismes intracellulaires impliqués dans le rôle de la protéine de liaison ACBP dans le métabolisme central des FA. Nous avons démontré que le métabolisme de l’oléate et non celui du palmitate est dépendant de la protéine ACBP, dans les astrocytes hypothalamiques ainsi que dans les explants du MBH. Ainsi, nos résultats démontrent qu’ACBP, protéine identifiée originellement au niveau central, comme un modulateur allostérique des récepteurs GABA, agit comme un régulateur du métabolisme intracellulaire des FA. Ces résultats ouvrent de nouvelles pistes de recherche liées à la régulation du métabolisme des acides gras au niveau central, ainsi que, la nouvelle fonction de la protéine ACBP dans la régulation du métabolisme des FA au niveau du système nerveux central. Ceci aiderait à identifier des cibles moléculaires pouvant contribuer au développement de nouvelles approches thérapeutiques de pathologies telles que l’obésité et le diabète de type 2. / An imbalance of energy balance is the main cause of the development of metabolic diseases such as obesity and type 2 diabetes. Within the brain, the hypothalamus plays an important role in the control of food intake and peripheral metabolism, via the autonomic nervous system. This control relies on the existence of different neuronal populations in the medio-basal hypothalamus (MBH), including neuropeptide Y (NPY), agouti-related peptide (AgRP) and proopiomelanocortin (POMC) neurons, the activity of which, is directly modulated by changes in the circulating levels of nutrients such as glucose and fatty acids (FA). While mechanisms governing the detection and the intracellular metabolism of glucose have been extensively studied, the involvement of FA intracellular metabolism, in their central effects is poorly understood. It is currently unknown if glucose regulates long chain fatty acids (LCFA) metabolism in the MBH. The aim of our first study was to determine the impact of glucose on LCFA metabolism, assess the role of AMP-activated Kinase (AMPK), a sensor of cellular energy status, and to establish if changes in LCFA metabolism, and its regulation by glucose, vary as a function of LCFA type, cell type and brain region. We show that glucose inhibits palmitate oxidation via AMPK in hypothalamic neuronal cell lines, primary hypothalamic astrocyte cultures and MBH slices, ex vivo, but not in cortical astrocytes and slice preparations. In addition, our results show that glucose increases palmitate but not oleate esterification into neutral lipids, in neurons and MBH slices, but not in hypothalamic astrocytes. These findings reveal the metabolic fate of different LCFA in the MBH, demonstrate AMPK-dependent glucose regulation of LCFA oxidation in both astrocytes and neurons and established for the first time the metabolic coupling of glucose and LCFA as a specific feature of the MBH, whose role is critical for the control of energy balance. During the second part of this thesis, we were interested to determine the intracellular mechanisms involved in the role of Acyl-CoA binding protein (ACBP), in the central metabolism of FA. We have shown that the metabolism of oleate but not palmitate is ACBP -dependent in hypothalamic astrocytes and MBH slices. Thus, our results demonstrate That ACBP, a protein originally identified as an allosteric modulator of GABA receptor peptide, acts as a regulator of intracellular metabolism of FA. These results open a new avenues of research related to the central regulation of fatty acid metabolism and the new function of ACBP protein in the regulation of FA metabolism in the central nervous system, which could help to identify molecular targets that may contribute to the development of new therapeutic approaches of diseases such as obesity and type 2 diabetes.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.