Dans ce manuscrit nous proposons une architecture neuronale d'inspiration corticale, capable de développer un traitement émergent de type auto-organisation. Afin d'implémenter cette architecture neuronale de manière distribuée, nous utilisons le modèle de champs neuronaux dynamiques, un formalisme mathématique générique conçu pour modéliser la compétition des activités neuronales au niveau cortical mésoscopique. Pour analyser en détail les propriétés dynamiques des modèles de référence de ce formalisme, nous proposons un critère formel et un instrument d'évaluation, capable d'examiner et de quantifier le comportement dynamique d'un champ neuronal quelconque dans différents contextes de stimulation. Si cet instrument nous permet de mettre en évidence les avantages pratiques de ces modèles, il nous révèle aussi l'incapacité de ces modèles à conduire l'implantation des processus d'auto-organisation (implémenté par l'architecture décrite) vers des résultats satisfaisants. Ces résultats nous amènent à proposer une alternative aux modèles classiques de champs, basée sur un mécanisme de rétro-inhibition, qui implémente un processus local de régulation neuronale. Grâce à ce mécanisme, le nouveau modèle de champ réussit à implémenter avec succès le processus d'auto-organisation décrit par l'architecture proposée d'inspiration corticale. De plus, une analyse détaillée confirme que ce formalisme garde les caractéristiques dynamiques exhibées par les modèles classiques de champs neuronaux. Ces résultats ouvrent la perspective de développement des architectures de calcul neuronal de traitement d'information pour la conception des solutions logicielles ou robotiques bio-inspirées / In this work we propose a cortically inspired neural architecture capable of developping an emergent process of self-organization. In order to implement this neural architecture in a distributed manner, we use the dynamic neural fields paradigm, a generic mathematical formalism aimed at modeling the competition between the neural activities at a mesoscopic level of the cortical structure. In order to examine in detail the dynamic properties of classical models, we design a formal criterion and an evaluation instrument, capable of analysing and quantifying the dynamic behavior of the any neural field, in specific contexts of stimulation. While this instrument highlights the practical advantages of the usage of such models, it also reveals the inability of these models to help implementing the self-organization process (implemented by the described architecture) with satisfactory results. These results lead us to suggest an alternative to the classical neural field models, based on a back-inhibition model which implements a local process of neural activity regulation. Thanks to this mechanism, the new neural field model is capable of achieving successful results in the implementation of the self-organization process described by our cortically inspired neural architecture. Moreover, a detailed analysis confirms that this new neural field maintains the features of the classical field models. The results described in this thesis open the perspectives for developping neuro-computational architectures for the design of software solutions or biologically-inspired robot applications

Dans la recherche permanente de solutions pour dépasser les limitations de plus en plus visibles de nos architectures matérielles, le calcul non-conventionnel offre des alternatives variées comme l’ingénierie neuromorphique et le calcul cellulaire. Comme von Neumann qui s’était initialement inspiré du cerveau pour concevoir l’architecture des ordinateurs, l’ingénierie neuromorphique prend la même inspiration en utilisant un substrat analogique plus proche des neurones et des synapses. Le calcul cellulaire s’inspire lui des substrats de calcul naturels (chimique, physiques ou biologiques) qui imposent une certaine localité des calculs de laquelle va émerger une organisation et des calculs. La recherche sur les mécanismes neuronaux permet de comprendre les grands principes de calculs émergents des neurones. Un des grands principes que nous allons utiliser dans cette thèse est la dynamique d’attracteurs d’abord décrite par Amari (champs neuronaux dynamiques, ou DNF pour dynamic neural fields), Amit et Zhang (réseaux de neurones à attracteurs continus). Ces champs de neurones ont des propriétés de calcul variées mais sont particulièrement adaptés aux représentations spatiales et aux fonctions des étages précoces du cortex visuel. Ils ont été utilisés entre autres dans des applications de robotique autonome, dans des tâches de classification et clusterisation. Comme de nombreux modèles de calcul neuronal, ils sont également intéressants du point de vue des architectures matérielles en raison de leur robustesse au bruit et aux fautes. On voit donc l’intérêt que ces modèles de calcul peuvent avoir comme solution permettant de dépasser (ou poursuivre) la loi de Moore. La réduction de la taille des transistors provoque en effet beaucoup de bruit, de même que la relaxation de la contrainte de ~ 0% de fautes lors de la production ou du fonctionnement des circuits permettrait d’énormes économies. Par ailleurs, l’évolution actuelle vers des circuits many-core de plus en plus distribués implique des difficultés liées au mode de calcul encore centralisés de la plupart des modèles algorithmiques parallèles, ainsi qu’au goulot d’étranglement des communications. L’approche cellulaire est une réponse naturelle à ces enjeux. Partant de ces différents constats, l’objectif de cette thèse est de rendre possible les calculs et applications riches des champs neuronaux dynamiques sur des substrats matériels grâce à des modèles neuro-cellulaires assurant une véritable localité, décentralisation et mise à l’échelle des calculs. Cette thèse est donc une proposition argumentée pour dépasser les limites des architectures de type von Neumann en utilisant des principes de calcul neuronal et cellulaire. Nous restons cependant dans le cadre numérique en explorant les performances des architectures proposées sur FPGA. L’utilisation de circuits analogiques (VLSI) serait tous aussi intéressante mais n’est pas étudiée ici. Les principales contributions sont les suivantes : 1) Calcul DNF dans un environnement neuromorphique ; 2) Calcul DNF avec communication purement locale : modèle RSDNF (randomly spiking DNF) ; 3) Calcul DNF avec communication purement locale et asynchrone : modèle CASAS-DNF (cellular array of stochastic asynchronous spiking DNF). / In the constant search for design going beyond the limits of the von Neumann architecture, non conventional computing offers various solutions like neuromorphic engineering and cellular computing. Like von Neumann who roughly reproduced brain structures to design computers architecture, neuromorphic engineering takes its inspiration directly from neurons and synapses using analog substratum. Cellular computing influence comes from natural substratum (chemistry, physic or biology) imposing locality of interactions from which organisation and computation emerge. Research on neural mechanisms was able to demonstrate several emergent properties of the neurons and synapses. One of them is the attractor dynamics described in different frameworks by Amari with the dynamic neural fields (DNF) and Amit and Zhang with the continuous attractor neural networks. These neural fields have various computing properties and are particularly relevant for spatial representations and early stages of visual cortex processing. They were used, for instance, in autonomous robotics, classification and clusterization. Similarly to many neuronal computing models, they are robust to noise and faults and thus are good candidates for noisy hardware computation models which would enable to keep up or surpass the Moore law. Indeed, transistor area reductions is leading to more and more noise and the relaxation of the approx. 0% fault during production and operation of integrated circuits would lead to tremendous savings. Furthermore, progress towards many-cores circuits with more and more cores leads to difficulties due to the centralised computation mode of usual parallel algorithms and their communication bottleneck. Cellular computing is the natural answer to these problems. Based on these different arguments, the goal of this thesis is to enable rich computations and applications of dynamic neural fields on hardware substratum with neuro-cellular models enabling a true locality, decentralization and scalability of the computations. This work is an attempt to go beyond von Neumann architectures by using cellular and neuronal computing principles. However, we will stay in the digital framework by exploring performances of proposed architectures on FPGA. Analog hardware like VLSI would also be very interesting but is not studied here. The main contributions of this work are : 1) Neuromorphic DNF computation ; 2) Local DNF computations with randomly spiking dynamic neural fields (RSDNF model) ; 3) Local and asynchronous DNF computations with cellular arrays of stochastic asynchronous spiking DNFs (CASAS-DNF model).

La thèse propose une approche de l'apprentissage temporel par des mécanismes d'auto-organisation à grain fin. Le manuscrit situe dans un premier temps le travail dans la perspective de contribuer à promouvoir une informatique cellulaire. Il s'agit d'une informatique où les calculs se répartissent en un grand nombre de calculs élémentaires, exécutés en parallèle, échangeant de l'information entre eux. Le caractère cellulaire tient à ce qu'en plus d’être à grain fin, une telle architecture assure que les connexions entre calculateurs respectent une topologie spatiale, en accord avec les contraintes des évolutions technologiques futures des matériels. Dans le manuscrit, la plupart des architectures informatiques distribuées sont examinées suivant cette perspective, pour conclure que peu d'entre elles relèvent strictement du paradigme cellulaire.Nous nous sommes intéressé à la capacité d'apprentissage de ces architectures, du fait de l'importance de cette notion dans le domaine connexe des réseaux de neurones par exemple, sans oublier toutefois que les systèmes cellulaires sont par construction des systèmes complexes dynamiques. Cette composante dynamique incontournable a motivé notre focalisation sur l'apprentissage temporel, dont nous avons passé en revue les déclinaisons dans les domaines des réseaux de neurones supervisés et des cartes auto-organisatrices.Nous avons finalement proposé une architecture qui contribue à la promotion du calcul cellulaire en ce sens qu'elle exhibe des propriétés d'auto-organisation pour l'extraction de la représentation des états du système dynamique qui lui fournit ses entrées, même si ces dernières sont ambiguës et ne reflètent que partiellement cet état. Du fait de la présence d'un cluster pour nos simulations, nous avons pu mettre en œuvre une architecture complexe, et voir émerger des phénomènes nouveaux. Sur la base de ces résultats, nous développons une critique qui ouvre des perspectives sur la suite à donner à nos travaux. / The thesis proposes a sequence learning approach that uses the mechanism of fine grain self-organization. The manuscript initially starts by situating this effort in the perspective of contributing to the promotion of cellular computing paradigm in computer science. Computation within this paradigm is divided into a large number of elementary calculations carried out in parallel by computing cells, with information exchange between them.In addition to their fine grain nature, the cellular nature of such architectures lies in the spatial topology of the connections between cells that complies with to the constraints of the technological evolution of hardware in the future. In the manuscript, most of the distributed architecture known in computer science are examined following this perspective, to find that very few of them fall within the cellular paradigm.We are interested in the learning capacity of these architectures, because of the importance of this notion in the related domain of neural networks for example, without forgetting, however, that cellular systems are complex dynamical systems by construction.This inevitable dynamical component has motivated our focus on the learning of temporal sequences, for which we reviewed the different models in the domains of neural networks and self-organization maps.At the end, we proposed an architecture that contributes to the promotion of cellular computing in the sense that it exhibits self-organization properties employed in the extraction of a representation of a dynamical system states that provides the architecture with its entries, even if the latter are ambiguous such that they partially reflect the system state. We profited from an existing supercomputer to simulate complex architecture, that indeed exhibited a new emergent behavior. Based on these results we pursued a critical study that sets the perspective for future work.

In this thesis I study the effects of gap junctions on pattern formation in a neural field model for working memory. I review known results for the base model (the “Amari model”), then see how the results change for the “gap junction model”. I find steady states of both models analytically and numerically, using lateral inhibition with a step firing rate function, and a decaying oscillatory coupling function with a smooth firing rate function. Steady states are homoclinic orbits to the fixed point at the origin. I also use a method of piecewise construction of solutions by deriving an ordinary differential equation from the partial integro-differential formulation of the model. Solutions are found numerically using AUTO and my own continuation code in MATLAB. Given an appropriate level of threshold, as the firing rate function steepens, the solution curve becomes discontinuous and stable homoclinic orbits no longer exist in a region of parameter space. These results have not been described previously in the literature. Taking a phase space approach, the Amari model is written as a four-dimensional, reversible Hamiltonian system. I develop a numerical technique for finding both symmetric and asymmetric homoclinic orbits. I discover a small separate solution curve that causes the main curve to break as the firing rate function steepens and show there is a global bifurcation. The small curve and the global bifurcation have not been reported previously in the literature. Through the use of travelling fronts and construction of an Evans function, I show the existence of stable heteroclinic orbits. I also find asymmetric steady state solutions using other numerical techniques. Various methods of determining the stability of solutions are presented, including a method of eigenvalue analysis that I develop. I then find both stable and transient Turing structures in one and two spatial dimensions, as well as a Type-I intermittency. To my knowledge, this is the first time transient Turing structures have been found in a neural field model. In the Appendix, I outline numerical integration schemes, the pseudo-arclength continuation method, and introduce the software package AUTO used throughout the thesis.

Submitted by Johnny Rodrigues (johnnyrodrigues@ufcg.edu.br) on 2018-08-11T14:07:58Z No. of bitstreams: 1 HUGO SARAIVA TAVARES - DISSERTAÇÃO PPGMAT 2016..pdf: 830543 bytes, checksum: d315a3d95e0d2b08d4251cbb487964b6 (MD5) / Made available in DSpace on 2018-08-11T14:07:58Z (GMT). No. of bitstreams: 1 HUGO SARAIVA TAVARES - DISSERTAÇÃO PPGMAT 2016..pdf: 830543 bytes, checksum: d315a3d95e0d2b08d4251cbb487964b6 (MD5) Previous issue date: 2016-06 / Capes / Para ler o resumo deste trabalho recomendamos o download do arquivo, uma vez que o mesmo possui fórmulas e caracteres matemáticos que não foram possíveis trascreve-los aqui. / To read the summary of this work we recommend downloading the file, since it has formulas and mathematical characters that were not possible to transcribe them here.

Dans cette thèse, nous avons étudié le problème de l'estimation de mouvement chez les mammifères et nous proposons que passer à l’échelle des modèles ancrés dans la biologie pour les applications du monde réel peut nous donner de nouvelles perspectives en vision biologique. En utilisant un modèle classique qui décrit l'activité des neurones dans les aires corticales V1 et MT du cerveau des primates, nous avons proposé une architecture montante pour l'estimation de mouvement et l’avons évaluée sur des exemples de référence de vision par ordinateur (une première pour ce type de modèles), révélant des lacunes telles que le manque de sélectivité au niveau des frontières de mouvement et l'absence d'association spatiale du champ de vitesses. Pour y remédier, nous avons proposé deux extensions, une stratégie d’intégration modulée par la forme pour minimiser les erreurs aux discontinuités de texture et un schéma de régression pour le décodage. Ces extensions ont amélioré la précision de l'estimation, mais aussi souligné à nouveau le débat sur le rôle des différents types de cellules dans le codage mouvement, par exemple le rôle relatif des cellules “pattern” par rapport aux cellules “component”. Pour comprendre cela, nous avons utilisé un modèle de champs neuronaux représentant une population de cellules MT pour comprendre le rôle des récurrences. Nos résultats montrent qu'une variété de comportements peuvent être reproduits, ils expliquent les changements dynamiques en fonction des stimuli, et nous conduisent à remettre en cause les régimes élevés d'inhibition généralement choisis dans la littérature. / In this thesis, we studied the problem of motion estimation in mammals and propose that scaling up models rooted in biology for real world applications can give us fresh insights into the biological vision. Using a classic model that describes the activity of directionally-selective neurons in V1 and MT areas of macaque brain, we proposed a feedforward V1-MT architecture for motion estimation and benchmarked it on computer vision datasets (first publicly available evaluation for this kind of models), revealing interesting shortcomings such as lack of selectivity at motion boundaries and lack of spatial association of the flow field. To address these, we proposed two extensions, a form modulated pooling strategy to minimize errors at texture boundaries and a regression based decoding scheme. These extensions improved estimation accuracy but also reemphasized the debate about the role of different cell types (characterized by their tuning curves) in encoding motion, for example relative role of pattern cells versus component cells. To understand this, we used a phenomenological neural fields model representative of a population of directionally tuned MT cells to check whether different tuning behaviors could be reproduced by a recurrently interacting population or if we need different types of cells explicitly. Our results indicated that a variety of tuning behavior can be reproduced by a minimal network, explaining dynamical changes in the tuning with change of stimuli leading us to question the high inhibition regimes typically considered by models in the literature.