Cette thèse développe une nouvelle approche pour la conception d'un reservoir computer, l'un des défis de la science et de la technologie modernes. La thèse se compose de deux parties, toutes deux s'appuyant sur l'analogie entre les systèmes optoelectroniques à retard et les dynamiques spatio-temporelles non linéaires. Dans la première partie (Chapitres 1 et 2) cette analogie est utilisée dans une perspective fondamentale afin d'étudier les formes auto-organisées connues sous le nom d'états Chimère, mis en évidence une première fois comme une conséquence de ces travaux. Dans la deuxième partie (Chapitres 3 et 4) la même analogie est exploitée dans une perspective appliquée afin de concevoir et mettre en oeuvre un concept de traitement de l'information inspiré par le cerveau: un réservoir computer fonctionnant en temps réel est construit dans une puce FPGA, grâce à la mise en oeuvre d'une dynamique à retard et de ses couches d'entrée et de sortie, pour obtenir un système traitement d'information autonome intelligent. / The thesis develops a novel approach to design of a reservoir computer, one of the challenges of modern Science and Technology. It consists of two parts, both connected by the correspondence between optoelectronic delayed-feedback systems and spatio-temporal nonlinear dynamics. In the first part (Chapters 1 and 2), this correspondence is used in a fundamental perspective, studying self-organized patterns known as chimera states, discovered for the first time in purely temporal systems. Study of chimera states may shed light on mechanisms occurring in many structurally similar high-dimensional systems such as neural systems or power grids. In the second part (Chapters 3 and 4), the same spatio-temporal analogy is exploited from an applied perspective, designing and implementing a brain-inspired information processing device: a real-time digital reservoir computer is constructed in FPGA hardware. The implementation utilizes delay dynamics and realizes input as well as output layers for an autonomous cognitive computing system.

Les travaux de cette thèse apportent une contribution à l'automatisation du flot de conception analogique et mixte, en termes de méthodologies de réutilisation. Des méthodologies de développement et d'exploration de bibliothèques d'IPs (Intellectual Property) analogiques sont développées : définition et caractérisation d'un IP analogique, création et exploration d'une base de données d'IPs, aide à la réutilisation destinée au concepteur. Le circuit utilisé pour l'application de ces méthodologies est un système neuromimétique c'est-à-dire qu'il reproduit l'activité électrique de neurones biologiques. Ces applications montrent à travers trois exemples, l'efficacité et la souplesse de notre méthodologie. Ces travaux proposent également une méthodologie de redimensionnement de circuits analogiques CMOS lors d'une migration technologique.

Nous présentons dans ce manuscrit un neurone électronique expérimental basé sur le modèle complet de Morris-Lecar sans simplifications, afin d’obtenir une cellule de base pour étudier l’association collective de neurones couplés. La conception du circuit est donnée en détail selon les différents courants ioniques du modèle. Les résultats expérimentaux sont comparés aux prédictions théoriques, conduisant à un bon accord, ce qui valide donc notre circuit. Nous présentons les différents domaines de bifurcation selon les paramètres de contrôle, la capacité membranaire et le courant d’excitation. Nous avons mis en évidence le comportement du neurone pour chaque zone de paramétrage. Un couplage de ces neurones est introduit en utilisant des simulations Pspice (Multisim) où les neurones ont été conçus pour être les mêmes qu’expérimentalement. Premièrement, nous avons simulé une chaîne fermée de 26 neurones faiblement couplés le long de laquelle les ondes se propagent avec des phases en opposition 2 à 2. Pour cette première étude, on travaille dans une zone présentant uniquement un cycle limite stable. Deuxièmement, une dizaine de neurones sont couplés, avec un choix de paramètres correspondant à une deuxième zone où il y a deux attracteurs, un cycle limite stable et un point fixe stable, tandis qu’entre eux se trouve un cycle instable. Selon le nombre de neurones qui oscillent initialement et les conditions aux bords, nos études montrent que le système évolue vers un état où seuls 1, 2 ou 3 neurones restent à l’état oscillatoire, tandis que les autres sont retournés à un état de repos, ce qui met en évidence un phénomène de clusterisation. Il est à noter que certaines parties de notre circuit de base peuvent ainsi être utilisées dans d’autres modèles de neurones, car ces parties correspondent à la production des divers courants ioniques qu’on retrouve dans d’autres modèles. / We present in this manuscript an experimental electronic neuron based on complete Morris-Lecar model without simplifications, able to become an experimental unit tool to study collective association of robust coupled neurons. The circuit design is given in details according to the ionic currents of this model. The experimental results are compared with the theoretical prediction, leading to a good agreement between them, which therefore validates the circuit. We present the different areas according to the bifurcation control parameters, the membrane capacitance and the excitation current. We have highlighted the behavior of the neuron for each parameters zone. A coupling of such neurons is introduced by using Pspice simulations (Multisim) where neurons have been designed to be the same as the experimental one. First, we simulate a chain of up to 26 neurons weakly coupled along which anti-phase wave patterns propagate with phases in opposition 2 to 2. Second, about ten neurons are coupled, and we succeed to generate clusters based on the boundary conditions of theneurons and their initial conditions. For this study, we work in the region close to the fold bifurcation of limit cycles, where two limit cycles exist, one being stable and another one unstable. Our studies show that the system evolves to a state where only 1, 2 or 3 neurons remain in the oscillatory state, while others returned to a state of rest, which highlights a phenomenon of clustering. The use of some parts of the circuit is also possible for other neuron models, namely for those based on ionic currents.

L'augmentation du parallélisme, sur des puces dont la densité d'intégration est en constante croissance, soulève un certain nombre de défis tels que le routage de l'information qui se confronte au problème de "goulot d'étranglement de données", ou la simple difficulté à exploiter un parallélisme massif et grandissant avec les paradigmes de calcul modernes issus pour la plupart, d'un historique séquentiel.Nous nous inscrivons dans une démarche bio-inspirée pour définir un nouveau type d'architecture, basée sur le concept d'auto-adaptation, afin de décharger le concepteur au maximum de cette complexité. Mimant la plasticité cérébrale, cette architecture devient capable de s'adapter sur son environnement interne et externe de manière homéostatique. Il s'inscrit dans la famille du calcul incorporé ("embodied computing") car le substrat de calcul n'est plus pensé comme une boite noire, programmée pour une tâche donnée, mais est façonné par son environnement ainsi que par les applications qu'il supporte.Dans nos travaux, nous proposons un modèle de carte neuronale auto-organisatrice, le DMADSOM (pour Distributed Multiplicative Activity Dependent SOM), basé sur le principe des champs de neurones dynamiques (DNF pour "Dynamic Neural Fields"), pour apporter le concept de plasticité à l'architecture. Ce modèle a pour originalité de s'adapter sur les données de chaque stimulus sans besoin d'un continuum sur les stimuli consécutifs. Ce comportement généralise les cas applicatifs de ce type de réseau car l'activité est toujours calculée selon la théorie des champs neuronaux dynamique. Les réseaux DNFs ne sont pas directement portables sur les technologies matérielles d'aujourd'hui de part leurs forte connectivité. Nous proposons plusieurs solutions à ce problème. La première consiste à minimiser la connectivité et d'obtenir une approximation du comportement du réseau par apprentissage sur les connexions latérales restantes. Cela montre un bon comportement dans certain cas applicatifs. Afin de s'abstraire de ces limitations, partant du constat que lorsqu'un signal se propage de proche en proche sur une topologie en grille, le temps de propagation représente la distance parcourue, nous proposons aussi deux méthodes qui permettent d'émuler, cette fois, l'ensemble de la large connectivité des Neural Fields de manière efficace et proche des technologies matérielles. Le premier substrat calcule les potentiels transmis sur le réseau par itérations successives en laissant les données se propager dans toutes les directions. Il est capable, en un minimum d'itérations, de calculer l'ensemble des potentiels latéraux de la carte grâce à une pondération particulière de l'ensemble des itérations.Le second passe par une représentation à spikes des potentiels qui transitent sur la grille sans cycles et reconstitue l'ensemble des potentiels latéraux au fil des itérations de propagation.Le réseau supporté par ces substrats est capable de caractériser les densités statistiques des données à traiter par l'architecture et de contrôler, de manière distribuée, l'allocation des cellules de calcul. / The increasing degree of parallelism on chip which comes from the always increasing integration density, raises a number of challenges such as routing information that confronts the "bottleneck problem" or the simple difficulty to exploit massive parallelism thanks to modern computing paradigms which derived mostly from a sequential history.In order to discharge the designer of this complexity, we design a new type of bio-inspired self-adaptive architecture. Mimicking brain plasticity, this architecture is able to adapt to its internal and external environment and becomes homeostatic. Belonging to the embodied computing theory, the computing substrate is no longer thought of as a black box, programmed for a given task, but is shaped by its environment and by applications that it supports.In our work, we propose a model of self-organizing neural map, DMADSOM (for Distributed Multiplicative Activity Dependent SOM), based on the principle of dynamic neural fields (DNF for "Dynamic Neural Fields"), to bring the concept of hardware plasticity. This model is able to adapt the data of each stimulus without need of a continuum on consecutive stimuli. This behavior generalizes the case of applications of such networks. The activity remains calculated using the dynamic neural field theory. The DNFs networks are not directly portable onto hardware technology today because of their large connectivity. We propose models that bring solutions to this problem. The first is to minimize connectivity and to approximate the global behavior thanks to a learning rule on the remaining lateral connections. This shows good behavior in some application cases. In order to reach the general case, based on the observation that when a signal travels from place to place on a grid topology, the delay represents the distance, we also propose two methods to emulate the whole wide connectivity of the Neural Field with respect to hardware technology constraints. The first substrate calculates the transmitted potential over the network by iteratively allowing the data to propagate in all directions. It is capable, in a minimum of iterations, to compute the lateral potentials of the map with a particular weighting of all iterations.The second involves a spike representation of the synaptic potential and transmits them on the grid without cycles. This one is hightly customisable and allows a very low complexity while still being capable to compute the lateral potentials.The network supported, by these substrates, is capable of characterizing the statistics densities of the data to be processed by the architecture, and to control in a distributed manner the allocation of computation cells.

Les systèmes « excitables » sont omniprésents dans la nature, le plus paradigmatique d'entre eux étant le neurone, qui répond de façon « tout ou rien » aux perturbations externes. Cette particularité étant clairement établie comme l'un des points clé pour le fonctionnement des systèmes nerveux, son analyse dans des systèmes modèles (mathématiques ou physiques) peut d'une part aider à la compréhension de la dynamique d'ensembles de neurones couplés et d'autre part ouvrir des voies pour un traitement neuromimétique de l'information. C'est dans cette logique que s'inscrit la préparation de cette thèse de doctorat. Dans ce mémoire, nous utilisons des systèmes basés sur des lasers à semiconducteur pour d'une part modéliser des systèmes excitables ou des ensembles de systèmes neuromimétiques couplés et d'autre part pour contrôler (grâce à l'optogénétique) des canaux ioniques impliqués dans l'émission de potentiels d'action par des neurones de mammifères. Le long du premier chapitre, nous présentons de manière synthétique les concepts dynamiques sur lesquels nous nous appuierons dans la suite du manuscrit. Par la suite, nous décrivons brièvement le contexte de ce travail du point de vue de la synchronisation, notamment de cellules excitables. Enfin, nous discutons le contexte applicatif potentiel de ces travaux, c’est-à-dire l'utilisation de systèmes photoniques dits « neuromimétiques » dans le but de traiter de l'information. Dans le chapitre 2, nous analysons tout d'abord du point de vue théorique et bibliographique le caractère excitable d'un laser à semiconducteur sous l'influence d'un forçage optique cohérent. Par la suite, nous détaillons nos travaux expérimentaux d'abord, puis numériques et théoriques, sur la réponse de ce système « neuromimétique » à des perturbations répétées dans le temps. Tandis que le modèle mathématique simplifié prévoit un comportement de type intégrateur en réponse a des perturbations répétées, nous montrons que le comportement est en fait souvent résonateur, ce qui confère à ce système la propriété étonnante d'émettre une impulsion seulement s'il reçoit deux perturbations séparées d'un intervalle de temps bien précis. Nous montrons également que ce système peut convertir des perturbations de différente intensité en une série d'impulsions toutes identiques mais dont le nombre dépend de l'intensité de la perturbation incidente. Dans le chapitre 3, nous analysons (de nouveau expérimentalement, puis numériquement et théoriquement) le comportement dynamique d'un réseau de lasers à semiconducteur couplés dans un régime de chaos lent-rapide. Nous nous basons sur une étude antérieure montrant qu'un seul de ces éléments peut présenter une dynamique neuromimétique (en particulier l'émission chaotique d'impulsions originant du phénomène de canard). De façon surprenante pour un système ayant un si grand nombre de degrés de liberté, nous observons une dynamique qui semble chaotique de basse dimension. Nous examinons l'impact des propriétés statistiques de la population considérée sur la dynamique et relions nos observations expérimentales et numériques à l'existence d'une variété critique calculable analytiquement pour le champ moyen et près duquel converge la dynamique grâce au caractère lent-rapide du système. Dans le chapitre 4 enfin, nous présentons une brève étude expérimentale de la réponse de cellules biologiques à des perturbations lumineuses. En effet, les techniques optogénétiques permettent de rendre des cellules (en particulier des neurones) sensibles à la lumière grâce au contrôle optique de l'ouverture et de la fermeture de canaux ioniques. Ainsi, après avoir étudié dans les chapitres précédents des systèmes optiques sur la base de considérations provenant de systèmes biologiques, nous amenons matériellement un système laser vers un système biologique. / Excitable systems are everywhere in Nature, and among them the neuron, which responds to an external stimulus with an all-or-none type of response, is often regarded as the most typical example. This excitability behaviour is clearly established as to be one of the underlying operating mechanisms of the nervous system and its analysis in model systems (being them mathematical of physical) can, from one hand, shed some light on the dynamics of neural networks, and from the other, open novel ways for a neuro-mimetic treatment of information. The work presented in this PhD thesis was realized in this perspective. In this dissertation we will consider systems based on semiconductor lasers both for modelling excitable systems or coupled neuromorphic networks and for controlling (in an optogenetic outlook) ionic channels that are involved in the emission of action potentials of neurons in mammals. During the first chapter, we will briefly present the dynamical concepts on which we will build our understanding for the rest of the manuscript. Thereafter, we will describe the context of this work from the point of view of synchronized systems, in particular excitable cells. Finally, we will discuss in this context the applications potential of this work, namely the possibility of using “neuromimetic” photonic systems as a was to treat information. In chapter 2 we will firstly analyse from a theoretical and bibliographical standpoint the excitable character of a laser with coherent injection. Later, we will firstly detail our results, firstly experimental and subsequently numerical and theoretical, on the response of this “neuromimetic” system to perturbations repeated in time. Whereas the simplified mathematical model envisions an integrator behaviour in response to repeated perturbations, we will show that the system often acts as a resonator, thus imparting the remarkable property of being able to emit a single pulse only if it receives two perturbations that are separated by a specific time interval. We will also illustrate how this system can convert perturbations of different intensity in a series of all identical pulses whose number depends on the intensity of the incoming perturbation. In the third chapter we will analyse, first experimentally and later numerically and theoretically, the dynamical behaviour of a network of coupled semiconductor lasers in a slow-fast chaotic regime. We will rely on a previous study documenting that a single such element can present a neuromimetic dynamics (in particular, the emission of chaotic pulses originating from a canard phenomenon). Surprisingly for a system having such a large number of degrees of freedom, we observe a dynamics which seems low dimensional chaotic. We will examine the impact of statistical properties of the selected population on the dynamics, and we will link our experimental and numerical observations to the existence of a slow manifold for the mean field, computable analytically, and towards whom the dynamics converges thanks to the slow-fact nature of the system. Finally, in chapter 4 we will present a short experimental study on the response of biological cells to light perturbations. Indeed, optogenetic techniques enables to render the cells (in particular neurons) sensitive to light due to the optical control of the opening and closing of ionic channels. Hence, after having studied in the previous chapters optical systems on the basis of observations derived from biological systems, we will physically transfer an optical system towards a biological one. Here we lay the groundwork of a photonic system which allows, with a moderate complexity, to realize cell measurements in response to spatially localized optical perturbations.

Au cours de la dernière décennie, l'apprentissage profond est devenu une composante majeure de l'intelligence artificielle, ayant mené à une série d'avancées capitales dans une variété de domaines. L'un des piliers de l'apprentissage profond est l'optimisation de fonction de coût par l'algorithme du gradient stochastique (SGD). Traditionnellement en apprentissage profond, les réseaux de neurones sont des fonctions mathématiques différentiables, et les gradients requis pour l'algorithme SGD sont calculés par rétropropagation. Cependant, les architectures informatiques sur lesquelles ces réseaux de neurones sont implémentés et entraînés souffrent d’inefficacités en vitesse et en énergie, dues à la séparation de la mémoire et des calculs dans ces architectures. Pour résoudre ces problèmes, le neuromorphique vise à implementer les réseaux de neurones dans des architectures qui fusionnent mémoire et calculs, imitant plus fidèlement le cerveau. Dans cette thèse, nous soutenons que pour construire efficacement des réseaux de neurones dans des architectures neuromorphiques, il est nécessaire de repenser les algorithmes pour les implémenter et les entraîner. Nous présentons un cadre mathématique alternative, compatible lui aussi avec l’algorithme SGD, qui permet de concevoir des réseaux de neurones dans des substrats qui exploitent mieux les lois de la physique. Notre cadre mathématique s'applique à une très large classe de modèles, à savoir les systèmes dont l'état ou la dynamique sont décrits par des équations variationnelles. La procédure pour calculer les gradients de la fonction de coût dans de tels systèmes (qui dans de nombreux cas pratiques ne nécessite que de l'information locale pour chaque paramètre) est appelée “equilibrium propagation” (EqProp). Comme beaucoup de systèmes en physique et en ingénierie peuvent être décrits par des principes variationnels, notre cadre mathématique peut potentiellement s'appliquer à une grande variété de systèmes physiques, dont les applications vont au delà du neuromorphique et touchent divers champs d'ingénierie. / In the last decade, deep learning has become a major component of artificial intelligence, leading to a series of breakthroughs across a wide variety of domains. The workhorse of deep learning is the optimization of loss functions by stochastic gradient descent (SGD). Traditionally in deep learning, neural networks are differentiable mathematical functions, and the loss gradients required for SGD are computed with the backpropagation algorithm. However, the computer architectures on which these neural networks are implemented and trained suffer from speed and energy inefficiency issues, due to the separation of memory and processing in these architectures. To solve these problems, the field of neuromorphic computing aims at implementing neural networks on hardware architectures that merge memory and processing, just like brains do. In this thesis, we argue that building large, fast and efficient neural networks on neuromorphic architectures also requires rethinking the algorithms to implement and train them. We present an alternative mathematical framework, also compatible with SGD, which offers the possibility to design neural networks in substrates that directly exploit the laws of physics. Our framework applies to a very broad class of models, namely those whose state or dynamics are described by variational equations. This includes physical systems whose equilibrium state minimizes an energy function, and physical systems whose trajectory minimizes an action functional (principle of least action). We present a simple procedure to compute the loss gradients in such systems, called equilibrium propagation (EqProp), which requires solely locally available information for each trainable parameter. Since many models in physics and engineering can be described by variational principles, our framework has the potential to be applied to a broad variety of physical systems, whose applications extend to various fields of engineering, beyond neuromorphic computing.