En adoptant une methode générale de distribution du réseau de cellules, sont proposes des algorithmes de communication sur un anneau et sur un hypercube qui résolvent les problèmes de multi-accumulation et de diffusion all-to-all. Il est montre, de plus, que ces algorithmes sont asymptotiquement optimaux. La simulation de l'identification des visages en contexte présentée constitue une tentative d'utilisation du modèle connexioniste comme nouveau paradigme pour modéliser des phénomènes cognitifs. Par ailleurs, l'application des réseaux multicouches a la reconnaissance de mots met en valeur l'intérêt de l'architecture a connexions partielles et superposées pour traiter des informations temporelles

Inférence et apprentissage dans les réseaux de neurones profonds nécessitent une grande quantité de calculs qui, dans beaucoup de cas, limite leur intégration dans les environnements limités en ressources. Les réseaux de neurones évènementiels de type « spike » présentent une alternative aux réseaux de neurones artificiels classiques, et promettent une meilleure efficacité énergétique. Cependant, entraîner les réseaux spike demeure un défi important, particulièrement dans le cas où l’apprentissage doit être exécuté sur du matériel de calcul bio-inspiré, dit matériel neuromorphique. Cette thèse constitue une étude sur les algorithmes d’apprentissage et le codage de l’information dans les réseaux de neurones spike.A partir d’une règle d’apprentissage bio-inspirée, nous analysons quelles propriétés sont nécessaires dans les réseaux spike pour rendre possible un apprentissage embarqué dans un scénario d’apprentissage continu. Nous montrons qu’une règle basée sur le temps de déclenchement des neurones (type « spike-timing dependent plasticity ») est capable d’extraire des caractéristiques pertinentes pour permettre une classification d’objets simples comme ceux des bases de données MNIST et N-MNIST.Pour dépasser certaines limites de cette approche, nous élaborons un nouvel outil pour l’apprentissage dans les réseaux spike, SpikeGrad, qui représente une implémentation entièrement évènementielle de la rétro-propagation du gradient. Nous montrons comment cette approche peut être utilisée pour l’entrainement d’un réseau spike qui est capable d’inférer des relations entre valeurs numériques et des images MNIST. Nous démontrons que cet outil est capable d’entrainer un réseau convolutif profond, qui donne des taux de reconnaissance d’image compétitifs avec l’état de l’art sur les bases de données MNIST et CIFAR10. De plus, SpikeGrad permet de formaliser la réponse d’un réseau spike comme celle d’un réseau de neurones artificiels classique, permettant un entraînement plus rapide.Nos travaux introduisent ainsi plusieurs mécanismes d’apprentissage puissants pour les réseaux évènementiels, contribuant à rendre l’apprentissage des réseaux spike plus adaptés à des problèmes réels. / Inference and training in deep neural networks require large amounts of computation, which in many cases prevents the integration of deep networks in resource constrained environments. Event-based spiking neural networks represent an alternative to standard artificial neural networks that holds the promise of being capable of more energy efficient processing. However, training spiking neural networks to achieve high inference performance is still challenging, in particular when learning is also required to be compatible with neuromorphic constraints. This thesis studies training algorithms and information encoding in such deep networks of spiking neurons. Starting from a biologically inspired learning rule, we analyze which properties of learning rules are necessary in deep spiking neural networks to enable embedded learning in a continuous learning scenario. We show that a time scale invariant learning rule based on spike-timing dependent plasticity is able to perform hierarchical feature extraction and classification of simple objects of the MNIST and N-MNIST dataset. To overcome certain limitations of this approach we design a novel framework for spike-based learning, SpikeGrad, which represents a fully event-based implementation of the gradient backpropagation algorithm. We show how this algorithm can be used to train a spiking network that performs inference of relations between numbers and MNIST images. Additionally, we demonstrate that the framework is able to train large-scale convolutional spiking networks to competitive recognition rates on the MNIST and CIFAR10 datasets. In addition to being an effective and precise learning mechanism, SpikeGrad allows the description of the response of the spiking neural network in terms of a standard artificial neural network, which allows a faster simulation of spiking neural network training. Our work therefore introduces several powerful training concepts for on-chip learning in neuromorphic devices, that could help to scale spiking neural networks to real-world problems.

L'échographie est aujourd'hui l'une des modalités les plus populaires de diagnostic médical. Il permet d'observer, en temps réel, le mouvement des organes qui facilite le diagnostic des pathologies pour des médecins. L'échocardiographie [1, 2], l'imagerie du flux sanguin [3, 4] et l’élastographie [5-7] sont les domaines préférés de l'estimation de mouvement en utilisant l'échographie (en raison de son haut frame-rate).En conséquence, les images avec meilleurs qualités sont nécessaires. . En imagerie cardiaque, le système classique d'imagerie est limité dans la direction transversale (la direction perpendiculaire à celle de propagation). Travaillant sur la formation des images, ce problème peut être résolu en modifiant la façon de formateur de voie afin d'introduire des oscillations transversales (OTs) dans la fonction d’étalement du point (PSF). La technique d’oscillation transversale a montré son potentiel d'améliorer la précision de l'estimation de mouvement local dans la direction transversale (la direction perpendiculaire à celle de propagation). La classique OT en géométrie linéaire, basée sur l'approximation de Fraunhofer, relie la PSF et la fonction de pondération par la transformée de Fourier. Motivé par l'adaptation des OTs en échocardiographie, nous proposons une technique spécifique basée sur la rétro-propagation afin de construire des OTs en géométrie sectorielle. La performance de la méthode de rétro-propagation proposée a été étudiée progressivement, comparée avec la méthode de la transformée de Fourier, par exemple, l'évaluation de la qualité de la PSF quantifié, dans l'estimation de mouvement cardiaque en simulation, et en étude la qualité des PSF visuellement expérimentale. Les résultats quantifiés montrent les OT-images sont mieux contrôlés par la méthode proposée que par le formateur de voie conventionnelle. Une autre méthode, basée sur la décomposition d'onde plane et un principe différent de rétro-propagation, a été présentée. Cette méthode mieux prend en compte la propriété 2D de PSF, en décomposant la PSF dans un ensemble d'ondes planes directionnelle, les rétro-propage à la sonde, en utilisant les résultats de superposition comme excitations, un PSF simulée et conforme fortement au PSF théorique est acquis. En adaptant cette méthode à la géométrie sectorielle, la qualité de la PSF obtenue en face et sur la côté de la sonde est meilleure en utilisant la décomposition en ondes planes à celle de la transformée de Fourier, le travail supplémentaire sera adressé à adapter la décomposition en ondes planes à imagerie sectorielle et l’estimation du mouvement. / Echography is nowadays one of the most popular medical diagnosis modalities. It enables real-time observation the motion of moving organs which facilitates the diagnosis of pathologies for physician. Echocardiography [1, 2], blood flow imaging [3, 4] and elastography [5-7] are the favorite domains of motion estimation in using of echography (e.g., due to its high frame-rate capacity). Thus the requirements for imaging with high quality are on the primary place. In cardiac imaging, the conventional imaging system is somehow limited in the transverse direction (the direction perpendicular to the beam axis). Working on the image formation, this problem can be addressed by modifying the beamforming scheme in order to introduce transverse oscillations (TOs) in the system point spread function (PSF). Transverse oscillation techniques have shown their potential for improving the accuracy of local motion estimation in the transverse direction (i.e., the direction perpendicular to the beam axis). The conventional design of TOs in linear geometry, which is based on the Fraunhofer approximation, relates PSF and apodization function through a Fourier transform. Motivated by the adaptation of TOs in echocardiography, we propose a specific beamforming approach based on back-propagation in order to build TOs in sectorial geometry. The performance of the proposed back-propagation method has been studied gradually, in comparison with the Fourier transform, such as in evaluation of the quality of PSF, in estimation of simulated cardiac motion and in experiments study, etc. The quantified results demonstrate the proposed method leads to better controlled TOs images than the conventional beamforming. Another method based on plane wave decomposition and a different back-propagation principle has been presented. This method is better taking into account the 2D property of PSF, by decomposing the PSF into a set of plane waves directionally, back-propagating them to the probe, by using the superposition results as excitations, a simulated PSF with high accordance to the theoretical one is acquired. By adapting this method to sectorial geometry, the quality of PSF obtained in front of probe is better using the plane wave decomposition method than that of Fourier relation, but it is limited for the scanning on the side of probe, so the further work will be addressed to adapting the plane wave decomposition method to the complete sectorial imaging.