Les travaux développés dans cette thèse s’intéressent à l’analyse fine des véhicules à partir d’une image. Nous définissons le terme d’analyse fine comme un regroupement des concepts suivants : la détection des véhicules dans l’image, l’estimation de leur point de vue (ou orientation), la caractérisation de leur visibilité, leur localisation 3D dans la scène et la reconnaissance de leur marque et de leur modèle. La construction de solutions fiables d’analyse fine de véhicules laisse place à de nombreuses applications notamment dans le domaine du transport intelligent et de la vidéo surveillance.Dans ces travaux, nous proposons plusieurs contributions permettant de traiter partiellement ou complètement cette problématique. Les approches mises en oeuvre se basent sur l’utilisation conjointe de l’apprentissage profond et de modèles 3D de véhicule. Dans une première partie, nous traitons le problème de reconnaissance de marques et modèles en prenant en compte la difficulté de la création de bases d’apprentissage. Dans une seconde partie, nous investiguons une méthode de détection et d’estimation du point de vue précis en nous basant sur l’extraction de caractéristiques visuelles locales et de la cohérence géométrique. La méthode utilise des modèles mathématiques uniquement appris sur des données synthétiques. Enfin, dans une troisième partie, un système complet d’analyse fine de véhicules dans le contexte de la conduite autonome est proposé. Celui-ci se base sur le concept d’apprentissage profond multi-tâches. Des résultats quantitatifs et qualitatifs sont présentés tout au long de ce manuscrit. Sur certains aspects de l’analyse fine de véhicules à partir d’une image, ces recherches nous ont permis de dépasser l’état de l’art. / In this thesis, we are interested in fine-grained analysis of vehicle from an image. We define fine-grained analysis as the following concepts : vehicle detection in the image, vehicle viewpoint (or orientation) estimation, vehicle visibility characterization, vehicle 3D localization and make and model recognition. The design of reliable solutions for fine-grained analysis of vehicle open the door to multiple applications in particular for intelligent transport systems as well as video surveillance systems. In this work, we propose several contributions allowing to address partially or wholly this issue. Proposed approaches are based on joint deep learning technologies and 3D models. In a first section, we deal with make and model classification keeping in mind the difficulty to create training data. In a second section, we investigate a novel method for both vehicle detection and fine-grained viewpoint estimation based on local apparence features and geometric spatial coherence. It uses models learned only on synthetic data. Finally, in a third section, a complete system for fine-grained analysis is proposed. It is based on the multi-task concept. Throughout this report, we provide quantitative and qualitative results. On several aspects related to vehicle fine-grained analysis, this work allowed to outperform state of the art methods.

De nos jours, les réseaux de neurones artificiels sont largement utilisés dans de nombreusesapplications telles que le traitement d’image ou du signal. Récemment, un nouveau modèlede réseau de neurones a été proposé pour concevoir des mémoires associatives, le GBNN(Gripon-Berrou Neural Network). Ce modèle offre une capacité de stockage supérieure àcelle des réseaux de Hopfield lorsque les informations à mémoriser ont une distributionuniforme. Des méthodes améliorant leur performance pour des distributions non-uniformesainsi que des architectures matérielles mettant en œuvre les réseaux GBNN ont étéproposés. Cependant, ces solutions restent très coûteuses en ressources matérielles, et lesarchitectures proposées sont restreintes à des réseaux de tailles fixes et sont incapables depasser à l’échelle.Les objectifs de cette thèse sont les suivants : (1) concevoir des modèles inspirés du modèle GBNN et plus performants que l’état de l’art, (2) proposer des architectures moins coûteusesque les solutions existantes et (3) concevoir une architecture générique configurable mettanten œuvre les modèles proposés et capable de manipuler des réseaux de tailles variables.Les résultats des travaux de thèse sont exposés en plusieurs parties. Le concept de réseaux àclones de neurone et ses différentes instanciations sont présentés dans un premier temps. Cesréseaux offrent de meilleures performances que l’état de l’art pour un coût mémoireidentique lorsqu’une distribution non-uniforme des informations à mémoriser estconsidérée. Des optimisations de l’architecture matérielle sont ensuite introduites afin defortement réduire le coût en termes de ressources. Enfin, une architecture générique capablede passer à l’échelle et capable de manipuler des réseaux de tailles variables est proposée. / Nowadays, artificial neural networks are widely used in many applications such as image and signal processing. Recently, a new model of neural network was proposed to design associative memories, the GBNN (Gripon-Berrou Neural Network). This model offers a storage capacity exceeding those of Hopfield networks when the information to be stored has a uniform distribution. Methods improving performance for non-uniform distributions and hardware architectures implementing the GBNN networks were proposed. However, on one hand, these solutions are very expensive in terms of hardware resources and on the other hand, the proposed architectures can only implement fixed size networks and are not scalable. The objectives of this thesis are: (1) to design GBNN inspired models outperforming the state of the art, (2) to propose architectures cheaper than existing solutions and (3) to design a generic architecture implementing the proposed models and able to handle various sizes of networks. The results of these works are exposed in several parts. Initially, the concept of clone based neural networks and its variants are presented. These networks offer better performance than the state of the art for the same memory cost when a non-uniform distribution of the information to be stored is considered. The hardware architecture optimizations are then introduced to significantly reduce the cost in terms of resources. Finally, a generic scalable architecture able to handle various sizes of networks is proposed.

Cette thèse porte sur le diagnostic d’un moteur diesel vingt cylindres entraînant un groupe électrogène de secours de centrale nucléaire. L’objectif est de réaliser un diagnostic de ce moteur à partir d’une mesure des fluctuations de vitesse du vilebrequin. L’étude s’est focalisée sur les défauts affectant le processus de combustion. Du fait des dimensions imposantes du moteur, les premiers modes de torsion du vilebrequin sont situés dans les basses fréquences. La superposition des ondes de torsion au déplacement du vilebrequin en tant que corps rigide complique considérablement l’analyse du signal. Peu de travaux ont ainsi été entrepris sur un moteur aussi gros. Dans cette thèse, un modèle dynamique en torsion du vilebrequin sous l’hypothèse d’élasticité de celui-ci est tout d’abord établi. Les paramètres de ce modèle sont optimisés afin de reproduire au mieux la réponse en vitesse réelle du vilebrequin. Une méthode de diagnostic originale basée sur une reconnaissance de formes du signal de vitesse est ensuite proposée. En effet, du fait de l’excitation des premiers modes de torsion, la réponse en vitesse du système présente une signature distincte en fonction du cylindre défectueux. Les formes types, représentatives des différents modes de fonctionnement du moteur, sont obtenues à partir du modèle précédemment établi et non à partir d’essais expérimentaux constituant ainsi la principale originalité de ce travail. Les résultats obtenus en phase opérationnelle sont encourageants. Un défaut réel de combustion a été correctement diagnostiqué incluant la détection du défaut, la localisation du cylindre défectueux ainsi que la quantification de la sévérité du défaut / This thesis deals with the diagnosis of a powerful 20-cylinder diesel engine which runs a generator set in a nuclear plant. The objective is to make a diagnosis by analyzing the crankshaft angular speed variations. Only combustion related faults are investigated. As the engine is very large, the first crankshaft natural modes are in the low frequencies. Torsional vibrations of the flexible crankshaft strongly complicate the analysis of the angular speed variations. Little attention has been paid to such large engines in the literature. First, a dynamical model with the assumption of a flexible crankshaft is established. The parameters of the model are optimized with the help of actual data. Then, an original automated diagnosis based on pattern recognition of the angular speed waveforms is proposed. Indeed, any faulty cylinder in combustion stroke will distort the angular speed waveform in a specific way which depends on its location with respect to nodes and anti-nodes of the modes. Reference patterns, representative of the engine conditions, are computed with the model constituting the main originality of this work. Promising results are obtained in operational phase. An experimental fuel leakage fault was correctly diagnosed, including detection and localization of the faulty cylinder and an indication of the severity of the fault

Les neurones sensoriels réagissent à des stimuli externes en émettant des séquences de potentiels d’action (“spikes”). Ces spikes transmettent collectivement de l’information sur le stimulus en formant des motifs spatio-temporels qui constituent le code neural. On observe expérimentalement que ces motifs se produisent de façon irrégulière, mais avec une structure qui peut être mise en évidence par l’utilisation de descriptions probabilistes et de méthodes statistiques. Cependant, la caractérisation statistique des données expérimentales présente plusieurs contraintes majeures: en dehors de celles qui sont inhérentes aux statistiques empiriques comme la taille de l’échantillonnage, ‘le’ modèle statistique sous-jacent est inconnu. Dans cette thèse, nous abordons le problème d’un point de vue complémentaire à l’approche expérimentale. Nous nous intéressons à des modèles neuro-mimétiques permettant d’étudier la statistique collective des potentiels d’action et la façon dont elle dépend de l’architecture et l’histoire du réseau ainsi que du stimulus. Nous considérons tout d’abord un modèle de type Intègre-et-Tire à conductance incluant synapses électriques et chimiques. Nous montrons que la statistique des potentiels d’action est caractérisée par une distribution non stationnaire et de mémoire infinie, compatible avec les probabilités conditionnelles (left interval-specification), qui est non-nulle et continue, donc une distribution de Gibbs. Nous présentons ensuite une méthode qui permet d’unifier les modèles dits d’entropie maximale spatio-temporelle (dont la mesure invariante est une distribution de Gibbs dans le sens de Bowen) et les modèles neuro-mimétiques, en fou / Sensory neurons respond to external stimulus using sequences of action potentials (“spikes”). They convey collectively to the brain information about the stimulus using spatio-temporal patterns of spikes (spike trains), that constitute a “neural code”. Since spikes patterns occur irregularly (yet highly structured) both within and over repeated trials, it is reasonable to characterize them using statistical methods and probabilistic descriptions. However, the statistical characterization of experimental data presents several major constraints: apart from those inherent to empirical statistics like finite size sampling, ‘the’ underlying statistical model is unknown. In this thesis we adopt a complementary approach to experiments. We consider neuromimetic models allowing the study of collective spike trains statistics and how it depends on network architecture and history, as well as on the stimulus. First, we consider a conductance-based Integrate-and-Fire model with chemical and electric synapses. We show that the spike train statistics is characterized by non-stationary, infinite memory, distribution consistent with conditional probabilities (Left interval specifications), which is continuous and non null, thus a Gibbs distribution. Then, we present a novel method that allows us to unify spatio-temporal Maximum Entropy models (whose invariant measure are Gibbs distributions in the Bowen sense) and neuro-mimetic models, providing a solid ground towards biophysical explanation of spatio-temporal correlations observed in experimental data. Finally, using these tools, we discuss the stimulus response of retinal ganglion cells, and the possible generalization of the co

Cette thèse s'intéresse aux mécanismes permettant de faciliter l'acquisition autonome de comportements chez les êtres vivants et propose d'utiliser ces mécanismes dans le cadre de tâches robotiques. Des réseaux de neurones artificiels sont utilisés pour modéliser certaines structures cérébrales, à la fois afin de mieux comprendre le fonctionnement de ces structures dans le cerveau des mammifères et pour obtenir des algorithmes robustes et adaptatifs de contrôle en robotique.Les travaux présentés se basent sur un modèle de l'hippocampe permettant d'apprendre des relations temporelles entre des événements perceptifs. Les neurones qui forment le substrat de cet apprentissage, appelés cellules de transition, permettent de faire des prédictions sur les événements futurs que le robot pourrait rencontrer. Ces transitions servent de support à la construction d'une carte cognitive, située dans le cortex préfrontal et/ou pariétal. Cette carte peut être apprise lors de l'exploration d'un environnement inconnu par un robot mobile et ensuite utilisée pour planifier des chemins lui permettant de rejoindre un ou plusieurs buts.Outre leur utilisation pour la construction d'une carte cognitive, les cellules de transition servent de base à la conception d'un modèle d'apprentissage par renforcement. Une implémentation neuronale de l'algorithme de Q-learning, utilisant les transitions, est réalisée de manière biologiquement plausible en s'inspirant des ganglions de la base. Cette architecture fournit une stratégie de navigation alternative à la planification par carte cognitive, avec un apprentissage plus lent, et correspondant à une stratégie automatique de bas-niveau. Des expériences où les deux stratégies sont utilisées en coopération sont réalisées et des lésions du cortex préfrontal et des ganglions de la base permettent de reproduire des résultats expérimentaux obtenus chez les rats.Les cellules de transition peuvent apprendre des relations temporelles précises permettant de prédire l'instant où devrait survenir un événement. Dans un modèle des interactions entre l'hippocampe et le cortex préfrontal, nous montrons comment ces prédictions peuvent expliquer certains enregistrements in-vivo dans ces structures cérébrales, notamment lorsqu'un rat réalise une tâche durant laquelle il doit rester immobile pendant 2 secondes sur un lieu but pour obtenir une récompense. L'apprentissage des informations temporelles provenant de l'environnement et du comportement permet de détecter des régularités. A l'opposé, l'absence d'un événement prédit peut signifier un échec du comportement du robot, qui peut être détecté et utilisé pour adapter son comportement en conséquence. Un système de détection de l'échec est alors développé, tirant parti des prédictions temporelles fournies par l'hippocampe et des interactions entre les aspects de modulation comportementale du cortex préfrontal et d'apprentissage par renforcement dans les ganglions de la base. Plusieurs expériences robotiques sont conduites dans lesquelles ce signal est utilisé pour moduler le comportement d'un robot, dans un premier temps de manière immédiate, afin de mettre fin aux actions du robot qui le mènent à un échec et envisager d'autres stratégies. Ce signal est ensuite utilisé de manière plus permanente pour moduler l'apprentissage des associations menant à la sélection d'une action, afin que les échecs répétés d'une action dans un contexte particulier fassent oublier cette association.Finalement, après avoir utilisé le modèle dans le cadre de la navigation, nous montrons ses capacités de généralisation en l'utilisant pour le contrôle d'un bras robotique. Ces travaux constituent une étape importante pour l'obtention d'un modèle unifié et générique permettant le contrôle de plates-formes robotiques variés et pouvant apprendre à résoudre des tâches de natures différentes. / This thesis takes interest in the mechanisms facilitating the autonomous acquisition of behaviors in animals and proposes to use these mechanisms in the frame of robotic tasks. Artificialneural networks are used to model cerebral structures, both to understand how these structureswork and to design robust and adaptive algorithms for robot control.The work presented here is based on a model of the hippocampus capable of learning thetemporal relationship between perceptive events. The neurons performing this learning, calledtransition cells, can predict which future events the robot could encounter. These transitionssupport the building of a cognitive map, located in the prefrontal and/or parietal cortex. The mapcan be learned by a mobile robot exploring an unknown environment and then be used to planpaths in order to reach one or several goals.Apart from their use in building a cognitive map, transition cells are also the basis for thedesign of a model of reinforcement learning. A biologically plausible neural implementation ofthe Q-learning algorithm, using transitions, is made by taking inspiration from the basal ganglia.This architecture provides an alternative strategy to the cognitive map planning strategy. Thereinforcement learning strategy requires a longer learning period but corresponds more to an automatic low-level behavior. Experiments are carried out with both strategies used in cooperationand lesions of the prefrontal cortex and basal ganglia allow to reproduce experimental resultsobtained with rats.Transition cells can learn temporally precise relations predicting the exact timing when anevent should be perceived. In a model of interactions between the hippocampus and prefrontalcortex, we show how these predictions can explain in-vivo recordings in these cerebral structures, in particular when rat is carrying out a task during which it must remain stationary for 2seconds on a goal location to obtain a reward. The learning of temporal information about theenvironment and the behavior of the robot allows the system to detect regularity. On the contrary, the absence of a predicted event can signal a failure in the behavior of the robot, whichcan be detected and acted upon in order to modulate the failing behavior. Consequently, a failure detection system is developed, taking advantage of the temporal predictions provided by thehippocampus and the interaction between behavior modulation functions in the prefrontal cortexand reinforcement learning in the basal ganglia. Several robotic experiments are conducted, inwhich the failure signal is used to modulate, immediately at first, the behavior of the robot inorder to stop selecting actions which lead to failures and explore other strategies. The signal isthen used in a more lasting way by modulating the learning of the associations leading to theselection of an action so that the repeted failures of an action in a particular context lead to thesuppression of this association.Finally, after having used the model in the frame of navigation, we demonstrate its generalization capabilities by using it to control a robotic arm in a trajectory planning task. This workconstitutes an important step towards obtaining a generic and unified model allowing the controlof various robotic setups and the learning of tasks of different natures.

Les karsts sont l'une des formations aquifères les plus présentes au monde. Exploités, ils fournissent de l'eau potable pour près de 25% de la population mondiale. Cependant la forte hétérogénéité de leur structure implique un comportement non-linéaire et les rendent particulièrement difficiles à étudier, à simuler et à prévoir. Les réseaux de neurones formels sont des modèles d'apprentissage statistiques qui ont été largement utilisés en hydrologie de surface depuis les années 1990, grâce à leurs propriétés de parcimonie et d'approximation universelle.Dans cette thèse, il est proposé d'utiliser les réseaux de neurones pour étudier le comportement des aquifères karstiques. L'aquifère du Lez est choisi pour appliquer le modèle par réseaux de neurones. Cet aquifère, situé près de l'agglomération de Montpellier (400 000 habitant), est exploité pour fournir de l'eau potable à une grande partie de l'agglomération.Dans un premier temps, un réseau de neurones « classique », de type boîte noire, est appliqué à la simulation et à la prévision des débits de la source du Lez. Une méthode de sélection des entrées de pluie est proposée, couplant analyse par corrélations croisées et méthode de validation croisée. Les résultats montrent l'adéquation du modèle neuronal pour la simulation et la prévision du débit de la source d'un aquifère karstique complexe. Le test du modèle est effectué sur les deux cycles hydrologiques comportant les crues les plus intenses de la base de données. Les hydrogrammes montrent que le modèle neuronal a été capable d'extrapoler puisque les débits prévus pour les crues majeures en test sont corrects et supérieurs aux débits présents dans la base d'apprentissage du modèle. La prévision est acceptable jusqu'à un horizon de prévision de un jour. Dans un second temps, une méthode d'extraction des données contenues dans la boîte noire est proposée. Afin de contraindre le modèle neuronal à donner des valeurs physiquement interprétables, des connaissances a priori sur la géologie de l'aquifère sont incluses dans l'architecture du réseau de neurones. La méthode KnoX (Knowledge eXtraction) proposée dans cette étude permet d'extraire du modèle les contributions des différentes zones géologiques à la source du lez ainsi que les temps de réponse correspondants. L'application de la méthode KnoX a un hydrosystème fictif dont on contrôle en particulier les temps de réponse et les contributions des différents sous-hydrosystèmes fictifs a permis de valider cette méthode. Les résultats obtenus sur le bassin du Lez sont très satisfaisants et en adéquation avec les connaissances actuelles que l'on a sur ce système. De plus la méthode a permis d'affiner ces connaissances, notamment l'infiltration retardée par des aquifères perchés et concernant la limite du bassin d'alimentation de la source du Lez. Enfin, la méthode KnoX est générique et applicable à tout hydrosystème pour lequel on dispose de mesures de pluie et de débit. / Karst is one of the most widespread aquifer formations in the worlds. Their exploitation provides fresh water to practically 25% of the global population. The high level of structure heterogeneity in these aquifers however makes them complex and their behavior is difficult to study, simulate and forecast.Artificial neural networks are machine learning models widely used in surface hydrology since the 90's thanks to their properties of parsimony and universal approximation.In this thesis, artificial neural networks are used to study karst aquifer behavior. Application is done in the Lez. This aquifer situated near Montpellier conurbation (400 000 inhabitants) provides fresh water for a large part of this population.First, a “classical” black box neural network is applied to simulate and forecast Lez spring discharge. A rainfall input selection method is proposed, using cross correlation analysis and cross validation method at the same time. Results show neural model efficiency in order to simulate and forecast the spring discharge of a complex karstic aquifer. The model was tested using two hydrologic cycles including the two most intense floods of the database. Hydrographs shows that neural model was able to extrapolate the maximum flood discharge of the learning database. Forecasting is satisfactory until a one-day horizon.In a second time, extraction of the knowledge data included in the black box is proposed. In order to constrain the model to give physically plausible solution, a priori knowledge about aquifer geology is included into the network architecture. KnoX (Knowledge eXtraction) method proposed in this study aims at extract geological zone contributions to the Lez spring and corresponding response times. The KnoX methodology was applied to a fictitious hydrosystem built using a model with controlled parameters, in particular contributions of subbasin to the outlet and lag time of each subbasin. This application permitted to validate the KnoX methodology. Results obtained on the Lez basin are satisfactory and agree with current knowledge about this hydrosystem. In addition, the KnoX methodology allows to refine this knowledge, in particular concerning delayed infiltration because of infiltration in perched aquifer and concerning Lez spring alimentation basin boundaries. Lastly the KnoX methodology is a generic methodology that can be applied on any basin with available discharge and rainfall data.

Les robots vont peu à peu intégrer nos foyers sous la forme d’assistants et de compagnons,humanoïdes ou non. Afin de remplir leur rôle efficacement ils devront s’adapter àl’utilisateur, notamment en apprenant de celui-ci le savoir ou les capacités qui leur fontdéfaut. Dans ce but, leur manière d’interagir doit être naturelle et évoquer les mêmesmécanismes coopératifs que ceux présent chez l’homme. Au centre de ces mécanisme setrouve le concept d’action : qu’est-ce qu’une action, comment les humains les reconnaissent,comment les produire ou les décrire ? La modélisation de toutes ces fonctionnalitésconstituera la fondation de cette thèse et permettra la mise en place de mécanismescoopératifs de plus haut niveau, en particulier les plan partagés qui permettent à plusieursindividus d’oeuvrer de concert afin d’atteindre un but commun. Finalement, je présenteraiune différence fondamentale entre la représentation de la connaissance chez l’homme etchez la machine, toujours dans le cadre de l’interaction coopérative : la dissociation possibleentre le corps d’un robot et sa cognition, ce qui n’est pas imaginable chez l’homme. Cettedissociation m’amènera notamment à explorer le « shared experience framework », unesituation dans laquelle une cognition artificielle centrale gère l’expérience partagée demultiples individus ayant chacun une identité propre. Cela m’amènera finalement àquestionner les différentes philosophies de l’esprit du point de vue de l’attribution d’unesprit à une machine et de ce que cela impliquerai quant à l’esprit humain. / Robots will gradually integrate our homes wielding the role of companions, humanoids ornot. In order to cope with this status they will have to adapt to the user, especially bylearning knowledge or skills from him that they may lack. In this context, their interactionshould be natural and evoke the same cooperative mechanisms that humans use. At thecore of those mechanisms is the concept of action: what is an action, how do humansrecognize them, how they produce or describe them? The modeling of aspects of thesefunctionalities will be the basis of this thesis and will allow the implementation of higherlevel cooperative mechanisms. One of these is the ability to handle “shared plans” whichallow two (or more) individuals to cooperate in order to reach a goal shared by all.Throughout the thesis I will attempt to make links between the human development ofthese capabilities, their neurophysiology, and their robotic implementation. As a result ofthis work, I will present a fundamental difference between the representation of knowledgein humans and machines, still in the framework of cooperative interaction: the possibledissociation of a robot body and its cognition, which is not easily imaginable for humans.This dissociation will lead me to explore the “shared experience framework, a situationwhere a central artificial cognition manages the shared knowledge of multiple beings, eachof them owning some kind of individuality. In the end this phenomenon will interrogate thevarious philosophies of mind by asking the question of the attribution of a mind to amachine and the consequences of such a possibility regarding the human mind.

Le "Big Data'' et les grands systèmes d'apprentissage sont omniprésents dans les problèmes d'apprentissage automatique aujourd’hui. Contrairement à l'apprentissage de petite dimension, les algorithmes d'apprentissage en grande dimension sont sujets à divers phénomènes contre-intuitifs et se comportent de manière très différente des intuitions de petite dimension sur lesquelles ils sont construits. Cependant, en supposant que la dimension et le nombre des données sont à la fois grands et comparables, la théorie des matrices aléatoires (RMT) fournit une approche systématique pour évaluer le comportement statistique de ces grands systèmes d'apprentissage, lorsqu'ils sont appliqués à des données de grande dimension. L’objectif principal de cette thèse est de proposer un schéma d'analyse basé sur la RMT, pour une grande famille de systèmes d’apprentissage automatique: d'évaluer leurs performances, de mieux les comprendre et finalement les améliorer, afin de mieux gérer les problèmes de grandes dimensions aujourd'hui.Précisément, nous commençons par exploiter la connexion entre les grandes matrices à noyau, les projection aléatoires non-linéaires et les réseaux de neurones aléatoires simples. En considérant que les données sont tirées indépendamment d'un modèle de mélange gaussien, nous fournissons une caractérisation précise des performances de ces systèmes d'apprentissage en grande dimension, exprimée en fonction des statistiques de données, de la dimensionnalité et, surtout, des hyper-paramètres du problème. Lorsque des algorithmes d'apprentissage plus complexes sont considérés, ce schéma d'analyse peut être étendu pour accéder à de systèmes d'apprentissage qui sont définis (implicitement) par des problèmes d'optimisation convexes, lorsque des points optimaux sont atteints. Pour trouver ces points, des méthodes d'optimisation telles que la descente de gradient sont régulièrement utilisées. À cet égard, dans le but d'avoir une meilleur compréhension théorique des mécanismes internes de ces méthodes d'optimisation et, en particulier, leur impact sur le modèle d'apprentissage, nous évaluons aussi la dynamique de descente de gradient dans les problèmes d'optimisation convexes et non convexes.Ces études préliminaires fournissent une première compréhension quantitative des algorithmes d'apprentissage pour le traitement de données en grandes dimensions, ce qui permet de proposer de meilleurs critères de conception pour les grands systèmes d’apprentissage et, par conséquent, d'avoir un gain de performance remarquable lorsqu'il est appliqué à des jeux de données réels. Profondément ancré dans l'idée d'exploiter des données de grandes dimensions avec des informations répétées à un niveau "global'' plutôt qu'à un niveau "local'', ce schéma d'analyse RMT permet une compréhension renouvelée et la possibilité de contrôler et d'améliorer une famille beaucoup plus large de méthodes d'apprentissage automatique, ouvrant ainsi la porte à un nouveau schéma d'apprentissage automatique pour l'intelligence artificielle. / Large dimensional data and learning systems are ubiquitous in modern machine learning. As opposed to small dimensional learning, large dimensional machine learning algorithms are prone to various counterintuitive phenomena and behave strikingly differently from the low dimensional intuitions upon which they are built. Nonetheless, by assuming the data dimension and their number to be both large and comparable, random matrix theory (RMT) provides a systematic approach to assess the (statistical) behavior of these large learning systems, when applied on large dimensional data. The major objective of this thesis is to propose a full-fledged RMT-based framework for various machine learning systems: to assess their performance, to properly understand and to carefully refine them, so as to better handle large dimensional problems that are increasingly needed in artificial intelligence applications.Precisely, we exploit the close connection between kernel matrices, random feature maps, and single-hidden-layer random neural networks. Under a simple Gaussian mixture modeling for the input data, we provide a precise characterization of the performance of these large dimensional learning systems as a function of the data statistics, the dimensionality, and most importantly the hyperparameters (e.g., the choice of the kernel function or activation function) of the problem. Further addressing more involved learning algorithms, we extend the present RMT analysis framework to access large learning systems that are implicitly defined by convex optimization problems (e.g., logistic regression), when optimal points are assumed reachable. To find these optimal points, optimization methods such as gradient descent are regularly used. Aiming to have a better theoretical grasp of the inner mechanism of optimization methods and their impact on the resulting learning model, we further evaluate the gradient descent dynamics in training convex and non-convex objects.These preliminary studies provide a first quantitative understanding of the aforementioned learning algorithms when large dimensional data are processed, which further helps propose better design criteria for large learning systems that result in remarkable gains in performance when applied on real-world datasets. Deeply rooted in the idea of mining large dimensional data with repeated patterns at a global rather than a local level, the proposed RMT analysis framework allows for a renewed understanding and the possibility to control and improve a much larger range of machine learning approaches, and thereby opening the door to a renewed machine learning framework for artificial intelligence.

Avec l'avènement de l'"intelligence artificielle", les ordinateurs, appareils mobiles et objets connectés sont amenés à dépasser les calculs arithmétiques et logiques pour lesquels ils ont été optimisés durant des décennies, afin d'effectuer des tâches "cognitives" telles que la traduction automatique ou la reconnaissance d'images et de voix, et pour lesquelles ils ne sont pas adaptés. Ainsi, un super-calculateur peut-il consommer des mégawatts pour effectuer des tâches que le cerveau humain traite avec 20 watt. Par conséquent, des système de calcul alternatifs inspirés du cerveau font l'objet de recherches importantes. En particulier, les oscillations neurales semblant être liées à certains traitements de données dans le cerveau ont inspiré des approches détournant la physique complexe des réseaux d'oscillateurs couplés pour effectuer des tâches cognitives efficacement. Cette thèse se fonde sur les avancées récentes en nano-technologies permettant la fabrication de nano-oscillateurs hautement intégrables pour proposer et étudier de nouvelles architectures neuro-inspirées de classification de motifs exploitant la dynamique des oscillateurs couplés et pouvant être implémentées sur puce. / With the advent of "artificial intelligence", computers, mobile devices and other connected objects are being pushed beyond the realm of arithmetic and logic operations, for which they have been optimized over decades, in order to process "cognitive" tasks such as automatic translation and image or voice recognition, for which they are not the ideal substrate. As a result, supercomputers may require megawatts to process tasks for which the human brain only needs 20 watt. This has revived interest into the design of alternative computing schemes inspired by the brain. In particular, neural oscillations that appear to be linked to computational activity in the brain have inspired approaches leveraging the complex physics of networks of coupled oscillators in order to process cognitive tasks efficiently. In the light of recent advances in nano-technology allowing the fabrication of highly integrable nano-oscillators, this thesis proposes and studies novel neuro-inspired oscillator-based pattern classification architectures that could be implemented on chip.

Dans la prochaine ère de l'informatique distribuée, les ordinateurs inspirés par le cerveau qui effectuent des opérations localement plutôt que dans des serveurs distants seraient un avantage majeur en réduisant les coûts énergétiques et réduisant l'impact environnemental. Une nouvelle génération de nanodispositifs de mémoire non-volatile est un candidat de premier plan pour réaliser cette vision neuromorphique. À l'aide de travaux théoriques et expérimentaux, nous avons exploré les problèmes critiques qui se posent lors de la réalisation physique des architectures de réseaux de neurones artificiels modernes (ANN) en utilisant des dispositifs de mémoire émergents (nanodispositifs « memristifs »). Dans notre travail expérimental, nos dispositifs organiques (polymeriques) se sont adaptés avec succès et automatiquement en tant que portes logiques reconfigurables en coopérant avec un neurone digital et programmable (FGPA). Dans nos travaux théoriques, nous aussi avons considéré les multicouches memristives ANNs. Nous avons développé et simulé des variantes de projection aléatoire (un système NoProp) et de rétropropagation (un système perceptron multicouche) qui utilisent deux crossbars. Ces systèmes d'apprentissage locaux ont montré des dépendances critiques sur les contraintes physiques des nanodispositifs. Enfin, nous avons examiné comment les conceptions ANNs “feed-forward” peuvent être modi-fiées pour exploiter les effets temporels. Nous avons amélioré la bio-inspiration et la performance du système NoProp, par exemple, avec des effets de plasticité dans la première couche. Ces effets ont été obtenus en utilisant un nanodispositif à ionisation d'argent avec un comportement de transition de plasticité intrinsèque. / In the next era of distributed computing, brain-based computers that perform operations locally rather than in remote servers would be a major benefit in reducing global energy costs. A new generation of emerging nonvolatile memory devices is a leading candidate for achieving this neuromorphic vision. Using theoretical and experimental work, we have explored critical issues that arise when physically realizing modern artificial neural network (ANN) architectures using emerging memory devices (“memristors”). In our experimental work, we showed organic nanosynapses adapting automatically as logic gates via a companion digital neuron and programmable logic cell (FGPA). In our theoretical work, we also considered multilayer memristive ANNs. We have developed and simulated random projection (NoProp) and backpropagation (Multilayer Perceptron) variants that use two crossbars. These local learning systems showed critical dependencies on the physical constraints of nanodevices. Finally, we examined how feed-forward ANN designs can be modified to exploit temporal effects. We focused in particular on improving bio-inspiration and performance of the NoProp system, for example, we improved the performance with plasticity effects in the first layer. These effects were obtained using a silver ionic nanodevice with intrinsic plasticity transition behavior.