Ce rapport porte sur le sujet de recherche de l'identification boîte noire du système non linéaire. En effet, parmi toutes les techniques nombreuses et variées développées dans ce domaine de la recherche ces dernières décennies, il semble toujours intéressant d'étudier l'approche réseau de neurones dans l'estimation de modèle de système complexe. Même si des modèles précis ont été obtenus, les principaux inconvénients de ces techniques restent le grand nombre de paramètres nécessaires et, en conséquence, le coût important de calcul nécessaire pour obtenir le niveau de pratique de la précision du modèle désiré. Par conséquent, motivés pour remédier à ces inconvénients, nous avons atteint une méthodologie complète et efficace du système d'identification offrant une précision équilibrée, la complexité et les modèles de coûts en proposant, d'une part, de nouvelles structures de réseaux de neurones particulièrement adapté à une utilisation très large en matière de modélisation système pratique non linéaire, d'autre part, un simple et efficace technique de réduction de modèle, et, troisièmement, une procédure de réduction de coût de calcul. Il est important de noter que ces deux dernières techniques de réduction peut être appliquée à une très large gamme d'architectures de réseaux de neurones sous deux simples hypothèses spécifiques qui ne sont pas du tout contraignant. Enfin, la dernière contribution importante de ce travail est d'avoir montré que cette phase d'estimation peut être obtenue dans un cadre robuste si la qualité des données d'identification qu'il oblige. Afin de valider la procédure d'identification système proposé, des exemples d'applications entraînées en simulation et sur un procédé réel, de manière satisfaisante validé toutes les contributions de cette thèse, confirmant tout l'intérêt de ce travail.

Cette thèse s'intéresse au développement neuronal in vitro dans le but ultime d'enregistrer l'activité de réseaux de neurones à géométrie et connectivité contrôlées. Le développement neuronal est régi par un ensemble de régulations, intrinsèques mais également sous contrôle de facteurs extérieurs, qui permettent à la cellule d'adhérer à un substrat, de croître, et de se polariser. Une partie de ce travail de thèse explore deux types de contraintes physiques de l'environnement que sont la géométrie d'adhésion et la rugosité de surface. La première révèle l'implication des forces dans les stades précoces de développement neuronal régis par un phénomène de compétition neuritique, et permet in fine de contrôler la direction d'émission de l'axone, notamment par une inhibition de sa différenciation sur lignes ondulées. La seconde montre que la distribution des points d'adhésion peut accélérer la croissance jusqu'à favoriser la polarisation axonale. L'autre partie de ce travail s'attache à résoudre le problème technologique majeur qu'est le remplissage des sites d'adhésion par le biais d'une attraction magnétique, et démontre la possibilité de faire croître des réseaux neuronaux modèles sur nanotransistors.

Nous proposons et développons un modèle original de mémoires associatives s'appuyant sur des réseaux de neurones codés. Les mémoires associatives sont des dispositifs capables d'apprendre des messages binaires puis de les reproduire à partir de fractions de leurs contenus. L'état de l'art est le réseau proposé par Hopfield, dont la diversité de mémorisation - le nombre de messages qu'il peut n mémoriser - est inférieure à 2 log(n) où n est le nombre de neurones dans le réseau. Notre travail a consisté à tirer parti des techniques de codage et de déco- dage correcteur d'erreur, plus précisément celle des codes distribués, afin d'ac- croître considérablement les performances des mémoires associatives. Pour ce faire, nous avons introduit des codes originaux dont les mots de code sont portés par des cliques neurales. Nous montrons que, combinées à des codes locaux par- cimonieux, ces cliques neurales offrent une diversité d'apprentissage qui évolue comme le carré du nombre de neurones. Les gains observés viennent de l'utilisation de la parcimonie à plusieurs é- chelles : d'une part les messages appris sont de longueur bien inférieure à n, d'autre part ils n'utilisent qu'une partie du matériel disponible, que ce soit au niveau des neurones ou de leurs connexions. L'apprentissage est donc localisé, au contraire des réseaux de Hopfield. De plus, ces mémoires bénéficient d'une efficacité - rapport du nombre de bits appris au nombre de bits utilisés - presque maximale. Elles se présentent donc comme une alternative intéressante aux mé- moires indexées classiques. Au delà de l'aspect quantitatif, le modèle que nous proposons offre une plau- sibilité biologique fortement accrue par rapport au modèle de Hopfield. Les con- cepts de cliques neurales, de winner take all, ou encore de synchronisation tem- porelle que ce modèle exploite rejoignent les observations récentes rapportées par la littérature neurobiologique. Par ailleurs, elles pourraient ouvrir la voie à la conception de machines cognitives capables de croiser des informations pour en produire de nouvelles car les cliques neurales sont recouvrantes, par leurs som- mets ou par leurs arêtes.

LES METHODES DE CONTROLE DES DUREES DE VIE SE CONCENTRENT SUR LES EFFETS PRIS SEPAREMENT DES PRINCPAUX PROCESSUS DE DEGRADATION. IL APPARAIT TOUTEFOIS ESSENTIEL D'ETUDIER LE COUPLAGE DES EFFETS DE CES DIFFERENTS PROCESSUS CAR LEURS INTERACTIONS PEUVENT CONDUIRE A LA RAPIDE PERTE D'INTEGRITE DES STRUCTURES. LE RENFORCEMENT DEVIENT NECESSAIRE AFIN DE COMPENSER LES PERTES DE RESISTANCES OU DE SUPPORTER DES CHARGEMENTS COMPLEMENTAIRES. LE COLLAGE EXTERIEUR DE POLYMERES RENFORCES DE FIBRES PRF CONSTITUE UNE SOLUTION TECHNOLOGIQUE POUR LA REHABILITATION DES STRUCTURES BETON EXISTANTES. TROIS PRINCIPAUX OBJECTIFS SONT CONSIDERES DANS LA PRESENTE ETUDE. LE PREMIER EST DE PROPOSER DES MODELES PROBALISTES DEPENDANT DU TEMPS POUR LES ACIERS D'ARMATURE ET DES CHARGEMENTS D'EXPLOITATION. LE SECOND EST DE CONDUIRE UNE ANALYSE EN TERME D'INDICES DE FIABILITE. LES MODES DE DEFAILLANCE DES POUTRES EN BETON ARME REPAREES PAR COMPOSITE A BASE DE PRF SERONT SIMULES EN TERMES PROBALISTES PAR LE BIAS DE LA METHODE DE FIABILITE DE PREMIER ORDRE. LE TROISIEME OBJECTIF DE LA RECHERCHE A ETE DE DEVELOPPER, AFIN DE VERIFIER LES RESULTATS DE LA METHODE DE FIABILITE DE PREMIER ORDRE, UNE SIMULATION DE TYPE MONTE CARLO BASEE SUR L'EXPLOITATION DE RESEAUX DE NEURONES ET LA METHODE DES ELEMENTS FINIS. LES RESULTATS PERMETTENT D'IDENTIFIER PLUS CLAIREMENT LES NOMBREUSES VARIABLES INFLUENCANT LA FIABILITE DES ELEMENTS DE STRUCTURE RENFORCES ET D'AFFIRMER LE BESOIN DE RECHERCHES COMPLEMENTAIRES EN VUE DE SAISIR PLUS PERCISEMENT CES INFLUENCES. LES DEUX VARIABLES SIGNIFICATIVES SUR CE POINT SOINT : L'ETAT DE LA STRUCTURE EXISTANTE AU MOMENT DE LA REPARATION ET LA COMPLEXITE DES CHARGEMENTS APPLIQUES.

Cette thèse s'intéresse à l'application des méthodes d'apprentissage statistique pour la prédiction de température d'un composant électronique présent dans un radar. On étudie un cas simplifié des systèmes réels, le système étudié se limitant à un seul composant monté sur un système de refroidissement réduit. Le premier chapitre est consacré à la modélisation thermique. Après avoir présenté les principaux modes de transmission de l'agitation thermique, les modèles analytiques et numériques qui en découlent sont étudiés. En utilisant cette connaissance,le deuxième chapitre propose de choisir dans les méthodes de mesures les plus adaptées aux spécifications et aux contraintes de l'application choisie. Une fois que les bases de données ont été établies, nous pouvons utiliser dans le troisième chapitre les techniques de l'apprentissage statistique pour construire un modèle dynamique. Après un bref rappel sur les tenants et les aboutissants de la modélisation statistique, quatre familles de méthodes seront présentées : les modèles linéaires, les réseaux de neurones, les réseaux bayésiens dynamiques et les machines à vecteur support (SVM). Enfin, le quatrième chapitre est l'occasion de présenter une méthode de modélisation originale.En effet, après avoir détaillé la mise en oeuvre des méthodes d'identification de représentation d'état, nous verrons comment prendre en compte des a priori théoriques au cours de l'apprentissage de ce type de modèle, à savoir une contrainte de stabilité.

Dans ces travaux de thèse, nous nous sommes intéressés à l'in fluence du bruit synaptique sur la plasticité synaptique dans un réseau de neurones biophysiquement réalistes. Le simulateur utilisé est un système électronique neuromorphique. Nous avons implanté un modèle de neurones à conductances basé sur le formalisme de Hodgkin et Huxley, et un modèle biophysique de plasticité. Ces travaux ont inclus la con figuration du système, le développement d'outils pour l'exploiter, son utilisation ainsi que la mise en place d'une plateforme le rendant accessible à la communauté scientifique via Internet et l'utilisation de scripts PyNN (langage de description de simulations en neurosciences computationnelles).

Cette thèse est consacrée à une analyse approfondie de la capacité des "réseaux de neurones artificiels" (RNA) à la prédiction des mouvements sismiques. Un premier volet important concerne la dérivation par RNA de "GMPE" (équations de prédiction du mouvement du sol) et la comparaison des performances ainsi obtenues avec celles des GMPE "classiques" obtenues sur la base de régressions empiriques avec une forme fonctionnelle préétablie (plus ou moins complexe). Pour effectuer l’étude comparative et obtenir les deux composnates inter-événement « betweeen-event » et intra-événement « within-event » de la variabilité aléatoire, nous intégrons l’algorithme du « modèle à effets aléatoires » à l’approche neuronale. Cette approche est testée sur différents jeux de données réelles et synthétiques : la base de données compilée à partir d'événements européens, méditerranéens et du Moyen-Orient (RESORCE : Reference database for Seismic grOund-motion pRediction in Europe), la base de données NGA-West 2 (Next Generation Attenuation West 2 développée aux USA), la base de données japonaise dérivée du réseau accélérométrique KiK-net. En outre, un set de données synthétiques provenant d'une approche par simulation stochastique est utilisé. Les paramètres du mouvement du sol les plus utilisés en génie parasismique (PGA, PGV, spectres de réponse et également, dans certains cas, les fonctions d'amplification locales) sont considérés. Les modèles neuronaux ainsi obtenus, complètement dirigés par les données « data-driven », nous renseignent sur les influences respectives et éventuellement couplées de l’atténuation avec la distance, de l'effet d’échelle lié à la magnitude, des conditions de site et notamment la présence éventuelle de non-linéarités. Un autre volet important est consacré à l'utilisation des RNA pour tester la pertinence de différents proxies de site, au travers de leur capacité à réduire la variabilité aléatoire des prédictions de mouvement du sol. Utilisés individuellement ou en couple, ces proxies de site décrivent de manière plus ou moins détaillée l'influence des conditions de site locales sur le mouvement sismique. Dans ce même volet, nous amorçons également une étude des liens entre les aspects non-linéaire de la réponse de site, et les différents proxies de site. Le troisième volet se concentre sur certain effets liés à la source : analyse de l’influence du style de la faille sismique sur le mouvement du sol, ainsi qu'une approche indirecte de la dépendance entre la magnitude et la chute de contrainte sismique. / This thesis is devoted to an in-depth analysis of the ability of "Artificial Neural Networks" (ANN) to achieve reliable ground motion predictions. A first important aspect concerns the derivation of "GMPE" (Ground Motion Prediction Equations) with an ANN approach, and the comparison of their performance with those of "classical" GMGEs derived on the basis of empirical regressions with pre-established, more or less complex, functional forms. To perform such a comparison involving the two "betweeen-event" and "within-event" components of the random variability, we adapt the algorithm of the "random effects model" to the neural approach. This approach is tested on various, real and synthetic, datasets: the database compiled from European, Mediterranean and Middle Eastern events (RESORCE: Reference database for Seismic grOund-motion pRediction in Europe), the database NGA West 2 (Next Generation Attenuation West 2 developed in the USA), and the Japanese database derived from the KiK-net accelerometer network. In addition, a comprehensive set of synthetic data is also derived with a stochastic simulation approach. The considered ground motion parameters are those which are most used in earthquake engineering (PGA, PGV, response spectra and also, in some cases, local amplification functions). Such completely "data-driven" neural models, inform us about the respective, and possibly coupled, influences of the amplitude decay with distance, the magnitude scaling effects, and the site conditions, with a particular focus on the detection of non-linearities in site response. Another important aspect is the use of ANNs to test the relevance of different site proxies, through their ability to reduce the random variability of ground motion predictions. The ANN approach allows to use such site proxies either individually or combined, and to investigate their respective impact on the various characteristics of ground motion. The same section also includes an investigation on the links between the non-linear aspects of the site response and the different site proxies. Finally, the third section focuses on a few source-related effects: analysis of the influence of the "style of faulting" on ground motion, and, indirectly, the dependence between magnitude and seismic stress drop.

Les méthodes de compréhension de la parole visent à extraire des éléments de sens pertinents du signal parlé. On distingue principalement deux catégories dans la compréhension du signal parlé : la compréhension de dialogues homme/machine et la compréhension de dialogues homme/homme. En fonction du type de conversation, la structure des dialogues et les objectifs de compréhension varient. Cependant, dans les deux cas, les systèmes automatiques reposent le plus souvent sur une étape de reconnaissance automatique de la parole pour réaliser une transcription textuelle du signal parlé. Les systèmes de reconnaissance automatique de la parole, même les plus avancés, produisent dans des contextes acoustiques complexes des transcriptions erronées ou partiellement erronées. Ces erreurs s'expliquent par la présence d'informations de natures et de fonction variées, telles que celles liées aux spécificités du locuteur ou encore l'environnement sonore. Celles-ci peuvent avoir un impact négatif important pour la compréhension. Dans un premier temps, les travaux de cette thèse montrent que l'utilisation d'autoencodeur profond permet de produire une représentation latente des transcriptions d'un plus haut niveau d'abstraction. Cette représentation permet au système de compréhension de la parole d'être plus robuste aux erreurs de transcriptions automatiques. Dans un second temps, nous proposons deux approches pour générer des représentations robustes en combinant plusieurs vues d'un même dialogue dans le but d'améliorer les performances du système la compréhension. La première approche montre que plusieurs espaces thématiques différents peuvent être combinés simplement à l'aide d'autoencodeur ou dans un espace thématique latent pour produire une représentation qui augmente l'efficacité et la robustesse du système de compréhension de la parole. La seconde approche propose d'introduire une forme d'information de supervision dans les processus de débruitages par autoencodeur. Ces travaux montrent que l'introduction de supervision de transcription dans un autoencodeur débruitant dégrade les représentations latentes, alors que les architectures proposées permettent de rendre comparables les performances d'un système de compréhension reposant sur une transcription automatique et un système de compréhension reposant sur des transcriptions manuelles. / Application of spoken language understanding aim to extract relevant items of meaning from spoken signal. There is two distinct types of spoken language understanding : understanding of human/human dialogue and understanding in human/machine dialogue. Given a type of conversation, the structure of dialogues and the goal of the understanding process varies. However, in both cases, most of the time, automatic systems have a step of speech recognition to generate the textual transcript of the spoken signal. Speech recognition systems in adverse conditions, even the most advanced one, produce erroneous or partly erroneous transcript of speech. Those errors can be explained by the presence of information of various natures and functions such as speaker and ambience specificities. They can have an important adverse impact on the performance of the understanding process. The first part of the contribution in this thesis shows that using deep autoencoders produce a more abstract latent representation of the transcript. This latent representation allow spoken language understanding system to be more robust to automatic transcription mistakes. In the other part, we propose two different approaches to generate more robust representation by combining multiple views of a given dialogue in order to improve the results of the spoken language understanding system. The first approach combine multiple thematic spaces to produce a better representation. The second one introduce new autoencoders architectures that use supervision in the denoising autoencoders. These contributions show that these architectures reduce the difference in performance between a spoken language understanding using automatic transcript and one using manual transcript.

Ce rapport porte sur le sujet de recherche de l'identification boîte noire du système non linéaire. En effet, parmi toutes les techniques nombreuses et variées développées dans ce domaine de la recherche ces dernières décennies, il semble toujours intéressant d'étudier l'approche réseau de neurones dans l'estimation de modèle de système complexe. Même si des modèles précis ont été obtenus, les principaux inconvénients de ces techniques restent le grand nombre de paramètres nécessaires et, en conséquence, le coût important de calcul nécessaire pour obtenir le niveau de pratique de la précision du modèle désiré. Par conséquent, motivés pour remédier à ces inconvénients, nous avons atteint une méthodologie complète et efficace du système d'identification offrant une précision équilibrée, la complexité et les modèles de coûts en proposant, d'une part, de nouvelles structures de réseaux de neurones particulièrement adapté à une utilisation très large en matière de modélisation système pratique non linéaire, d'autre part, un simple et efficace technique de réduction de modèle, et, troisièmement, une procédure de réduction de coût de calcul. Il est important de noter que ces deux dernières techniques de réduction peut être appliquée à une très large gamme d'architectures de réseaux de neurones sous deux simples hypothèses spécifiques qui ne sont pas du tout contraignant. Enfin, la dernière contribution importante de ce travail est d'avoir montré que cette phase d'estimation peut être obtenue dans un cadre robuste si la qualité des données d'identification qu'il oblige. Afin de valider la procédure d'identification système proposé, des exemples d'applications entraînées en simulation et sur un procédé réel, de manière satisfaisante validé toutes les contributions de cette thèse, confirmant tout l'intérêt de ce travail. / This report concerns the research topic of black box nonlinear system identification. In effect, among all the various and numerous techniques developed in this field of research these last decades, it seems still interesting to investigate the neural network approach in complex system model estimation. Even if accurate models have been derived, the main drawbacks of these techniques remain the large number of parameters required and, as a consequence, the important computational cost necessary to obtain the convenient level of the model accuracy desired. Hence, motivated to address these drawbacks, we achieved a complete and efficient system identification methodology providing balanced accuracy, complexity and cost models by proposing, firstly, new neural network structures particularly adapted to a very wide use in practical nonlinear system modeling, secondly, a simple and efficient model reduction technique, and, thirdly, a computational cost reduction procedure. It is important to notice that these last two reduction techniques can be applied to a very large range of neural network architectures under two simple specific assumptions which are not at all restricting. Finally, the last important contribution of this work is to have shown that this estimation phase can be achieved in a robust framework if the quality of identification data compels it. In order to validate the proposed system identification procedure, application examples driven in simulation and on a real process, satisfactorily validated all the contributions of this thesis, confirming all the interest of this work.

Le système nerveux central est capable de mémoriser des percepts sur de longues échelles de temps (mémoire à long terme), ainsi que de maintenir activement ces percepts en mémoire pour quelques secondes en vue d’effectuer des tâches comportementales (mémoire de travail). Ces deux phénomènes peuvent être étudiés conjointement dans le cadre de la théorie des réseaux de neurones à attracteurs. Dans ce cadre, un percept, représenté par un patron d’activité neuronale, est stocké en mémoire à long terme et peut être chargé en mémoire de travail à condition que le réseau soit capable de maintenir de manière stable et autonome ce patron d’activité. Une telle dynamique est rendue possible par la forme spécifique de la connectivité du réseau. Ici on examine des modèles de connectivité corticale à différentes échelles, dans le but d’étudier quels circuits corticaux peuvent soutenir efficacement des dynamiques de type réseau à attracteurs. Ceci est fait en montrant comment les performances de modèles théoriques, quantifiées par la capacité de stockage des réseaux (nombre de percepts qu’il est possible de stocker, puis réutiliser), dépendent des caractéristiques de la connectivité. Une première partie est dédiée à l’étude de réseaux complètement connectés où un neurone peut potentiellement être connecté à chacun des autres neurones du réseau. Cette situation modélise des colonnes corticales dont le rayon est de l’ordre de quelques centaines de microns. On s’intéresse d’abord à la capacité de stockage de réseaux où les synapses entre neurones sont décrites par des variables binaires, modifiées de manière stochastique lorsque des patrons d’activité sont imposés sur le réseau. On étend cette étude à des cas où les synapses peuvent être dans K états discrets, ce qui, par exemple, permet de modéliser le fait que les connections entre deux cellules pyramidales voisines du cortex sont connectées par l’intermédiaire de plusieurs contacts synaptiques. Dans un second temps, on étudie des réseaux modulaires où chaque module est un réseau complètement connecté et où la connectivité entre modules est diluée. On montre comment la capacité de stockage dépend de la connectivité entre modules et de l’organisation des patrons d’activité à stocker. La comparaison avec les mesures expérimentales sur la connectivité à grande échelle du cortex permet de montrer que ces connections peuvent implémenter un réseau à attracteur à l’échelle de plusieurs aires cérébrales. Enfin on étudie un réseau dont les unités sont connectées par des poids dont l’amplitude a un coût qui dépend de la distance entre unités. On utilise une approche à la Gardner pour calculer la distribution des poids qui optimise le stockage de patrons d’activité dans ce réseau. On interprète chaque unité de ce réseau comme une aire cérébrale et on compare la distribution des poids obtenue théoriquement avec des mesures expérimentales de connectivité entre aires cérébrales. / The central nervous system is able to memorize percepts on long time scales (long-term memory), as well as actively maintain these percepts in memory for a few seconds in order to perform behavioral tasks (working memory). These two phenomena can be studied together in the framework of the attractor neural network theory. In this framework, a percept, represented by a pattern of neural activity, is stored as a long-term memory and can be loaded in working memory if the network is able to maintain, in a stable and autonomous manner, this pattern of activity. Such a dynamics is made possible by the specific form of the connectivity of the network. Here we examine models of cortical connectivity at different scales, in order to study which cortical circuits can efficiently sustain attractor neural network dynamics. This is done by showing how the performance of theoretical models, quantified by the networks storage capacity (number of percepts it is possible to store), depends on the characteristics of the connectivity. In the first part we study fully-connected networks, where potentially each neuron connects to all the other neurons in the network. This situation models cortical columns whose radius is of the order of a few hundred microns. We first compute the storage capacity of networks whose synapses are described by binary variables that are modified in a stochastic manner when patterns of activity are imposed on the network. We generalize this study to the case in which synapses can be in K discrete states, which, for instance, allows to model the fact that two neighboring pyramidal cells in cortex touches each others at multiple contact points. In the second part, we study modular networks where each module is a fully-connected network and connections between modules are diluted. We show how the storage capacity depends on the connectivity between modules and on the organization of the patterns of activity to store. The comparison with experimental measurements of large-scale connectivity suggests that these connections can implement an attractor neural network at the scale of multiple cortical areas. Finally, we study a network in which units are connected by weights whose amplitude has a cost that depends on the distance between the units. We use a Gardner's approach to compute the distribution of weights that optimizes storage in this network. We interpret each unit of this network as a cortical area and compare the obtained theoretical weights distribution with measures of connectivity between cortical areas.