Depuis 2006, les algorithmes d’apprentissage profond qui s’appuient sur des modèles comprenant plusieurs couches de représentations ont pu surpasser l’état de l’art dans plusieurs domaines. Les modèles profonds peuvent être très efficaces en termes du nombre de paramètres nécessaires pour représenter des opérations complexes. Bien que l’entraînement des modèles profonds ait été traditionnellement considéré comme un problème difficile, une approche réussie a été d’utiliser une étape de pré-entraînement couche par couche, non supervisée, pour initialiser des modèles profonds supervisés. Tout d’abord, l’apprentissage non-supervisé présente de nombreux avantages par rapport à la généralisation car il repose uniquement sur des données non étiquetées qu’il est facile de trouver. Deuxièmement, la possibilité d’apprendre des représentations couche par couche, au lieu de toutes les couches à la fois, améliore encore la généralisation et réduit les temps de calcul. Cependant, l’apprentissage profond pose encore beaucoup de questions relatives à la consistance de l’apprentissage couche par couche, avec de nombreuses couches, et à la difficulté d’évaluer la performance, de sélectionner les modèles et d’optimiser la performance des couches. Dans cette thèse, nous examinons d’abord les limites de la justification variationnelle actuelle pour l’apprentissage couche par couche qui ne se généralise pas bien à de nombreuses couches et demandons si une méthode couche par couche peut jamais être vraiment consistante. Nous constatons que l’apprentissage couche par couche peut en effet être consistant et peut conduire à des modèles génératifs profonds optimaux. Pour ce faire, nous introduisons la borne supérieure de la meilleure probabilité marginale latente (BLM upper bound), un nouveau critère qui représente la log-vraisemblance maximale d’un modèle génératif profond quand les couches supérieures ne sont pas connues. Nous prouvons que la maximisation de ce critère pour chaque couche conduit à une architecture profonde optimale, à condition que le reste de l’entraînement se passe bien. Bien que ce critère ne puisse pas être calculé de manière exacte, nous montrons qu’il peut être maximisé efficacement par des auto-encodeurs quand l’encodeur du modèle est autorisé à être aussi riche que possible. Cela donne une nouvelle justification pour empiler les modèles entraînés pour reproduire leur entrée et donne de meilleurs résultats que l’approche variationnelle. En outre, nous donnons une approximation calculable de la BLM upper bound et montrons qu’elle peut être utilisée pour estimer avec précision la log-vraisemblance finale des modèles. Nous proposons une nouvelle méthode pour la sélection de modèles couche par couche pour les modèles profonds, et un nouveau critère pour déterminer si l’ajout de couches est justifié. Quant à la difficulté d’entraîner chaque couche, nous étudions aussi l’impact des métriques et de la paramétrisation sur la procédure de descente de gradient couramment utilisée pour la maximisation de la vraisemblance. Nous montrons que la descente de gradient est implicitement liée à la métrique de l’espace sous-jacent et que la métrique Euclidienne peut souvent être un choix inadapté car elle introduit une dépendance sur la paramétrisation et peut entraîner une violation de la symétrie. Pour pallier ce problème, nous étudions les avantages du gradient naturel et montrons qu’il peut être utilisé pour restaurer la symétrie, mais avec un coût de calcul élevé. Nous proposons donc qu’une paramétrisation centrée peut rétablir la symétrie avec une très faible surcharge computationnelle. / Since 2006, deep learning algorithms which rely on deep architectures with several layers of increasingly complex representations have been able to outperform state-of-the-art methods in several settings. Deep architectures can be very efficient in terms of the number of parameters required to represent complex operations which makes them very appealing to achieve good generalization with small amounts of data. Although training deep architectures has traditionally been considered a difficult problem, a successful approach has been to employ an unsupervised layer-wise pre-training step to initialize deep supervised models. First, unsupervised learning has many benefits w.r.t. generalization because it only relies on unlabeled data which is easily found. Second, the possibility to learn representations layer by layer instead of all layers at once improves generalization further and reduces computational time. However, deep learning is a very recent approach and still poses a lot of theoretical and practical questions concerning the consistency of layer-wise learning with many layers and difficulties such as evaluating performance, performing model selection and optimizing layers. In this thesis we first discuss the limitations of the current variational justification for layer-wise learning which does not generalize well to many layers. We ask if a layer-wise method can ever be truly consistent, i.e. capable of finding an optimal deep model by training one layer at a time without knowledge of the upper layers. We find that layer-wise learning can in fact be consistent and can lead to optimal deep generative models. To do this, we introduce the Best Latent Marginal (BLM) upper bound, a new criterion which represents the maximum log-likelihood of a deep generative model where the upper layers are unspecified. We prove that maximizing this criterion for each layer leads to an optimal deep architecture, provided the rest of the training goes well. Although this criterion cannot be computed exactly, we show that it can be maximized effectively by auto-encoders when the encoder part of the model is allowed to be as rich as possible. This gives a new justification for stacking models trained to reproduce their input and yields better results than the state-of-the-art variational approach. Additionally, we give a tractable approximation of the BLM upper-bound and show that it can accurately estimate the final log-likelihood of models. Taking advantage of these theoretical advances, we propose a new method for performing layer-wise model selection in deep architectures, and a new criterion to assess whether adding more layers is warranted. As for the difficulty of training layers, we also study the impact of metrics and parametrization on the commonly used gradient descent procedure for log-likelihood maximization. We show that gradient descent is implicitly linked with the metric of the underlying space and that the Euclidean metric may often be an unsuitable choice as it introduces a dependence on parametrization and can lead to a breach of symmetry. To mitigate this problem, we study the benefits of the natural gradient and show that it can restore symmetry, regrettably at a high computational cost. We thus propose that a centered parametrization may alleviate the problem with almost no computational overhead.

Dans le contexte de l'énaction et dans une approche globale de la perception, nous nous sommes intéressés à étudier calcul neuronal permettant de comprendre les relations entre les structures dans le cerveau et leurs fonctions. Nous avons d'abord examiné les problèmes calculatoires liés à la discrétisation des équations différentielles qui régissent les systèmes étudiés et aux schémas d'évaluation synchrones et asynchrones. Nous nous sommes, ensuite, intéressés à un niveau fonctionnel élémentaire: la transformation de représentations sensorielles spatiales en actes moteurs temporels dans le cadre du système visuo-moteur. Nous avons proposé un modèle minimaliste d'encodage automatique des cibles visuelles de saccades qui se concentre sur le le flux visuel de la rétine vers le colliculus supérieur. Ce modèle, basé sur sur des règles locales simples au sein d'une population homogène, permet de reproduire et d'expliquer plusieurs résultats d'expériences biologiques ce qui en fait un modèle de base efficace et robuste. Enfin, nous avons abordé un niveau fonctionnel plus global en proposant un modèle de la boucle motrice des ganglions de la base permettant d'intégrer des flux sensoriels, moteurs et motivationnels en vue d'une décision globale reposant sur des évaluations locales. Ce modèle met en exergue un processus adaptatif de sélection de l'action et d'encodage de contexte via des mécanismes originaux lui permettant en particulier de constituer la brique de base pour les autres boucles cortico-basales. Les deux modèles présentent des dynamiques intéressantes à étudier que ce soit d'un point de vue biologique ou d'un point de vue informatique computationnel / Within the context of enaction and a global approach to perception, we focused on the characteristics of neural computation necessary to understand the relationship between structures in the brain and their functions. We first considered computational problems related to the discretization of differential equations that govern the studied systems and the synchronous and asynchronous evaluation schemes. Then, we investigated a basic functional level : the transformation of spatial sensory representations into temporal motor actions within the visual-motor system. We focused on the visual flow from the retina to the superior colliculus to propose a minimalist model of automatic encoding of saccades to visual targets. This model, based on simple local rules (CNFT and logarithmic projection) in a homogeneous population and using a sequential processing, reproduces and explains several results of biological experiments. It is then considered as a robust and efficient basic model. Finally, we investigated a more general functional level by proposing a computational model of the basal ganglia motor loop. This model integrates sensory, motor and motivational flows to perform a global decision based on local assessments. We implemented an adaptive process for action selection and context encoding through an innovative mechanism that allows to form the basic circuit for other cortico-basal loops. This mechanism allows to create internal representations according to the enactive approach that opposes the computer metaphor of the brain. Both models have interesting dynamics to study from whether a biological point of view or a computational numerical one

L’étude du fonctionnement de notre système nerveux et des mécanismes sensoriels a mené à la création de capteurs événementiels. Ces capteurs ont un fonctionnement qui retranscrit les atouts de nos yeux et oreilles par exemple. Cette thèse se base sur la recherche de méthodes bio-inspirés et peu coûteuses en énergie permettant de traiter les données envoyées par ces nouveaux types de capteurs. Contrairement aux capteurs conventionnels, nos rétines et cochlées ne réagissent qu’à l’activité perçue dans l’environnement sensoriel. Les implémentations de type « rétine » ou « cochlée » artificielle, que nous appellerons capteurs dynamiques, fournissent des trains d’évènements comparables à des impulsions neuronales. La quantité d’information transmise est alors étroitement liée à l’activité présentée, ce qui a aussi pour effet de diminuer la redondance des informations de sortie. De plus, n’étant plus contraint à suivre une cadence d’échantillonnage, les événements créés fournissent une résolution temporelle supérieure. Ce mode bio-inspiré de retrait d’information de l’environnement a entraîné la création d’algorithmes permettant de suivre le déplacement d’entité au niveau visuel ou encore reconnaître la personne parlant ou sa localisation au niveau sonore, ainsi que des implémentations d’environnements de calcul neuromorphiques. Les travaux que nous présentons s’appuient sur ces nouvelles idées pour créer de nouvelles solutions de traitement. Plus précisément, les applications et le matériel développés s’appuient sur un codage temporel de l’information dans la suite d'événements fournis par le capteur. / Studying how our nervous system and sensory mechanisms work lead to the creation of event-driven sensors. These sensors follow the same principles as our eyes or ears for example. This Ph.D. focuses on the search for bio-inspired low power methods enabling processing data from this new kind of sensor. Contrary to legacy sensors, our retina and cochlea only react to the perceived activity in the sensory environment. The artificial “retina” and “cochlea” implementations we call dynamic sensors provide streams of events comparable to neural spikes. The quantity of data transmitted is closely linked to the presented activity, which decreases the redundancy in the output data. Moreover, not being forced to follow a frame-rate, the created events provide increased timing resolution. This bio-inspired support to convey data lead to the development of algorithms enabling visual tracking or speaker recognition or localization at the auditory level, and neuromorphic computing environment implementation. The work we present rely on these new ideas to create new processing solutions. More precisely, the applications and hardware developed rely on temporal coding of the data in the spike stream provided by the sensors.

La miniaturisation des composants impose à l’industrie de la micro-électronique de trouver des techniques de caractérisation fiables rapides et si possible à moindre coût. Les méthodes optiques telles que la scattérométrie se présentent aujourd’hui comme des alternatives prometteuses répondant à cette problématique de caractérisation. Toutefois, l’ensemble des méthodes scattérométriques nécessitent un certain nombre d’hypothèses pour assurer la résolution d’un problème inverse et notamment la connaissance de la forme géométrique de la structure à tester. Le modèle de structure supposé conditionne la qualité même de la caractérisation. Dans cette thèse, nous proposons l’utilisation des réseaux de neurones comme outils d’aide à la décision en amont de toute méthode de caractérisation. Nous avons validé l’utilisation des réseaux de neurones dans le cadre de la reconnaissance des formes géométriques de l’échantillon à tester par la signature optique utilisée dans toute étape de caractérisation scattérométrique. Tout d’abord, le cas d’un défaut lithographique particulier lié à la présence d’une couche résiduelle de résine au fond des sillons est étudié. Ensuite, nous effectuons une analyse de détection de défaut de modèle utilisé dans la résolution du problème inverse. Enfin nous relatons les résultats obtenus dans le cadre de la sélection de modèles géométriques par réseaux de neurones en amont d’un processus classique de caractérisation scattérométrique. Ce travail de thèse a montré que les réseaux de neurones peuvent bien répondre à la problématique de classification en scattérométrie ellipsométrique et que l’utilisation de ces derniers peut améliorer cette technique optique de caractérisation / The miniaturization of components in the micro-electronics industry involves the need of fast reliable technique of characterization with lower cost. Optical methods such as scatterometry are today promising alternative to this technological need. However, scatterometric method requires a certain number of hypothesis to ensure the resolution of an inverse problem, in particular the knowledge of the geometrical shape of the structure under test. The assumed model of the structure determines the quality of the characterization. In this thesis, we propose the use of neural networks as decision-making tools upstream of any characterization method. We validated the use of neural networks in the context of recognition of the geometrical shapes of the sample under testing by the use of optical signature in any scatterometric characterization process. First, the case of lithographic defect due to the presence of a resist residual layer at the bottom of the grooves is studied. Then, we carry out an analysis of model defect in the inverse problem resolution. Finally, we report results in the context of selection of geometric models by neural networks upstream of a classical scatterometric characterization process. This thesis has demonstrated that neural networks can well answer the problem of classification in ellipsometric scatterometry and their use can improve this optical characterization technique

Les recherches scientifiques sur la pile à combustible échangeuse de protons (PEMFC) ont, jusqu’il y a peu, concerné presque exclusivement les aspects fondamentaux liés à l’électrochimie, particulièrement la conception, le dimensionnement, les performances et le diagnostic. Récemment, les objectifs de durée de vie ont ouvert un nouvel axe de recherche sur le comportement mécanique de la PEMFC devant conduire à son optimisation statique et dynamique. Parallèlement les installations vibroclimatiques de la plateforme d’essais « Systèmes Pile à Combustible » de Belfort ont été développées. La thèse de Vicky ROUSS soutenue en 2008 montre l’intérêt et le potentiel de la modélisation type « boîte noire » pour simuler le comportement mécanique de la PEMFC, et de la technique des signatures mécaniques expérimentales pour mettre en évidence la présence des phénomènes physiques à l’intérieur de la PEMFC. Dans ce contexte les travaux de la présente thèse ont concerné le pilotage des essais de durabilité par simulation boîte noire temps réel et l’exploitation de cette dernière en vue de la découverte des phénomènes physiques à l’intérieur de la PEMFC. La modélisation par réseaux de neurones des systèmes simples de type oscillateur harmonique a représenté le premier pas pour la définition d’un modèle neuronal de pilotage des essais de durabilité en temps réel. Le cas du système mécanique excité par la base qui correspond à une pile à combustible fixée sur la plateforme vibratoire, a été considéré. L’architecture neuronale optimale a été définie en plusieurs étapes en utilisant différents algorithmes. Elle utilise en entrée le signal de commande du système et la réponse mesurée sur la pile à combustible au moment t et en sortie on obtient la réponse prédite du comportement de la pile à combustible au moment t+1. Cette architecture a été mise au point et validée par des essais sur la plateforme. D’autres essais ont permis de mettre en évidence différents comportements de la pile à combustible en fonction de l’amplitude de sollicitation, de la pression et de la température de la pile à combustible. Les signatures mécaniques obtenues réalisées à partir des essais de durabilité complètent la bibliothèque de signatures déjà existante et mettent en évidence de nouveaux comportements de la pile à combustible. / Scientific research on cell proton exchange fuel cells (PEMFC) have, until recently, almost exclusively concerned fundamental aspects of electrochemistry, particularly the design, sizing, the electrochemical performance and diagnostics. Recently, the objectives of life cycle have opened a new direction of research on the mechanical behavior of the PEMFC leading to its static and dynamic optimization. At the same time new environmental facilities of the test platform "Fuel Cell Systems" at Belfort are developed. Vicky ROUSS thesis sustained in 2008 shows the importance and the potential of the black box modeling to simulate the mechanical behavior of the PEMFC and experimental mechanical signatures to highlight the presence of physical phenomena inside PEMFC. In this context the work of this thesis concerned the monitoring of durability tests by simulation and real-time black-box operation to explore the physical phenomena inside the PEMFC. Modeling neural networks simple systems such as harmonic oscillator represented the first step towards the definition of a neural control model of real time environmental tests. Then, it was considered the case of the harmonic oscillator excited by the base, which corresponds to the fuel cell mounted on the vibration platform. The optimal neural architecture has been defined in several stages using different algorithms. This architecture uses as input the control signal of the system and the measured signal on the fuel cell at the time t and as output the predicted response behavior of the fuel cell at time t+1. This architecture has been developed and validated by tests on the platform. Other tests have allowed demonstrating the different behavior of the fuel cell in accordance with the amplitude of solicitation, the pressure and temperature of the fuel cell. Mechanical signatures made from tests complete the existing library of signatures and demonstrate new behaviors of the fuel cell.

L'apprentissage profond permet de développer un nombre de services de plus en plus important. Il nécessite cependant de grandes bases de données d'apprentissage et beaucoup de puissance de calcul. Afin de réduire les coûts de cet apprentissage profond, nous proposons la mise en œuvre d'un apprentissage collaboratif. Les futures utilisateurs des services permis par l'apprentissage profond peuvent ainsi participer à celui-ci en mettant à disposition leurs machines ainsi que leurs données sans déplacer ces dernières sur le cloud. Nous proposons différentes méthodes afin d'apprendre des réseaux de neurones profonds dans ce contexte de système distribué. / Deep learning enables the development of a growing number of services. However, it requires large training databases and a lot of computing power. In order to reduce the costs of this deep learning, we propose a distributed computing setup to enable collaborative learning. Future users can participate with their devices and their data without moving private data in datacenters. We propose methods to train deep neural network in this distibuted system context.

La présence de porosités dans les lingots métalliques représente un problème majeur dans l’industrie des matériaux. En effet, ces porosités altèrent significativement les caractéristiques mécaniques du matériau (ductilité notamment), et sont des sources d’apparition de défauts en mise en forme ou en tenue en service. Pour éliminer ces porosités, les industriels utilisent souvent des procédés de mise forme à chaud tels que le forgeage ou le laminage, mais il est souvent difficile de définir le taux de déformation à appliquer pour refermer entièrement ces porosités. La modélisation numérique s’avère donc être un outil particulièrement intéressant afin d’étudier l’impact des paramètres procédé sur le taux de refermeture de porosités. Dans ce travail, nous avons développé une méthodologie de calibration basée sur des algorithmes d’optimisation et une base de données de 800 simulations à champ complet sur VER, où les paramètres influents sur la refermeture des porosités sont variés (mécaniques et géométriques). Le premier modèle proposé est un modèle scalaire qui s’affranchit de l’hypothèse de chargement axisymétrique, largement utilisée dans la littérature. Le paramètre de Lode a permis avec l’utilisation de la triaxialité des contraintes de définir l’état de contraintes d’une manière unique. Les comparaisons de ce nouveau modèle à trois autres modèles de refermeture de la littérature montrent le gain de précision de ce nouveau modèle scalaire de refermeture. Le deuxième modèle est un modèle tensoriel adapté aux procédés multipasses grâce à l’analyse de la matrice d’inertie de la porosité. Cette matrice sert pour calculer le volume, la forme et l’orientation de la porosité. Ce modèle a été calibré en utilisant une approche basée sur les réseaux de neurones artificiels. La comparaison avec le modèle scalaire et la modélisation en champ complet a montré un gain en précision jusqu’à 35%. Il s’agit là par ailleurs du premier modèle tensoriel proposé dans la littérature. / The presence of voids in ingots is a major issue in the casting industry. These voids decrease materials properties (in particular ductility) and may induce premature failure during metal forming or service life. Hot metal forming processes are therefore used to close these voids and obtain a sound product. However, the amount of deformation required to close these voids is difficult to estimate.Numerical modeling is an interesting tool to study the influence of process parameters on void closure rate. In this work, an optimization-based strategy has been developed to identify the parameters of a mean-field model based on a database of 800 full-field REV simulations with various loading conditions and voids geometry and orientations. The first void closure model is a scalar model that gets rid of the axisymmetric loading hypothesis considered in most models in the literature. The Lode angle, coupled with the stress triaxiality ratio enables to identify the stress state in a unique way. Comparisons of this new model with three other models fromthe literature show the accuracy increase for general loading conditions. In order to address multistages processes, a second model is defined in a tensor version. The ellipsoid void inertia matrix is used to define void’s morphology, orientation and volume. The tensor model predicts the evolution of the inertia terms and its calibration is based on the full-field REV database and on a new Artificial Neural Networks approach. Comparisons were carried out between this tensor model, the scalar model and full-field simulations for multi-stages configurations. These comparisons showed up to 35% accuracy improvement with the tensor model. It is worth mentioning that this is the first attempt to define a void closure tensor model in the literature.

Ce travail concerne la modélisation et l'optimisation des procédés de mise en forme par les Réseaux de Neurones Artificiels. Etant donnée que les méthodes classiques sont très coûteuses en temps de calcul et divergentes pour des problèmes présentant beaucoup des paramètres à contrôler, notre contribution consiste à développer une méthode de modélisation et d'optimisation plus rapide et efficace. Nous avons fait appel à une étude paramétrique pour coupler un programme basé sur la technique des RNA avec un code de calcul par la méthode des éléments finis. Néanmoins pour être viable, la méthode de modélisation et d'optimisation développé a été appliquée avec succès à des procédés de mise en forme complexes et variés. Elle a été testée en premier lieu pour la modélisation et l'optimisation du procédé d'emboutissage d'un flan circulaire et dans un second lieu pour l'identification des paramètres du matériau à partir du procédé d'hydroformage. La méthode a été aussi comparée avec une méthode d'optimisation classique de plusieurs points de vue. Il a été constaté le long de cette étude que notre démarche présente une grande potentialité à modéliser des relations qui sont difficile à les décrire avec des modèles mathématiques simple. Elle est aussi, rapide et parallélisable. La qualité des résultats obtenus est convaincante. Ce travail mène à des perspectives plus prometteuses. Elles peuvent être vulgarisées et exploitées dans d'autres applications.

La caractérisation sismique des réservoirs pétroliers nécessite l'intégration de plusieurs techniques telles que la lithosismique, la géomodélisation, la géostatistique, l'utilisation des algorithmes évolutionnaires et la pétrophysique. L'information sismique est d'abord utilisée pour la description de l'architecture externe des réservoirs car son utilisation pour la description des faciès ne se fait pas sans difficultés. L'objectif de cette thèse est d'apporter des outils nouveaux pour aider à l'utilisation de l'information sismique pour caractériser les réservoirs.<br />Un premier travail a consisté à évaluer l'impact des incertitudes structurales sur les inversions pétroélastiques et les conséquences en terme de classification de faciès. Ensuite, nous considérons la modélisation sismique comme aide à l'évaluation du modèle réservoir. Cette modélisation permettra de faire le lien entre les simulateurs réservoir ou les géomodeleurs et la réponse sismique du réservoir. <br />Nous développons ensuite deux approches alternatives aux méthodes traditionnelles en inversion pétroélastique et pétrophysique. La première utilise la méthode géostatistique des déformations graduelles pour créer des réalisations de propriétés réservoirs. Elle permet de créer des propriétés à l'échelle réservoir, conditionnées aux puits, tout en respectant une fonction coût basée sur la comparaison des données sismiques réelles et issues de ces réalisations. <br />La seconde méthode repose sur le principe de la classification supervisée et utilise des réseaux de neurones pour analyser la forme des traces sismiques. Une première étape consiste à générer un volume d'apprentissage contenant tous les modèles pétrophysiques envisageables pour un champ donné. Ces modèles sont analysés par les réseaux de neurones. Les neurones ainsi identifiés sont appliqués aux données réelles, pour identifier des relations pétrophysique/sismique identiques aux données d'apprentissage.<br />Toutes les méthodologies sont validées sur plusieurs réservoirs choisis pour leurs particularités géologiques (complexité structurale, lithologie du réservoir).

Largement poussés par l'industrie vidéoludique, la recherche et le développement d'outils matériels destinés à la génération d'images de synthèse, tels les cartes graphiques (ou GPU, Graphics Processing Units), ont connu un essor formidable ces dernières années. L'augmentation de puissance et de