L'hybridation des méthodes numériques est l'une des nombreuses pistes dans la recherche de la rapidité et de l'efficacité et de la précision d'une modélisation électromagnétique des structures complexes associant des parties de formes régulières de grandes dimensions électriques et des parties de formes complexes de dimensions plus modestes. Au lieu d'une seule formulation globale, on cherche à appliquer l'hybridation de plusieurs méthodes numériques notamment la méthode variationnelle multimodale (MVM), la méthode des éléments finis (FEM) et les réseaux de neurones artificiels. Un nouveau schéma hybride original qui combine la MVM et la FEM a été proposé pour caractériser une discontinuité complexe dans un guide d'onde rectangulaire. Les résultats obtenus tout en étant conformes aux résultats fournis par les simulateurs commerciaux et les résultats expérimentaux, apportent une amélioration sensible quant au temps de calcul. Le schéma hybride a été étendu pour la caractérisation des discontinuités complexes en cascade et appliqué à la conception de filtres micro-onde présentant des discontinuités complexes permettant ainsi un gain de temps très important. L'hybridation des réseaux de neurones artificiels et les méthodes modales a amélioré le temps de calcul pour l'analyse des discontinuités simples dans les guides d'onde rectangulaires ce qui a permis d'améliorer l'optimisation des filtres à guides d'ondes nervurés. / Hybridization of numerical methods is one inventive way in the research of the rapidity, the efficiency and the precision of the electromagnetic modeling of complex structures joining straight and large elements with complex and small ones. Instead of a global and unique formulation, we hybridize many numerical methods which are the modal methods, the finite element methods and the artificial neural networks. A novel computer- ided design (CAD) tool of complex passive microwave devices in rectangular waveguide technology is suggested. The multimodal variational method is applied to the full-wave description in the rectangular waveguides while the finite element analysis characterizes waves in the arbitrarily shaped discontinuities. The suggested hybrid approach is successfully applied to the full-wave analysis of complex discontinuities with great practical interest, thus improving CPU time and memory storage against several full-wave finite element method (FEM) based CAD tools. The proposed hybrid CAD tool is successfully extended to the design of filters with cascaded complex discontinuities. The hybridization of modal methods and the artificial neural networks improved the CPU time in the analysis of simple waveguide discontinuities which enhanced the optimization of rectangular ridged waveguide filters.

L’objectif de cette thèse était d’appliquer des méthodes d’analyse multivariées au traitement des données provenant de la spectroscopie de plasma induit par laser (LIBS) et de la spectroscopie térahertz (THz) dans le but d’accroître les performances analytiques de ces techniques.Les spectres LIBS provenaient de campagnes de mesures directes sur différents sites géologiques. Une approche univariée n’a pas été envisageable à cause d’importants effets de matrices et c’est pour cela qu’on a analysé les données provenant des spectres LIBS par réseaux de neurones artificiels (ANN). Cela a permis de quantifier plusieurs éléments mineurs et majeurs dans les échantillons de sol avec un écart relatif de prédiction inférieur à 20% par rapport aux valeurs de référence, jugé acceptable pour des analyses sur site. Dans certains cas, il a cependant été nécessaire de prendre en compte plusieurs modèles ANN, d’une part pour classer les échantillons de sol en fonction d’un seuil de concentration et de la nature de leur matrice, et d’autre part pour prédire la concentration d’un analyte. Cette approche globale a été démontrée avec succès dans le cas particulier de l’analyse du plomb pour un échantillon de sol inconnu. Enfin, le développement d’un outil de traitement par ANN a fait l’objet d’un transfert industriel.Dans un second temps, nous avons traité des spectres d’absorbance terahertz. Ce spectres provenaient de mesures d’absorbance sur des mélanges ternaires de Fructose-Lactose-acide citrique liés par du polyéthylène et préparés sous forme de pastilles. Une analyse semi-quantitative a été réalisée avec succès par analyse en composantes principales (ACP). Puis les méthodes quantitatives de régression par moindres carrés partiels (PLS) et de réseaux de neurons artificiels (ANN) ont permis de prédire les concentrations de chaque constituant de l’échantillon avec une valeur d’erreur quadratique moyenne inférieure à 0.95 %. Pour chaque méthode de traitement, le choix des données d’entrée et la validation de la méthode ont été discutés en détail. / The aim of this work was the application of multivariate methods to analyze spectral data from laser-induced breakdown spectroscopy (LIBS) and terahertz (THz) spectroscopy to improve the analytical ability of these techniques.In this work, the LIBS data were derived from on-site measurements of soil samples. The common univariate approach was not efficient enough for accurate quantitative analysis and consequently artificial neural networks (ANN) were applied. This allowed quantifying several major and minor elements into soil samples with relative error of prediction lower than 20% compared to reference values. In specific cases, a single ANN model didn’t allow to successfully achieving the quantitative analysis and it was necessary to exploit a series of ANN models, either for classification purpose against a concentration threshold or a matrix type, or for quantification. This complete approach based on a series of ANN models was efficiently applied to the quantitative analysis of unknown soil samples. Based on this work, a module of data treatment by ANN was included into the software Analibs of the IVEA company. The second part of this work was focused on the data treatment of absorbance spectra in the terahertz range. The samples were pressed pellets of mixtures of three products, namely fructose, lactose and citric acid with polyethylene as binder. A very efficient semi-quantitative analysis was conducted by using principal component analysis (PCA). Then, quantitative analyses based on partial least squares regression (PLS) and ANN allowed quantifying the concentrations of each product with a root mean square error (RMSE) lower than 0.95 %. All along this work on data processing, both the selection of input data and the evaluation of each model have been studied in details.

L'imagerie par résonance magnétique fonctionnelle (IRMf) permet de mesurer l'activité cérébrale à travers le flux sanguin apporté aux neurones. Dans cette thèse nous évaluons la capacité de modèles biologiquement plausibles et issus de la vision par ordinateur à représenter le contenu d'une image de façon similaire au cerveau. Les principaux modèles de vision évalués sont les réseaux convolutionnels.Les réseaux de neurones profonds ont connu un progrès bouleversant pendant les dernières années dans divers domaines. Des travaux antérieurs ont identifié des similarités entre le traitement de l'information visuelle à la première et dernière couche entre un réseau de neurones et le cerveau. Nous avons généralisé ces similarités en identifiant des régions cérébrales correspondante à chaque étape du réseau de neurones. Le résultat consiste en une progression des niveaux de complexité représentés dans le cerveau qui correspondent à l'architecture connue des aires visuelles: Plus la couche convolutionnelle est profonde, plus abstraits sont ses calculs et plus haut niveau sera la fonction cérébrale qu'elle sait modéliser au mieux. Entre la détection de contours en V1 et la spécificité à l'objet en cortex inférotemporal, fonctions assez bien comprises, nous montrons pour la première fois que les réseaux de neurones convolutionnels de détection d'objet fournissent un outil pour l'étude de toutes les étapes intermédiaires du traitement visuel effectué par le cerveau.Un résultat préliminaire à celui-ci est aussi inclus dans le manuscrit: L'étude de la réponse cérébrale aux textures visuelles et sa modélisation avec les réseaux convolutionnels de scattering.L'autre aspect global de cette thèse sont modèles de “décodage”: Dans la partie précédente, nous prédisions l'activité cérébrale à partir d'un stimulus (modèles dits d’”encodage”). La prédiction du stimulus à partir de l'activité cérébrale est le méchanisme d'inférence inverse et peut servir comme preuve que cette information est présente dans le signal. Le plus souvent, des modèles linéaires généralisés tels que la régression linéaire ou logistique ou les SVM sont utilisés, donnant ainsi accès à une interprétation des coefficients du modèle en tant que carte cérébrale. Leur interprétation visuelle est cependant difficile car le problème linéaire sous-jacent est soit mal posé et mal conditionné ou bien non adéquatement régularisé, résultant en des cartes non-informatives. En supposant une organisation contigüe en espace et parcimonieuse, nous nous appuyons sur la pénalité convexe d'une somme de variation totale et la norme L1 (TV+L1) pour développer une pénalité regroupant un terme d'activation et un terme de dérivée spatiale. Cette pénalité a la propriété de mettre à zéro la plupart des coefficients tout en permettant une variation libre des coefficients dans une zone d'activation, contrairement à TV+L1 qui impose des zones d’activation plates. Cette méthode améliore l'interprétabilité des cartes obtenues dans un schéma de validation croisée basé sur la précision du modèle prédictif.Dans le contexte des modèles d’encodage et décodage nous tâchons à améliorer les prétraitements des données. Nous étudions le comportement du signal IRMf par rapport à la stimulation ponctuelle : la réponse impulsionnelle hémodynamique. Pour générer des cartes d'activation, au lieu d’un modèle linéaire classique qui impose une réponse impulsionnelle canonique fixe, nous utilisons un modèle bilinéaire à réponse hémodynamique variable spatialement mais fixe à travers les événements de stimulation. Nous proposons un algorithme efficace pour l'estimation et montrons un gain en capacité prédictive sur les analyses menées, en encodage et décodage. / Blood-oxygen-level dependent (BOLD) functional magnetic resonance imaging (fMRI) makes it possible to measure brain activity through blood flow to areas with metabolically active neurons. In this thesis we use these measurements to evaluate the capacity of biologically inspired models of vision coming from computer vision to represent image content in a similar way as the human brain. The main vision models used are convolutional networks.Deep neural networks have made unprecedented progress in many fields in recent years. Even strongholds of biological systems such as scene analysis and object detection have been addressed with enormous success. A body of prior work has been able to establish firm links between the first and last layers of deep convolutional nets and brain regions: The first layer and V1 essentially perform edge detection and the last layer as well as inferotemporal cortex permit a linear read-out of object category. In this work we have generalized this correspondence to all intermediate layers of a convolutional net. We found that each layer of a convnet maps to a stage of processing along the ventral stream, following the hierarchy of biological processing: Along the ventral stream we observe a stage-by-stage increase in complexity. Between edge detection and object detection, for the first time we are given a toolbox to study the intermediate processing steps.A preliminary result to this was obtained by studying the response of the visual areas to presentation of visual textures and analysing it using convolutional scattering networks.The other global aspect of this thesis is “decoding” models: In the preceding part, we predicted brain activity from the stimulus presented (this is called “encoding”). Predicting a stimulus from brain activity is the inverse inference mechanism and can be used as an omnibus test for presence of this information in brain signal. Most often generalized linear models such as linear or logistic regression or SVMs are used for this task, giving access to a coefficient vector the same size as a brain sample, which can thus be visualized as a brain map. However, interpretation of these maps is difficult, because the underlying linear system is either ill-defined and ill-conditioned or non-adequately regularized, resulting in non-informative maps. Supposing a sparse and spatially contiguous organization of coefficient maps, we build on the convex penalty consisting of the sum of total variation (TV) seminorm and L1 norm (“TV+L1”) to develop a penalty grouping an activation term with a spatial derivative. This penalty sets most coefficients to zero but permits free smooth variations in active zones, as opposed to TV+L1 which creates flat active zones. This method improves interpretability of brain maps obtained through cross-validation to determine the best hyperparameter.In the context of encoding and decoding models, we also work on improving data preprocessing in order to obtain the best performance. We study the impulse response of the BOLD signal: the hemodynamic response function. To generate activation maps, instead of using a classical linear model with fixed canonical response function, we use a bilinear model with spatially variable hemodynamic response (but fixed across events). We propose an efficient optimization algorithm and show a gain in predictive capacity for encoding and decoding models on different datasets.

No description available.

Cette thèse propose des approches neuromimétiques d'identification et de commande avec des applications directes au Filtre Actif Parallèle (FAP) et au Moteur Synchrone à Aiment Permanent (MSAP). Une structure neuronale complète a été développée pour réaliser toutes les fonctionnalités d'un FAP pour compenser des harmoniques de courant. La phase instantanée et les composantes symétriques d'un système triphasé de tensions ou de courants ont été estimées avec une boucle à verrouillage de phase neuronale. L'identification des harmoniques de courant a été réalisée avec des réseaux de neurones de type Adaline opérant dans les différents repères. Plusieurs schémas de commande ont été développés pour réinjecter les courants de compensation à l'aide d'un onduleur. Ils sont basés sur des techniques neuromimétiques, sur la logique floue, ou sur leur association. Une approche neuronale a été développée pour commander une MSAP à distribution quelconque avec des contraintes prédéterminées réduisant les ondulations du couple. Elle consiste en des schémas de commande directe en couple ou en vitesse pour obtenir les courants statoriques optimaux qui donnent exactement le couple électromagnétique (ou la vitesse) désiré et qui réduisent au maximum les pertes par effet Joule. Ces commandes intègrent deux blocs neuronaux, l'un dédié au calcul des courants optimaux et l'autre pour assurer leur génération à travers un onduleur de tension. Toutes les approches neuromimétiques ont été validées par des tests de simulation et des essais expérimentaux. Des comparaisons avec les méthodes de commande classique démontrent des caractéristiques supérieures en termes de performance et de robustesse. / This thesis proposes Artificial Neural Networks (ANN) approaches for the identification and the control of an Active Power Filter (APF) and a Permanent-Magnet Synchronous Motor (PMSM). A completed neural architecture was developed for an APF for harmonic currents compensation. The instantaneous phase and the symmetrical components of a three-phase voltage or current were estimated with a neural phase Jock loop. The harmonic terms were identified by Adaline neural networks that estimate the instantaneous powers within different reference frames. Several intelligent techniques, based on neural networks, fuzzy logic or their association, were developed to control the inverter used to inject the harmonic currents phase-opposite. An original neural approach was also carried out for reducing the torque ripple of a non-sinusoidal PMSM. It consists in a direct torque or in a speed control schemes that elaborate the optimal stator currents which exactly give a desired electromagnetic torque or speed and which minimize the ohmic losses. The control schemes integrate two neural networks, one to calculate the optimal currents and one to ensure their generation through an inverter. The neural network approaches were all evaluated by simulated and experimental tests. The results confirm their excellent characteristics in terms of both performance and robustness. Comparisons with conventional methods prove their superiority.

L'objectif de cette thèse était d'appliquer des méthodes d'analyse multivariées au traitement des données provenant de la spectroscopie de plasma induit par laser (LIBS) et de la spectroscopie térahertz (THz) dans le but d'accroître les performances analytiques de ces techniques.Les spectres LIBS provenaient de campagnes de mesures directes sur différents sites géologiques. Une approche univariée n'a pas été envisageable à cause d'importants effets de matrices et c'est pour cela qu'on a analysé les données provenant des spectres LIBS par réseaux de neurones artificiels (ANN). Cela a permis de quantifier plusieurs éléments mineurs et majeurs dans les échantillons de sol avec un écart relatif de prédiction inférieur à 20% par rapport aux valeurs de référence, jugé acceptable pour des analyses sur site. Dans certains cas, il a cependant été nécessaire de prendre en compte plusieurs modèles ANN, d'une part pour classer les échantillons de sol en fonction d'un seuil de concentration et de la nature de leur matrice, et d'autre part pour prédire la concentration d'un analyte. Cette approche globale a été démontrée avec succès dans le cas particulier de l'analyse du plomb pour un échantillon de sol inconnu. Enfin, le développement d'un outil de traitement par ANN a fait l'objet d'un transfert industriel.Dans un second temps, nous avons traité des spectres d'absorbance terahertz. Ce spectres provenaient de mesures d'absorbance sur des mélanges ternaires de Fructose-Lactose-acide citrique liés par du polyéthylène et préparés sous forme de pastilles. Une analyse semi-quantitative a été réalisée avec succès par analyse en composantes principales (ACP). Puis les méthodes quantitatives de régression par moindres carrés partiels (PLS) et de réseaux de neurons artificiels (ANN) ont permis de prédire les concentrations de chaque constituant de l'échantillon avec une valeur d'erreur quadratique moyenne inférieure à 0.95 %. Pour chaque méthode de traitement, le choix des données d'entrée et la validation de la méthode ont été discutés en détail.

Cette thèse envisage un ensemble de méthodes permettant aux algorithmes d'apprentissage statistique de mieux traiter la nature séquentielle des problèmes de gestion de portefeuilles financiers. Nous débutons par une considération du problème général de la composition d'algorithmes d'apprentissage devant gérer des tâches séquentielles, en particulier celui de la mise-à-jour efficace des ensembles d'apprentissage dans un cadre de validation séquentielle. Nous énumérons les desiderata que des primitives de composition doivent satisfaire, et faisons ressortir la difficulté de les atteindre de façon rigoureuse et efficace. Nous poursuivons en présentant un ensemble d'algorithmes qui atteignent ces objectifs et présentons une étude de cas d'un système complexe de prise de décision financière utilisant ces techniques. Nous décrivons ensuite une méthode générale permettant de transformer un problème de décision séquentielle non-Markovien en un problème d'apprentissage supervisé en employant un algorithme de recherche basé sur les K meilleurs chemins. Nous traitons d'une application en gestion de portefeuille où nous entraînons un algorithme d'apprentissage à optimiser directement un ratio de Sharpe (ou autre critère non-additif incorporant une aversion au risque). Nous illustrons l'approche par une étude expérimentale approfondie, proposant une architecture de réseaux de neurones spécialisée à la gestion de portefeuille et la comparant à plusieurs alternatives. Finalement, nous introduisons une représentation fonctionnelle de séries chronologiques permettant à des prévisions d'être effectuées sur un horizon variable, tout en utilisant un ensemble informationnel révélé de manière progressive. L'approche est basée sur l'utilisation des processus Gaussiens, lesquels fournissent une matrice de covariance complète entre tous les points pour lesquels une prévision est demandée. Cette information est utilisée à bon escient par un algorithme qui transige activement des écarts de cours (price spreads) entre des contrats à terme sur commodités. L'approche proposée produit, hors échantillon, un rendement ajusté pour le risque significatif, après frais de transactions, sur un portefeuille de 30 actifs. / This thesis considers a number of approaches to make machine learning algorithms better suited to the sequential nature of financial portfolio management tasks. We start by considering the problem of the general composition of learning algorithms that must handle temporal learning tasks, in particular that of creating and efficiently updating the training sets in a sequential simulation framework. We enumerate the desiderata that composition primitives should satisfy, and underscore the difficulty of rigorously and efficiently reaching them. We follow by introducing a set of algorithms that accomplish the desired objectives, presenting a case-study of a real-world complex learning system for financial decision-making that uses those techniques. We then describe a general method to transform a non-Markovian sequential decision problem into a supervised learning problem using a K-best paths search algorithm. We consider an application in financial portfolio management where we train a learning algorithm to directly optimize a Sharpe Ratio (or other risk-averse non-additive) utility function. We illustrate the approach by demonstrating extensive experimental results using a neural network architecture specialized for portfolio management and compare against well-known alternatives. Finally, we introduce a functional representation of time series which allows forecasts to be performed over an unspecified horizon with progressively-revealed information sets. By virtue of using Gaussian processes, a complete covariance matrix between forecasts at several time-steps is available. This information is put to use in an application to actively trade price spreads between commodity futures contracts. The approach delivers impressive out-of-sample risk-adjusted returns after transaction costs on a portfolio of 30 spreads.

No description available.

The question of the possibility of intelligent machines is fundamentally intertwined with the machines’ ability to reason. Or not. The developments of the recent years point in a completely different direction : What we need is simple, generic but scalable algorithms that can keep learning on their own. This thesis is an attempt to find theoretical explanations to the findings of recent years where empirical evidence has been presented in support of phase transitions in neural networks, power law behavior of various entities, and even evidence of algorithmic universality, all of which are beautifully explained in the context of statistical physics, quantum field theory and statistical field theory but not necessarily in the context of deep learning where no complete theoretical framework is available. Inspired by these developments, and as it turns out, with the overly ambitious goal of providing a solid theoretical explanation of the empirically observed power laws in neu- ral networks, we set out to substantiate the claims that renormalization group theory may be the sought-after theory of deep learning which may explain the above, as well as what we call algorithmic universality. / La question de la possibilité de machines intelligentes est intimement liée à la capacité de ces machines à raisonner. Ou pas. Les développements des dernières années indiquent une direction complètement différente : ce dont nous avons besoin sont des algorithmes simples, génériques mais évolutifs qui peuvent continuer à apprendre de leur propre chef. Cette thèse est une tentative de trouver des explications théoriques aux constatations des dernières années où des preuves empiriques ont été présentées en faveur de transitions de phase dans les réseaux de neurones, du comportement en loi de puissance de diverses entités, et même de l'universialité algorithmique, tout cela étant parfaitement expliqué dans le contexte de la physique statistique, de la théorie quantique des champs et de la théorie statistique des champs, mais pas nécessairement dans le contexte de l'apprentissage profond où aucun cadre théorique complet n'est disponible. Inspiré par ces développements, et comme il s'avère, avec le but ambitieux de fournir une explication théorique solide des lois de puissance empiriquement observées dans les réseaux de neurones, nous avons entrepris de étayer les affirmations selon lesquelles la théorie du groupe de renormalisation pourrait être la théorie recherchée de l'apprentissage profond qui pourrait expliquer cela, ainsi que ce que nous appelons l'universialité algorithmique.