La vision par ordinateur est un domaine interdisciplinaire étudiant la manière dont les ordinateurs peuvent acquérir une compréhension de haut niveau à partir d’images ou de vidéos numériques. En intelligence artificielle, et plus précisément en apprentissage automatique, domaine dans lequel se positionne cette thèse, la vision par ordinateur passe par l’extraction de caractéristiques présentes dans les images puis par la généralisation de concepts liés à ces caractéristiques. Ce domaine de recherche est devenu très populaire ces dernières années, notamment grâce aux résultats des réseaux de neurones convolutifs à la base des méthodes dites d’apprentissage profond. Aujourd’hui les réseaux de neurones permettent, entre autres, de reconnaître les différents objets présents dans une image, de générer des images très réalistes ou même de battre les champions au jeu de Go. Leurs performances ne s’arrêtent d’ailleurs pas au domaine de l’image puisqu’ils sont aussi utilisés dans d’autres domaines tels que le traitement du langage naturel (par exemple en traduction automatique) ou la reconnaissance de son. Dans cette thèse, nous étudions les réseaux de neurones convolutifs afin de développer des architectures et des fonctions de coûts spécialisées à des tâches aussi bien de bas niveau (la constance chromatique) que de haut niveau (la segmentation sémantique d’image). Une première contribution s’intéresse à la tâche de constance chromatique. En vision par ordinateur, l’approche principale consiste à estimer la couleur de l’illuminant puis à supprimer son impact sur la couleur perçue des objets. Les expériences que nous avons menées montrent que notre méthode permet d’obtenir des performances compétitives avec l’état de l’art. Néanmoins, notre architecture requiert une grande quantité de données d’entraînement. Afin de corriger en parti ce problème et d’améliorer l’entraînement des réseaux de neurones, nous présentons plusieurs techniques d’augmentation artificielle de données. Nous apportons également deux contributions sur une problématique de haut niveau : la segmentation sémantique d’image. Cette tâche, qui consiste à attribuer une classe sémantique à chacun des pixels d’une image, constitue un défi en vision par ordinateur de par sa complexité. D’une part, elle requiert de nombreux exemples d’entraînement dont les vérités terrains sont coûteuses à obtenir. D’autre part, elle nécessite l’adaptation des réseaux de neurones convolutifs traditionnels afin d’obtenir une prédiction dite dense, c’est-à-dire, une prédiction pour chacun pixel présent dans l’image d’entrée. Pour résoudre la difficulté liée à l’acquisition de données d’entrainements, nous proposons une approche qui exploite simultanément plusieurs bases de données annotées avec différentes étiquettes. Pour cela, nous définissons une fonction de coût sélective. Nous développons aussi une approche dites d’auto-contexte capturant d’avantage les corrélations existantes entre les étiquettes des différentes bases de données. Finalement, nous présentons notre troisième contribution : une nouvelle architecture de réseau de neurones convolutifs appelée GridNet spécialisée pour la segmentation sémantique d’image. Contrairement aux réseaux traditionnels, notre architecture est implémentée sous forme de grille 2D permettant à plusieurs flux interconnectés de fonctionner à différentes résolutions. Afin d’exploiter la totalité des chemins de la grille, nous proposons une technique d’entraînement inspirée du dropout. En outre, nous montrons empiriquement que notre architecture généralise de nombreux réseaux bien connus de l’état de l’art. Nous terminons par une analyse des résultats empiriques obtenus avec notre architecture qui, bien qu’entraînée avec une initialisation aléatoire des poids, révèle de très bonnes performances, dépassant les approches populaires souvent pré-entraînés / Computer vision is an interdisciplinary field that investigates how computers can gain a high level of understanding from digital images or videos. In artificial intelligence, and more precisely in machine learning, the field in which this thesis is positioned,computer vision involves extracting characteristics from images and then generalizing concepts related to these characteristics. This field of research has become very popular in recent years, particularly thanks to the results of the convolutional neural networks that form the basis of so-called deep learning methods. Today, neural networks make it possible, among other things, to recognize different objects present in an image, to generate very realistic images or even to beat the champions at the Go game. Their performance is not limited to the image domain, since they are also used in other fields such as natural language processing (e. g. machine translation) or sound recognition. In this thesis, we study convolutional neural networks in order to develop specialized architectures and loss functions for low-level tasks (color constancy) as well as high-level tasks (semantic segmentation). Color constancy, is the ability of the human visual system to perceive constant colours for a surface despite changes in the spectrum of illumination (lighting change). In computer vision, the main approach consists in estimating the color of the illuminant and then suppressing its impact on the perceived color of objects. We approach the task of color constancy with the use of neural networks by developing a new architecture composed of a subsampling operator inspired by traditional methods. Our experience shows that our method makes it possible to obtain competitive performances with the state of the art. Nevertheless, our architecture requires a large amount of training data. In order to partially correct this problem and improve the training of neural networks, we present several techniques for artificial data augmentation. We are also making two contributions on a high-level issue : semantic segmentation. This task, which consists of assigning a semantic class to each pixel of an image, is a challenge in computer vision because of its complexity. On the one hand, it requires many examples of training that are costly to obtain. On the other hand, it requires the adaptation of traditional convolutional neural networks in order to obtain a so-called dense prediction, i. e., a prediction for each pixel present in the input image. To solve the difficulty of acquiring training data, we propose an approach that uses several databases annotated with different labels at the same time. To do this, we define a selective loss function that has the advantage of allowing the training of a convolutional neural network from data from multiple databases. We also developed self-context approach that captures the correlations between labels in different databases. Finally, we present our third contribution : a new convolutional neural network architecture called GridNet specialized for semantic segmentation. Unlike traditional networks, implemented with a single path from the input (image) to the output (prediction), our architecture is implemented as a 2D grid allowing several interconnected streams to operate at different resolutions. In order to exploit all the paths of the grid, we propose a technique inspired by dropout. In addition, we empirically demonstrate that our architecture generalize many of well-known stateof- the-art networks. We conclude with an analysis of the empirical results obtained with our architecture which, although trained from scratch, reveals very good performances, exceeding popular approaches often pre-trained

Dans cette thèse, nous présentons des modèles appartenant au domaine de l’intelligence artificielle afin de prédire l’indice magnétique global am à partir des paramètres du vent solaire. Ceci est fait dans l’optique de fournir des modèles opérationnels basés sur les données enregistrées par le satellite ACE situé au point de Lagrange L1. L’indice am ne possède pas à l’heure actuelle de modèles de prédiction. Pour prédire cet indice, nous avons fait appel à des modèles non-linéaires que sont les réseaux de neurones, permettant de modéliser le comportement complexe et non-linéaire de la magnétosphère terrestre. Nous avons dans un premier temps travaillé sur le développement et l’optimisation des modèles de réseaux classiques comme le perceptron multi-couche. Ces modèles ont fait leurs preuves en météorologie spatiale pour prédire aussi bien des indices magnétiques spécifiques à des systèmes de courant comme l’indice Dst, caractéristique du courant annulaire, que des indices globaux comme l’indice Kp. Nous avons en particulier étudié un réseau temporel appelé Time Delay Neural Network (TDNN) et évalué sa capacité à prédire l’indice magnétique am à une heure, uniquement à partir des paramètres du vent solaire. Nous avons analysé la sensibilité des performances des réseaux de neurones en considérant d’une part les données fournies par la base OMNI au niveau de l’onde de choc, et d’autre part des données obtenues par le satellite ACE en L1. Après avoir étudié la capacité de ces réseaux à prédire am, nous avons développé un réseau de neurones encore jamais utilisé en météorologie spatiale, le réseau Long Short Term Mermory ou LSTM. Ce réseau possède une mémoire à court et à long terme, et comme le TDNN, fournit des prédictions de l’indice am uniquement à partir des paramètres du vent solaire. Nous l’avons optimisé afin de modéliser au mieux le comportement de la magnétosphère et avons ainsi obtenu de meilleures performances de prédiction de l'indice am par rapport à celles obtenues avec le TDNN. Nous avons souhaité continuer le développement et l’optimisation du LSTM en travaillant sur l’utilisation de fonctions de couplage en entrée de ce réseau de neurones, et sur le développement de réseaux multisorties pour prédire les indices magnétiques am sectoriels ou aσ, spécifiques à chaque secteur Temps Magnétique Local. Enfin, nous avons développé une nouvelle technique combinant réseau LSTM et processus gaussiens, afin de fournir une prédiction probabiliste jusqu’à six heures des indices magnétiques Dst et am. Cette méthode a été dans un premier temps développée pour l’indice magnétique Dst afin de pouvoir comparer les performances du modèle hybride à des modèles de référence, puis appliquée à l’indice magnétique am. / In this thesis, we present models which belongs to the field of artificial intelligence to predict the geomagnetic index am based on solar wind parameters. This is done in terms to provide operational models based on data recorded by the ACE satellite located at the Lagrangian point L1. Currently, there is no model providing predictions of the geomagnetic index am. To predict this index, we have relied on nonlinear models called neural networks, allowing to model the complex and nonlinear dynamic of the Earth’s magnetosphere. First, we have worked on the development and the optimisation of basics neural networks like the multilayer perceptron. These models have proven in space weather to predict geomagnetic index specific to current systems like the Dst index, characteristic of the ring current, as well as the global geomagnetic index Kp. In particular, we have studied a temporal network, called the Time Delay Neural Network (TDNN) and we assessed its ability to predict the geomagnetic index am within one hour, base only on solar wind parameters. We have analysed the sensitivity of neural network performance when considering on one hand data from the OMNI database at the bow shock, and on the other hand data from the ACE satellite at the L1 point. After studying the ability of neural networks to predict the geomagnetic index am, we have developped a neural network which has never been used before in Space Weather, the Long Short Term Memory or LSTM. Like the TDNN, this network provides am prediction based only on solar wind parameters. We have optimised this network to model at best the magnetosphere behaviour and obtained better performance than the one obtained with the TDNN. We continued the development and the optimisation of the LSTM network by using coupling functions as neural network features, and by developing multioutput networks to predict the sectorial am also called aσ, specific to each Magnetical Local Time sector. Finally, we developped a brand new technique combining the LSTM network and gaussian process, to provide probabilistic predictions up to six hours ahead of geomagnetic index Dst and am. This method has been first developped to predict Dst to be able to compare the performance of this model with reference models, and then applied to the geomagnetic index am.

No description available.

Cette thèse présente une méthode pour désagréger les appareils électriques dans le profil des bâtiments résidentiels de charge. Au cours des dernières années, la surveillance de l’énergie a obtenu beaucoup de popularité dans un environnement privé et industriel. Avec des algorithmes de la désagrégation, les données mesurées à partir de soi-disant compteurs intelligents peuvent être utilisés pour fournir de plus amples informations de la consommation d’énergie. Une méthode pour recevoir ces données est appelé non-intrusifs charge identification. La majeure partie de la thèse peut être divisée en trois parties. Dans un premier temps, un système de mesure propre a été développé et vérifié. Avec ce système, les ensembles de données réelles peuvent être générés pour le développement et la vérification des algorithmes de désagrégation. La deuxième partie décrit le développement d’un détecteur de flanc. Différentes méthodes sont présentées et évaluées, avec lequel les temps de commutation des appareils peuvent être détectés dans le profil de la charge. La dernière partie décrit un procédé de classification. Différents critères sont utilisés pour la classification. Le classificateur reconnaît et étiquette les appareils individuels de la courbe de charge. Pour les classifications différentes structures de réseaux de neurones artificiels sont comparés. / This thesis presents a method to disaggregate electrical appliances in the load profile of residential buildings. In recent years, energy monitoring has obtained significantly popularity in private and industrial environment. With algorithms of the disaggregation, the measured data from so-called smart meters can be used to provide more information of the energy usage. One method to receive these data is called non-intrusive appliance load monitoring.The main part of the thesis can be divided into three parts. At first, an own measurement system was developed and verified. With that system, real data sets can be generated for the development and verification of the disaggregation algorithms. The second part describes the development of an event detector. Different methods are presented and evaluated, with which the switching times of the appliances can be detected in the load profile. The last part describes a classification method. Different features are used for the classification. The classifier recognizes and labels the individual appliances in the load profile. For the classification different structures of artificial neural network (ANN) are compared.

Face à la limitation de la modélisation paramétrique, nous avons proposé dans cette thèse une procédure standard pour combiner les données reçues a partir de Réseaux de capteurs sans fils (WSN) pour modéliser a l'aide de Réseaux de Neurones Artificiels (ANN). Des expériences sur la modélisation thermique ont permis de démontrer que la combinaison de WSN et d'ANN est capable de produire des modèles thermiques précis. Une nouvelle méthode de formation "Multi-Pattern Cross Training" (MPCT) a également été introduite dans ce travail. Cette méthode permet de fusionner les informations provenant de différentes sources de données d'entraînements indépendants (patterns) en un seul modèle ANN. D'autres expériences ont montré que les modèles formés par la méthode MPCT fournissent une meilleure performance de généralisation et que les erreurs de prévision sont réduites. De plus, le modèle de réseau neuronal basé sur la méthode MPCT a montré des avantages importants dans le multi-variable Model Prédictive Control (MPC). Les simulations numériques indiquent que le MPC basé sur le MPCT a surpassé le MPC multi-modèles au niveau de l'efficacité du contrôle. / A Wireless Sensor Network (WSN) consisting of autonomous sensor nodes can provide a rich stream of sensor data representing physical measurements. A well built Artificial Neural Network (ANN) model needs sufficient training data sources. Facing the limitation of traditional parametric modeling, this paper proposes a standard procedure of combining ANN and WSN sensor data in modeling. Experiments on indoor thermal modeling demonstrated that WSN together with ANN can lead to accurate fine grained indoor thermal models. A new training method "Multi-Pattern Cross Training" (MPCT) is also introduced in this work. This training method makes it possible to merge knowledge from different independent training data sources (patterns) into a single ANN model. Further experiments demonstrated that models trained by MPCT method shew better generalization performance and lower prediction errors in tests using different data sets. Also the MPCT based Neural Network Model has shown advantages in multi-variable Neural Network based Model Predictive Control (NNMPC). Software simulation and application results indicate that MPCT implemented NNMPC outperformed Multiple models based NNMPC in online control efficiency.

Depuis sa création, la projection thermique ne cesse d’étendre son champ d’application en raison de ses potentialités à projeter des matériaux bien différents (métallique, céramique, plastique,...) sous des formes bien différentes aussi (poudre, fil, suspension, solution,...). Plusieurs types de procédés ont été développés afin de satisfaire les applications industrielles, par exemple, le procédé HVOF (High Velocity Oxygen Fuel), le procédé APS (Atmospheric Plasma Spraying), le procédé VLPPS (Very Low Pressure Plasma Spray). Parmi ces procédés, le procédé APS est aujourd’hui bien implanté dans l’industrie et en laboratoire réussissant à élaborer des revêtements de bonne qualité à coût intéressant. Néanmoins, cette technologie pâtit des incidences des instabilités du procédé sur la qualité du produit obtenu et souffre d’un manque de compréhension des relations entre les paramètres opératoires et les caractéristiques des particules en vol.Pour rappel, pendant la projection APS, les phénomènes d’instabilité du pied d’arc, d’érosion des électrodes, d’instabilité des paramètres opératoires ne peuvent pas être complètement éliminés. Et, il est encore aujourd’hui difficile de mesurer et de bien contrôler ces paramètres.Compte tenu des progrès réalisés sur les moyens de diagnostic qui peuvent être utilisés en milieu hostile (comme dans le cas de la projection APS), un contrôle efficace de ce procédé en boucle fermée peut être maintenant envisagé et requiert le développement d’un système expert qui se compose des réseaux de neurones artificiels et de logique floue. Les réseaux de neurones artificiels sont développés dans plusieurs domaines d’application et aussi maintenant au cas de la projection thermique. La logique floue quant à elle est une extension de la logique booléenne basée sur la théorie mathématique des ensembles flous. Nous nous sommes intéressés dans ce travail à bâtir le modèle de contrôle en ligne du procédé de projection basé sur des éléments d’Intelligence Artificielle et à construire un émulateur qui reproduise aussi fidèlement que possible le comportement dynamique du procédé. / Since its creation, the thermal spraying continuously expands its application scope because of its potential to project very different materials (metal, ceramic, plastic ...) as well as different forms (powder, wire, suspension, solution ...). Several types of methods have been developed to meet industrial applications, for example, the process HVOF (High Velocity Oxygen Fuel), the process APS (Atmospheric Plasma Spraying), the process VLPPS (Very Low Pressure Plasma Spray). Among these methods, the APS process is now well established in the industry and laboratory for successfully developing coatings with good quality but low cost. However, this technology suffers from the instability effect of the process on the obtained product quality and endures a lack of understanding of the relationship between the operating parameters and the characteristics of in-flight particles.As a reminder, during the projection APS, the arc foot instability phenomena, the electrode erosion, the instability of the operating parameters cannot be completely eliminated. Further, it is still difficult to measure and control these parameters well. With the developing technology of diagnostic tools that can be used in a hostile environment (as in the case of APS process), an effective control of APS process in closed-loop can be considered and requires the development of an expert system consisting of artificial neural networks and fuzzy logic controlling. The artificial neural networks have been developed in several application fields and now also to plasma spraying process. Fuzzy logic controlling is an extension of Boolean logic based on the mathematical theory of fuzzy sets.We are interested in this work to build an on-line control model for the APS process based on the elements of artificial intelligence and to build an emulator that replicates as closely as possible the dynamic behavior of the process. Further, the artificial neural networks will be combined with the emulator for constituting a big system who can monitor the process and also can automatically carry out modification action. The system then will be tested off-line, the time response will be discussed.

Depuis environ cinq ans, les systèmes hybrides neurosymboliques (SHNS) combinent réseaux de neurones artificiels et systèmes symboliques (systèmes à base de connaissances), dans le but de profiter de leurs points forts respectifs. Nous présentons une taxonomie des nombreux SHNS existants, selon deux points de vue, le degré de couplage (faible, étroit, fort) et le type d'interactions (pré/post-traitement, sous-traitance, coopération, méta-traitement). La taxonomie comprend aussi deux approches moins hybrides de l'intégration des caractéristiques des réseaux de neurones et des systèmes symboliques, l'approche purement neuronale et celle fondée sur des traductions. Nous étudions ensuite un SHNS existant, SYNHESYS, et examinons ses possibilités d'application en micro-électronique et en géographie alpine. Puis nous proposons une nouvelle architecture hybride, NESSY3L, et son application au pilotage réactif d'un robot mobile. L'architecture comporte trois niveaux coopérants, neuronal pur, neurosymbolique, symbolique pur, et a été intégrée dans le simulateur de robot MOLUSC. Cette architecture offre des perspectives intéressantes pour les SHNS, dont la prise en compte du temps, le développement de mécanismes inter-niveaux et l'évolution vers un couplage fort, l'utilisation d'idées provenant des autres approches de l'intégration neurosymbolique.

Je présente mon parcours scientifique au sein de l'IEF dont le fil conducteur est constitué par l'étude de l'impact des technologies sur les architectures de calcul. <br />Durant ma thèse au sein du département AXIS de l'IEF, j'ai étudié les architectures analogiques dédiées à la simulation d'un modèle stochastique de réseau de neurone, du point de vue de sa robustesse, des possibilités de compensation des défauts par apprentissage et des vitesses de simulation. Je montre comment les conclusions de ces travaux m'ont conduit à travailler sur les applications au traitement d'image et plus particulièrement sur des rétines programmables.<br />Ensuite, j'explique comment j'ai abordé la synthèse logique adaptée aux circuits à parois de domaines magnétiques à l'occasion d'une conversion thématique où j'ai rejoint le département NST de l'IEF. Enfin, je présente les développements récents sur l'utilisation des méthodes d'apprentissage d'inspiration neuronale permettant de donner une fonction à une assemblée de nanocomposants émergents organisée en cross-bar.

Ce travail se compose de deux parties relevant d'applications industrielles différentes. <br />La première traite d'une antenne spatiale réseau active. <br />Il faut d'abord calculer les lois d'alimentation pour satisfaire les contraintes de rayonnement. Nous transformons un problème avec de nombreux minima locaux en un problème d'optimisation convexe, dont l'optimum est le minimum global du problème initial, en utilisant le principe de conservation de l'énergie. <br />Nous résolvons ensuite un problème d'optimisation topologique: il faut réduire le nombre d'éléments rayonnants (ER). Nous appliquons une décomposition en valeurs singulières à l'ensemble des modules optimaux relaxés, puis un algorithme de type gradient topologique décide les regroupements entre ER élémentaires. <br /><br />La deuxième partie porte sur une simulation type boîte noire d'un accident chimique. <br />Nous effectuons une étude de fiabilité et de sensibilité suivant un grand nombre de paramètres (probabilités de défaillance, point de conception, et paramètres influents). Sans disposer du gradient, nous utilisons un modèle réduit. <br />Dans un premier cas test nous avons comparé les réseaux neuronaux et la méthode d'interpolation sur grille éparse Sparse Grid (SG). Les SG sont une technique émergente: grâce à leur caractère hiérarchique et un algorithme adaptatif, elles deviennent particulièrement efficaces pour les problèmes réels (peu de variables influentes). <br />Elles sont appliquées à un cas test en plus grande dimension avec des améliorations spécifiques (approximations successives et seuillage des données). <br />Dans les deux cas, les algorithmes ont donné lieu à des logiciels opérationnels.

Les algorithmes génétiques, la logique floue et les réseaux de neurones sont de plus en plus utilisés dans des domaines d'application très variés. Nous nous proposons de les étudier dans le cadre de l'identification et de la commande de la machine asynchrone. Plus particulièrement, nous utilisons les algorithmes génétiques afin d'identifier les paramètres du modèle dynamique de la machine. Des régulateurs, à base de logique floue et de réseaux de neurones, sont implantés au sein d'une commande vectorielle par orientation du flux rotorique. Est également abordée l'influence de la variation des paramètres sur le fonctionnement du système. Les défauts de structure de la machine asynchrone sont considérés dans le cas des ruptures de barres au rotor. Le diagnostic de ces défauts ainsi que leur influence sur le comportement de la régulation sont étudiés. Enfin, une amélioration de la commande vectorielle sans capteur mécanique est présentée ouvrant une voie vers les techniques intelligentes de commande. Ces dernières sont maintenant possibles compte tenu de la puissance sans cesse grandissante des processeurs. Un logiciel de simulation, développé dans le cadre de la thèse, a permis de mener une bonne partie des études présentées. Une attention particulière a été accordée à la partie expérimentale, seul garant de la faisabilité et de la validation de l'étude.