SYRACO est un SYstème de Reconnaissance Automatisée des COccolithes, développé à son origine par Luc Beaufort et Denis Dollfus à partir de 1995 et plus récemment avec Yves Gally. L'utilité d'un tel système est de permettre aux spécialistes un gain de temps majeur dans l'acquisition et le traitement des données. Dans ce travail, le système a été amélioré techniquement et sa reconnaissance a été étendue aux nannofossiles calcaires du Cénozoïque. Ce système fait le tri entre les nannofossiles et les non-nannofossiles avec une efficacité respectivement estimée à 75% et 90 %. Il s'appuie sur une nouvelle base d'images de référence d'espèces datant de l'Eocène Supérieur aux espèces vivantes, ce qui représente des centaines d'espèces avec une forte variabilité morphologique. Il permet de réaliser une classification en 39 morphogroupes par la combinaison de réseaux de neurones artificiels avec des modèles statistiques. Les résultats sont présentés sous forme de comptages automatisés, de données morphométriques (taille, masse...) et de mosaïques d'images. Il peut ainsi être utilisé pour des analyses biostratigraphiques et paléocéanographiques. / SYRACO is an automated recognition system of coccoliths, originally developed since 1995 by Luc Beaufort and Denis Dollfus, and more recently with the help of Yves Gally. The main purpose of this system is for specialists to save time in the acquisition and treatment of data. By this recent work, the system has been technically improved and its ability of recognition has been extended to calcareous nannofossils of the Cenozoic Era. It sorts nannofossils and non-nannofossils with a reliability respectively estimated to 75% and 90%. It is based on a new reference images database of species from the Upper Eocene up to living species. This represents hundreds of species with a high morphological variability. It leads to the establishment of a classification arranged in 39 morphogroups, combining artificial neural networks to statistical models. The results are presented as automated counting, morphometrical data (size, mass...) and mosaics of images. Those results can be valuable in biostratigraphical and paleoceanographical analyses.

L'augmentation du parallélisme, sur des puces dont la densité d'intégration est en constante croissance, soulève un certain nombre de défis tels que le routage de l'information qui se confronte au problème de "goulot d'étranglement de données", ou la simple difficulté à exploiter un parallélisme massif et grandissant avec les paradigmes de calcul modernes issus pour la plupart, d'un historique séquentiel.Nous nous inscrivons dans une démarche bio-inspirée pour définir un nouveau type d'architecture, basée sur le concept d'auto-adaptation, afin de décharger le concepteur au maximum de cette complexité. Mimant la plasticité cérébrale, cette architecture devient capable de s'adapter sur son environnement interne et externe de manière homéostatique. Il s'inscrit dans la famille du calcul incorporé ("embodied computing") car le substrat de calcul n'est plus pensé comme une boite noire, programmée pour une tâche donnée, mais est façonné par son environnement ainsi que par les applications qu'il supporte.Dans nos travaux, nous proposons un modèle de carte neuronale auto-organisatrice, le DMADSOM (pour Distributed Multiplicative Activity Dependent SOM), basé sur le principe des champs de neurones dynamiques (DNF pour "Dynamic Neural Fields"), pour apporter le concept de plasticité à l'architecture. Ce modèle a pour originalité de s'adapter sur les données de chaque stimulus sans besoin d'un continuum sur les stimuli consécutifs. Ce comportement généralise les cas applicatifs de ce type de réseau car l'activité est toujours calculée selon la théorie des champs neuronaux dynamique. Les réseaux DNFs ne sont pas directement portables sur les technologies matérielles d'aujourd'hui de part leurs forte connectivité. Nous proposons plusieurs solutions à ce problème. La première consiste à minimiser la connectivité et d'obtenir une approximation du comportement du réseau par apprentissage sur les connexions latérales restantes. Cela montre un bon comportement dans certain cas applicatifs. Afin de s'abstraire de ces limitations, partant du constat que lorsqu'un signal se propage de proche en proche sur une topologie en grille, le temps de propagation représente la distance parcourue, nous proposons aussi deux méthodes qui permettent d'émuler, cette fois, l'ensemble de la large connectivité des Neural Fields de manière efficace et proche des technologies matérielles. Le premier substrat calcule les potentiels transmis sur le réseau par itérations successives en laissant les données se propager dans toutes les directions. Il est capable, en un minimum d'itérations, de calculer l'ensemble des potentiels latéraux de la carte grâce à une pondération particulière de l'ensemble des itérations.Le second passe par une représentation à spikes des potentiels qui transitent sur la grille sans cycles et reconstitue l'ensemble des potentiels latéraux au fil des itérations de propagation.Le réseau supporté par ces substrats est capable de caractériser les densités statistiques des données à traiter par l'architecture et de contrôler, de manière distribuée, l'allocation des cellules de calcul. / The increasing degree of parallelism on chip which comes from the always increasing integration density, raises a number of challenges such as routing information that confronts the "bottleneck problem" or the simple difficulty to exploit massive parallelism thanks to modern computing paradigms which derived mostly from a sequential history.In order to discharge the designer of this complexity, we design a new type of bio-inspired self-adaptive architecture. Mimicking brain plasticity, this architecture is able to adapt to its internal and external environment and becomes homeostatic. Belonging to the embodied computing theory, the computing substrate is no longer thought of as a black box, programmed for a given task, but is shaped by its environment and by applications that it supports.In our work, we propose a model of self-organizing neural map, DMADSOM (for Distributed Multiplicative Activity Dependent SOM), based on the principle of dynamic neural fields (DNF for "Dynamic Neural Fields"), to bring the concept of hardware plasticity. This model is able to adapt the data of each stimulus without need of a continuum on consecutive stimuli. This behavior generalizes the case of applications of such networks. The activity remains calculated using the dynamic neural field theory. The DNFs networks are not directly portable onto hardware technology today because of their large connectivity. We propose models that bring solutions to this problem. The first is to minimize connectivity and to approximate the global behavior thanks to a learning rule on the remaining lateral connections. This shows good behavior in some application cases. In order to reach the general case, based on the observation that when a signal travels from place to place on a grid topology, the delay represents the distance, we also propose two methods to emulate the whole wide connectivity of the Neural Field with respect to hardware technology constraints. The first substrate calculates the transmitted potential over the network by iteratively allowing the data to propagate in all directions. It is capable, in a minimum of iterations, to compute the lateral potentials of the map with a particular weighting of all iterations.The second involves a spike representation of the synaptic potential and transmits them on the grid without cycles. This one is hightly customisable and allows a very low complexity while still being capable to compute the lateral potentials.The network supported, by these substrates, is capable of characterizing the statistics densities of the data to be processed by the architecture, and to control in a distributed manner the allocation of computation cells.

Le Reservoir Computing (RC) est un paradigme s’inspirant du cerveau humain, apparu récemment au début des années2000. Il s'agit d'un calculateur neuromorphique habituellement décomposé en trois parties dont la plus importanteappelée "réservoir" est très proche d'un réseau de neurones récurrent. Il se démarque des autres réseaux de neuronesartificiels notamment grâce aux traditionnelles phases d'apprentissage et d’entraînement qui ne sont plus appliquées surla totalité du réseau de neurones mais uniquement sur la lecture du réservoir, ce qui simplifie le fonctionnement etfacilite une réalisation physique. C'est précisément dans ce contexte qu’ont été réalisés les travaux de recherche de cettethèse, durant laquelle nous avons réalisé une première implémentation physique opto-électronique de système RC.Notre approche des systèmes physiques RC repose sur l'utilisation de dynamiques non-linéaires à retards multiples dansl'objectif de reproduire le comportement complexe d'un réservoir. L'utilisation d'un système dynamique purementtemporel pour reproduire la dimension spatio-temporelle d'un réseau de neurones traditionnel, nécessite une mise enforme particulière des signaux d'entrée et de sortie, appelée multiplexage temporel ou encore étape de masquage. Troisannées auront été nécessaires pour étudier et construire expérimentalement nos démonstrateurs physiques basés sur desdynamiques non-linéaires à retards multiples opto-électroniques, en longueur d'onde et en intensité. La validationexpérimentale de nos systèmes RC a été réalisée en utilisant deux tests de calcul standards. Le test NARMA10 (test deprédiction de séries temporelles) et la reconnaissance vocale de chiffres prononcés (test de classification de données) ontpermis de quantifier la puissance de calcul de nos systèmes RC et d'atteindre pour certaines configurations l'état del'art. / Reservoir Computing (RC) is a currently emerging new brain-inspired computational paradigm, which appeared in theearly 2000s. It is similar to conventional recurrent neural network (RNN) computing concepts, exhibiting essentiallythree parts: (i) an input layer to inject the information in the computing system; (ii) a central computational layercalled the Reservoir; (iii) and an output layer which is extracting the computed result though a so-called Read-Outprocedure, the latter being determined after a learning and training step. The main originality compared to RNNconsists in the last part, which is the only one concerned by the training step, the input layer and the Reservoir beingoriginally randomly determined and fixed. This specificity brings attractive features to RC compared to RNN, in termsof simplification, efficiency, rapidity, and feasibility of the learning, as well as in terms of dedicated hardwareimplementation of the RC scheme. This thesis is indeed concerned by one of the first a hardware implementation of RC,moreover with an optoelectronic architecture.Our approach to physical RC implementation is based on the use of a sepcial class of complex system for the Reservoir,a nonlinear delay dynamics involving multiple delayed feedback paths. The Reservoir appears thus as a spatio-temporalemulation of a purely temporal dynamics, the delay dynamics. Specific design of the input and output layer are shownto be possible, e.g. through time division multiplexing techniques, and amplitude modulation for the realization of aninput mask to address the virtual nodes in the delay dynamics. Two optoelectronic setups are explored, one involving awavelength nonlinear dynamics with a tunable laser, and another one involving an intensity nonlinear dynamics with anintegrated optics Mach-Zehnder modulator. Experimental validation of the computational efficiency is performedthrough two standard benchmark tasks: the NARMA10 test (prediction task), and a spoken digit recognition test(classification task), the latter showing results very close to state of the art performances, even compared with purenumerical simulation approaches.

Ce travail de thèse propose des approches d’identification et de reconnaissance des harmoniques de courant qui sont basées sur des stratégies d’apprentissage automatique. Les approches proposées s’appliquent directement dans les dispositifs d’amélioration de la qualité de l’énergie électrique.Des structures neuronales complètes, dotées de capacités d’apprentissage automatique, ont été développées pour identifier les composantes harmoniques d’un signal sinusoïdal au sens large et plus spécifiquement d’un courant alternatif perturbé par des charges non linéaires. L’identification des harmoniques a été réalisée avec des réseaux de neurones de type Multi–Layer Perceptron (MLP). Plusieurs schémas d’identification ont été développés, ils sont basés sur un réseau MLP composé de neurones linéaire ou sur plusieurs réseaux MLP avec des apprentissages spécifiques. Les harmoniques d’un signal perturbé sont identifiées avec leur amplitude et leur phase, elles peuvent servir à générer des courants de compensation pour améliorer la forme du courant électrique. D’autres approches neuronales a été développées pour reconnaître les charges. Elles consistent en des réseaux MLP ou SVM (Support Vector Machine) et fonctionnent en tant que classificateurs. Leur apprentissage permet à partir des harmoniques de courant de reconnaître le type de charge non linéaire qui génère des perturbations dans le réseau électrique. Toutes les approches d’identification et de reconnaissance des harmoniques ont été validées par des tests de simulation à l’aide des données expérimentales. Des comparaisons avec d’autres méthodes ont démontré des performances supérieures et une meilleure robustesse. / This thesis proposes identifying approaches and recognition of current harmonics that are based on machine learning strategies. The approaches are applied directly in the quality improvement devices of electric energy and in energy management solutions. Complete neural structures, equipped with automatic learning capabilities have been developed to identify the harmonic components of a sinusoidal signal at large and more specifically an AC disturbed by non–linear loads. The harmonic identification is performed with multilayer perceptron neural networks (MLP). Several identification schemes have been developed. They are based on a MLP neural network composed of linear or multiple MLP networks with specific learning. Harmonics of a disturbed signal are identified with their amplitude and phases. They can be used to generate compensation currents fed back into the network to improve the waveform of the electric current. Neural approaches were developed to distinguish and to recognize the types of harmonics and is nonlinear load types that are at the origin. They consist of MLP or SVM (Support Vector Machine) acting as classifier that learns the harmonic profile of several types of predetermined signals and representative of non–linear loads. They entry are the parameters of current harmonics of the current wave. Learning can recognize the type of nonlinear load that generates disturbances in the power network. All harmonics identification and recognition approaches have been validated by simulation tests or using experimental data. The comparisons with other methods have demonstrated superior characteristics in terms of performance and robustness.

L’Intelligence Ambiamte (AmI) est un domaine de recherche investigant les techniques d’intelligence artificielle pour créer des environnements réactifs. Les réseaux de capteurs et effecteurs sans-fils sont les supports de communication entre les appareils ménagers, les services installés et les interfaces homme-machine. Cette thèse s’intéresse à la conception d’Environements Réactifs avec des propriétés autonomiques i.e. des systèmes qui ont la capacité de se gérer eux-même. De tels environements sont ouverts, à grande échelle, dynamique et hétérogène, ce qui induit certains problèmes pour leur gestion par des systèmes monolithiques. L’approche proposée est bio-inspirée en considérant chacune des plate-formes comme une cellule indépendente formant un organisme intelligent distribué. Chaque cellule est programmée par un processus ADN-RNA décrit par des règles réactives décrivant leur comportement interne et externe. Ces règles sont modelées par des agents mobiles ayant des capacités d’auto-réécriture et offrant ainsi des possibilités de reprogrammation dynamique. Le framework EMMA est composé d’un middleware modulaire avec une architecture orientée ressource basée sur la technologie 6LoWPAN et d’une architecture MAPE-K pour concevoir des AmI à plusieurs échelles. Les différentes relations entre les problèmes techniques et les besoins théoriques sont discutées dans cette thèse depuis les plate-formes, le réseau, le middleware, les agents mobiles, le déploiement des applications jusqu’au système intelligent. Deux algorithmes pour AmI sont proposés : un modèle de contrôleur neuronal artificiel pour le contrôle automatique des appareils ménagers avec des processus d’apprentissage ainsi qu’une procédure de vote distribuée pour synchroniser les décisions de plusieurs composants systèmes. / AThe Ambient Intelligence (AmI) is a research area investigating AI techniques to create Responsive Environments (RE). Wireless Sensor and Actor Network (WSAN) are the supports for communications between the appliances, the deployed services and Human Computer Interface (HCI). This thesis focuses on the design of RE with autonomic properties i.e. system that have the ability to manage themselves. Such environments are open, large scale, dynamic and heterogeneous which induce some difficulties in their management by monolithic system. The bio-inspired proposal considers all devices like independent cells forming an intelligent distributed organism. Each cell is programmed by a DNA-RNA process composed of reactive rules describing its internal and external behaviour. These rules are modelled by reactive agents with self-rewriting features offering dynamic reprogramming abilities. The EMMA framework is composed of a modular Resource Oriented Architecture (ROA) Middleware based on IPv6 LoW Power Wireless Area Networks (6LoWPAN) technology and a MAPE-K architecture to design multi-scale AmI. The different relations between technical issues and theoretical requirements are discussed through the platforms, the network, the middleware, the mobile agents, the application deployment to the intelligent system. Two algorithms for AmI are proposed: an Artificial Neural Controller (ANC) model for automatic control of appliances with learning processes and a distributed Voting Procedures (VP) to synchronize the decisions of several system components over the WSAN.

Les protocoles avec alternance de traitements sont des protocoles expérimentaux à cas uniques utiles pour évaluer et pour comparer l’efficacité d’interventions. Pour l’analyse de ces protocoles, les meilleures pratiques suggèrent aux chercheurs et aux professionnels d’utiliser conjointement les analyses statistiques et visuelles, mais ces méthodes produisent des taux d’erreurs insatisfaisants sous certaines conditions. Dans le but de considérer cet enjeu, notre étude a examiné l’utilisation de réseaux de neurones artificiels pour analyser les protocoles avec alternance de traitements et a comparé leurs performances à trois autres approches récentes. Plus précisément, nous avons examiné leur précision, leur puissance statistique et leurs erreurs de type I sous différentes conditions. Bien qu’il ne soit pas parfait, le modèle de réseaux de neurones artificiels présentait en général de meilleurs résultats et une plus grande stabilité à travers les analyses. Nos résultats suggèrent que les réseaux de neurones artificiels puissent être des solutions prometteuses pour analyser des protocoles avec alternance de traitements. / Alternating-treatment designs are useful single-case experimental designs for the evaluation and comparison of intervention effectiveness. Most guidelines suggest that researchers and practitioners use a combination of statistical and visual analyses to analyze these designs, but current methods still produce inadequate levels of errors under certain conditions. In an attempt to address this issue, our study examined the use of artificial neural networks to analyze alternating-treatment designs and compared their performances to three other recent approaches. Specifically, we examined accuracy, statistical power, and type I error rates under various conditions. Albeit not perfect, the artificial neural networks model generally provided better and more stable results across analyses. Our results suggest that artificial neural networks are promising alternatives to analyze alternating-treatment designs.

No description available.

Le sujet de cette thèse est le développement de nouvelles approximations à l’énergie d’échange-corrélation (XC) en théorie de la fonctionnelle de la densité (DFT). La DFT calcule l’énergie électronique d’une molécule à partir de la densité électronique, une quantité qui est considérablement plus simple que la fonction d’onde. Cette théorie a été développée durant les années 1960 et elle est devenue la méthode de choix en chimie quantique depuis 1990, grâce à un ratio coût/précision très favorable. En pratique, la DFT est utilisée par les chercheurs et l’industrie pour prédire des spectres infrarouges, la longueur des liens chimiques, les barrières d’activation, etc. Selon l’approche Kohn-Sham, seulement le terme de l’énergie XC est inconnu et doit être approximé. Les chapitres de ce texte sont des articles consacrés au développement d’approches non locales et à l’utilisation de l’apprentissage automatique pour améliorer la précision et/ou la rapidité des calculs de l’énergie XC. Le premier article de cette thèse concerne le développement d’approximations non locales au trou XC [Cuierrier, Roy, et Ernzerhof, JCP (2021)]. Notre groupe de recherche a précédemment développé la méthode du facteur de corrélation (CFX) [Pavlíková Přecechtělová, Bahmann, Kaupp, et Ernzerhof, JCP (2015)] et malgré les résultats supérieurs de CFX comparativement aux fonctionnelles courantes en DFT pour le calcul de l’énergie, cette approche n’est pas exacte pour les systèmes uniélectroniques. Les méthodes non locales telles que le facteur X [Antaya, Zhou, et Ernzerhof, PRA (2014)] corrigent ce problème. Ainsi, le but du projet du premier article est de combiner CFX avec le facteur X, afin de former un facteur XC exact pour l’atome d’hydrogène, tout en conservant les bonnes prédictions de CFX pour les molécules. Nos résultats montrent que notre modèle non local est exact pour les systèmes uniélectroniques, cependant, la densité électronique non locale a un comportement fortement oscillatoire qui rend difficile la construction du facteur XC et la qualité de ses prédictions pour les propriétés moléculaires est inférieure aux fonctionnelles hybrides. Notre étude permet de fournir une explication concernant l’échec des méthodes non locales en chimie, comme l’approximation de la densité pondérée [Gunnarsson, Jonson, et Lundqvist, PLA (1976)]. Les nombreuses oscillations de la densité non locale limitent la performance des facteurs XC qui sont trop simples et qui ne peuvent pas atténuer ces oscillations. vLe sujet du deuxième article de cette thèse [Cuierrier, Roy et Ernzerhof, JCP (2021)] est relié aux difficultés rencontrées durant le premier projet. L’apprentissage automatique (ML) est devenu une méthode populaire dans tous les domaines de la science. Les réseaux de neurones artificiels (NN) sont particulièrement puissants, puisqu’ils permettent un contrôle et une flexibilité considérables lors de la construction de fonctions approximatives. Ainsi, nous utilisons un NN pour modéliser le trou X à partir de contraintes physiques. Durant le premier projet de cette thèse, nous avons observé qu’une fonction mathématique simple n’est pas adaptée pour être combinée avec la densité non locale, les NN pourraient donc être un outil utile pour approximer un trou X. Néanmoins, ce chapitre s’intéresse à la densité locale, avant de s’attaquer à la non-localité. Les résultats que nous avons obtenus lors du calcul des énergies X des atomes montrent le potentiel des NN pour construire automatiquement des modèles du trou X. Une deuxième partie de l’article suggère qu’un NN permet d’ajouter d’autres contraintes à des approximations du trou X déjà existantes, ce qui serait utile pour améliorer CFX. Sans les NN, il est difficile de trouver une équation analytique pour accomplir cette tâche. L’utilisation du ML est encore récente en DFT, mais ce projet a contribué à montrer que les NN ont beaucoup d’avenir dans le domaine de la construction de trou XC. Finalement, le dernier chapitre concerne un projet [Cuierrier, Roy, Wang, et Ernzerhof, JCP (2022)] qui utilise aussi des NN en DFT. Des travaux précédents du groupe ont montré que le terme de quatrième ordre du développement en série de puissances de la distance interélectronique du trou X (Tσ (r)) [Wang, Zhou, et Ernzerhof, PRA (2017)] est un ingrédient utile pour améliorer les approximations du calcul de l’énergie X pour les molécules. Cependant, il n’a pas été possible de construire un modèle qui satisfait le deuxième et le quatrième terme du développement en série de puissances simultanément. Ainsi, avec l’expertise développée en apprentissage automatique lors du deuxième projet, le but de l’étude du troisième article est d’utiliser Tσ (r) comme une variable d’entrée à un NN qui approxime l’énergie X. Nous avons montré qu’en utilisant comme ingrédients la fonctionnelle de PBE, Tσ (r) et un NN, il est possible de s’approcher de la qualité des résultats d’une fonctionnelle hybride (PBEh) pour le calcul d’énergies d’atomisation, de barrières d’activation et de prédiction de la densité électronique. Cette étude démontre que Tσ (r) contient de l’information utile pour le développement de nouvelles fonctionnelles en DFT. Tσ (r) est en principe plus rapide à calculer que l’échange exact, donc nos fonctionnelles pourraient s’approcher de l’exactitude d’une fonctionnelle hybride, tout en étant plus rapides à calculer. / The subject of this thesis is the development of new approximations for the exchange- correlation (XC) energy in Density Functional Theory (DFT). DFT calculates the electronic energy from the electronic density, which is a considerably simpler quantity than the wave function. DFT was developed during the 1960s and became the most popular method in quantum chemistry during the 1990s, thanks to its favourable cost/precision ratio. In practice, DFT is used by scientists and the industry to predict infrared spectra, bond lengths, activation energies, etc. The Kohn-Sham approach in DFT is by far the most popular, since it is exact in theory and only the XC functional has to be be approximated. The exact form of the XC functional is unknown, thus the development of new approximations for the XC functional is an important field of theoretical chemistry. In this thesis, we will describe the development of new non-local methods and the use of machine learning to improve the prediction and the efficiency of the calculation of XC energy. The first article in this thesis [Cuierrier, Roy, and Ernzerhof, JCP (2021)] is about the development of non-local approximations of the XC hole. Our research group previously developed the correlation factor approach (CFX) [Pavlíková Přecechtělová, Bahmann, Kaupp, and Ernzerhof, JCP (2015)]. The prediction of CFX for molecular properties compares favourably to other common functionals. However, CFX suffers from one-electron self-interaction error (SIE). Non-local models such as the X factor [Antaya, Zhou, and Ernzerhof, PRA (2014)] can fix the SIE, thus the goal of this project is to combine CFX with the X factor to build a non-local XC factor. We show that our method is exact for one-electron systems, however, our simple XC factor is not appropriate for the oscillatory behaviour of the non-local density and the results for molecules are inferior when compared to hybrid functionals. Our study provides an explanation of why non-local models, such as the weighted density approximation [Gunnarsson, Jonson, and Lundqvist, PLA (1976)], are not as successful as the common DFT functionals (PBE, B3LYP, etc.) in chemistry. The non-local electronic density is an elaborate function and often has a large number of local minima and maxima. The development of functionals using simple XC factors does not lead to satisfying results for the prediction of molecular energies. Therefore, a sophisticated XC factor that could attenuate the oscillatory shape of the non-local density is required. viiThe second article [Cuierrier, Roy, and Ernzerhof, JCP(2021)] addresses the difficulties observed for the development of non-local functionals during the first project. Machine learning (ML) is a useful technique that is gaining popularity in many fields of science, including DFT. Neural networks (NN) are particularly powerful, since their structure allows considerable flexibility to approximate functions. Thus, in this chapter, we use a NN to approximate the X hole by considering many of its known physical and mathematical constraints during the training of the NN. The results we obtain, for the calculation of energies of atoms using the NN, reveal the potential of this method for the automation of the construction of X holes. The second part of the paper shows that an NN can be used to add more constraints to an existing X hole approximation, which would be quite useful to improve CFX. The X hole obtained for a stretched H2 molecule is promising when compared to the exact values. ML is still a new tool in DFT and our work shows that it has considerable potential for the construction of XC hole approximations. Finally, the last chapter [Cuierrier, Roy, Wang, and Ernzerhof, JCP (2022)] describes a project that also uses NN. In a previous work by our group, it is shown that the fourth-order term of the expansion of the X hole (Tσ (r)) could improve the calculation of the X energy for molecules [Wang, Zhou, and Ernzerhof, PRA (2017)]. However, developing an equation that satisfies both the second and fourth-order terms simultaneously proved difficult. Thus, using the expertise in ML we developed during the second project, we build a new NN that uses the fourth-order term of the expansion of the X hole as a new ingredient to approximate the XC energy. Starting from the PBE functional, we trained a NN to reproduce the X energy of the hybrid functional PBEh. Our results show that this approach is a considerable improvement compared to PBE for the calculation of atomization energies, barrier heights and the prediction of electronic density. This study confirms that the fourth-order term of the expansion of the X hole does include useful information to build functionals in DFT. Since the calculation of the fourth-order term has a more favourable computational scaling compared to the exact exchange energy, our new functionals could lead to faster calculations in DFT.

Les zones humides sont écosystèmes reconnus de vitale importance pour la conservation de la biodiversité et pour un développement soutenable. En Colombie, 26 % du territoire continental national est couvert de ces écosystèmes. Le complexe de zones humides urbaines de Bogota, en fait partie, avec 15 écosystèmes, dont la Convention Ramsar reconnaît 11. Ils sont uniques et jouent un rôle important dans l’approvisionnement des services écosystèmes à la zone urbaine. Cependant, ces écosystèmes urbains font face à de nombreux défis en raison de leur emplacement. Les causes et les conséquences de leur transformation sont très complexes. En appliquant des approches des systèmes complexes, sa dynamique de changement peut être étudiée. Les automates cellulaires sont l’une des techniques largement utilisées dans la modélisation de la dynamique spatiotemporelle des changements de l’usage et de l’occupation des sols. Cette étude propose l’analyse et la simulation des zones humides urbaines en appliquant une approche hybride par un modèle couplé de chaîne de Markov, de réseaux de neurones artificiels et d’automates cellulaires, afin d’estimer leurs changements d’étendue pour les années 2016, 2022, 2028 et 2034 dans la ville de Bogota, en Colombie. Pour extraire le changement d’occupation et d’utilisation du sol, trois images analogues des années 1998, 2004 et 2010 ont été a utilisées. Les résultats ont montré une diminution de 0,30 % de la couverture des zones humides en douze ans. De plus, les résultats suggèrent que la couverture des zones humides représentera 1,97 % de la zone d’étude totale en 2034, représentant une probabilité de diminution de 14 % en 24 ans. D’ailleurs, en appliquant l’analyse d’intensité, il a été constaté que le gain de cultures et de pâturages cible la perte de zones humides. Bien dont ces écosystèmes soient protégés et d’utilisation restreinte, leur patron de réduction se poursuivra en 2034. La pertinence de ce projet réside dans sa contribution potentielle au processus décisionnel au sein de la ville et en tant qu’instrument de gestion des ressources naturelles. En outre, les résultats de cette étude pourraient aider à atteindre l’objectif de développement durable 6 « Eau propre et assainissement » et l’atténuation du changement climatique. / Wetlands are ecosystems recognized as being of vital importance for the conservation of biodiversity and for sustainable development. In Colombia, 26% of the national continental territory is covered by these ecosystems. The complex of urban wetlands of Bogota is one of them, with 15 ecosystems, of which the Ramsar Convention recognizes 11. They are unique and play an important role in providing ecosystem services to the urban area. However, these urban ecosystems face many challenges due to their location. The causes and consequences of their transformation are very complex. By applying complex systems approaches, the dynamics of change can be studied. Cellular automata is one of the widely used techniques in modeling the spatiotemporal dynamics of land use and land cover changes. This study proposes the analysis and simulation of urban wetlands by applying a hybrid approach through a coupled model of the Markov chain, artificial neural networks, and cellular automata, in order to estimate the extent of changes for the years 2016, 2022, 2028, and 2034 in the city of Bogota, Colombia. To extract the change in land cover and land use, three analogous images from the years 1998, 2004, and 2010 were used. The results showed a 0.30% decrease in wetland coverage in twelve years. Furthermore, the results suggest that wetland cover will be 1.97% of the total study area in 2034, representing a 14% probability of a decrease in 24 years. Moreover, by applying the intensity analysis, it was found that the gain of crop and pastureland targets the loss of wetlands. Although these ecosystems are protected and of limited use, their pattern of reduction will continue in 2034. The relevance of this project lies in its potential contribution to decision-making within the city and as a natural resource management tool. In addition, the results of this study could help achieve Sustainable Development Goal 6 “Clean Water and Sanitation” and climate change mitigation.

Les auto-encodeurs sont des réseaux de neurones artificiels qui apprennent des représentations. Dans un auto-encodeur, l’encodeur transforme une entrée en une représentation, et le décodeur essaie de prédire l’entrée à partir de la représentation. Cette thèse compile trois applications de ces modèles au traitement automatique des langues : pour l’apprentissage de représentations de mots et de phrases, ainsi que pour mieux comprendre la compositionnalité. Dans le premier article, nous montrons que nous pouvons auto-encoder des définitions de dictionnaire et ainsi apprendre des vecteurs de définition. Nous proposons une nouvelle pénalité qui nous permet d’utiliser ces vecteurs comme entrées à l’encodeur lui-même, mais aussi de les mélanger des vecteurs distributionnels pré-entraînés. Ces vecteurs de définition capturent mieux la similarité sémantique que les méthodes distributionnelles telles que word2vec. De plus, l’encodeur généralise à un certain degré à des définitions qu’il n’a pas vues pendant l’entraînement. Dans le deuxième article, nous analysons les représentations apprises par les auto-encodeurs variationnels séquence-à-séquence. Nous constatons que les encodeurs ont tendance à mémo- riser les premiers mots et la longueur de la phrase d’entrée. Cela limite considérablement leur utilité en tant que modèles génératifs contrôlables. Nous analysons aussi des variantes architecturales plus simples qui ne tiennent pas compte de l’ordre des mots, ainsi que des mé- thodes basées sur le pré-entraînement. Les représentations qu’elles apprennent ont tendance à encoder plus nettement des caractéristiques globales telles que le sujet et le sentiment, et cela se voit dans les reconstructions qu’ils produisent. Dans le troisième article, nous utilisons des simulations d’émergence du langage pour étudier la compositionnalité. Un locuteur – l’encodeur – observe une entrée et produit un message. Un auditeur – le décodeur – tente de reconstituer ce dont le locuteur a parlé dans son message. Nous émettons l’hypothèse que faire des phrases impliquant plusieurs entités, telles que « Jean aime Marie », nécessite fondamentalement de percevoir chaque entité comme un tout. Nous dotons certains agents de cette capacité grâce à un mechanisme d’attention, alors que d’autres en sont privés. Nous proposons différentes métriques qui mesurent à quel point les langues des agents sont naturelles en termes de structure d’argument, et si elles sont davantage analytiques ou synthétiques. Les agents percevant les entités comme des touts échangent des messages plus naturels que les autres agents. / Autoencoders are artificial neural networks that learn representations. In an autoencoder, the encoder transforms an input into a representation, and the decoder tries to recover the input from the representation. This thesis compiles three different applications of these models to natural language processing: for learning word and sentence representations, as well as to better understand compositionality. In the first paper, we show that we can autoencode dictionary definitions to learn word vectors, called definition embeddings. We propose a new penalty that allows us to use these definition embeddings as inputs to the encoder itself, but also to blend them with pretrained distributional vectors. The definition embeddings capture semantic similarity better than distributional methods such as word2vec. Moreover, the encoder somewhat generalizes to definitions unseen during training. In the second paper, we analyze the representations learned by sequence-to-sequence variational autoencoders. We find that the encoders tend to memorize the first few words and the length of the input sentence. This limits drastically their usefulness as controllable generative models. We also analyze simpler architectural variants that are agnostic to word order, as well as pretraining-based methods. The representations that they learn tend to encode global features such as topic and sentiment more markedly, and this shows in the reconstructions they produce. In the third paper, we use language emergence simulations to study compositionality. A speaker – the encoder – observes an input and produces a message about it. A listener – the decoder – tries to reconstruct what the speaker talked about in its message. We hypothesize that producing sentences involving several entities, such as “John loves Mary”, fundamentally requires to perceive each entity, John and Mary, as distinct wholes. We endow some agents with this ability via an attention mechanism, and deprive others of it. We propose various metrics to measure whether the languages are natural in terms of their argument structure, and whether the languages are more analytic or synthetic. Agents perceiving entities as distinct wholes exchange more natural messages than other agents.