We extend the study of learning and generalization in feed forward Boolean networks to random Boolean networks (RBNs). We explore the relationship between the learning capability and the network topology, the system size, the training sample size, and the complexity of the computational tasks. We show experimentally that there exists a critical connectivity Kc that improves the generalization and adaptation in networks. In addition, we show that in finite size networks, the critical K is a power-law function of the system size N and the fraction of inputs used during the training. We explain why adaptation improves at this critical connectivity by showing that the network ensemble manifests maximal topological diversity near Kc. Our work is partly motivated by self-assembled molecular and nanoscale electronics. Our findings allow to determine an automata network topology class for efficient and robust information processing.

The Alcohol Use Disorder Identification Test (AUDIT) is a brief screening instrument for assessing alcohol use problems among adults. This instrument is widely used and continued evaluation of its psychometric performance is needed. Reliability and validity are the primary psychometric characteristics of interest when evaluating psychological instruments. The focus of the present study is on reliability, which reflects the consistency or repeatability of the scores produced by a given instrument. Using meta-analytic methods, results showed that approximately 65% of previously published studies using the AUDIT did not appropriately report reliability estimates. Among the remaining studies, weighted reliability estimate centered on .81 (SD = .07) suggesting that the AUDIT generally produces scores of adequate reliability for most research purposes. Multiple regression equations showed that, among a variety of sample and methodological characteristics, the standard deviation of scores was the only statistically significant predictor of the variability in AUDIT score reliability estimates.

Dans l’apprentissage fédéré, un modèle global est appris en agrégeant les mises à jour du modèle calculées à partir d’un ensemble de nœuds clients, un défi clé dans ce domaine est l’hétérogénéité des données entre les clients qui dégrade les performances du modèle. Les algorithmes d’apprentissage fédéré standard effectuent plusieurs étapes de gradient avant de synchroniser le modèle, ce qui peut amener les clients à minimiser exagérément leur propre objectif local et à s’écarter de la solution globale. Nous démontrons que dans un tel contexte, les modèles de clients individuels subissent un oubli catastrophique par rapport aux données d’autres clients et nous proposons une approche simple mais efficace qui modifie l’objectif d’entropie croisée sur une base par client en repondérant le softmax de les logits avant de calculer la perte. Cette approche protège les classes en dehors de l’ensemble d’étiquettes d’un client d’un changement de représentation brutal. Grâce à une évaluation empirique approfondie, nous démontrons que notre approche peut atténuer ce problème, en apportant une amélioration continue aux algorithmes d’apprentissage fédéré standard. Cette approche est particulièrement avantageux dans les contextes d’apprentissage fédéré difficiles les plus étroitement alignés sur les scénarios du monde réel où l’hétérogénéité des données est élevée et la participation des clients à chaque cycle est faible. Nous étudions également les effets de l’utilisation de la normalisation par lots et de la normalisation de groupe avec notre méthode et constatons que la normalisation par lots, qui était auparavant considérée comme préjudiciable à l’apprentissage fédéré, fonctionne exceptionnellement bien avec notre softmax repondéré, remettant en question certaines hypothèses antérieures sur la normalisation dans un système fédéré / In Federated Learning, a global model is learned by aggregating model updates computed from a set of client nodes, a key challenge in this domain is data heterogeneity across clients which degrades model performance. Standard federated learning algorithms perform multiple gradient steps before synchronizing the model which can lead to clients overly minimizing their own local objective and diverging from the global solution. We demonstrate that in such a setting, individual client models experience a catastrophic forgetting with respect to data from other clients and we propose a simple yet efficient approach that modifies the cross-entropy objective on a per-client basis by re-weighting the softmax of the logits prior to computing the loss. This approach shields classes outside a client’s label set from abrupt representation change. Through extensive empirical evaluation, we demonstrate our approach can alleviate this problem, providing consistent improvement to standard federated learning algorithms. It is particularly beneficial under the challenging federated learning settings most closely aligned with real world scenarios where data heterogeneity is high and client participation in each round is low. We also investigate the effects of using batch normalization and group normalization with our method and find that batch normalization which has previously been considered detrimental to federated learning performs particularly well with our re-weighted softmax, calling into question some prior assumptions about normalization in a federated setting

Although replication is considered an indispensable part of the scientific method in software engineering, few replication studies are published each year. The rate of replication, however, is not surprising given that replication theory in software engineering is immature. Not only are replication taxonomies varied and difficult to reconcile, but opinions on the role of replication contradict. In general, we have no clear sense of how to build knowledge via replication, particularly given the practical realities of our research field. Consequently, most replications in software engineering yield little useful information. In particular, the vast majority of external replications (i.e., replications performed by researchers unaffiliated with the original study) not only fail to reproduce the original results, but defy explanation. The net effect is that, as a research field, we consistently fail to produce usable (i.e., transferable) knowledge, and thus, our research results have little if any impact on industry. In this dissertation, we dissect the problem of replication into four primary concerns: 1) rate and explicitness of replication; 2) theoretical foundations of replication; 3) tractability of methods for context analysis; and 4) effectiveness of inter-study communication. We address each of the four concerns via a two-part research strategy involving both a theoretical and a practical component. The theoretical component consists of a grounded theory study in which we integrate and then apply external replication theory to problems of replication in empirical software engineering. The theoretical component makes three key contributions to the literature: first, it clarifies the role of replication with respect to the overall process of science; second, it presents a flexible framework for reconciling disparate replication terminology; and third, it informs a broad range of practical replication concerns. The practical component involves a series of replication studies, through which we explore a variety of replication concepts and empirical methods, ultimately culminating in the development of a tractable method for context analysis (TCA). TCA enables the quantitative evaluation of context variables in greater detail, with greater statistical power, and via considerably smaller datasets than previously possible. As we show (via a complex, real-world example), the method ultimately enables the empirically and statistically-grounded reconciliation and generalization of otherwise contradictory results across dissimilar replications—which problem has previously remained unsolved in software engineering.

La plupart des algorithmes modernes d'apprentissage automatique intègrent un certain degré d'aléatoire dans leurs processus, que nous appellerons le bruit, qui peut finalement avoir un impact sur les prédictions du modèle. Dans cette thèse, nous examinons de plus près l'apprentissage et la planification en présence de bruit pour les algorithmes d'apprentissage par renforcement et d'optimisation. Les deux premiers articles présentés dans ce document se concentrent sur l'apprentissage par renforcement dans un environnement inconnu, et plus précisément sur la façon dont nous pouvons concevoir des algorithmes qui utilisent la stochasticité de leur politique et de l'environnement à leur avantage. Notre première contribution présentée dans ce document se concentre sur le cadre de l'apprentissage par renforcement non supervisé. Nous montrons comment un agent laissé seul dans un monde inconnu sans but précis peut apprendre quels aspects de l'environnement il peut contrôler indépendamment les uns des autres, ainsi qu'apprendre conjointement une représentation latente démêlée de ces aspects que nous appellerons \emph{facteurs de variation}. La deuxième contribution se concentre sur la planification dans les tâches de contrôle continu. En présentant l'apprentissage par renforcement comme un problème d'inférence, nous empruntons des outils provenant de la littérature sur les m\'thodes de Monte Carlo séquentiel pour concevoir un algorithme efficace et théoriquement motiv\'{e} pour la planification probabiliste en utilisant un modèle appris du monde. Nous montrons comment l'agent peut tirer parti de note objectif probabiliste pour imaginer divers ensembles de solutions. Les deux contributions suivantes analysent l'impact du bruit de gradient dû à l'échantillonnage dans les algorithmes d'optimisation. La troisième contribution examine le rôle du bruit de l'estimateur du gradient dans l'estimation par maximum de vraisemblance avec descente de gradient stochastique, en explorant la relation entre la structure du bruit du gradient et la courbure locale sur la généralisation et la vitesse de convergence du modèle. Notre quatrième contribution revient sur le sujet de l'apprentissage par renforcement pour analyser l'impact du bruit d'échantillonnage sur l'algorithme d'optimisation de la politique par ascension du gradient. Nous constatons que le bruit d'échantillonnage peut avoir un impact significatif sur la dynamique d'optimisation et les politiques découvertes en apprentissage par renforcement. / Most modern machine learning algorithms incorporate a degree of randomness in their processes, which we will refer to as noise, which can ultimately impact the model's predictions. In this thesis, we take a closer look at learning and planning in the presence of noise for reinforcement learning and optimization algorithms. The first two articles presented in this document focus on reinforcement learning in an unknown environment, specifically how we can design algorithms that use the stochasticity of their policy and of the environment to their advantage. Our first contribution presented in this document focuses on the unsupervised reinforcement learning setting. We show how an agent left alone in an unknown world without any specified goal can learn which aspects of the environment it can control independently from each other as well as jointly learning a disentangled latent representation of these aspects, or factors of variation. The second contribution focuses on planning in continuous control tasks. By framing reinforcement learning as an inference problem, we borrow tools from Sequential Monte Carlo literature to design a theoretically grounded and efficient algorithm for probabilistic planning using a learned model of the world. We show how the agent can leverage the uncertainty of the model to imagine a diverse set of solutions. The following two contributions analyze the impact of gradient noise due to sampling in optimization algorithms. The third contribution examines the role of gradient noise in maximum likelihood estimation with stochastic gradient descent, exploring the relationship between the structure of the gradient noise and local curvature on the generalization and convergence speed of the model. Our fourth contribution returns to the topic of reinforcement learning to analyze the impact of sampling noise on the policy gradient algorithm. We find that sampling noise can significantly impact the optimization dynamics and policies discovered in on-policy reinforcement learning.

L'un des défis des systèmes d'apprentissage automatique actuels est que les paradigmes d'IA standard ne sont pas doués pour transférer (ou exploiter) les connaissances entre les tâches. Alors que de nombreux systèmes ont été formés et ont obtenu des performances élevées sur une distribution spécifique d'une tâche, il est pas facile de former des systèmes d'IA qui peuvent bien fonctionner sur un ensemble diversifié de tâches qui appartiennent aux différentes distributions. Ce problème a été abordé sous différents angles dans différents domaines, y compris l'apprentissage continu et la généralisation hors distribution. Si un système d'IA est formé sur un ensemble de tâches appartenant à différentes distributions, il pourrait oublier les connaissances acquises lors des tâches précédentes. En apprentissage continu, ce processus entraîne un oubli catastrophique qui est l'un des problèmes fondamentaux de ce domaine. La première projet de recherche dans cette thèse porte sur la comparaison d'un apprenant chaotique et d'un naïf configuration de l'apprentissage continu. La formation d'un modèle de réseau neuronal profond nécessite généralement plusieurs itérations, ou époques, sur l'ensemble de données d'apprentissage, pour mieux estimer les paramètres du modèle. La plupart des approches proposées pour ce problème tentent de compenser les effets de mises à jour des paramètres dans la configuration incrémentielle par lots dans laquelle le modèle de formation visite un grand nombre de échantillons pour plusieurs époques. Cependant, il n'est pas réaliste de s'attendre à ce que les données de formation soient toujours alimenté au modèle. Dans ce chapitre, nous proposons un apprenant de flux chaotique qui imite le chaotique comportement des neurones biologiques et ne met pas à jour les paramètres du réseau. De plus, il peut fonctionner avec moins d'échantillons par rapport aux modèles d'apprentissage en profondeur sur les configurations d'apprentissage par flux. Fait intéressant, nos expériences sur différents ensembles de données montrent que l'apprenant de flux chaotique a moins d'oubli catastrophique de par sa nature par rapport à un modèle CNN en continu apprentissage. Les modèles d'apprentissage en profondeur ont une performance de généralisation hors distribution naïve où la distribution des tests est inconnue et différente de la formation. Au cours des dernières années, il y a eu eu de nombreux projets de recherche pour comparer les algorithmes hors distribution, y compris la moyenne et méthodes basées sur les scores. Cependant, la plupart des méthodes proposées ne tiennent pas compte du niveau de difficulté de tâches. Le deuxième projet de recherche de cette thèse, l'analyse de certains éléments logiques et pratiques les forces et les inconvénients des méthodes existantes de comparaison et de classement hors distribution algorithmes. Nous proposons une nouvelle approche de classement pour définir les ratios de difficulté des tâches afin de comparer les algorithmes de généralisation hors distribution. Nous avons comparé la moyenne, basée sur le score, et des classements basés sur la difficulté de quatre tâches sélectionnées du benchmark WILDS et cinq algorithmes hors distribution populaires pour l'expérience. L'analyse montre d'importantes changements dans les ordres de classement par rapport aux approches de classement actuelles. / One of the challenges of current machine learning systems is that standard AI paradigms are not good at transferring (or leveraging) knowledge across tasks. While many systems have been trained and achieved high performance on a specific distribution of a task, it is not easy to train AI systems that can perform well on a diverse set of tasks that belong to different distributions. This problem has been addressed from different perspectives in different domains including continual learning and out-of-distribution generalization. If an AI system is trained on a set of tasks belonging to different distributions, it could forget the knowledge it acquired from previous tasks. In continual learning, this process results in catastrophic forgetting which is one of the core issues of this domain. The first research project in this thesis focuses on the comparison of a chaotic learner and a naive continual learning setup. Training a deep neural network model usually requires multiple iterations, or epochs, over the training data set, to better estimate the parameters of the model. Most proposed approaches for this issue try to compensate for the effects of parameter updates in the batch incremental setup in which the training model visits a lot of samples for several epochs. However, it is not realistic to expect training data will always be fed to the model. In this chapter, we propose a chaotic stream learner that mimics the chaotic behavior of biological neurons and does not update network parameters. In addition, it can work with fewer samples compared to deep learning models on stream learning setups. Interestingly, our experiments on different datasets show that the chaotic stream learner has less catastrophic forgetting by its nature in comparison to a CNN model in continual learning. Deep Learning models have a naive out-of-distribution~(OoD) generalization performance where the testing distribution is unknown and different from the training. In the last years, there have been many research projects to compare OoD algorithms, including average and score-based methods. However, most proposed methods do not consider the level of difficulty of tasks. The second research project in this thesis, analysis some logical and practical strengths and drawbacks of existing methods for comparing and ranking OoD algorithms. We propose a novel ranking approach to define the task difficulty ratios to compare OoD generalization algorithms. We compared the average, score-based, and difficulty-based rankings of four selected tasks from the WILDS benchmark and five popular OoD algorithms for the experiment. The analysis shows significant changes in the ranking orders compared with current ranking approaches.

Bien qu'ils soient capables de représenter des fonctions très complexes, les réseaux de neurones profonds sont entraînés à l'aide de variations autour de la descente de gradient, un algorithme qui est basé sur une simple linéarisation de la fonction de coût à chaque itération lors de l'entrainement. Dans cette thèse, nous soutenons qu'une approche prometteuse pour élaborer une théorie générale qui expliquerait la généralisation des réseaux de neurones, est de s'inspirer d'une analogie avec les modèles linéaires, en étudiant le développement de Taylor au premier ordre qui relie des pas dans l'espace des paramètres à des modifications dans l'espace des fonctions. Cette thèse par article comprend 3 articles ainsi qu'une bibliothèque logicielle. La bibliothèque NNGeometry (chapitre 3) sert de fil rouge à l'ensemble des projets, et introduit une Interface de Programmation Applicative (API) simple pour étudier la dynamique d'entrainement linéarisée de réseaux de neurones, en exploitant des méthodes récentes ainsi que de nouvelles accélérations algorithmiques. Dans l'article EKFAC (chapitre 4), nous proposons une approchée de la Matrice d'Information de Fisher (FIM), utilisée dans l'algorithme d'optimisation du gradient naturel. Dans l'article Lazy vs Hasty (chapitre 5), nous comparons la fonction obtenue par dynamique d'entrainement linéarisée (par exemple dans le régime limite du noyau tangent (NTK) à largeur infinie), au régime d'entrainement réel, en utilisant des groupes d'exemples classés selon différentes notions de difficulté. Dans l'article NTK alignment (chapitre 6), nous révélons un effet de régularisation implicite qui découle de l'alignement du NTK au noyau cible, au fur et à mesure que l'entrainement progresse. / Despite being able to represent very complex functions, deep artificial neural networks are trained using variants of the basic gradient descent algorithm, which relies on linearization of the loss at each iteration during training. In this thesis, we argue that a promising way to tackle the challenge of elaborating a comprehensive theory explaining generalization in deep networks, is to take advantage of an analogy with linear models, by studying the first order Taylor expansion that maps parameter space updates to function space progress. This thesis by publication is made of 3 papers and a software library. The library NNGeometry (chapter 3) serves as a common thread for all projects, and introduces a simple Application Programming Interface (API) to study the linearized training dynamics of deep networks using recent methods and contributed algorithmic accelerations. In the EKFAC paper (chapter 4), we propose an approximate to the Fisher Information Matrix (FIM), used in the natural gradient optimization algorithm. In the Lazy vs Hasty paper (chapter 5), we compare the function obtained while training using a linearized dynamics (e.g. in the infinite width Neural Tangent Kernel (NTK) limit regime), to the actual training regime, by means of examples grouped using different notions of difficulty. In the NTK alignment paper (chapter 6), we reveal an implicit regularization effect arising from the alignment of the NTK to the target kernel as training progresses.

Wie navigieren Menschen in unüberschaubaren Umgebungen, wenn es nicht möglich ist, alle Optionen ausführlich zu untersuchen? Die Forschung zum menschlichen Lernen hat in den letzten Jahrzehnten rasche Fortschritte gemacht: Von der Entdeckung des neuronalen Substrats für Vorhersagefehler bis hin zur Verwendung ähnlicher Prinzipien zum Aufbau künstlicher Intelligenz, die in Geschicklichkeitsspielen wie Go die besten menschlichen Spieler schlagen kann. Bisher lag der Forschungsschwerpunkt auf dem Lernen durch wiederholte Interaktionen mit ein und derselben Situation. Dabei ist ungeklärt, wie Menschen sich schnell an neue Situationen anpassen können und aus spärlichen Beispielen lernen können. Wir schlagen vor, dass die Generalisierung eine wesentliche Rolle dabei spielt, wie Men- schen effizient die Welt erforschen und sich in ihr zurechtfinden. Inspiriert von Roger Shepards „law of generalization“ präsentieren wir eine allgemeine Theorie der Generalisierung in räumlichen, konzeptuellen und strukturierten Umgebungen. Wir verwenden ein Funktionslernmodell, um zu beschreiben, wie Menschen begrenzte Erfahrungen auf eine Vielzahl neuer Situationen generalisieren, basierend auf dem einfachen Prinzip, dass ähnliche Aktionen zu ähnlichen Ergebnissen führen. Unser Modell der Generalisierung erzeugt Vorhersagen über die erwartete Belohnung und die damit verbundene Unsicherheit unerforschter Optionen—zwei wichtige Komponenten dafür, wie Menschen die Welt aktiv erkunden. / How do people navigate the vastness of real-world environments where it is not feasible to explore all possibilities and the exact same situation is rarely encountered twice? The study of human learning has made rapid progress in the past decades, from discovering the neural substrate of reward prediction errors, to using similar principles to build artificial intelligence capable of beating the best human players in skillful games such as Go. Yet this line of research has primarily focused on learning through repeated interactions with the same stimuli. How are humans able to rapidly adapt to novel situations and learn from such sparse examples? We propose that generalization plays a crucial role in guiding human exploration and learning. Inspired by Roger Shepard’s law of generalization, we present a domain general theory of generalization across spatial, conceptual, and structured environments. We use a function learning model to describe how people generalize limited experiences to a wide set of novel possibilities, based on the simple principle that similar actions produce similar outcomes. Our model of generalization generates predictions about the expected reward and underlying uncertainty of unexplored options, where both are vital components in how people actively explore the world.

Blended emotion is a classification of emotional experiences that involve the combination of multiple emotions. Research on the expression of blended emotions allows researchers to understand how different emotions interact and coexist in an individual’s emotional experience. Using machine learning to analyze mixed emotions may indeed bring new insights to the study of blended emotions. This thesis aims to explore blended emotion expression by testing machine learning models (SVM, Decision Tree, and Naive Bayes) trained on the single motion dataset on the blended emotion datasets and vice versa, to analyze the relationship between blended emotions and their constituent emotions. Furthermore, this thesis explores whether there is a dominant emotion in blended emotions and conducts an ablation study to investigate the importance of various facial features within each emotion. The results of testing models’ generalization capabilities propose that blended emotion expressions are highly likely to result from the overlapping combinations of features from their constituent emotions or the combination of some features from one constituent emotion with some from another. Furthermore, based on the dataset used, this thesis also finds that happiness predominated in the blended emotion ’disgust & happiness’. Additionally, an ablation study is conducted to identify the features that have the most significant impact on the accuracy and F1 score of single/pure emotion and blended emotion recognition across various recognition models. / ”Blandade känslor” är en klassificering av känslomässiga upplevelser som innefattar en kombination av flera känslor. Forskning om uttryck av blandade känslor möjliggör för forskare att förstå hur olika känslor interagerar och samexisterar i en individs känslomässiga upplevelse. Användningen av maskininlärning för att analysera blandade känslor kan faktiskt ge nya insikter i studiet av blandade känslor. Denna avhandling syftar till att utforska uttryck av blandade känslor genom att testa maskininlärningsmodeller (SVM, beslutsträd och Naive Bayes) som är tränade på dataset med enskilda känslor på dataset med blandade känslor och vice versa, för att analysera sambandet mellan blandade känslor och deras beståndsdelar. Dessutom utforskar denna avhandling om det finns en dominerande känsla i blandade känslor och genomför en ablationsstudie för att undersöka betydelsen av olika ansiktsdrag inom varje känsla. Resultaten av testning av modellernas generaliseringsförmåga föreslår att uttryck av blandade känslor sannolikt härrör från överlappande kombinationer av drag från deras beståndsdelar eller en kombination av vissa drag från en beståndsdel med vissa från en annan. Vidare, baserat på det använda datasetet, finner denna avhandling också att glädje dominerar i den blandade känslan ’avsky och glädje’. Dessutom genomförs en ablationsstudie för att identifiera de drag som har störst påverkan på noggrannheten och F1-poängen för igenkänning av enskilda/rena känslor och blandade känslor över olika igenkänningsmodeller.

This thesis examines issues of cultural identity and modernity, and the anthropology of spirituality and sacred sites by conducting ethnographic research on fairy beliefs in contemporary Ireland. Irish folk belief has traditionally identified a spirit world intertwined with our own which is inhabited by spirits, often collectively referred to as fairies. Belief in these spirits was once widespread. My research sought to determine the prevalence of these traditional beliefs among modern Irish people within my research area, as well as differences in belief across variables including age, gender, and religious preference. I conducted eight weeks of ethnographic fieldwork during June-August 2008 in and around Sligo Town in County Sligo, Ireland. I selected County Sligo as a research site because it is a sparsely populated, largely rural area, identified in an earlier major study of Irish folklore as a region where belief in the Irish spirit world persisted more strongly than in other parts of the country. My primary research methodology was to conduct structured and unstructured interviews, complemented by visual site surveys. In the preparation of this thesis I utilized data from 52 Sligo residents plus ten other visitors to the area from surrounding Irish counties. While my research suggests that few Sligo residents from the project area continue to believe in the literal existence of fairies, it also shows a much more common belief in a "power" associated with sites identified as "fairy forts," which are natural features of the landscape or the remains of ancient burials or dwellings apocryphally endowed by folk tradition with supernatural or mysterious energies. These beliefs led to a taboo against intruding on, altering, or destroying these "forts" that is still very much alive today. Additionally I was able to discuss at length the subject of the Irish death-herald spirit called the banshee (bean sidhe) with several study participants. Although it can be classified under the umbrella label of "fairy", my research indicates that the banshee is seen as a stand-apart element of Irish tradition by research area residents, and is believed in by those who do not otherwise profess a belief in "fairies" in general.