Malgré des progrès remarquables dans une grande variété de sujets, les réseaux de neurones éprouvent toujours des difficultés à exécuter certaines tâches simples pour lesquelles les humains excellent. Comme indiqué dans des travaux récents, nous émettons l'hypothèse que l'écart qualitatif entre l'apprentissage en profondeur actuel et l'intelligence humaine est le résultat de biais inductifs essentiels manquants. En d'autres termes, en identifiant certains de ces biais inductifs essentiels, nous améliorerons le transfert d'informations dans les réseaux artificiels, ainsi que certaines de leurs limitations actuelles les plus importantes sur un grand ensemble de tâches. Les limites sur lesquelles nous nous concentrerons dans cette thèse sont la généralisation systématique hors distribution et la capacité d'apprendre sur des échelles de temps extrêmement longues. Dans le premier article, nous nous concentrerons sur l'extension des réseaux de neurones récurrents (RNN) à contraintes spectrales et proposerons une nouvelle structure de connectivité basée sur la décomposition de Schur, en conservant les avantages de stabilité et la vitesse d'entraînement des RNN orthogonaux tout en améliorant l'expressivité pour les calculs complexes à court terme par des dynamiques transientes. Cela sert de première étape pour atténuer le problème du "exploding vanishing gradient" (EVGP). Dans le deuxième article, nous nous concentrerons sur les RNN avec une mémoire externe et un mécanisme d'auto-attention comme un moyen alternatif de résoudre le problème du EVGP. Ici, la contribution principale sera une analyse formelle sur la stabilité asymptotique du gradient, et nous identifierons la pertinence d'événements comme un ingrédient clé pour mettre à l'échelle les systèmes d'attention. Nous exploitons ensuite ces résultats théoriques pour fournir un nouveau mécanisme de dépistage de la pertinence, qui permet de concentrer l'auto-attention ainsi que de la mettre à l'échelle, tout en maintenant une bonne propagation du gradient sur de longues séquences. Enfin, dans le troisième article, nous distillons un ensemble minimal de biais inductifs pour les tâches cognitives purement relationnelles et identifions que la séparation des informations relationnelles des entrées sensorielles est un ingrédient inductif clé pour la généralisation OoD sur des entrées invisibles. Nous discutons en outre des extensions aux relations non-vues ainsi que des entrées avec des signaux parasites. / Despite remarkable advances in a wide variety of subjects, neural networks are still struggling on simple tasks humans excel at. As outlined in recent work, we hypothesize that the qualitative gap between current deep learning and human-level artificial intelligence is the result of missing essential inductive biases. In other words, by identifying some of these key inductive biases, we will improve information transfer in artificial networks, as well as improve on some of their current most important limitations on a wide range of tasks. The limitations we will focus on in this thesis are out-of-distribution systematic generalization and the ability to learn over extremely long-time scales. In the First Article, we will focus on extending spectrally constrained Recurrent Neural Networks (RNNs), and propose a novel connectivity structure based on the Schur decomposition, retaining the stability advantages and training speed of orthogonal RNNs while enhancing expressivity for short-term complex computations via transient dynamics. This serves as a first step in mitigating the Exploding Vanishing Gradient Problem (EVGP). In the Second Article, we will focus on memory augmented self-attention RNNs as an alternative way to tackling the Exploding Vanishing Gradient Problem (EVGP). Here the main contribution will be a formal analysis on asymptotic gradient stability, and we will identify event relevancy as a key ingredient to scale attention systems. We then leverage these theoretical results to provide a novel relevancy screening mechanism, which makes self-attention sparse and scalable, while maintaining good gradient propagation over long sequences. Finally, in the Third Article, we distill a minimal set of inductive biases for purely relational cognitive tasks, and identify that separating relational information from sensory input is a key inductive ingredient for OoD generalization on unseen inputs. We further discuss extensions to unseen relations as well as settings with spurious features.

Bakgrund: Coronapandemin präglade under lång tid människors vardag såväl som de finansiella marknaderna. Den kraftiga nedgången i februari - mars år 2020 och den rekordsnabba återhämtningen påverkade privatinvesterare. Dessa investerare stod inför tuffa beslut, och präglades av stress och oro. Under volatila tider sker inte alltid rationella beslut, och denna typ av beslutsmiljö kan påverka investerare att vara mer mottagliga av psykologiska bias. För att undvika att gå i samma fällor, är det av intresse att kartlägga börspsykologiska faktorers påverkan på privatinvesterares agerande och vilken effekt det har på deras diversifiering i aktieportföljen. Eventuella skillnader i agerande under börsnedgångarna visar även om investerarna själva lärde sig någonting från den första börsnedgången och ändrade sitt beteende till den andra börsnedgången. Syfte: Syftet med studien är att kartlägga privatinvesterares agerande på aktiemarknaden under Coronapandemin. Detta för att kunna uttala sig om, privatinvesterares beteende under börsnedgången i februari - mars 2020, samt den andra börsnedgången i oktober samma år. Genom att undersöka två tidsperioder går det att observera skillnader i beteende. Metod: Studien använde sig av en enkätstudie med tvärsnittsdesign för att på generell nivå ha möjlighet till att uttala sig om privatinvesterares agerande under börsnedgångarna. Slutsats: Studien har visat att samtliga undersökta börspsykologiska bias har påverkat privatinvesterare under båda börsnedgångarna men det finns dock skillnader mellan perioderna. Om respondenterna själva får beskriva deras agerande har många angett att de har agerat rationellt under krisen, något som tidigare forskning också konstaterat. Diversifieringen har ökat i aktieportföljen efter börsnedgångarna, jämfört med hur det såg ut vid slutet av 2019. Det är dock inte säkerställt att detta är en effekt av nedgångarna. Slutligen finns det även skillnader i börspsykologiska faktorer och diversifiering mellan demografiska faktorer och erfarenhet från tidigare kriser. / Background: The Corona pandemic has affected people’s everyday life as well as the financial markets. The big decline in the stock market that happened in February-March 2020 and the record fast recovery impacted private investors in a big way. Investors had difficult decisions to make during times of stress and worry, which does not always lead to optimal decisions. The investors could be more affected by biases during times of crisis. To avoid walking into the same traps again it is of investor’s interest to map psychological biases and how they affect the diversification in their stock portfolios. Eventual differences in behavior between the stock market decline in February-Mars and the one in October could be spotted by comparing the two periods. This would show if the respondents themselves learned from the first stock market decline to the second one, hence changing their behavior. Purpose: The purpose of this study is to map private investors’ behavior in the stock market during the Corona pandemic. This will make it possible to discuss private investors’ behavior during the stock market declines in February-March 2020 as well as the one in October the same year. This will make it possible to see differences in behavior. Method: The study used a survey study with cross-sectional design to be able to discuss private investors’ behavior at a general level. Conclusion: The study has shown that all studied psychological biases to affect private investors during the stock market declines, showing there are differences between these periods. If the respondents describe their own actions, then many of say themselves that they acted rational during the crisis, something that previous studies have shown. The diversification has also increased after the stock market declines compared to how it was at the end of 2019, but it is not certain that it is an effect of the stock market declines. There are also differences between demographic factors and experience from previous crises with regards to psychological biases and diversification.