Return to search

Étude spectrale des réseaux de neurones aléatoires

Thèse ou mémoire avec insertion d'articles. / Le but de la science des réseaux est de modéliser les systèmes complexes et d'expliquer leurs propriétés émergentes, telles que la propagation d'épidémies ou la formation de la mémoire dans le cerveau. Cependant, ces systèmes complexes peuvent parfois atteindre des tailles immenses, rendant leur étude difficile. La théorie spectrale des graphes est un outil majeur dans l'étude de tels réseaux, car les valeurs propres d'un réseau sont relativement faciles à calculer en plus de nous renseigner sur sa structure globale et sa dynamique à grande échelle. L'objectif de ce projet de maîtrise était d'analyser l'effet de propriétés structurelles, souvent négligées, présentes dans les réseaux de neurones sur le spectre des graphes qui leur sont associés. Plus spécifiquement, les propriétés étudiées sont la directionnalité, l'inhibition, le principe de Dale et la densité. Pour cela, différentes techniques de théorie des graphes ont été utilisées afin de créer des graphes aléatoires respectant les propriétés étudiées. Ensuite, une analyse spectrale approfondie de ces graphes aléatoires a été réalisée afin de déterminer l'effet des propriétés structurelles des réseaux de neurones sur leur spectre. On a d'abord abordé le problème à l'aide des théories mathématiques existantes, mais les calculs analytiques se sont avérés ardus et moins instructifs que prévu. Afin de combler ces lacunes, une analyse numérique a été réalisée. L'effet majeur provoqué par les propriétés structurelles étudiées est la présence d'une transition dans le spectre. La distribution de la valeur propre ayant la plus grande norme passe d'une distribution réelle à une distribution complexe pour ensuite revenir à une distribution réelle en fonction de la fraction d'inhibiteurs dans le réseau. La distribution changeante de la valeur propre dominante a alors été caractérisée numériquement, ce qui a permis l'identification et l'analyse de nombreuses autres propriétés empiriques. La transition dans le spectre, étant particulièrement significative dans les réseaux de taille finie, a donc une grande influence sur le comportement des réseaux de neurones et est directement influencée par les propriétés structurelles introduites. / The goal of network science is to model complex systems and explain their emergent properties, such as epidemic spreading or memory formation in the brain. However, these complex systems can sometimes reach immense sizes, making their study challenging. Graph spectral theory is a significant tool in the investigation of such networks, as the eigenvalues of a network are relatively easy to compute and provide insights into its overall structure and large-scale dynamics. The objective of this master's project was to analyze the effect of often overlooked structural properties present in neural networks on the spectrum of the associated graphs. More specifically, the studied properties include directionality, inhibition, Dale's principle, and density. To achieve this, various graph theory techniques were employed to generate random graphs that adhere to the studied properties. Subsequently, an in-depth spectral analysis of these random graphs was conducted to determine the impact of the structural properties of neural networks on their spectrum. Initially, the problem was approached using existing mathematical theories, but the analytical calculations proved to be challenging and less informative than anticipated. To address these gaps, a numerical analysis was performed. The major effect induced by the studied structural properties is the presence of a transition in the spectrum. The distribution of the eigenvalue with the largest norm transitions from a real distribution to a complex distribution, and then returns to a real distribution based on the fraction of inhibitors in the network. The changing distribution of the dominant eigenvalue was numerically characterized, wich enabled the empirical observation and analysis of many other properties. The spectrum transition, particularly significant in networks of finite size, thus has a substantial influence on the behavior of neural networks and is directly influenced by the introduced structural properties.

Identiferoai:union.ndltd.org:LAVAL/oai:corpus.ulaval.ca:20.500.11794/135023
Date08 February 2024
CreatorsHermans, Jeson
ContributorsAllard, Antoine, Desrosiers, Patrick
Source SetsUniversité Laval
LanguageFrench
Detected LanguageFrench
TypeCOAR1_1::Texte::Thèse::Mémoire de maîtrise
Format1 ressource en ligne (vii, 66 pages), application/pdf
Rightshttp://purl.org/coar/access_right/c_abf2

Page generated in 0.0046 seconds