Le développement du domaine de l’apprentissage profond doit une grande part de son avancée
aux idées inspirées par la neuroscience et aux études sur l’apprentissage humain. De la
découverte de l’algorithme de rétropropagation à la conception d’architectures neuronales
comme les Convolutional Neural Networks, ces idées ont été couplées à l’ingénierie et aux
améliorations technologiques pour engendrer des algorithmes performants en utilisation
aujourd’hui. Cette thèse se compose de trois articles, chacun éclairant des aspects distincts
du thème central de ce domaine interdisciplinaire. Le premier article explore la modélisation
prédictive avec des données d’imagerie du cerveau de haute dimension en utilisant une nouvelle
approche de régularisation hybride. Dans de nombreuses applications pratiques (comme
l’imagerie médicale), l’attention se porte non seulement sur la précision, mais également
sur l’interprétabilité d’un modèle prédictif formé sur des données haute dimension. Cette
étude s’attache à combiner la régularisation l1 et l2, qui régularisent la norme des gradients,
avec l’approche récemment proposée pour la modélisation prédictive robuste, l’Invariant
Learning Consistency, qui impose l’alignement entre les gradients de la même classe lors
de l’entraînement. Nous examinons ici la capacité de cette approche combinée à identifier
des prédicteurs robustes et épars, et nous présentons des résultats prometteurs sur plusieurs
ensembles de données. Cette approche tend à améliorer la robustesse des modèles épars dans
presque tous les cas, bien que les résultats varient en fonction des conditions. Le deuxième
article se penche sur les algorithmes d’apprentissage inspirés de la biologie, en se concentrant
particulièrement sur la méthode Difference Target Propagation (DTP) tout en l’intégrant à
l’optimisation Gauss-Newton. Le développement de tels algorithmes biologiquement plausibles
possède une grande importance pour comprendre les processus d’apprentissage neuronale,
cependant leur extensibilité pratique à des tâches réelles est souvent limitée, ce qui entrave
leur potentiel explicatif pour l’apprentissage cérébral réel. Ainsi, l’exploration d’algorithmes
d’apprentissage qui offrent des fondements théoriques solides et peuvent rivaliser avec la
rétropropagation dans des tâches complexes gagne en importance. La méthode Difference
Target Propagation (DTP) se présente comme une candidate prometteuse, caractérisée par
son étroite relation avec les principes de l’optimisation Gauss-Newton. Néanmoins, la rigueur
de cette relation impose des limites, notamment en ce qui concerne la formation couche par
couche des poids synaptiques du chemin de rétroaction, une configuration considérée comme
plus biologiquement plausible. De plus, l’alignement entre les mises à jour des poids DTP
et les gradients de perte est conditionnel et dépend des scénarios d’architecture spécifiques.
Cet article relève ces défis en introduisant un schéma innovant d’entraînement des poids
de rétroaction. Ce schéma harmonise la DTP avec la BP, rétablissant la viabilité de la
formation des poids de rétroaction couche par couche sans compromettre l’intégrité théorique.
La validation empirique souligne l’efficacité de ce schéma, aboutissant à des performances
exceptionnelles de la DTP sur CIFAR-10 et ImageNet 32×32. Enfin, le troisième article
explore la planification efficace dans la prise de décision séquentielle en intégrant le calcul
adaptatif à des architectures d’apprentissage profond existantes, dans le but de résoudre des
casse-tête complexes. L’étude introduit des principes de calcul adaptatif inspirés des processus
cognitifs humains, ainsi que des avancées récentes dans le domaine du calcul adaptatif. En
explorant en profondeur les comportements émergents du modèle de mémoire adaptatif
entraîné, nous identifions plusieurs comportements reconnaissables similaires aux processus
cognitifs humains. Ce travail élargit la discussion sur le calcul adaptatif au-delà des gains
évidents en efficacité, en explorant les comportements émergents en raison des contraintes
variables généralement attribuées aux processus de la prise de décision chez les humains. / The development of the field of deep learning has benefited greatly from biologically inspired
insights from neuroscience and the study of human learning more generally, from the discovery
of backpropagation to neural architectures such as the Convolutional Neural Network. Coupled
with engineering and technological improvements, the distillation of good strategies and
algorithms for learning inspired from biological observation is at the heart of these advances.
Although it would be difficult to enumerate all useful biases that can be learned by observing
humans, they can serve as a blueprint for intelligent systems. The following thesis is composed
of three research articles, each shedding light on distinct facets of the overarching theme. The
first article delves into the realm of predictive modeling on high-dimensional fMRI data, a
landscape where not only accuracy but also interpretability are crucial. Employing a hybrid
approach blending l1 and l2 regularization with Invariant Learning Consistency, this study
unveils the potential of identifying robust, sparse predictors capable of transmuting noise laden datasets into coherent observations useful for pushing the field forward. Conversely,
the second article delves into the domain of biologically-plausible learning algorithms, a
pivotal endeavor in the comprehension of neural learning processes. In this context, the
investigation centers upon Difference Target Propagation (DTP), a prospective framework
closely related to Gauss-Newton optimization principles. This exploration delves into the
intricate interplay between DTP and the tenets of biologically-inspired learning mechanisms,
revealing an innovative schema for training feedback weights. This schema reinstates the
feasibility of layer-wise feedback weight training within the DTP framework, while concurrently
upholding its theoretical integrity. Lastly, the third article explores the role of memory in
sequential decision-making, and proposes a model with adaptive memory. This domain entails
navigating complex decision sequences within discrete state spaces, where the pursuit of
efficiency encounters difficult scenarios such as the risk of critical irreversibility. The study
introduces adaptive computation principles inspired by human cognitive processes, as well
as recent advances in adaptive computing. By studying in-depth the emergent behaviours
exhibited by the trained adaptive memory model, we identify several recognizable behaviours
akin to human cognitive processes. This work expands the discussion of adaptive computing beyond the obvious gains in efficiency, but to behaviours emerging due to varying constraints
usually attributable to dynamic response times in humans.
| Identifer | oai:union.ndltd.org:umontreal.ca/oai:papyrus.bib.umontreal.ca:1866/32717 |
| Date | 11 1900 |
| Creators | Spinney, Sean |
| Contributors | Rish, Irina, Conrod, Patricia |
| Source Sets | Université de Montréal |
| Language | English |
| Detected Language | French |
| Type | thesis, thèse |
| Format | application/pdf |
Page generated in 0.0033 seconds