Le problème “d’apprentissage continu” implique l’entraînement des modèles profonds avec
une capacité limitée qui doivent bien fonctionner sur un nombre inconnu de tâches arrivant
séquentiellement. Cette configuration peut souvent résulter en un système d’apprentissage
qui souffre de “l’oublie catastrophique”, lorsque l’apprentissage d’une nouvelle tâche provoque
des interférences sur la progression de l’apprentissage des anciennes tâches. Les travaux
récents ont montré que les techniques de “méta-apprentissage” ont le potentiel de ré-
duire les interférences entre les anciennes et les nouvelles tâches. Cependant, les procé-
dures d’entraînement ont présentement une tendance à être lente ou hors ligne et sensibles
à de nombreux hyperparamètres. Dans ce travail, nous proposons “Look-ahead MAML
(La-MAML)”, un algorithme de méta-apprentissage rapide basé sur l’optimisation pour
l’apprentissage continu en ligne et aidé par une petite mémoire épisodique. Ceci est réalisé en
utilisant l’équivalence d’un objectif MAML en plusieurs étapes et un objectif d’apprentissage
continu “temps conscient”. L’équivalence résulte au développement d’un algorithme intuitif
que nous appelons Continual-MAML (C-MAML), utilisant un méta-apprentissage continu
pour optimiser un modèle afin qu’il fonctionne bien sur une série de distributions de don-
nées changeantes. En intégrant la modulation des taux d’apprentissage par paramètre dans
La-MAML, notre approche fournit un moyen plus flexible et efficace d’atténuer l’oubli catas-
trophique par rapport aux méthodes classiques basées sur les prieurs. Cette modulation a
également des liens avec des travaux sur la métadescendance, que nous identifions comme
une direction importante de la recherche pour développer de meilleurs optimiser pour un ap-
prentissage continu. Dans des expériences menées sur des repères de classification visuelle du
monde réel, La-MAML atteint des performances supérieures aux autres approches basées sur
la relecture, basées sur les prieurs et basées sur le méta-apprentissage pour un apprentissage
continu. Nous démontrons également qu’elle est robuste et plus évolutive que de nombreuses
approches de pointe. / The continual learning problem involves training models with limited capacity to perform
well on a set of an unknown number of sequentially arriving tasks. This setup can of-
ten see a learning system undergo catastrophic forgetting, when learning a newly seen task
causes interference on the learning progress of old tasks. While recent work has shown that
meta-learning has the potential to reduce interference between old and new tasks, the current
training procedures tend to be either slow or offline, and sensitive to many hyper-parameters.
In this work, we propose Look-ahead MAML (La-MAML), a fast optimisation-based meta-
learning algorithm for online-continual learning, aided by a small episodic memory. This is
achieved by realising the equivalence of a multi-step MAML objective to a time-aware con-
tinual learning objective adopted in prior work. The equivalence leads to the formulation of
an intuitive algorithm that we call Continual-MAML (C-MAML), employing continual meta-
learning to optimise a model to perform well across a series of changing data distributions.
By additionally incorporating the modulation of per-parameter learning rates in La-MAML,
our approach provides a more flexible and efficient way to mitigate catastrophic forgetting
compared to conventional prior-based methods. This modulation also has connections to
prior work on meta-descent, which we identify as an important direction of research to de-
velop better optimizers for continual learning. In experiments conducted on real-world visual
classification benchmarks, La-MAML achieves performance superior to other replay-based,
prior-based and meta-learning based approaches for continual learning. We also demonstrate
that it is robust, and more scalable than many recent state-of-the-art approaches.
| Identifer | oai:union.ndltd.org:umontreal.ca/oai:papyrus.bib.umontreal.ca:1866/24315 |
| Date | 07 1900 |
| Creators | Gupta, Gunshi |
| Contributors | Paull, Liam |
| Source Sets | Université de Montréal |
| Language | English |
| Detected Language | French |
| Type | thesis, thèse |
Page generated in 0.0018 seconds