La recherche en apprentissage automatique peut être vue comme une quête vers l’aboutissement d’algorithmes d’apprentissage de plus en plus généraux, applicable à des problèmes de plus en plus réalistes. Selon cette perspective, le progrès dans ce domaine peut être réalisé de deux façons: par l’amélioration des méthodes algorithmiques associées aux problèmes existants, et par l’introduction de nouveaux types de problèmes. Avec le progrès marqué du côté des méthodes d’apprentissage machine, une panoplie de nouveaux types de problèmes d’apprentissage ont aussi été proposés, où les hypothèses de problèmes existants sont assouplies ou généralisées afin de mieux refléter les conditions du monde réel. Le domaine de l’apprentissage en continu (Continual Learning) est un exemple d’un tel domaine, où l’hypothèse de
la stationarité des distributions encourues lors de l’entrainement d’un modèles est assouplie, et où les algorithmes d’apprentissages doivent donc s’adapter à des changements soudains ou progressifs dans leur environnement. Dans cet ouvrage, nous introduisons les hiérarchiées de problèmes, une application du concept de hiérarchie des types provenant des sciences informatiques, au domaine des problèmes de recherche en apprentissage machine. Les hierarchies de problèmes organisent et structurent les problèmes d’apprentissage en fonction de leurs hypothéses. Les méthodes peuvent donc définir explicitement leur domaine d’application, leur permettant donc d’être partagées et réutilisées à travers différent types de problèmes de manière polymorphique: Une méthode conçue pour un domaine donné peut aussi être appli-
quée à un domaine plus précis que celui-ci, tel qu’indiqué par leur relation dans la hierarchie de problèmes. Nous démontrons que ce système, lorsque mis en oeuvre, comporte divers bienfaits qui addressent directement plusieurs des problèmes encourus par les chercheurs en apprentissage machine. Nous démontrons la viabilité de ce principe avec Sequoia, une
infrastructure logicielle libre qui implémente une hierarchie des problèmes en apprentissage continu. Nous espérons que ce nouveau paradigme, ainsi que sa première implémentation, pourra servir à unifier et accélérer les divers efforts de recherche en apprentissage continu, ainsi qu’à encourager des efforts similaires dans d’autres domaines de recherche. Vous pouvez nous aider à faire grandir l’arbre en visitant github.com/lebrice/Sequoia. / Research in Machine Learning (ML) can be viewed as a quest to develop increasingly general
algorithmic solutions (methods) for increasingly challenging research problems (settings).
From this perspective, progress can be realized in two ways: by introducing better methods
for current settings, or by proposing interesting new settings for the research community to
solve. Alongside recent progress in methods, a wide variety of research settings have also been
introduced, often as variants of existing settings where underlying assumptions are removed
to make the problem more realistic or general. The field of Continual Learning (CL), for
example, consists of a family of settings where the stationarity assumption is removed, and
where methods as a result have to learn from environments or data distributions that can
change over time. In this work, we introduce the concept of problem hierarchies: hierarchical
structures in which research settings are systematically organized based on their assumptions.
Methods can then explicitly state their assumptions by selecting a target setting from this
hierarchy. Most importantly, these structures make it possible to easily share and reuse
research methods across different settings using inheritance, since a method developed for a
given setting is also directly applicable onto any of its children in the hierarchy. We argue
that this simple mechanism can have great implications for ML research in practice. As a
proof-of-concept of this approach, we introduce Sequoia, an open-source research framework
in which we construct a hierarchy of the settings and methods in CL. We hope that this
new paradigm and its first implementation can help unify and accelerate research in CL and
serve as inspiration for future work in other fields. You can help us grow the tree by visiting
github.com/lebrice/Sequoia.
| Identifer | oai:union.ndltd.org:umontreal.ca/oai:papyrus.bib.umontreal.ca:1866/28494 |
| Date | 06 1900 |
| Creators | Normandin, Fabrice |
| Contributors | Rish, Irina |
| Source Sets | Université de Montréal |
| Language | English |
| Detected Language | French |
| Type | thesis, thèse |
| Format | application/pdf |
Page generated in 0.0024 seconds