Spelling suggestions: "subject:"métaapprentissage"" "subject:"metaapprentissage""
1 |
Perspectives de méta-analyse pour un environnement d'aide à la simulation et prédiction / Meta-analysis perspectives toward assistance in prediction and simulationRaynaut, William 12 January 2018 (has links)
L'émergence du phénomène Big Data a créé un besoin grandissant en analyse de données, mais, bien souvent, cette analyse est conduite par des experts de différents domaines ayant peu d'expérience en science des données. On s'intéresse donc à ce besoin d'assistance à l'analyse de données, qui commence tout juste à recevoir une certaine attention des communautés scientifiques, donnant naissance au domaine de la méta-analyse. Les premières approches du sujet se révélant souvent similaires et peu abouties, on tente en particulier de permettre de nouvelles approches de méta-analyse pour adresser ce problème d'assistance à l'analyse de données. Pour ce faire, une première étape cruciale est de déterminer ce qu'est une méta-analyse performante, aucun standard n'ayant encore été établi dans ce domaine relativement neuf. On propose ainsi un cadre générique d'évaluation de méta-analyse, permettant de comparer et caractériser finement diverses techniques de méta- analyse. Ensuite, afin d'ouvrir de nouvelles voies, on s'intéresse à un verrou majeur de la méta-analyse : la caractérisation de jeu de données. On propose et évalue alors une caractérisation par dissimilarité faisant usage de toute l'information disponible pour autoriser de nouvelles approches de méta-analyse. L'utilisation de cette caractérisation par dissimilarité permettant de recommander facilement des processus d'analyse de données complets, on décrit enfin les nouvelles approches de méta-analyses rendues possibles, ainsi que les processus afférents d'assistance à l'analyse de données. / The emergence of the big data phenomenon has led to increasing demands in data analysis, which most often are conducted by other domains experts with little experience in data science. We then consider this important demand in intelligent assistance to data analysis, which receives an increasing attention from the scientific community. The first takes on the subject often possessing similar shortcomings, we propose to address it through new processes of meta-analysis. No evaluation standard having yet been set in this relatively new domain, we first propose a meta-analysis evaluation framework that will allow us to test and compare the developed methods. In order to open new approaches of meta-analysis, we then consider one of its recurring issue: dataset characterization. We then propose and evaluate such a characterization, consisting in a dissimilarity between datasets making use of a precise topological description to compare them. This dissimilarity allows a new meta-analysis approach producing recommendations of complete data analysis processes, which we then evaluate on a proof of concept. We thus detail the proposed methods of meta-analysis, and the associated process of assistance to data analysis.
|
2 |
Look-ahead meta-learning for continual learningGupta, Gunshi 07 1900 (has links)
Le problème “d’apprentissage continu” implique l’entraînement des modèles profonds avec
une capacité limitée qui doivent bien fonctionner sur un nombre inconnu de tâches arrivant
séquentiellement. Cette configuration peut souvent résulter en un système d’apprentissage
qui souffre de “l’oublie catastrophique”, lorsque l’apprentissage d’une nouvelle tâche provoque
des interférences sur la progression de l’apprentissage des anciennes tâches. Les travaux
récents ont montré que les techniques de “méta-apprentissage” ont le potentiel de ré-
duire les interférences entre les anciennes et les nouvelles tâches. Cependant, les procé-
dures d’entraînement ont présentement une tendance à être lente ou hors ligne et sensibles
à de nombreux hyperparamètres. Dans ce travail, nous proposons “Look-ahead MAML
(La-MAML)”, un algorithme de méta-apprentissage rapide basé sur l’optimisation pour
l’apprentissage continu en ligne et aidé par une petite mémoire épisodique. Ceci est réalisé en
utilisant l’équivalence d’un objectif MAML en plusieurs étapes et un objectif d’apprentissage
continu “temps conscient”. L’équivalence résulte au développement d’un algorithme intuitif
que nous appelons Continual-MAML (C-MAML), utilisant un méta-apprentissage continu
pour optimiser un modèle afin qu’il fonctionne bien sur une série de distributions de don-
nées changeantes. En intégrant la modulation des taux d’apprentissage par paramètre dans
La-MAML, notre approche fournit un moyen plus flexible et efficace d’atténuer l’oubli catas-
trophique par rapport aux méthodes classiques basées sur les prieurs. Cette modulation a
également des liens avec des travaux sur la métadescendance, que nous identifions comme
une direction importante de la recherche pour développer de meilleurs optimiser pour un ap-
prentissage continu. Dans des expériences menées sur des repères de classification visuelle du
monde réel, La-MAML atteint des performances supérieures aux autres approches basées sur
la relecture, basées sur les prieurs et basées sur le méta-apprentissage pour un apprentissage
continu. Nous démontrons également qu’elle est robuste et plus évolutive que de nombreuses
approches de pointe. / The continual learning problem involves training models with limited capacity to perform
well on a set of an unknown number of sequentially arriving tasks. This setup can of-
ten see a learning system undergo catastrophic forgetting, when learning a newly seen task
causes interference on the learning progress of old tasks. While recent work has shown that
meta-learning has the potential to reduce interference between old and new tasks, the current
training procedures tend to be either slow or offline, and sensitive to many hyper-parameters.
In this work, we propose Look-ahead MAML (La-MAML), a fast optimisation-based meta-
learning algorithm for online-continual learning, aided by a small episodic memory. This is
achieved by realising the equivalence of a multi-step MAML objective to a time-aware con-
tinual learning objective adopted in prior work. The equivalence leads to the formulation of
an intuitive algorithm that we call Continual-MAML (C-MAML), employing continual meta-
learning to optimise a model to perform well across a series of changing data distributions.
By additionally incorporating the modulation of per-parameter learning rates in La-MAML,
our approach provides a more flexible and efficient way to mitigate catastrophic forgetting
compared to conventional prior-based methods. This modulation also has connections to
prior work on meta-descent, which we identify as an important direction of research to de-
velop better optimizers for continual learning. In experiments conducted on real-world visual
classification benchmarks, La-MAML achieves performance superior to other replay-based,
prior-based and meta-learning based approaches for continual learning. We also demonstrate
that it is robust, and more scalable than many recent state-of-the-art approaches.
|
3 |
Méta-enseignement : génération active d’exemples par apprentissage par renforcementLarocque, Stéphanie 05 1900 (has links)
Le problème d’intérêt est un problème d’optimisation discrète dont on tente d’approximer les
solutions des instances particulières à l’aide de réseaux de neurones. Un obstacle à résoudre ce
problème par apprentissage automatique réside dans le coût d’étiquettage élevé (et variable)
des différentes instances, rendant coûteuse et difficile la génération d’un ensemble de données
étiquettées. On propose une architecture d’apprentissage actif, qu’on nomme architecture de
méta-enseignement, dans le but de pallier à ce problème. On montre comment on combine
plusieurs modèles afin de résoudre ce problème d’apprentissage actif, formulé comme un
problème de méta-apprentissage, en utilisant un agent d’apprentissage par renforcement
pour la génération active d’exemples. Ainsi, on utilise des concepts de plusieurs domaines
de l’apprentissage automatique dont des notions d’apprentissage supervisé, d’apprentissage
actif, d’apprentissage par renforcement, ainsi que des réseaux récurrents. Dans ce travail
exploratoire, on évalue notre méthodologie sur un problème simple, soit celui de classifier
des mains de poker en 10 classes pré-établies. On teste notre architecture sur ce problème
jouet dans le but de simplifier l’analyse. Malheureusement, l’avantage d’utiliser l’architecture
de génération active n’est pas significatif. On expose ensuite plusieurs pistes de réflexion
sur certaines observations à approfondir dans de futurs travaux, comme la définition de la
fonction de récompense. Dans de futurs projets, il serait également intéressant d’utiliser un
problème plus similaire au problème d’optimisation initial qui comporterait, entre autres,
des coûts d’étiquettage variables. / The motivating application behind this architecture is a discrete optimisation problem
whose solution we aim to predict using neural networks. A main challenge of solving this
problem by machine learning lies in the high (and variable) labelling cost associated to
the various instances, which leads to an expensive and difficult dataset generation. We
propose an active learning architecture, called meta-teaching, to address this problem. We
show how we combine several models to solve the active learning problem, formulated as
a metalearning problem, by using a reinforcement learning agent to actively generate new
instances. Therefore, we use concepts from various areas of machine learning, including
supervised learning, active learning, reinforcement learning and recurrent networks. In this
exploratory work, we evaluate our method on a simpler problem, which is to classify poker
hands in 10 predefined classes. We test our architecture on this toy dataset in order to
simplify the analysis. Unfortunately, we do not achieve a significant advantage using our
active generation architecture on this dataset. We outline avenues for further reflections,
including the definition of the reward function. In future projects, using a more similar
problem to our problem of interest having, among others, a variable labelling cost, would
be interesting.
|
4 |
Towards Understanding Generalization in Gradient-Based Meta-LearningGuiroy, Simon 08 1900 (has links)
Dans ce mémoire, nous étudions la généralisation des réseaux de neurones dans le contexte du méta-apprentissage, en analysant divers propriétés des surface leurs fonctions objectifs. La recherche en apprentissage automatique portant sur les surfaces de fonctions objectifs des réseaux de neurones ayant aidé à comprendre leur généralisation en apprentissage supervisé standard, nous proposons l'étude de telles surfaces dans le but d'approfondir nos connaissances sur la généralisation en méta-apprentissage. Nous introduisons d'abord la littérature sur les fonctions objectifs des réseaux de neurones à la Section \ref{sec:intro:objective_landscapes}, puis celle portant sur le méta-apprentissage à la Section \ref{sec:intro:meta-learning}, pour enfin terminer notre introduction avec le méta-apprentissage par descente de gradient, très similaire à l'entraînement des réseaux de neurones par descente de gradient stochastique et pour une tâche unique. Nous présentons par la suite notre travail sur les fonctions objectifs en méta-apprentissage au Chapitre \ref{chap:prof_forcing}, lequel nous avons soumis à la conférence NeurIPS 2019 en tant qu'article scientifique. Au moment d'écrire ce mémoire, et au meilleur de notre connaissance, ce travail est le premier à étudier empiriquement les surfaces des fonctions objectifs en méta-apprentissage, particulièrement dans le contexte de l'apprentissage profond, et nous mettons notamment en lumière certaines propriétés de ces surfaces qui apparaissent liées à la généralisation des réseaux de neurones à de nouvelles tâches. Nous démontrons empiriquement qu'alors que progresse la phase de méta-entraînement, pour les solutions aux nouvelles tâches obtenues via quelques itérations de descente de gradient, la courbure de la fonction objective décroit monotoniquement, la valeur de la fonction objective diminue, tandis que la distance euclidienne avec la solution ``méta-entraînement" augmente. Cependant, nous observons que la courbure des minima continue de décroître même lorsque le sur-apprentissage devient apparent et que la généralisation commence à se dégrader, indiquant que la courbure des minima semble peu corrélée à la généralisation en méta-apprentissage par descente de gradient. De plus, nous montrons empiriquement que la généralisation aux nouvelles tâches semble plutôt liée à la cohérence de leurs trajectoires d'adaptation dans l'espace des paramètres, mesurée par la similarité cosinus moyenne entre les trajectoires. Nous montrons également que la cohérence des gradients ''meta-test", mesurée par le produit scalaire moyen entre les vecteurs de gradients spécifiques aux nouvelles tâches, évalué à solution meta-entraînement, est également corrélée à la généralisation. Nous basant sur ces observations, nous proposons un nouveau terme de régularisation pour l'algorithme de méta-apprentissage Model Agnostic Meta-Learning (MAML). / In this master's thesis, we study the generalization of neural networks in gradient-based meta-learning by analyzing various properties of the objective landscapes. Meta-learning, a challenging paradigm where models not only have to learn a task but beyond that, are trained for ``learning to learn" as they must adapt to new tasks and environments with very limited data about them. With research on the objective landscapes of neural networks in classical supervised having provided some answers regarding their ability to generalize for new data points, we propose similar analyses aimed at understanding generalization in meta-learning. We first introduce the literature on objective landscapes of neural networks in Section \ref{sec:intro:objective_landscapes}. We then introduce the literature of meta-learning in Section \ref{chap:prof_forcing}, concluding our introduction with the approach of gradient-based meta-learning, a meta-learning setup that bears strong similarities to the traditional supervised learning setup through stochastic gradient-based optimization. At the time of writing of this thesis, and to the best of our knowledge, this is the first work to empirically study the objective landscapes in gradient-based meta-learning, especially in the context of deep learning. We notably provide some insights on some properties of those landscapes that appear correlated to the generalization to new tasks. We experimentally demonstrate that as meta-training progresses, the meta-test solutions, obtained after adapting the meta-train solution of the model, to new tasks via few steps of gradient-based fine-tuning, become flatter, lower in loss, and further away from the meta-train solution. We also show that those meta-test solutions become flatter even as generalization starts to degrade, thus providing experimental evidence against the correlation between generalization and flat minima in the paradigm of gradient-based meta-leaning. Furthermore, we provide empirical evidence that generalization to new tasks is correlated with the coherence between their adaptation trajectories in parameter space, measured by the average cosine similarity between task-specific trajectory directions, starting from a same meta-train solution. We also show that coherence of meta-test gradients, measured by the average inner product between the task-specific gradient vectors evaluated at meta-train solution, is also correlated with generalization. Based on these observations, we propose a novel regularizer for the Model Agnostic Meta-Learning (MAML) algorithm and provide experimental evidence for its effectiveness.
|
5 |
Model-based hyperparameter optimizationCrouther, Paul 04 1900 (has links)
The primary goal of this work is to propose a methodology for discovering hyperparameters.
Hyperparameters aid systems in convergence when well-tuned and handcrafted. However,
to this end, poorly chosen hyperparameters leave practitioners in limbo, between concerns
with implementation or improper choice in hyperparameter and system configuration. We
specifically analyze the choice of learning rate in stochastic gradient descent (SGD), a popular
algorithm. As a secondary goal, we attempt the discovery of fixed points using smoothing of
the loss landscape by exploiting assumptions about its distribution to improve the update
rule in SGD. Smoothing of the loss landscape has been shown to make convergence possible in
large-scale systems and difficult black-box optimization problems. However, we use stochastic
value gradients (SVG) to smooth the loss landscape by learning a surrogate model and then
backpropagate through this model to discover fixed points on the real task SGD is trying to
solve. Additionally, we construct a gym environment for testing model-free algorithms, such
as Proximal Policy Optimization (PPO) as a hyperparameter optimizer for SGD. For tasks,
we focus on a toy problem and analyze the convergence of SGD on MNIST using model-free
and model-based reinforcement learning methods for control. The model is learned from
the parameters of the true optimizer and used specifically for learning rates rather than for
prediction. In experiments, we perform in an online and offline setting. In the online setting,
we learn a surrogate model alongside the true optimizer, where hyperparameters are tuned
in real-time for the true optimizer. In the offline setting, we show that there is more potential
in the model-based learning methodology than in the model-free configuration due to this
surrogate model that smooths out the loss landscape and makes for more helpful gradients
during backpropagation. / L’objectif principal de ce travail est de proposer une méthodologie de découverte des hyperparamètres.
Les hyperparamètres aident les systèmes à converger lorsqu’ils sont bien réglés et
fabriqués à la main. Cependant, à cette fin, des hyperparamètres mal choisis laissent les praticiens
dans l’incertitude, entre soucis de mise en oeuvre ou mauvais choix d’hyperparamètre et
de configuration du système. Nous analysons spécifiquement le choix du taux d’apprentissage
dans la descente de gradient stochastique (SGD), un algorithme populaire. Comme objectif
secondaire, nous tentons de découvrir des points fixes en utilisant le lissage du paysage des
pertes en exploitant des hypothèses sur sa distribution pour améliorer la règle de mise à jour
dans SGD. Il a été démontré que le lissage du paysage des pertes rend la convergence possible
dans les systèmes à grande échelle et les problèmes difficiles d’optimisation de la boîte noire.
Cependant, nous utilisons des gradients de valeur stochastiques (SVG) pour lisser le paysage
des pertes en apprenant un modèle de substitution, puis rétropropager à travers ce modèle
pour découvrir des points fixes sur la tâche réelle que SGD essaie de résoudre. De plus, nous
construisons un environnement de gym pour tester des algorithmes sans modèle, tels que
Proximal Policy Optimization (PPO) en tant qu’optimiseur d’hyperparamètres pour SGD.
Pour les tâches, nous nous concentrons sur un problème de jouet et analysons la convergence
de SGD sur MNIST en utilisant des méthodes d’apprentissage par renforcement sans modèle
et basées sur un modèle pour le contrôle. Le modèle est appris à partir des paramètres du
véritable optimiseur et utilisé spécifiquement pour les taux d’apprentissage plutôt que pour
la prédiction. Dans les expériences, nous effectuons dans un cadre en ligne et hors ligne.
Dans le cadre en ligne, nous apprenons un modèle de substitution aux côtés du véritable
optimiseur, où les hyperparamètres sont réglés en temps réel pour le véritable optimiseur.
Dans le cadre hors ligne, nous montrons qu’il y a plus de potentiel dans la méthodologie
d’apprentissage basée sur un modèle que dans la configuration sans modèle en raison de ce
modèle de substitution qui lisse le paysage des pertes et crée des gradients plus utiles lors de
la rétropropagation.
|
Page generated in 0.0795 seconds