The establishment of the General Data Protection Regulation (GDPR) in Europe in 2018, including the "Right to be Forgotten" poses important questions about the necessity of efficient data deletion techniques for trained Machine Learning models to completely enforce this right, since retraining from scratch such models whenever a data point must be deleted seems impractical. We tackle such a problem for Gaussian Process Regression and define in this paper an efficient exact unlearning technique for Gaussian Process Regression which completely include the optimization of the hyperparameters of the kernel function. The method is based on an efficient retracing of past optimizations by the Resilient Backpropagation (Rprop) algorithm through the online formulation of a Gaussian Process regression. Furthermore, we develop an extension of the proposed method to the Product-of-Experts and Bayesian Committee Machines types of local approximations of Gaussian Process Regression, further enhancing the unlearning capabilities through a random partitioning of the dataset. The performance of the proposed method is largely dependent on the regression task. We show through multiple experiments on different problems that several iterations of such optimization can be recomputed without any need for kernel matrix inversions, at the cost of saving intermediate states of the training phase. We also offer different ideas to extend this method to an approximate unlearning scheme, even further improving its computational complexity. / Införandet av Dataskyddsförordningen (DSF) i Europa 2018, inklusive rätten att bli bortglömd, ställer viktiga frågor om nödvändigheten av effektiva dataraderingtekniker för tränade maskininlärningsmodeller för att följa denna rättighet, detta eftersom omskolning från grunden av tränade modeller när en datapunkt måste raderas verkar opraktiskt. Vi tacklar dataraderingsproblemet för regression av Gaussiska processer och vi definierar i detta dokument en effektiv exakt avlärningsteknik för Gaussisk process regression som inkluderar optimeringen av kärnfunktionens hyperparametrarna. Metoden är baserad på en effektiv omberäkning av tidigare optimeringar genom Resilient Backpropagation (Rprop)-algoritmen tack vare onlineformuleringen medelst en Gaussisk processregression. Dessutom utvecklar vi en utvidgning av den föreslagna metoden till produkter-av-experter och Bayesianska kommittémaskiner av lokala approximationer av Gaussiska processregression, för att förbättra avlärningskapaciteten genom att använda en slumpmässig partitionering av datasetet. Metodernas prestanda beror till stor del på regressionsuppgiften. Vi visar med flera experiment på olika problem att flera iterationer av optimeringarna kan omberäknas utan behov av kärnmatrisinversioner, men på bekostnad av att spara mellanstatus i träningsfasen. Vi föreslår också olika idéer för att utvidga denna metod till en approximativ avlärningsteknik, för att förbättra dess beräkningskomplexitet. / L’établissement du Règlement Général sur la Protection des Données (RGPD) en Europe en 2018, incluant le "Droit à l’Oubli" pose de sérieuses questions vis-à-vis de l’importance du développement de techniques permettant le "désapprentissage" de données specifiques d’un modéle entrainé. Réentrainer un modèle "from scratch" dés qu’une donnée doit être supprimée pose problème en pratique, ce qui justifie le besoin de méthodes plus efficaces pour répondre à ce problème. Nous abordons ce problème dans le contexte d’une Gaussian Process Regression, et définissons dans ce rapport une méthode efficace et exacte de désapprentissage pour une Gaussian Process Regression incluant l’optimisation des hyperparamètres du noyau. La méthode est basée sur un traçage efficace de l’optimisation faite par l’algorithme de Resilient Backpropagation (Rprop) grâce à la formulation Online d’une Gaussian Process Regression. De plus, nous développons une extension de cette première méthode pour la rendre applicable à des approximations locales telles que les Product-of-Experts ou Bayesian Committee Machines, ce qui permet d’améliorer d’avantage les performance de désapprentissage grâce à partitionement aléatoire du jeu de données. Du fait de la forte dépendence des performances de désapprentissage à la tâche de regression, nous montrons à travers de multiples expériences sur différents jeux de données qu’un nombre conséquent d’itérations peut être recalculé efficacement sans nécessiter d’inversion de matrices, au prix de la sauvegarde des états intermédiaires de la phase d’apprentissage.Nous donnons finalement des idées pour étendre cette méthode vers un désapprentissage approximatif, afin d’améliorer une fois de plus le temps de désapprentissage.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-306489 |
| Date | January 2021 |
| Creators | Manthe, Matthis |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | French |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2021:790 |
Page generated in 0.003 seconds