Recent years have witnessed remarkable advancements in machine learning, but with these advances come concerns about data privacy. Machine learning inherently involves learning functions from data, and this process can potentially lead to information leakage through various attacks on the learned model. Additionally, the presence of malicious actors who may poison input data to manipulate the model has become a growing concern. Consequently, the ability to unlearn specific data samples on demand has become critically important. Federated Learning (FL) has emerged as a powerful approach to address these challenges. In FL, multiple participants or clients collaborate to train a single global machine learning model without sharing their training data. However, the issue of machine unlearning is particularly pertinent in FL, especially in scenarios where clients are not fully trustworthy. This paper delves into the investigation of the efficacy of solving machine unlearning problems within the FL framework. The central research question this work tackles is: How can we effectively unlearn the entire dataset from one or multiple clients once an FL training is completed, while maintaining privacy and without access to the data? To address this challenge, we introduce the concept of ”contribution,” which quantifies how much each client contributes to the training of the global FL model. In our implementation, we employ an Encoder-Decoder model on the server’s end to disentangle these contributions as the FL process progresses. Notably, our approach is unique in that there is no existing work that utilizes a similar concept nor similar models. Our findings, supported by extensive experiments on datasets MNIST and FashionMNIST, demonstrate that our proposed approach successfully solves the unlearning task in FL. Remarkably, it achieves results comparable to retraining from scratch without requiring the participation of the specific client whose data needs to be unlearned. Moreover, additional ablation studies indicate the sensitivity of the proposed model to specific structural hyperparameters. / Här har de senaste åren bevittnat enastående framsteg inom maskininlärning, men med dessa framsteg kommer bekymmer om dataskydd. Maskininlärning innebär i grunden att lära sig funktioner från data, och denna process kan potentiellt leda till läckage av information genom olika attacker mot den inlärda modellen. Dessutom har närvaron av illvilliga aktörer som kan förgifta indata för att manipulera modellen blivit en växande oro. Följaktligen har förmågan att avlära specifika datasatser på begäran blivit av avgörande betydelse. Federerad inlärning (FL) har framträtt som en kraftfull metod för att ta itu med dessa utmaningar. I FL samarbetar flera deltagare eller klienter för att träna en enda global maskininlärningsmodell utan att dela sina träningsdata. Emellertid är problemet med maskinavlärande särskilt relevant inom FL, särskilt i situationer där klienterna inte är fullt pålitliga. Denna artikel fördjupar sig i undersökningen av effektiviteten av att lösa problem med maskinavlärande inom FL-ramverket. Den centrala forskningsfråga som detta arbete behandlar är: Hur kan vi effektivt avlära hela datasamlingen från en eller flera klienter när FL-utbildningen är klar, samtidigt som vi bevarar integritet och inte har tillgång till datan? För att ta itu med denna utmaning introducerar vi begreppet ”bidrag,” som kvantifierar hur mycket varje klient bidrar till träningen av den globala FLmodellen. I vår implementering använder vi en Encoder-Decoder-modell på serverns sida för att reda ut dessa bidrag när FL-processen fortskrider. Det är värt att notera att vår metod är unik eftersom det inte finns något befintligt arbete som använder ett liknande koncept eller liknande modeller. Våra resultat, som stöds av omfattande experiment på dataseten MNIST och FashionMNIST, visar att vår föreslagna metod framgångsrikt löser avlärandeuppgiften i FL. Anmärkningsvärt uppnår den resultat som är jämförbara med att träna om från grunden utan att kräva deltagandet av den specifika klient vars data behöver avläras. Dessutom indikerar ytterligare avläggningsstudier känsligheten hos den föreslagna modellen för specifika strukturella hyperparametrar.

The establishment of the General Data Protection Regulation (GDPR) in Europe in 2018, including the "Right to be Forgotten" poses important questions about the necessity of efficient data deletion techniques for trained Machine Learning models to completely enforce this right, since retraining from scratch such models whenever a data point must be deleted seems impractical. We tackle such a problem for Gaussian Process Regression and define in this paper an efficient exact unlearning technique for Gaussian Process Regression which completely include the optimization of the hyperparameters of the kernel function. The method is based on an efficient retracing of past optimizations by the Resilient Backpropagation (Rprop) algorithm through the online formulation of a Gaussian Process regression. Furthermore, we develop an extension of the proposed method to the Product-of-Experts and Bayesian Committee Machines types of local approximations of Gaussian Process Regression, further enhancing the unlearning capabilities through a random partitioning of the dataset. The performance of the proposed method is largely dependent on the regression task. We show through multiple experiments on different problems that several iterations of such optimization can be recomputed without any need for kernel matrix inversions, at the cost of saving intermediate states of the training phase. We also offer different ideas to extend this method to an approximate unlearning scheme, even further improving its computational complexity. / Införandet av Dataskyddsförordningen (DSF) i Europa 2018, inklusive rätten att bli bortglömd, ställer viktiga frågor om nödvändigheten av effektiva dataraderingtekniker för tränade maskininlärningsmodeller för att följa denna rättighet, detta eftersom omskolning från grunden av tränade modeller när en datapunkt måste raderas verkar opraktiskt. Vi tacklar dataraderingsproblemet för regression av Gaussiska processer och vi definierar i detta dokument en effektiv exakt avlärningsteknik för Gaussisk process regression som inkluderar optimeringen av kärnfunktionens hyperparametrarna. Metoden är baserad på en effektiv omberäkning av tidigare optimeringar genom Resilient Backpropagation (Rprop)-algoritmen tack vare onlineformuleringen medelst en Gaussisk processregression. Dessutom utvecklar vi en utvidgning av den föreslagna metoden till produkter-av-experter och Bayesianska kommittémaskiner av lokala approximationer av Gaussiska processregression, för att förbättra avlärningskapaciteten genom att använda en slumpmässig partitionering av datasetet. Metodernas prestanda beror till stor del på regressionsuppgiften. Vi visar med flera experiment på olika problem att flera iterationer av optimeringarna kan omberäknas utan behov av kärnmatrisinversioner, men på bekostnad av att spara mellanstatus i träningsfasen. Vi föreslår också olika idéer för att utvidga denna metod till en approximativ avlärningsteknik, för att förbättra dess beräkningskomplexitet. / L’établissement du Règlement Général sur la Protection des Données (RGPD) en Europe en 2018, incluant le "Droit à l’Oubli" pose de sérieuses questions vis-à-vis de l’importance du développement de techniques permettant le "désapprentissage" de données specifiques d’un modéle entrainé. Réentrainer un modèle "from scratch" dés qu’une donnée doit être supprimée pose problème en pratique, ce qui justifie le besoin de méthodes plus efficaces pour répondre à ce problème. Nous abordons ce problème dans le contexte d’une Gaussian Process Regression, et définissons dans ce rapport une méthode efficace et exacte de désapprentissage pour une Gaussian Process Regression incluant l’optimisation des hyperparamètres du noyau. La méthode est basée sur un traçage efficace de l’optimisation faite par l’algorithme de Resilient Backpropagation (Rprop) grâce à la formulation Online d’une Gaussian Process Regression. De plus, nous développons une extension de cette première méthode pour la rendre applicable à des approximations locales telles que les Product-of-Experts ou Bayesian Committee Machines, ce qui permet d’améliorer d’avantage les performance de désapprentissage grâce à partitionement aléatoire du jeu de données. Du fait de la forte dépendence des performances de désapprentissage à la tâche de regression, nous montrons à travers de multiples expériences sur différents jeux de données qu’un nombre conséquent d’itérations peut être recalculé efficacement sans nécessiter d’inversion de matrices, au prix de la sauvegarde des états intermédiaires de la phase d’apprentissage.Nous donnons finalement des idées pour étendre cette méthode vers un désapprentissage approximatif, afin d’améliorer une fois de plus le temps de désapprentissage.