In recent years, companies of all sizes have become increasingly dependent on customer user data and processing it using machine learning (ML) methods. These methods do, however, require the raw user data to be stored locally on a server or cloud service, raising privacy concerns. Hence, the purpose of this paper is to analyze a new alternative ML method, called federated learning (FL). FL allows the data to remain on each respective device while still being able to create a global model by averaging local models on each client device. The analysis in this report is based on two different types of simulations. The first is simulations in a virtual environment where a larger number of devices can be included, while the second is simulations on a physical testbed of Raspberry Pi (RPI) single-board computers. Different parameters are changed and altered to find the optimal performance, accuracy, and loss of computations in each case. The results of all simulations show that fewer clients and more training epochs increase the accuracy when using independent and identically distributed (IID) data. However, when using non-IID data, the accuracy is not dependent on the number of epochs, and it becomes chaotic when decreasing the number of clients which are sampled each round. Furthermore, the tests on the RPIs show results which agree with the virtual simulation. / På den senaste tiden har företag blivit allt mer beroende av ku rs användardata och har börjat använda maskininlärningsmodeller för att processera datan. För att skapa dessa modeller behövs att användardata lagras lokalt på en server eller en molntjänst, vilket kan leda till integritetsproblematik. Syftet med denna rapport är därför att analysera en ny alternativ metod, vid namn ”federated learning” (FL). Denna metod möjliggör skapandet av en global modell samtidigt som användardata förblir kvar på varje klients enhet. Detta görs genom att den globala modellen bestäms genom att beräkna medelvärdet av samtliga enheters lokala modeller. Analysen av metoden görs baserat på två olika typer av simuleringar. Den första görs i en virtuell miljö för att kunna inkluderastörre mängder klientenheter medan den andra typen görs på en fysisk testbädd som består av enkortsdatorerna Raspberry Pi (RPI). Olika parametrar justeras och ändras för att finna modellens optimala prestanda och nogrannhet. Resultaten av simuleringarna visar att färre klienter och flera träningsepoker ökar noggrannheten när oberoende och likafördelad (på engelska förkortat till IID) data används. Däremot påvisas att noggrannheten inte är beroende av antalet epoker när icke-IID data nyttjas. Noggrannheten blir däremot kaotisk när antalet klienter som används för att träna på varje runda minskas. Utöver observeras det även att testresultaten från RPI enheterna stämmer överens med resultatet från simuleringarna. / Kandidatexjobb i elektroteknik 2022, KTH, Stockholm

Timely data collection and execution in heterogeneous Internet of Things (IoT) networks in which different protocols and spectrum bands coexist such as WiFi, RFID, Zigbee, and LoRa, requires further investigation. This thesis studies the problem of age-of-information minimization in heterogeneous IoT networks consisting of heterogeneous IoT devices, an intermediate layer of multi-protocol mobile gateways (M-MGs) that collects and relays data from IoT objects and performs computing tasks, and heterogeneous access points (APs). A federated matching framework is presented to model the collaboration between different service providers (SPs) to deploy and share M-MGs and minimize the average weighted sum of the age-of-information and energy consumption. Further, we develop a two-level multi-protocol multi-agent actor-critic (MP-MAAC) to solve the optimization problem, where M-MGs and SPs can learn collaborative strategies through their own observations. The M-MGs' strategies include selecting IoT objects for data collection, execution, relaying, and/or offloading to SPs’ access points while SPs decide on spectrum allocation. Finally, to improve the convergence of the learning process we incorporate federated learning into the multi-agent collaborative framework. The numerical results show that our Fed-Match algorithm reduces the AoI by factor four, collects twice more packets than existing approaches, reduces the penalty by factor five when enabling relaying, and establishes design principles for the stability of the training process.

Water monitoring is an essential process that managesthe well-being of freshwater ecosystems. However, it isgenerally an inefficient process as most data collection is donemanually. By combining wireless sensor technology and machinelearning techniques, projects such as iWater aim to modernizecurrent methods. The purpose of the iWater project is to developa network of smart sensors capable of collecting and analyzingwater quality-related data in real time.To contribute to this goal, a comparative study between theperformance of a centralized machine learning algorithm thatis currently used, and a distributed model based on a federatedlearning algorithm was done. The data used for training andtesting both models was collected by a wireless sensor developedby the iWater project. The centralized algorithm was used asthe basis for the developed distributed model. Due to lack ofsensors, the distributed model was simulated by down-samplingand dividing the sensor data into six data sets representing anindividual sensor. The results are similar for both models andthe developed algorithm reaches an accuracy of 98.41 %. / Vattenövervakning är en nödvändig processför att få inblick i sötvattensekosystems välmående. Dessvärreär det en kostsam och tidskrävande process då insamling avdata vanligen görs manuellt. Genom att kombinera trådlössensorteknologi och maskininlärnings algoritmer strävar projektsom iWater mot att modernisera befintliga metoder.Syftet med iWater är att skapa ett nätverk av smarta sensorersom kan samla in och analysera vattenkvalitetsrelaterade datai realtid. För att bidra till projektmålet görs en jämförandestudie mellan den prediktiva noggrannheten hos en centraliseradmaskininlärningsalgoritm, som i nuläget används, och endistribuerad modell baserad på federerat lärande. Data somanvänds för träning och testning av båda modellerna samladesin genom en trådlös sensor utvecklad inom iWater-projektet.Den centraliserade algoritmen användes som grund för denutvecklade distribuerade modellen. På grund av brist på sensorersimulerades den distribuerade modellen genom nedprovtagningoch uppdelning av data i sex datamängder som representerarenskilda sensorer. Resultaten för båda modellerna var liknandeoch den utvecklade algoritmen har en noggrannhet på 98.41 % / Kandidatexjobb i elektroteknik 2021, KTH, Stockholm

With the rapid increase of Internet of Things-devices(IoT), demand for new machine learning algorithms and modelshas risen. The focus of this project is implementing a federatedlearning (FL) algorithm to detect anomalies in measurementsmade by a water monitoring IoT-sensor. The FL algorithm trainsacross a collection of decentralized IoT-devices, each using thelocal data acquired from the specific sensor. The local machinelearning models are then uploaded to a mutual server andaggregated into a global model. The global model is sent back tothe sensors and is used as a template when training starts againlocally. In this project, we only have had access to one physicalsensor. This has forced us to virtually simulate sensors. Thesimulation was done by splitting the data gathered by the onlyexisting sensor. To deal with the long, sequential data gatheredby the sensor, a long short-term memory (LSTM) network wasused. This is a special type of artificial neural network (ANN)capable of learning long-term dependencies. After analyzing theobtained results it became clear that FL has the potential toproduce good results, provided that more physical sensors aredeployed. / I samband med den snabba ökningen avInternet of Things-enheter (IoT) har efterfrågan på nya algoritmeroch modeller för maskininlärning ökat. Detta projektfokuserar på att implementera en federated learning (FL) algoritmför att detektera avvikelser i mätdata från en sensorsom övervakar vattenkvaliteten. FL algoritmen tränar en samlingdecentraliserade IoT-enheter, var och en med hjälp av lokaldata från sensorn i fråga. De lokala maskininlärningsmodellernaladdas upp till en gemensam server och sammanställs till englobal modell. Den globala modellen skickas sedan tillbaka tillsensorerna och används som mall när den lokala träningen börjarigen. I det här projektet hade vi endast tillgång till en fysisksensor. Vi har därför varit tvungna att simulera sensorer. Dettagjordes genom att dela upp datamängden som samlats in frånden fysiska sensorn. För att hantera den långa sekventiella dataanvänds ett long short-term memory (LSTM) nätverk. Detta ären speciell typ av artificiellt neuronnät (ANN) som är kapabeltatt minnas mönster under en längre tid. Efter att ha analyseratresultaten blev det tydligt att FL har potentialen att produceragoda resultat, givet att fler fysiska sensorer implementeras. / Kandidatexjobb i elektroteknik 2021, KTH, Stockholm

Recent years have witnessed remarkable advancements in machine learning, but with these advances come concerns about data privacy. Machine learning inherently involves learning functions from data, and this process can potentially lead to information leakage through various attacks on the learned model. Additionally, the presence of malicious actors who may poison input data to manipulate the model has become a growing concern. Consequently, the ability to unlearn specific data samples on demand has become critically important. Federated Learning (FL) has emerged as a powerful approach to address these challenges. In FL, multiple participants or clients collaborate to train a single global machine learning model without sharing their training data. However, the issue of machine unlearning is particularly pertinent in FL, especially in scenarios where clients are not fully trustworthy. This paper delves into the investigation of the efficacy of solving machine unlearning problems within the FL framework. The central research question this work tackles is: How can we effectively unlearn the entire dataset from one or multiple clients once an FL training is completed, while maintaining privacy and without access to the data? To address this challenge, we introduce the concept of ”contribution,” which quantifies how much each client contributes to the training of the global FL model. In our implementation, we employ an Encoder-Decoder model on the server’s end to disentangle these contributions as the FL process progresses. Notably, our approach is unique in that there is no existing work that utilizes a similar concept nor similar models. Our findings, supported by extensive experiments on datasets MNIST and FashionMNIST, demonstrate that our proposed approach successfully solves the unlearning task in FL. Remarkably, it achieves results comparable to retraining from scratch without requiring the participation of the specific client whose data needs to be unlearned. Moreover, additional ablation studies indicate the sensitivity of the proposed model to specific structural hyperparameters. / Här har de senaste åren bevittnat enastående framsteg inom maskininlärning, men med dessa framsteg kommer bekymmer om dataskydd. Maskininlärning innebär i grunden att lära sig funktioner från data, och denna process kan potentiellt leda till läckage av information genom olika attacker mot den inlärda modellen. Dessutom har närvaron av illvilliga aktörer som kan förgifta indata för att manipulera modellen blivit en växande oro. Följaktligen har förmågan att avlära specifika datasatser på begäran blivit av avgörande betydelse. Federerad inlärning (FL) har framträtt som en kraftfull metod för att ta itu med dessa utmaningar. I FL samarbetar flera deltagare eller klienter för att träna en enda global maskininlärningsmodell utan att dela sina träningsdata. Emellertid är problemet med maskinavlärande särskilt relevant inom FL, särskilt i situationer där klienterna inte är fullt pålitliga. Denna artikel fördjupar sig i undersökningen av effektiviteten av att lösa problem med maskinavlärande inom FL-ramverket. Den centrala forskningsfråga som detta arbete behandlar är: Hur kan vi effektivt avlära hela datasamlingen från en eller flera klienter när FL-utbildningen är klar, samtidigt som vi bevarar integritet och inte har tillgång till datan? För att ta itu med denna utmaning introducerar vi begreppet ”bidrag,” som kvantifierar hur mycket varje klient bidrar till träningen av den globala FLmodellen. I vår implementering använder vi en Encoder-Decoder-modell på serverns sida för att reda ut dessa bidrag när FL-processen fortskrider. Det är värt att notera att vår metod är unik eftersom det inte finns något befintligt arbete som använder ett liknande koncept eller liknande modeller. Våra resultat, som stöds av omfattande experiment på dataseten MNIST och FashionMNIST, visar att vår föreslagna metod framgångsrikt löser avlärandeuppgiften i FL. Anmärkningsvärt uppnår den resultat som är jämförbara med att träna om från grunden utan att kräva deltagandet av den specifika klient vars data behöver avläras. Dessutom indikerar ytterligare avläggningsstudier känsligheten hos den föreslagna modellen för specifika strukturella hyperparametrar.

<p dir="ltr">The original definition of Nash Equilibrium applied to normal form games, but the notion has now been extended to various other forms of games including leader-follower games (Stackelberg games), extensive form games, stochastic games, games of incomplete information, cooperative games, and so on. We focus on general-sum stochastic Stackelberg games in this work. An example where such games would be natural to consider is in security games where a defender wishes to protect some targets through deployment of limited resources and an attacker wishes to strategically attack the targets to benefit themselves. The hierarchical order of play arises naturally since the defender typically acts first and deploys a strategy, while the attacker observes the strategy ofthe defender before attacking. Another example where this framework fits is in testing during epidemics, where the leader (the government) sets testing policies and the follower (the citizens) decide at every time step whether to get tested. The government wishes to minimize the number of infected people in the population while the follower wishes to minimize the cost of getting sick and testing. This thesis presents a learning algorithm for players to converge to their stationary policies in a general sum stochastic sequential Stackelberg game. The algorithm is a two time scale implicit policy gradient algorithm that provably converges to stationary points of the optimization problems of the two players. Our analysis allows us to move beyond the assumptions of zero-sum or static Stackelberg games made in the existing literature for learning algorithms to converge.</p><p dir="ltr"><br></p>

While it is difficult for base stations to estimate the millimeter wave (mmWave) channels and find the optimal mmWave beam for user equipments (UEs) quickly, the sub-6 GHz channels which are usually easier to obtain and more robust to blockages could be used to reduce the time before initial access and enhance the reliability of mmWave communication. Considering that the channel information is collected by a massive number of radio base stations and would be sensitive to privacy and security, Federated Learning (FL) is a match for this use case. In practice, the channel vectors are usually subject to Non-Independently Distributed (non-IID) distributions due to the greatly varying wireless communication environments between different radio base stations and their UEs. To achieve satisfying performance for all radio base stations instead of only the majority of them, a useful solution is designing personalized methods for each radio base station. In this thesis, we implement two personalized FL methods including 1) Finetuning FL Model on Private Dataset of Each Client and 2) Adaptive Expert Models for FL to predict the optimal mmWave beamforming vector directly from the non-IID sub-6 GHz channel vectors generated from DeepMIMO. According to our experimental results, Finetuning FL Model on Private Dataset of Each Client achieves higher average mmWave downlink spectral efficiency than the global FL. Besides, in terms of the average Top-1 and Top-3 classification accuracies, its performance improvement over the global FL model even exceeds the improvement of the global FL over the pure local models. / Även om det är svårt för en basstation att uppskatta en kanal för millimetervåg (mmWave) och snabbt hitta den bästa mmWave-strålen för en användarutrustning (UE), kan den dra fördel av kanaler under 6 GHz, som i allmänhet är mer lättillgängliga och mer motståndskraftig mot blockering, för att minska tid för första besök och förbättra tillförlitligheten hos mmWave-kommunikation. Med tanke på att kanalinformation samlas in av ett stort antal radiobasstationer och är känslig för integritet och säkerhet är federated learning (FL) väl lämpat för detta användningsfall. I praktiken, eftersom den trådlösa kommunikationsmiljön varierar mycket mellan olika radiobasstationer och deras UE, följer kanalvektorer vanligtvis en icke-oberoende distribution (icke-IID). För att uppnå tillfredsställande prestanda för alla radiobasstationer, inte bara de flesta radiobasstationer, är en användbar lösning att utforma ett individuellt tillvägagångssätt för varje radiobasstation. I detta dokument implementerar vi två personliga FL-metoder, inklusive 1) finjustering av FL-modellen på varje klients privata datauppsättning och 2) en adaptiv expertmodell av FL för att direkt generera icke-IID sub-6 GHz kanalvektorer förutsäga optimal mmWave beamforming vektorer. Enligt våra experimentella resultat uppnår finjustering av FL-modellen på varje klients privata datauppsättning högre genomsnittlig mmWave-nedlänksspektral effektivitet än global FL. Dessutom överträffar dess prestandaförbättring jämfört med den globala FL-modellen till och med den för den globala FL jämfört med den rent lokala modellen vad gäller genomsnittlig klassificeringsnoggrannhet i topp-1 och topp-3.

Dans l’apprentissage fédéré, un modèle global est appris en agrégeant les mises à jour du modèle calculées à partir d’un ensemble de nœuds clients, un défi clé dans ce domaine est l’hétérogénéité des données entre les clients qui dégrade les performances du modèle. Les algorithmes d’apprentissage fédéré standard effectuent plusieurs étapes de gradient avant de synchroniser le modèle, ce qui peut amener les clients à minimiser exagérément leur propre objectif local et à s’écarter de la solution globale. Nous démontrons que dans un tel contexte, les modèles de clients individuels subissent un oubli catastrophique par rapport aux données d’autres clients et nous proposons une approche simple mais efficace qui modifie l’objectif d’entropie croisée sur une base par client en repondérant le softmax de les logits avant de calculer la perte. Cette approche protège les classes en dehors de l’ensemble d’étiquettes d’un client d’un changement de représentation brutal. Grâce à une évaluation empirique approfondie, nous démontrons que notre approche peut atténuer ce problème, en apportant une amélioration continue aux algorithmes d’apprentissage fédéré standard. Cette approche est particulièrement avantageux dans les contextes d’apprentissage fédéré difficiles les plus étroitement alignés sur les scénarios du monde réel où l’hétérogénéité des données est élevée et la participation des clients à chaque cycle est faible. Nous étudions également les effets de l’utilisation de la normalisation par lots et de la normalisation de groupe avec notre méthode et constatons que la normalisation par lots, qui était auparavant considérée comme préjudiciable à l’apprentissage fédéré, fonctionne exceptionnellement bien avec notre softmax repondéré, remettant en question certaines hypothèses antérieures sur la normalisation dans un système fédéré / In Federated Learning, a global model is learned by aggregating model updates computed from a set of client nodes, a key challenge in this domain is data heterogeneity across clients which degrades model performance. Standard federated learning algorithms perform multiple gradient steps before synchronizing the model which can lead to clients overly minimizing their own local objective and diverging from the global solution. We demonstrate that in such a setting, individual client models experience a catastrophic forgetting with respect to data from other clients and we propose a simple yet efficient approach that modifies the cross-entropy objective on a per-client basis by re-weighting the softmax of the logits prior to computing the loss. This approach shields classes outside a client’s label set from abrupt representation change. Through extensive empirical evaluation, we demonstrate our approach can alleviate this problem, providing consistent improvement to standard federated learning algorithms. It is particularly beneficial under the challenging federated learning settings most closely aligned with real world scenarios where data heterogeneity is high and client participation in each round is low. We also investigate the effects of using batch normalization and group normalization with our method and find that batch normalization which has previously been considered detrimental to federated learning performs particularly well with our re-weighted softmax, calling into question some prior assumptions about normalization in a federated setting

Machine Learning (ML) is the current trend that most industries opt for to improve their business and operations. ML has also been adopted in the financial markets, where well-funded financial institutions employ the latest ML algorithms to gain an advantage on the market. The darker side of ML is the potential emergence of complex algorithmic trading schemes that are abusive and manipulative. Because of this, it is inevitable that ML will be applied to financial market surveillance in order to detect these abusive and manipulative trading strategies. Ideally, an accurate ML detection model would be developed with data from many financial institutions or trading venues. However, such ML models require vast quantities of data, which poses a problem in market surveillance where data is sensitive or limited. Data sharing between companies or countries is typically accompanied by legal and privacy concerns. By training ML models on distributed datasets, Federated Learning (FL) overcomes these issues by eliminating the need to centralise sensitive data. This thesis aimed to address these ML related issues in market surveillance by implementing and evaluating a FL model. FL enables a group of independent data-holding clients with the same intention to build a shared ML model collaboratively without compromising private data. In this work, a ML model is initially deployed in a centralised data setting and trained to detect the manipulative trading scheme known as spoofing. The LSTM-Autoencoder was the model chosen method for this task. The same model is also implemented in a federated setting but with decentralised data, using the FL framework FEDn. Another FL framework, Flower, is also employed to evaluate the performance of FEDn. Experiments were conducted comparing the FL models to the conventional centralised learning model, as well as comparing the two frameworks to each other. The results showed that under certain circumstances, the FL models performed better than the centralised model in detecting spoofing. FEDn was equivalent to Flower in terms of detection performance. In addition, the results indicated that Flower was marginally faster than FEDn. It is assumed that variations in the experimental setup and stochasticity account for the performance disparity.

Federated learning poses a statistical challenge when training on highly heterogeneous sequence data. For example, time-series telecom data collected over long intervals regularly shows mixed fluctuations and patterns. These distinct distributions are an inconvenience when a node not only plans to contribute to the creation of the global model but also plans to apply it on its local dataset. In this scenario, adopting a one-fits-all approach might be inadequate, even when using state-of-the-art machine learning techniques for time series forecasting, such as Long Short-Term Memory (LSTM) networks, which have proven to be able to capture many idiosyncrasies and generalise to new patterns. In this work, we show that by clustering the clients using these patterns and selectively aggregating their updates in different global models can improve local performance with minimal overhead, as we demonstrate through experiments using realworld time series datasets and a basic LSTM model. / Federated Learning utgör en statistisk utmaning vid träning med starkt heterogen sekvensdata. Till exempel så uppvisar tidsseriedata inom telekomdomänen blandade variationer och mönster över längre tidsintervall. Dessa distinkta fördelningar utgör en utmaning när en nod inte bara ska bidra till skapandet av en global modell utan även ämnar applicera denna modell på sin lokala datamängd. Att i detta scenario införa en global modell som ska passa alla kan visa sig vara otillräckligt, även om vi använder oss av de mest framgångsrika modellerna inom maskininlärning för tidsserieprognoser, Long Short-Term Memory (LSTM) nätverk, vilka visat sig kunna fånga komplexa mönster och generalisera väl till nya mönster. I detta arbete visar vi att genom att klustra klienterna med hjälp av dessa mönster och selektivt aggregera deras uppdateringar i olika globala modeller kan vi uppnå förbättringar av den lokal prestandan med minimala kostnader, vilket vi demonstrerar genom experiment med riktigt tidsseriedata och en grundläggande LSTM-modell.