The development of innovative applications of Artificial Intelligence (AI) is inseparable from the sharing of public data. However, as people strengthen their awareness of the protection of personal data privacy, it is more and more difficult to collect data from multiple data sources and there is also a risk of leakage in unified data management. But neural networks need a lot of data for model learning and analysis. Federated learning (FL) can solve the above difficulties. It allows the server to learn from the local data of multiple clients without collecting them. This thesis mainly deploys FL on the Raspberry Pi (RPi) and achieves federated averaging (FedAvg) as aggregation method. First in the simulation, we compare the difference between FL and centralized learning (CL). Then we build a reliable communication system based on socket on testbed and implement FL on those devices. In addition, the Paillier encryption algorithm is configured for the communication in FL to avoid model parameters being exposed to public network directly. In other words, the project builds a complete and secure FL system based on hardware. / Utvecklingen av innovativa applikationer för artificiell intelligens (AI) är oskiljaktig från delning av offentlig data. Men eftersom människor stärker sin medvetenhet om skyddet av personuppgiftsskydd är det allt svårare att samla in data från flera datakällor och det finns också risk för läckage i enhetlig datahantering. Men neurala nätverk behöver mycket data för modellinlärning och analys. Federated learning (FL) kan lösa ovanstående svårigheter. Det gör det möjligt för servern att lära av lokala klientdata utan att samla in dem. Denna avhandling använder huvudsakligen FL på Raspberry Pi (RPi) och uppnår federerad genomsnitt (FedAvg) som aggregeringsmetod. Först i simuleringen jämför vi skillnaden mellan FL och CL. Sedan bygger vi ett pålitligt kommunikationssystem baserat på uttag på testbädd och implementerar FL på dessa enheter. Dessutom är Paillier -krypteringsalgoritmen konfigurerad för kommunikation i FL för att undvika att modellparametrar exponeras för det offentliga nätverket direkt. Med andra ord bygger projektet ett komplett och säkert FL -system baserat på hårdvara.

The objective of this thesis was to investigate how the addition of a privacy-preserving mechanism to a federated learning model was affecting the performance of the model for an image classification task. Further, it was to get knowledge on how the outlook to use federated learning in the biotech industry is and what possible threats and attacks that could obstruct the utilization of federated learning among competitors. In the project four different aggregation algorithms for federated learning were examined. The methods were weighted fedAvg, unweighted FedAvg, weighted FedProx and unweighted FedProx. The experiment was using tensorflow federated to simulate the different methods. They were evaluated using accuracy, loss, recall, precision and F1 score. The result of this study shows that the performance of the deep neural network model is decreasing as differential privacy is introduced to the process. Out of the four aggregation algorithms used, weighted fedProx was the one that performed the best despite the added noise. It was also concluded that federated learning has potential to be used in the biotechnology industry among competitors, but that there are still security threats and attacks to avoid.

With the development of intelligent services and applications enabled by Artificial Intelligence (AI), the Internet of Things (IoT) is infiltrating many aspects of our everyday lives. The usability of phones and tablets is largely increasing as the primary computing device, since the powerful sensors allow these devices to have access to an unprecedented amount of data. However, there are risks and responsibilities to collect the data in a centralized location due to privacy issues. To overcome this challenge, Federated Learning (FL) allows users to collectively taking the benefits of shared models trained from this big data, without the need to centrally store it. In this research, we present and evaluate the implementation of federated learning on Raspberry Pi boards using the FedAvg method. In addition, the compression method such as quantization and sparsification was applied to the baseline implementation to improve communication efficiency. We accomplished the implementation by comparing the baseline implementation and the compressed Federated-Averaging (FedAvg) on Raspberry Pi boards in order to achieve the smallest cost and higher accuracy to fit IoT environment. / Med utvecklingen av intelligenta tjänster och applikationer möjliggjord av AI infiltrerar IoT många aspekter av vår vardag. Användbarheten för telefoner och surfplattor ökar till stor del som den primära datorenheten, eftersom de kraftfulla sensorerna tillåter dessa enheter att få tillgång till en oöverträffad mängd data. Det finns dock risker och ansvar för att lagra data på en central plats på grund av integritetsfrågor. För att övervinna denna utmaning tillåter Federated Learning (FL) användare att kollektivt ta fördelarna av delade modeller utbildade från denna stora data utan att behöva lagra den centralt. I denna forskning presenterar och utvärderar vi implementeringen av federerat lärande på Raspberry Pi-kort med FedAVG-metoden. Dessutom hade komprimeringsmetoden som kvantisering och versifiering tillämpats på basimplementeringen för att förbättra kommunikationseffektiviteten. Vi slutför implementeringen genom att jämföra baslinjeimplementeringen och den komprimerade FedAVG på Raspberry-Pi-kort för att uppnå lägsta kostnad och högre noggrannhet för att passa IoT-miljö

In recent years, companies of all sizes have become increasingly dependent on customer user data and processing it using machine learning (ML) methods. These methods do, however, require the raw user data to be stored locally on a server or cloud service, raising privacy concerns. Hence, the purpose of this paper is to analyze a new alternative ML method, called federated learning (FL). FL allows the data to remain on each respective device while still being able to create a global model by averaging local models on each client device. The analysis in this report is based on two different types of simulations. The first is simulations in a virtual environment where a larger number of devices can be included, while the second is simulations on a physical testbed of Raspberry Pi (RPI) single-board computers. Different parameters are changed and altered to find the optimal performance, accuracy, and loss of computations in each case. The results of all simulations show that fewer clients and more training epochs increase the accuracy when using independent and identically distributed (IID) data. However, when using non-IID data, the accuracy is not dependent on the number of epochs, and it becomes chaotic when decreasing the number of clients which are sampled each round. Furthermore, the tests on the RPIs show results which agree with the virtual simulation. / På den senaste tiden har företag blivit allt mer beroende av ku rs användardata och har börjat använda maskininlärningsmodeller för att processera datan. För att skapa dessa modeller behövs att användardata lagras lokalt på en server eller en molntjänst, vilket kan leda till integritetsproblematik. Syftet med denna rapport är därför att analysera en ny alternativ metod, vid namn ”federated learning” (FL). Denna metod möjliggör skapandet av en global modell samtidigt som användardata förblir kvar på varje klients enhet. Detta görs genom att den globala modellen bestäms genom att beräkna medelvärdet av samtliga enheters lokala modeller. Analysen av metoden görs baserat på två olika typer av simuleringar. Den första görs i en virtuell miljö för att kunna inkluderastörre mängder klientenheter medan den andra typen görs på en fysisk testbädd som består av enkortsdatorerna Raspberry Pi (RPI). Olika parametrar justeras och ändras för att finna modellens optimala prestanda och nogrannhet. Resultaten av simuleringarna visar att färre klienter och flera träningsepoker ökar noggrannheten när oberoende och likafördelad (på engelska förkortat till IID) data används. Däremot påvisas att noggrannheten inte är beroende av antalet epoker när icke-IID data nyttjas. Noggrannheten blir däremot kaotisk när antalet klienter som används för att träna på varje runda minskas. Utöver observeras det även att testresultaten från RPI enheterna stämmer överens med resultatet från simuleringarna. / Kandidatexjobb i elektroteknik 2022, KTH, Stockholm