With the introduction of the Internet of Things (IoT) and 5G cellular networks, edge computing will substantially alleviate the quality of service shortcomings of cloud computing. With the advancements in edge computing, machine learning (ML) has performed a significant role in analyzing the data produced by IoT devices. Such advancements have mainly enabled ML proliferation in distributed optimization algorithms. These algorithms aim to improve training and testing performance for prediction and inference tasks, such as image classification. However, state-of-the-art ML algorithms demand massive communication and computation resources that are not readily available on wireless devices. Accordingly, a significant need is to extend ML algorithms to wireless communication scenarios to cope with the resource limitations of the devices and the networks. Federated learning (FL) is one of the most prominent algorithms with data distributed across devices. FL reduces communication overhead by avoiding data exchange between wireless devices and the server. Instead, each wireless device executes some local computations and communicates the local parameters to the server using wireless communications. Accordingly, every communication iteration of FL experiences costs such as computation, latency, communication resource utilization, bandwidth, and energy. Since the devices' communication and computation resources are limited, it may hinder completing the training of the FL due to the resource shortage. The main goal of this thesis is to develop cost-efficient approaches to alleviate the resource constraints of devices in FL training. In the first chapter of the thesis, we overview ML and discuss the relevant communication and computation efficient works for training FL models. Next, a comprehensive literature review of cost efficient FL methods is conducted, and the limitations of existing literature in this area are identified. We then present the central focus of our research, which is a causal approach that eliminates the need for future FL information in the design of communication and computation efficient FL. Finally, we summarize the key contributions of each paper within the thesis. In the second chapter, the thesis presents the articles on which it is based in their original format of publication or submission. A multi-objective optimization problem, incorporating FL loss and iteration cost functions, is proposed where communication between devices and the server is regulated by the slotted-ALOHA wireless protocol. The effect of contention level in the CSMA/CA on the causal solution of the proposed optimization is also investigated. Furthermore, the multi-objective optimization problem is extended to cover general scenarios in wireless communication, including convex and non-convex loss functions. Novel results are compared with well-known communication-efficient methods, such as the lazily aggregated quantized gradients (LAQ), to further improve the communication efficiency in FL over wireless networks. / Med introduktionen av Internet of Things~(IoT) och 5G~cellulära nätverk, kommer edge computing avsevärt att lindra bristerna på tjänstekvaliteten hos molnberäkningar. Med framstegen inom edge computing har maskininlärning~(ML) spelat en betydande roll i att analysera data som produceras av IoT-enheter. Sådana framsteg har huvudsakligen möjliggjort ML-proliferation i distribuerade optimeringsalgoritmer. Dessa algoritmer syftar till att förbättra tränings- och testprestanda för förutsägelse- och slutledningsuppgifter, såsom bildklassificering. Men de senaste ML-algoritmerna kräver enorma kommunikations- och beräkningsresurser som inte är lätt tillgängliga på trådlösa enheter. Följaktligen är ett betydande behov att utöka ML-algoritmer till scenarier för trådlös kommunikation för att klara av resursbegränsningarna hos enheterna och nätverken. Federated learning~(FL) är en av de mest framträdande algoritmerna med data fördelade över enheter. FL minskar kommunikationskostnader genom att undvika datautbyte mellan trådlösa enheter och servern. Istället utför varje trådlös enhet några lokala beräkningar och kommunicerar de lokala parametrarna till servern med hjälp av trådlös kommunikation. Följaktligen upplever varje kommunikationsiteration av FL kostnader som beräkning, latens, kommunikationsresursanvändning, bandbredd och energi. Eftersom enheternas kommunikations- och beräkningsresurser är begränsade kan det på grund av resursbristen hindra att fullfölja utbildningen av FL. Huvudmålet med denna avhandling är att utveckla kostnadseffektiva metoder för att lindra resursbegränsningarna för enheter i FL-träning. I det första kapitlet av avhandlingen överblickar vi ML och diskuterar relevanta kommunikations- och beräkningseffektiva arbeten för att träna FL-modeller. Därefter genomförs en omfattande litteraturgenomgång av kostnadseffektiva FL-metoder, och begränsningarna för befintlig litteratur inom detta område identifieras. Vi presenterar sedan det centrala fokuset i vår forskning, vilket är ett kausalt synsätt som eliminerar behovet av framtida FL-information vid utformning av kommunikations- och beräkningseffektiv FL. Slutligen sammanfattar vi de viktigaste bidragen från varje artikel i avhandlingen. I det andra kapitlet presenterar avhandlingen de artiklar som den bygger på i deras ursprungliga publicerings- eller inlämningsformat. Ett multi-objektiv optimeringsproblem, som inkluderar FL-förlust- och iterationskostnadsfunktioner, föreslås där det trådlösa ALOHA-protokollet med slitsar reglerar kommunikationen mellan enheter och servern. Effekten av konfliktnivån i CSMA/CA på den kausala lösningen av den föreslagna optimeringen undersöks också. Dessutom utökas problemet med optimering av flera mål till att täcka allmänna scenarier inom trådlös kommunikation, inklusive konvexa och icke-konvexa förlustfunktioner. Nya resultat jämförs med välkända kommunikationseffektiva metoder som LAQ för att ytterligare förbättra kommunikationseffektiviteten i FL över trådlösa nätverk. Med introduktionen av Internet of Things~(IoT) och 5G~cellulära nätverk, kommer edge computing avsevärt att lindra bristerna på tjänstekvaliteten hos molnberäkningar. Med framstegen inom edge computing har maskininlärning~(ML) spelat en betydande roll i att analysera data som produceras av IoT-enheter. Sådana framsteg har huvudsakligen möjliggjort ML-proliferation i distribuerade optimeringsalgoritmer. Dessa algoritmer syftar till att förbättra tränings- och testprestanda för förutsägelse- och slutledningsuppgifter, såsom bildklassificering. Men de senaste ML-algoritmerna kräver enorma kommunikations- och beräkningsresurser som inte är lätt tillgängliga på trådlösa enheter. Följaktligen är ett betydande behov att utöka ML-algoritmer till scenarier för trådlös kommunikation för att klara av resursbegränsningarna hos enheterna och nätverken. Federated learning~(FL) är en av de mest framträdande algoritmerna med data fördelade över enheter. FL minskar kommunikationskostnader genom att undvika datautbyte mellan trådlösa enheter och servern. Istället utför varje trådlös enhet några lokala beräkningar och kommunicerar de lokala parametrarna till servern med hjälp av trådlös kommunikation. Följaktligen upplever varje kommunikationsiteration av FL kostnader som beräkning, latens, kommunikationsresursanvändning, bandbredd och energi. Eftersom enheternas kommunikations- och beräkningsresurser är begränsade kan det på grund av resursbristen hindra att fullfölja utbildningen av FL. Huvudmålet med denna avhandling är att utveckla kostnadseffektiva metoder för att lindra resursbegränsningarna för enheter i FL-träning. I det första kapitlet av avhandlingen överblickar vi ML och diskuterar relevanta kommunikations- och beräkningseffektiva arbeten för att träna FL-modeller. Därefter genomförs en omfattande litteraturgenomgång av kostnadseffektiva FL-metoder, och begränsningarna för befintlig litteratur inom detta område identifieras. Vi presenterar sedan det centrala fokuset i vår forskning, vilket är ett kausalt synsätt som eliminerar behovet av framtida FL-information vid utformning av kommunikations- och beräkningseffektiv FL. Slutligen sammanfattar vi de viktigaste bidragen från varje artikel i avhandlingen. I det andra kapitlet presenterar avhandlingen de artiklar som den bygger på i deras ursprungliga publicerings- eller inlämningsformat. Ett multi-objektiv optimeringsproblem, som inkluderar FL-förlust- och iterationskostnadsfunktioner, föreslås där det trådlösa ALOHA-protokollet med slitsar reglerar kommunikationen mellan enheter och servern. Effekten av konfliktnivån i CSMA/CA på den kausala lösningen av den föreslagna optimeringen undersöks också. Dessutom utökas problemet med optimering av flera mål till att täcka allmänna scenarier inom trådlös kommunikation, inklusive konvexa och icke-konvexa förlustfunktioner. Nya resultat jämförs med välkända kommunikationseffektiva metoder som LAQ för att ytterligare förbättra kommunikationseffektiviteten i FL över trådlösa nätverk. / <p>QC 20230310</p>
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-324549 |
| Date | January 2023 |
| Creators | Mahmoudi, Afsaneh |
| Publisher | KTH, Elektroteknik |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Licentiate thesis, comprehensive summary, info:eu-repo/semantics/masterThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-AVL ; 2023:19 |
Page generated in 0.0019 seconds