In 5G, Ultra-reliable and low-Latency communications (URLLC) service is envisioned to enable use cases with strict reliability and latency requirements on wireless communication. For the upcoming 6G network, machine learning (ML) also stands an important role that introduces intelligence and further enhances the system performance. This thesis explores the deployment of reinforcement learning (RL), a popular sub-field of ML, to optimize the application-layer availability and reliability of URLLC service in factory automation scenarios. In conventional RL methods, the decision variables are typically optimized in the same control loop. However, wireless systems’ parameters can be optimized either on a cell level or globally, depending on the inter-cell dynamics’ impact on their optimal value. Although global optimizations can provide a better performance, such optimizations introduce major practical limitations on the control loop’s delay. Besides, global optimization of all decision variables leads to excessive signalings, and thus, it is costly in terms of communication overhead. In this thesis, we propose a more flexible hierarchical reinforcement learning (HRL) framework that enables the implementation of multiple agents and multi-level policies with different time scales for each optimization. Therefore, we selected a use case from the prior art, optimizing the maximum number of retransmissions and transmission power to industrial devices, and solved it with our HRL framework. Our simulation results on factory automation scenario shows that HRL framework achieves similar performance as the ideal RL method, which highly improves the availability and reliability compared to the baseline solutions. Besides, the new HRL framework allows a more flexible allocation of agents. By allocating the low-level agents close to the base stations, our framework also significantly decreases the overhead of signal transmissions compared to the one-agent RL method. / Inom 5G är tjänster kallade “Ultra-reliable and low-latency communication” URLLC tänkta att möjliggöra trådlös kommunikation i användningsfall med strikta krav på tillförlitlighet och latens. För framtidens 6G nätverk har även maskininlärning ML en viktig roll som introducerar intelligens och ytterligare förbättrar systemens prestanda. Den här avhandlingen utforskar implementeringen av förstärkande inlärning (reinforcement learning eller RL), ett populärt underområde av ML, för att optimera tillgängligheten och tillförlitligheten av URLLC-tjänster i automatiserade fabriker. I traditionella RL-metoder optimeras beslutsvariablerna vanligtvis i samma kontrollslinga. Parametrarna för trådlösa system kan dock optimeras antingen på cellnivå eller globalt, beroende på inverkan av dynamiken mellan cellerna på deras optimala värde. Även om globala optimeringar kan ge bättre prestanda introducerar sådana optimeringar stora praktiska begränsningar på kontrollslingans latens. Dessutom leder global optimering av beslutsvariablerna till ökad signalering och är därför kostsamt. I denna avhandling föreslår vi ett mer flexibelt ramverk med hierarkisk förstärkande inlärning HRL som möjliggör implementering av flera agenter och flernivå-policys med olika tidsskalor för varje optimering. Därför valde vi ett tidigare känt användningsfall, optimeringen av det maximala antalet återsändningar samt överföringseffekten till industriella enheter, och löste det med vårt HRL ramverk. Resultaten från våra simuleringar på fabriksscenariot visar att HRL-ramverket uppnår liknande prestanda som den ideala RL-metoden, vilket i hög grad förbättrar tillgängligheten och tillförlitligheten jämfört med standardlösningarna. Dessutom tillåter det nya HRL ramverket en mer flexibel fördelning av agenter. Genom att allokera lågnivåagenterna nära basstationerna minskar vårt ramverk också avsevärt kostnaden för signalöverföringar jämfört med RL-metoden med endast en agent.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-324208 |
| Date | January 2023 |
| Creators | Shi, Wei |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2023:36 |
Page generated in 0.0023 seconds