Compared with the terrestrial network (TN), which can only support limited covered areas, satellite communication (SC) can provide global coverage and high survivability in case of an emergency like an earthquake. Especially low-earth orbit (LEO) satellites, as a promising technology, which is integral to achieving the goal of global seamless coverage and reliable communication, catering to 6G’s communication requirements. Nevertheless, the swift movement of the LEO satellites poses a challenge: frequent handovers are inevitable, compromising the quality of service (QoS) of users and leading to discontinuous connectivity. Moreover, considering LEO satellite connectivity for different flying vehicles (FVs) when coexisting with ground terminals, an efficient satellite handover decision control and mobility management strategy is required to reduce the number of handovers and allocate resources that align with different user requirements. With the development of machine learning (ML) methods, which can greatly enhance system performance and automation, reinforcement learning (RL), as a sub-field in ML has been employed to optimize decision control. Due to the challenges of dimensionality explosion and the propensity for traditional Q-learning algorithms to get trapped in local minima, deep learning has been introduced with RL. In this thesis, the high-dimensionality user-satellite network is constructed including the LEO constellation from the ephemeris data, different types of flying vehicles such as aircraft and drones, and ground terminals. Two mathematical optimization models named the traditional low handover model and network utility model when considering the full criteria including the remaining visible time, downlink (DL) carrier-to-interference-plus-noise ratio (CINR) and the available idle channels are formulated. In this way, a novel satellite handover strategy based on Multi-Agent Reinforcement Learning (MARL) and game theory named Nash-SAC has been proposed to solve these problems. From the simulation results, compared with different benchmarks such as the traditional Q-learning algorithm, Maximum available channel (MAC)-based strategy, and Maximum instantaneous signal strength (MIS)-based strategy, Nash-SAC can effectively reduce the number of satellite handovers by over 16% close to the lower limit, and the blocking rate by over 18%. Moreover, Nash-SAC can greatly improve the network utility of the whole system by up to 48% and cater to different users’ requirements, providing reliable and robust connectivity for both FVs and ground terminals. / Jämfört med det markbundna nätet (TN), som endast kan stödja begränsade täckta områden, kan satellitkommunikation (SC) ge global täckning och hög överlevnad vid en nödsituation som en jordbävning. Speciellt lågjordiga satelliter (LEO), som en lovande teknik, som är integrerad för att uppnå målet om global sömlös täckning och tillförlitlig kommunikation, tillgodose 6G:s kommunikationskrav. Icke desto mindre utgör LEO-satelliternas snabba förflyttning en utmaning: täta överlämningar är oundvikliga, vilket äventyrar användarnas tjänstekvalitet och leder till kontinuerlig uppkoppling. Med tanke på LEO:s satellitanslutning för olika flygande fordon när de samexisterar med markterminaler krävs dessutom en effektiv strategi för kontroll av satellitöverlämning och mobilitetshantering för att minska antalet överlämningar och fördela resurser som överensstämmer med olika användarkrav. Med utvecklingen av maskininlärningsmetoder (ML), som avsevärt kan förbättra systemprestanda och automation, har förstärkningsinlärning (RL), som ett delområde i ML använts för att optimera beslutskontrollen. På grund av utmaningarna med dimensionsexplosion och benägenheten för traditionella Q-inlärningsalgoritmer att fastna i lokala minimi har djupinlärning introducerats med RL. I denna avhandling konstrueras det högdimensionella användarsatellitnätet inklusive LEO-konstellationen från ephemerisdata, olika typer av flygande fordon såsom flygplan och drönare samt markterminaler. Två matematiska optimeringsmodeller kallas den traditionella lågöverlämningsmodellen och nätverksbruksmodellen när man beaktar de fullständiga kriterierna inklusive återstående synliga tiden, nedlänk (DL) carrier-to-interferens-plus-noise ratio (CINR) och tillgängliga inaktiva kanaler formuleras. På detta sätt har en ny satellitöverlämningsstrategi baserad på Multi-Agent Reinforcement Learning (MARL) och spelteori vid namn Nash-SAC föreslagits för att lösa dessa problem. Från simuleringsresultaten, jämfört med olika riktmärken såsom den traditionella Q-learning algoritmen, Maximal available channel (MAC)-baserad strategi och Maximal instantaneous signalstyrka (MIS)-baserad strategi, kan Nash-SAC effektivt minska antalet satellitöverlämningar med över 16% nära den nedre gränsen och blockeringshastigheten med över 18%. Dessutom kan Nash-SAC avsevärt förbättra nätverksnyttan i hela systemet med upp till 48% och tillgodose olika användares krav, vilket ger tillförlitlig och robust anslutning för både flygande fordon och markterminaler.

There is a rapid development within the unmanned aerial systems (UAS) technologies and the logistics industry leads the research, motivated by potential future profits when used for last-mile deliveries. The military have used unmanned aerial vehicles (UAV) for many decades, but the military usage of UAVs for deliveries is almost unheard of.  The main purpose of the study is to theoretically evaluate if existing payload carrying UAVs could increase the Swedish defence-logistics organizations capabilities. This study is delimited to tactical deliveries and UAVs with a maximal takeoff weight of less than 250 kg.  This study begins by investigating the Swedish Armed Forces logistical needs and the capabilities of the existing UAVs. It then performs a research overview in the subject to be updated on the latest insights which are complemented by discussions with expertise in the subject. The theory utilized are Systems Science, Systems Engineering and Military Capability which lay ground to the Military Utility concept which is developed to evaluate the value of military systems to support decision-makers when acquiring new complex systems. To evaluate the military logistics performance, Mosh Kress book Operational logistics was used.  The research is split into three phases, phase one utilizes the insights from the background research to select UAVs to evaluate and to develop three potential scenarios. In phase two the Military Utility evaluation models are developed for each scenario. Phase three evaluates the concept systems performance for the scenarios. The conclusion is that there is circumstantial Military Utility with UAS within the Swedish logistics organization. The potential exists when used for their strengths such as low response time in hard-to-reach areas, and where there is a desire to remove the operators from danger during the transport. Further there is a potential to save operative costs in terms of man-hours, but UAVs are quite vulnerable to electronic disturbances and the cold and windy Swedish climate. The civil airspace regulation is also a major hinder for UAS effective use as well as their limited payload capacity. / Den teknologiska utvecklingen inom obemannade flygande system (UAS) går snabbt framåt. Det är logistikindustrin som leder forskningen motiverade av framtida vinster när tekniken används för sista kilometern-transporter. Militären har använt obemannade flygande fordon (UAV) i flera decennier, men inte för materielleveranser i någon betydande utsträckning. Det huvudsakliga syftet med den här studien är att teoretiskt utvärdera om befintliga transport UAV:er kan öka den svenska försvarslogistiska förmågan. Studien är avgränsad till taktiska leveranser med UAV:er som har en maximal startvikt på 250 kg. Studien börjar med att undersöka de svenska försvarslogistiska behoven samt förmågorna av existerande UAV:er. Den genomför sedan en forskningsöversikt i ämnet för att uppdateras om de senaste insikterna som även kompletteras av diskussioner med experter i ämnet. Teorin som används är Systemteori, Systemteknik och Militär förmåga som lägger grunden för det Militär Nytta-konceptet. Konceptet är utvecklat för att utvärdera värdet av militära system och förse beslutstagare med stöd vid anskaffande av nya komplexa system. För att utvärdera den militära logistikprestandan används Mosh Kress bok Operational Logistics. Genomförandet delas upp i tre faser. I fas ett används insikterna från initiala undersökningen för att välja ut UAV:er att utvärdera samt utvecklas tre potentiella scenarier. I fas två utvecklas Militära Nytta utvärderingsmodellerna för vartdera scenario. I fas tre utvärderas systemkonceptens prestanda i scenarierna. Slutsatsen är att Militär Nytta med UAS finns till varierande grad beroende på omständigheterna. Potentialen för tekniken finns främst när den används för sina styrkor till exempel vid behov av snabba leveranser till svåråtkomliga platser, samt när det finns ett behov att få bort förare från farliga platser. Vidare så finns det potential att spara operativa kostnader genom reducering av man-timmar, men UAV:er är ganska sårbara till elektroniska störningar och det svenska klimatet. Även luftrumsregelverken är ett hinder för effektiv användning samt dess begränsade lastkapacitet.