This thesis investigates the effectiveness of employing pretraining and a discrete "control signal" bottleneck layer in a neural network trained in aircraft navigation through deep reinforcement learning. The study defines two distinct tasks to assess the efficacy of this approach. The first task is utilized for pretraining specific parts of the network, while the second task evaluates the potential benefits of this technique. The experimental findings indicate that the network successfully learned three main macro actions during pretraining. flying straight ahead, turning left, and turning right, and achieved high rewards on the task. However, utilizing the pretrained network on the transfer task yielded poor performance, possibly due to the limited effective action space or deficiencies in the training process. The study discusses several potential solutions, such as incorporating multiple pretraining tasks and alterations of the training process as avenues for future research. Overall, this study highlights the challanges and opportunities associated with combining pretraining with a discrete bottleneck layer in the context of simulated aircraft navigation using reinforcement learning. / Denna studie undersöker effektiviteten av att använda förträning och en diskret "styrsignal" som fungerar som flaskhals i ett neuralt nätverk tränat i flygnavigering med hjälp av djup förstärkande inlärning. Studien definierar två olika uppgifter för att bedöma effektiviteten hos denna metod. Den första uppgiften används för att förträna specifika delar at nätverket, medan den andra uppgiften utvärderar de potentiella fördelarna med denna teknik. De experimentella resultaten indikerar att nätverket framgångsrikt lärde sig tre huvudsakliga makrohandlingar under förträningen: att flyga rakt fram, att svänga vänster och att svänga höger, och uppnådde höga belöningar för uppgiften. Men att använda det förtränade nätverket för den uppföljande uppgiften gav dålig prestation, möjligen på grund av det begränsade effektiva handlingsutrymmet eller begränsningar i träningsprocessen. Studien diskuterar flera potentiella lösningar, såsom att inkorporera flera förträningsuppgifter och ändringar i träningsprocessen, som möjliga framtida forskningsvägar. Sammantaget belyser denna studie de utmaningar och möjligheter som är förknippade med att kombinera förträning med ett diskret flaskhalslager inom kontexten av simulerad flygnavigering och förstärkningsinlärning.

This thesis work has been part of an effort to improve the after-action reviews of the air combat simulator training sessions conducted at the Swedish Air Force Combat Simulation Centre (FLSC). Initial studies identified three main needs regarding the evaluation of air-to-air missile shots during beyond-visual-range combat simulation. These needs included an improved detection of where and when in the simulation playback a missile shot took place, a collected view of flight parameters to prevent confusion and cross-referencing between the various displays, as well as the ability to review an aircraft’s flight parameters over time in order to discuss alternative shooting opportunities or maneuvering patterns. To fulfill these three needs, design studies were performed iteratively in collaboration with staff at the FLSC. This work has resulted in a design proposal with a prototype based on the design guidelines and recommendations of the study's participants. The purpose of the visualization is to provide support for instructors and promote the individual learning of pilots. Hopefully, this can ultimately help in answering the question regarding why a missile missed its target. For instructors and air units such aids could mean that operating errors can be more easily identified and also form a basis for discussion during the assessment briefings. / Detta examensarbete har haft som syfte att förbättra utvärderingen av luftstridssimuleringar som bedrivs vid det svenska flygvapnets luftstridssimuleringscentrum, FLSC. Inledande studier identifierade tre huvudsakliga behov för utvärderingen av flygplansburna robotskott avfyrade mot luftmål utom synhåll, på långa avstånd. Dessa behov inkluderar en förbättring när det gäller att upptäcka var och när i en simuleringsuppspelning som ett robotskott har skett, en samlad vy över flygparametrar för att förhindra förvirring och korsreferering mellan olika skärmar, samt möjligheten att utvärdera ett flygplans flygparametrar över tid för att kunna diskutera alternativa avfyrningsmöjligheter eller manövreringsmönster. För att fylla dessa tre behov har iterativa designstudier utförts i samarbete med personalen på FLSC. Detta har resulterat i ett designförslag med en prototyp baserad på de designriktlinjer och -rekommendationer som studiens deltagare delgett. Syftet med visualiseringen är att ge stöd till instruktörer och främja piloters individuella inlärning. Förhoppningsvis kan detta i slutändan bidra till att svara på frågan om varför en robot missade sitt mål. För instruktörer och flygförband kan ett sådant hjälpmedel underlätta identifiering av felmanövreringar och även ligga till grund för värdefulla diskussioner under analysen av genomförda luftsstridsimuleringar.