With the fast development of radio technologies, wireless systems have become more convoluted. This complexity, accompanied by an increase of the number of connections, is translated into a need for more parameters to analyse and decisions to take at each instant. AI comes into play by automating these processes, particularly with Deep Learning techniques, that often show the best accuracy. However, the high performance by these methods also comes with the drawback of behaving like a black box from the view of a human. To this end, eXplainable AI serves as a technique to better understand the decision process of these algorithms. This thesis proposes an eXplainable AI framework to be used on Reinforcement Learning agents, particularly within the use case of antenna resource adaptation for network energy reduction. The framework puts a special emphasis on model adaptation/reduction, therefore focusing on feature importance techniques. The proposed framework presents a pre-model block using Concrete Autoencoders for feature reduction and a post-model block using self-supervised learning to estimate feature importance. Both of these can be used alone or in combination with DeepSHAP, in order to mitigate some of this popular method’s drawbacks. The explanations provided by the pipeline prove useful in order to reduce model complexity without loss of accuracy and to understand the usage of the input features by the AI model. / Med den snabba utvecklingen av radioteknologier har trådlösa system blivit alltmer invecklade. Denna komplexitet, kombinerat med en ökning av antalet anslutningar, innebär att fler parametrar behöver analyseras, och fler beslut behöver fattas vid varje ögonblick. AI kommer in i bilden genom att automatisera dessa processer, särskilt med Deep Learning-tekniker, som ofta uppvisar bäst noggrannhet. Men den höga prestandan med dessa metoder kommer också med nackdelen att tekniken beter sig som en svart låda från en människas synvinkel. Förklarlig AI fungerar därför som en teknik för att bättre förstå beslutet som fattas av dessa algoritmer. Denna avhandling föreslår ett förklarligt AI-ramverk som ska användas inom förstärkningsinlärning, särskilt inom användningsfallet med antenn-resursanpassning för energireduktion i trådlösa nätverk. Det föreslagna ramverket sätter en särskild tonvikt på modellanpassning/modellreduktion. Ramverket innehåller ett förmodellblock som använder Concrete Autoencoders för Feature Reduction och ett post-modellblock som använder självövervakad inlärning för att uppskatta Feature Importance. Båda dessa kan användas ensamt eller i kombination med DeepSHAP, för att lindra några av denna populära metods nackdelar. Feature Importance-uppskattningarna från ramverket visar sig vara användbara för att minska modellkomplexitet utan förlust av noggrannhet och för att förstå användningen av Input Features av AI-modellen.