Passive Intermodulation is a type of distortion affecting the sensitive receiving signals in a cellular network, which is a growing problem in the telecommunication field. One way to mitigate this problem is through Passive Intermodulation Cancellation, where the predicted noise in a signal is modeled with polynomials. Recent experiments using neural networks instead of polynomials to model this noise have shown promising results. However, one drawback with neural networks is their lack of explainability. In this work, we identify a suitable method that provides explanations for this use case. We apply this technique to explain the neural networks used for Passive Intermodulation Cancellation and discuss the result with domain expertise. We show that the input space as well as the architecture could be altered, and propose an alternative architecture for the neural network used for Passive Intermodulation Cancellation. This alternative architecture leads to a significant reduction in trainable parameters, a finding which is valuable in a cellular network where resources are heavily constrained. When performing an explainability analysis of the alternative model, the explanations are also more in line with domain expertise. / Passiv Intermodulation är en typ av störning som påverkar de känsliga mottagarsignalerna i ett mobilnät. Detta är ett växande problem inom telekommunikation. Ett tillvägagångssätt för att motverka detta problem är genom passiv intermodulations-annullering, där störningarna modelleras med hjälp av polynomiska funktioner. Nyligen har experiment där neurala nätverk används istället för polynomiska funktioner för att modellera dessa störningar påvisat intressanta resultat. Användandet av neurala nätverk är dock förenat med vissa nackdelar, varav en är svårigheten att tyda och tolka utfall av neurala nätverk. I detta projekt identifieras en passande metod för att erbjuda förklaringar av neurala nätverk tränade för passiv intermodulations-annullering. Vi applicerar denna metod på nämnda neurala nätverk och utvärderar resultatet tillsammans med domänexpertis. Vi visar att formatet på indatan till neurala nätverket kan manipuleras, samt föreslår en alternativ arkitektur för neurala nätverk tränade för passiv intermodulations-annullering. Denna alternativa arkitektur innebär en avsevärd reduktion av antalet träningsbara parametrar, vilket är ett värdefullt resultat i samband med mobilnät där det finns kraftiga begränsningar på hårdvaruresurser. När vi applicerar metoder för att förklara utfall av denna alternativa arkitektur finner vi även att förklaringarna bättre motsvarar förväntningarna från domänexpertis.