Deep-learning models have been shown to produce accurate predictions in various scientific and engineering applications, such as turbulence modelling, by efficiently learning complex nonlinear relations from data. However, deep networks are often black boxes and it is not clear from the model parameters which inputs are more important to a prediction. As a result, it is difficult to understand whether models are taking into account physically relevant information and little theoretical understanding of the phenomenon modelled by the deep network can be gained.  In this work, methods from the field of explainable AI, based on Shapley Value approximation, are applied to compute feature attributions in previously trained fully convolutional deep neural networks for predicting velocity fluctuations in an open channel turbulent flow using wall quantities as inputs. The results show that certain regions in the inputs to the model have a higher importance to a prediction, which is verified by computational experiments that confirm the models are more sensitive to those inputs as compared to randomly selected inputs, if the error in the prediction is considered. These regions correspond to certain strongly distinguishable features (visible structures) in the model inputs. The correlations between the regions with high importance and visible structures in the model inputs are investigated with a linear regression analysis. The results indicate that certain physical characteristics of these structures are highly correlated to the importance of individual input features within these structures. / Djupinlärningsmodeller har visat sig kunna producera korrekta förutsägelser i olika vetenskapliga och tekniska tillämpningar, såsom turbulensmodellering, genom att effektivt lära sig komplexa olinjära relationer från data. Djupa neurala nätverk är dock ofta svarta lådor och det framgår inte av modellparametrarna vilka delar av indata som är viktigast för en förutsägelse. Som ett resultat av detta är det svårt att förstå om modellerna tar hänsyn till fysiskt relevant information och de ger inte heller någon teoretisk förståelse för fenomenet som modelleras av det djupa nätverket. I detta arbete tillämpas metoder från området för förklarabar AI, baserade på approximation av så kallde Shapley värden, för att beräkna vilka delar av indata som är viktigst för de prediktioner som görs. Detta görs för djupa neurala faltningsnätverk som tränats för att förutsäga hastighetsfluktuationer i ett turbulent flöde i en öppen kanal med hjälp av väggkvantiteter som indata. Resultaten visar att vissa regioner i indata till modellen har större betydelse för en förutsägelse. Detta verifieras av beräkningsexperiment som bekräftar att modellerna är mer känsliga för dessa indata jämfört med slumpmässigt valda indata, baserat på det resulterande felet i förutsägelser som görs av det tränade nätverket. Dessa regioner motsvarar vissa starkt särskiljbara egenskaper (synliga strukturer) i indata till modellen. Korrelationerna mellan regionerna med hög betydelse och synliga strukturer i indata undersöks med linjär regressionsanalys. Resultaten indikerar att vissa fysiska egenskaper hos dessa strukturer är starkt korrelerade med de approximativa Shapley värden som beräknats för dessa delar av indata.