Denna undersökning utvärderar tillvägagångssätt inom "Explainable Artificial Intelligence" (XAI), särskilt "Local Interpretable Model Agnostic Explanations" (LIME) och 'Shapley Additive Explanations' (SHAP), genom att implementera dem i maskininlärningsmodeller som används inom cybersäkerhetens brandväggssystem. Prioriteten är att förbättra förståelsen av flervals klassificerings uppgift inom brandvägg hantering. I takt med att dagens AI-system utvecklas, sprids och tar en större roll i kritiska beslutsprocesser, blir transparens och förståelighet alltmer avgörande. Denna studie demonstrerar genom detaljerad analys och metodisk experimentell utvärdering hur SHAP och LIME belyser effekten av olika egenskaper på modellens prognoser, vilket i sin tur ökar tilliten till beslut som drivs av AI. Resultaten visar, hur funktioner såsom "Elapsed Time (sec)”, ”Network Address Translation” (NAT) källa och "Destination ports" ansenlig påverkar modellens resultat, vilket demonstreras genom analys av SHAP-värden. Dessutom erbjuder LIME detaljerade insikter i den lokala beslutsprocessen, vilket förbättrar vår förståelse av modellens beteende på individuell nivå. Studiet betonar betydelsen av XAI för att minska klyftan mellan AI operativa mekanismer och användarens förståelse, vilket är avgörande för felsökning samt för att säkerställa rättvisa, ansvar och etisk integritet i AI-implementeringar. Detta gör studiens implikationer betydande, då den ger en grund för framtida forskning om transparens i AI-system inom olika sektorer. / This study evaluates the explainable artificial intelligence (XAI) methods, specifically Local Interpretable Model-Agnostic Explanations (LIME) and Shapley Additive Explanations (SHAP), by applying them to machine learning models used in cybersecurity firewall systems and focusing on multi-class classification tasks within firewall management to improve their interpretability. As today's AI systems become more advanced, widespread, and involved in critical decision-making, transparency and interpretability have become essential. Through accurate analysis and systematic experimental evaluation, this study illustrates how SHAP and LIME clarify the impact of various features on model predictions, thereby leading to trust in AI-driven decisions. The results indicate that features such as Elapsed Time (sec), Network Address Translation (NAT) source, and Destination ports markedly affect model outcomes, as demonstrated by SHAP value analysis. Additionally, LIME offers detailed insights into the local decision making process, enhancing our understanding of model behavior at the individual level. The research underlines the importance of XAI in reducing the gap between AI operational mechanisms and user understanding, which is critical for debugging, and ensuring fairness, responsibility, and ethical integrity in AI implementations. This makes the implications of this study substantial, providing a basis for future research into the transparency of AI systems across different sectors.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:miun-51609 |
| Date | January 2024 |
| Creators | Muhammad, Al Jaber Al Shwali |
| Publisher | Mittuniversitetet, Institutionen för data- och elektroteknik (2023-) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | English |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0023 seconds