The aim of this thesis is to evaluate the artificial intelligence model ChatGPT as a tool in the cybersecurity domain. With the purpose of analysing and facilitating understanding of the technology’s effects on possible threats. The development of AI models has a potential to alter the knowledge required to perform malicious activities. The method for evaluating ChatGPT effectiveness in aiding actors to breach a vulnerable system is a experimental capture the flag based approach. This is a type of cyber-security challenge, simulating a target system. The goal is to find and exploit vulnerabilities on the target and obtain a so-called flag to prove the breach. ChatGPT is used as an assistant and information gathering tool in the simulations. The responses collected from ChatGPT in the simulation challenges is analysed to fulfil the thesis purpose. The results shows that ChatGPT is useful as a tool. However, as with any tool, knowledge on how to use it is required. A potential threat actor do need profound comprehension and technical knowledge to make relevant queries. 41.3% of all 46 collected responses is categorised as partly usable in conjunction with previously obtained knowledge. Furthermore, to successfully breach the simulated targets the actor need to be able to modify and deploy any suggested exploit provided by ChatGPT. The findings show a correlation between more difficult capture the flag challenges and the importance of tester knowledge. The harder challenges had a higher degree of responses categorized as partly usable compared to responses deemed directly usable. In conclusion ChatGPT do not provide enough assistance at this time to increase the potential of malicious actors with limited technical knowledge. Future work in this area includes testing internet connected and newer versions of ChatGPT and further analyse the importance of prompt engineering. / Målbilden med denna avhandling är att utvärdera AI-modellen ChatGPT som ett verktyg i en cybersäkerhets-kontext. Detta syftar till att möjliggöra utökad förståelse för teknologins effekter på möjliga hot. Utvecklingen på AI-området har potentialen att förändra kunskapsbehovet hos en aktör att genomföra olika typer av cyberangrepp. Metoden för att utvärdera ChatGPT:s möjlighet till att underlätta intrång i sårbara system är ”capture the flag” baserad. Detta är en typ av cybersäkerhetsutmaning där sårbara system simuleras. Målet är att hitta och utnyttja sårbarheter i systemen för att få tag i så kallade flagor. Dessa flaggor används sedan för att bevisa ett lyckat intrång i systemet. ChatGPT kommer att användas som en assistent och för att inhämta information under dessa simuleringar. Utdata som ChatGPT genererar kommer att samlas in och analyseras för att uppnå syftet med avhandlingen. Resultaten visar att ChatGPT är ett användbart verktyg men ett verktyg som kräver långtgående förkunskaper från användaren för att uppnå effekt. En aktör behöver besitta specifika tekniska kunskaper för att ställa relevanta frågor till AI-assistenten. 41.3% av 46 insamlade svar är kategoriserade som delvis användbara tillsammans med förkunskaper hos testaren. För att lyckas genomföra de simulerade intrången behöver aktören även kunna modifiera och implementera de förslag och lösningar som ges av ChatGPT. Resultaten visar även en korrelation mellan svårare simuleringar och vikten av testarens förkunskaper. Sammanfattningsvis ger inte ChatGPT tillräckligt hög grad av assistans för att utgöra ett hot i sig. Aktörer med begränsad teknisk kännedom kan därmed i nuläget inte utöka sin potential genom att nyttja detta verktyg. Framtida arbete innefattar liknande tester av senare, internetanslutna, versioner av ChatGPT och vidare analys av så kallad ”prompt engineering”
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-332132 |
| Date | January 2023 |
| Creators | Engman, Max |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2023:502 |
Page generated in 0.0031 seconds