Return to search

Detecting Plagiarism with ChatGPT Using Prompt Engineering / Upptäcka Plagiering med ChatGPT med Hjälp av Promptkonstruktion

Prompt engineering is the craft of designing prompts in order to get desired answers from language models such as ChatGPT. This thesis investigates how ChatGPT, specifically GPT-4, can be used to detect plagiarism in simple programming exercises. We used a dataset containing seven different original solutions for programming tasks. Every programming task also contained solutions that were plagiarizing the original as well as solutions that did not plagiarize the original. After testing various different prompts on a subset of the dataset, four different prompts were tested on the majority of the dataset. Three of the prompts produced unreliable results to the point that simply guessing whether or not the task solutions were plagiarized would have frequently been more accurate. The fourth prompt was more accurate although still not accurate enough for it to be recommended to use ChatGPT in order to identify plagiarism. / Promptkonstruktion (prompt engineering) är konsten att skapa instruktioner som ger bästa möjliga svar från språkmodeller (language models) såsom ChatGPT. Denna avhandling undersöker hur ChatGPT kan användas för att upptäcka plagiat i enkla programmeringsuppgifter. Vi använde ett dataset som innehåller sju olika originallösningar på enkla programmeringsuppgifter. Varje programmeringsuppgift har plagierade lösningar som löser samma uppgift och icke-plagierade lösningar som också löser samma uppgift. Efter att ha testat olika instruktioner med ChatGPT på en liten delmängd av datasetet, testades fyra olika instruktioner på majoriteten av datasetet. Tre av instruktionerna gav opålitliga resultat till den grad att det ofta skulle gett ett bättre resultat att gissa om lösningarna var plagierade eller inte. Den fjärde instruktionen gav bättre resultat, men fortfarande inte tillräckligt bra för att rekommendera att använda ChatGPT för att identifiera plagiat.

Identiferoai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-330996
Date January 2023
CreatorsBiörck, Johann, Eriksson, Sofia
PublisherKTH, Skolan för elektroteknik och datavetenskap (EECS)
Source SetsDiVA Archive at Upsalla University
LanguageEnglish
Detected LanguageSwedish
TypeStudent thesis, info:eu-repo/semantics/bachelorThesis, text
Formatapplication/pdf
Rightsinfo:eu-repo/semantics/openAccess
RelationTRITA-EECS-EX ; 2023:322

Page generated in 0.0022 seconds