Transformer models, delivering big improvement in AI text-models (NLP), are now being applied in Knowledge Tracing to track the knowledge of students over time. One of the first, SAINT, showed quite some improvement over the then SOTA results on the public EdNet dataset and caused an increase in research based on transformer-based models. In this paper, we firstly aim to reproduce the SAINT results on the EdNet dataset but are unable to report a similar performance as the original paper. This might be due to implementation details, which we were not able to completely reconstruct. We hope to pave the road for further reproducibility, as an increasingly important part of AI research. Furthermore, we apply the model to a company dataset much larger than any public dataset (more interactions, more exercises and more skills). Such a dataset is on the one hand more challenging (more skills mixed), and on the other hand, provides much more data (which should help our models). We compare the SAINT model and the seminal IRT model, and find that the SAINT model performance is 4% better in AUC but 1.7% worse in RMSE. Our experiments on window size suggest that transformer models still struggle with modelling beyond recent performance, and do not yet deliver the step-change observed in NLP. / Transformermodeller, som ger stora förbättringar av AI-textmodeller (NLP), används nu i Knowledge Tracing för att spåra elevernas kunskaper över tid. En av de första, SAINT, visade en hel del förbättring jämfört med de dåvarande SOTA-resultaten på den offentliga EdNet-datauppsättningen och orsakade en ökning av forskning baserad på transformerbaserade modeller. I denna artikeln siktar vi först efter att återskapa SAINT-resultaten på EdNet-datauppsättningen, men vi kan inte rapportera liknande prestanda som den ursprungliga uppsatsen. Detta kan bero på implementeringsdetaljer som vi inte kunde rekonstruera helt. Vi hoppas kunna bana väg för ytterligare reproduktioner, som en allt viktigare del av AI-forskningen. Dessutom tillämpar vi modellen på en företagsdatauppsättning som är mycket större än någon offentlig datauppsättning (fler interaktioner, fler övningar och fler färdigheter). En sådan datauppsättning är å ena sidan mer utmanande (mer blandad kompetens), men å andra sidan ger den mycket mer data (vilket borde hjälpa våra modeller). Vi jämför SAINT-modellen och den framträdande IRT-modellen och finner att SAINT-modellens prestanda är 4% bättre i AUC men 1,7% sämre i RMSE. Våra experiment på fönsterstorlek tyder på att transformermodeller fortfarande kämpar med modellering utöver de senaste prestanda och ännu inte levererar den stegförändring som observerats i NLP.

Knowledge Tracing aims to predict future performance of users of learning platforms based on historical data, by modeling their knowledge state. In this task, the target is a binary variable representing the correctness of the exercise, where an exercise is a word uttered by the user. Current state-of-the-art models add attention layers to autoregressive models or rely on self-attention networks. However, these models are built on publicly available datasets that lack useful information about the interactions users have with exercises. In this work, various techniques are introduced that allow for the incorporation of additional information made available in a dataset provided by Astrid Education. They consist of encoding a time dimension, modeling the skill needed for each exercise explicitly, and adjusting the length of the interaction sequence. Introducing new information to the Knowledge Tracing framework allows Astrid to craft a more personalized experience for its users; thus fulfilling the purpose and goal of the thesis. Additionally, we perform experiments to understand what aspects influence the models. Results show that modeling the skills needed to solve an exercise using an encoding strategy and reducing the length of the interaction sequence lead to improvements in terms of both accuracy and AUC. The time-encoding did not lead to better results, further experimentation is needed to include the time dimension successfully. / Mänsklig kunskap är ett försök att förutsäga användarnas framtida prestanda på lärandeplattformar baserat på historiska data, genom att modellera deras kunskaps tillstånd. I denna uppgift är målet en binär variabel som representerar överensstämmelsen av övningen. Nuvarande state-of-the-art-modeller lägger till uppmärksamhetslager på autoregressiva modeller eller förlitar sig på self-attention-nätverk. Dessa modeller bygger dock på offentligt tillgängliga databaser som saknar användbar information om de interaktioner som användare har med övningar. I detta arbete introduceras olika tekniker som gör det möjligt att inkludera ytterligare information som görs tillgänglig i en databas som tillhandahålls av Astrid Education AB. De består av att koda en tidsdimension, modellera färdigheten som krävs för varje övning explicit och justera interaktionssekvenslängden. Genom att introducera ny information i ramverket för kunskapstracing tillåter Astrid att skapa en mer personlig upplevelse för sina användare; därmed uppfyller syftet och målet med denna avhandling. Dessutom genomför vi experiment för att förstå vilka aspekter som påverkar modellerna. Resultaten visar att modellering av färdigheter med en kodningsstrategi och reducering av interaktionssekvenslängden leder till förbättringar både vad gäller noggrannhet och AUC. Tidskodningen ledde inte till bättre resultat, ytterligare experimentering krävs för att inkludera tidsdimensionen på ett framgångsrikt sätt.