En grundläggande faktor till en effektiv och lyckad integration i samhället och arbetsmarknaden, är spraket. Genom att bryta den existerande språkbarriären kan både samhället och individen gynnas markant. Rapporten syftar således till att undersöka om språkmodeller kan effektivisera inlärningen av språk. Genom att utgå från ramverket BERT jämförs två olika språkmodellers prestanda avseende att klassificera en meningsföljd som korrekt respektive inkorrekt. Här används en grundmodell, baserad på den förtränade modellen KB-BERT, samt en finjusterad modell som tränats på dialoger från företaget Lingio. Resultaten tyder på att den finjusterade BERT modellen har god potential som sprakmodell och därmed kan appliceras på NLP-uppgifter hos applikationer ämnade för inlärning av språk. Denna slutsats stöds även av argument framförda under en intervju med Lingios CTO. Det krävs dock ytterligare undersökning för att kunna fastställa om BERT är applicerbar på fler uppgifter, såsom att förutsäga nästkommande ord samt möjligheten att generera svar utifrån en fråga. Arbetet år utvecklat tillsammans med Lingio, VINNOVA och KTH, och hoppas kunna bidra med underlag for vidareutveckling av deras projekt inom området. / One of the most essential factors for an effective and successful integration into society and the labor market is language. Both society and the individual can benefit significantly by breaking the existing language barrier that prevents integration. Therefore, the purpose of this report is to study if language models can shape language learning into becoming more effective. Based on the BERT framework, the performance of two different language models are compared, in regards to classifying a sequence of two sentences as correct or incorrect. This is done using a model from KB-BERT that has only been pre-trained, and a fine-tuned version that has been trained on dialogues from the company Lingio. The results indicate that the fine-tuned BERT model has a good potential to be used as a language model and is therefore applicable on NLP-tasks in applications for language learning. This conclusion is also supported by arguments which were stated during an interview with Lingio’s CTO. However, further investigation is required to determine whether BERT is applicable on other tasks, such as predicting the next word in a sentence or the ability to generate answers based on questions. The work has been developed together with Lingio, VINNOVA and KTH, and can hopefully act as a basis for further development of their project within the field.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-299338 |
| Date | January 2021 |
| Creators | Munthe Nilsson, Alexandra, Nilsson, Karin |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | Swedish |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2021:353 |
Page generated in 0.0018 seconds