Hateful language is a growing problem in digital spaces. Human moderators are not enough to eliminate the problem. Automated hateful language detection systems are used to aid the human moderators. One of the issues with the systems is that their performance can differ depending on who is the target of a hateful text. This project evaluated the performance of the two systems (Perspective and Hatescan) with respect to who is the target of hateful texts. The analysis showed, that the systems performed the worst for texts directed at women and immigrants. The analysis involved tools such as a synthetic dataset based on the HateCheck test suite, as well as wild datasets created from forum data. Improvements to the test suite HateCheck have also been proposed. / Hatiskt språk är ett växande problem i digitala miljöer. Datamängderna är för stora för att enbart hanteras av mänskliga moderatorer. Automatiska system för hatdetektion används därför som stöd. Ett problem med dessa system är att deras prestanda kan variera beroende på vem som är målet för en hatfull text. Det här projektet evaluerade prestandan av de två systemen Perspective och Hatescan med hänsyn till olika mål för hatet. Analysen visade att systemen presterade sämst för texter där hatet riktades mot kvinnor och invandrare. Analysen involverade verktyg som ett syntetiskt dataset baserat på testsviten HateCheck och vilda dataset med texter inhämtade från diskussionsforum på internet. Dessutom har projektet utvecklat förslag på förbättringar till testsviten HateCheck.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-340022 |
| Date | January 2023 |
| Creators | Stozek, Anna |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2023:742 |
Page generated in 0.003 seconds