The amount of video content online will nearly triple in quantity by 2021 compared to 2016. The implementation of sophisticated filters is of paramount importance to manage this information flow. The research question of this thesis asks to what extent it is possible to generate personal recommendations, based on the data that news videos implies. The objective is to evaluate how different recommender systems compare to complete random, each other and how they are received by users in a test environment. This study was performed during the spring of 2018, and explore four different algorithms. These recommender systems include a content-based, a collaborative-filter, a hybrid model and a popularity model as a baseline. The dataset originates from a news media startup called Newstag, who provide video news on a global scale. The data is sparse and includes implicit feedback only. Three offline experiments and a user test were performed. The metric that guided the algorithms offline performance was their recall at 5 and 10, due to the fact that the top list of recommended items are of most interest. A comparison was done on different amounts of meta-data included during training. Another test explored respective algorithms performance as the density of the data increased. In the user test, a mean opinion score was calculated based on the quality of recommendations that each of the algorithms generated for the test subjects. The user test also included randomly sampled news videos to compare with as a baseline. The results indicate that for this specific setting and data set, the content-based recommender system performed best in both the recall at five and ten, as well as in the user test. All of the algorithms outperformed the random baseline. / Mängden video som finns tillgänglig på internet förväntas att tredubblas år 2021 jämfört med 2016. Detta innebär ett behov av sofistikerade filter för att kunna hantera detta informationsflöde. Detta examensarbete ämnar att svara på till vilken grad det går att generera personliga rekommendationer baserat på det data som nyhetsvideo innebär. Syftet är att utvärdera och jämföra olika rekommendationssystem och hur de står sig i ett användartest. Studien utfördes under våren 2018 och utvärderar fyra olika algoritmer. Dessa olika rekommendationssystem innefattar tekniker som content-based, collaborative-filter, hybrid och en popularitetsmodell används som basvärde. Det dataset som används är glest och har endast implicita attribut. Tre experiment utförs samt ett användartest. Mätpunkten för algoritmernas prestanda utgjordes av recall at 5 och recall at 10, dvs. att man mäter hur väl algoritmerna lyckas generera värdefulla rekommendationer i en topp-fem respektive topp-10-lista av videoklipp. Detta då det är av intresse att ha de mest relevanta videorna högst upp i sin lista av resultat. En jämförelse gjordes mellan olika mängd metadata som inkluderades vid träning. Ett annat test gick ut på att utforska hur algoritmerna presterar då datasetet blir mindre glest. I användartestet användes en utvärderingsmetod kallad mean-opinion-score och denna räknades ut per algoritm genom att testanvändare gav betyg på respektive rekommendation, baserat på hur intressant videon var för dem. Användartestet inkluderade även slumpmässigt generade videos för att kunna jämföras i form av basvärde. Resultaten indikerar, för detta dataset, att algoritmen content-based presterar bäst både med hänsyn till recall at 5 & 10 samt den totala poängen i användartestet. Alla algoritmer presterade bättre än slumpen.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-234137 |
| Date | January 2018 |
| Creators | Andersson, Morgan |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | English |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2018:553 |
Page generated in 0.002 seconds