In today’s business climate permeated by Big Data, an opportunity to drive performance lies in analysing consumer behaviour from user data. In particular for online content providers, user data is available in abundance and logged continuously. This leads to new possibilities for design and usage of metrics, as businesses can benefit from smart and timely decision-making. However, in order to profit from user data in performance measurement (PM), it is critical to identify metrics that truly guide decisions. Thus, an effective and efficient PM process is imperative. Despite its promise, Big Data’s role in PM has been scarcely researched. Research has studied user behaviour from data, for instance in the context of video or audio streaming and web search, but primarily with a focus on technical performance. In addition, the research on online content providers’ PM is fragmented, and has mainly been conducted by practitioners. Thus, the PM field needs to be updated to reflect today’s dynamic and digital business climate. Therefore, the purpose of this research was to explore how online content providers, generating a large amount of user data, work with PM, and also practically illustrate how metrics can be designed from user data. The research was carried out as a case study at an audio streaming company, but empirics was also gathered from other online content providers with the aim to increase the generalisability. The illustration of metric design was based on quantitative analysis of commuters’ in-car audio streaming. For commuters’ audio streaming it was found that suitable metrics should capture the habitual nature. Therefore engagement metrics were found to be applicable, for instance the fraction having sessions both in the morning and afternoon, and the fraction having more than one day commuting with the streaming service per week. In regard to online content providers’ PM process, this research contributes with a proposed framework, which was developed from three existing frameworks; HEART reflected as important measurement dimensions and translation of goals to metrics, OKR which sets the focus in terms of high-level goals, and design-implement-use reflected as the process’ phases. It was found that insights from user data and explicit user feedback are complementary and can arise throughout the whole process, and that mutual communication between data scientists and product managers is crucial. Further, four types of iterations were identified in the process; modifying a metric, designing new metrics, completely changing a metric, and starting new initiatives. Moreover, metrics were found to be highly context dependent. Additionally, four important aspects were identified in metric design; data availability and proxy assessment, characteristics and form of metric, metric trade-offs, and metric movement interpretation. / I dagens affärsklimat genomsyrat av Big Data finns en möjlighet att driva resultat framåt genom analys av kundbeteenden från användardata. I synnerhet för online-tjänsteföretag samlas användardata kontinuerligt och finns tillgänglig i en oerhörd mängd. Detta skapar nya möjligheter för design och användande av mätetal då företag kan utveckla smartare och snabbare beslutsfattande. För att verkligen dra fördel av användardata i prestationsmätning (PM) är det dock kritiskt att identifiera mätetal som faktiskt bistår beslutsfattande, vilket följaktligen kräver en effektiv PM-process. Trots potentialen är forskning på Big Data inom PM begränsad. Studier har analyserat kundbeteenden från användardata, exempelvis i kontexten av strömmad video eller audio och webbsökningar, men primärt med fokus på tjänstens tekniska prestanda. Vidare är forskning på PM hos online-tjänsteföretag fragmenterad, och huvudsakligen genomförd av företag inom industrin. Följaktligen bör fältet aktualiseras för att reflektera dagens digitala och dynamiska affärsklimat. Därför var syftet med denna studie att utforska hur online-tjänsteföretag, som besitter stora mängder användardata, arbetar med PM, men även praktiskt illustrera hur mätetal kan designas från denna data. Studien genomfördes som en fallstudie på ett ljud-strömningsföretag, men empiri insamlades även från andra online-tjänsteföretag med avsikt att öka generaliserbarheten. Den praktiska illustrationen av mätetals-design baserades på en kvantitativ analys av pendlares audio-strömning i bil. För pendlares audio-strömning i bil fann denna studie att lämpliga mätetal bör fånga den vanemässiga aspekten associerad med pendling. Därmed anses mätetal som reflekterar engagemang lämpliga, exempelvis andelen som har sessioner både på förmiddagen och eftermiddagen och andelen som har mer än en dag med pendlar-sessioner i veckan. Gällande PM-processen hos online-tjänsteföretag bidrar denna studie med ett föreslaget ramverk som utvecklades från tre existerande ramverk; HEART som reflekteras i form av viktiga mätetalsdimensioner samt översättning av mål till mätetal, OKR vilket sätter fokus för processen i termer av mål på högre nivå, och designa-implementera-använda som reflekterar processens faser. I studien kom det fram att insikter från användardata och explicit användaråterkoppling kompletterar varandra, och att dessa kan uppkomma under hela processen. Vidare konstaterar denna studie att ömsesidig kommunikation mellan dataforskare och produktchefer är essentiellt. Dessutom identifierades fyra typer av iterationer som kan förekomma vid användning av mätetal; modifiera mätetal, designa nya mätetal, fullständigt förändra mätetal samt påbörja nya initiativ. Därutöver kan studien konstatera att mätetal är högst kontextberoende, och att det finns fyra viktiga aspekter att ta hänsyn till i mätetals-design; data-tillgänglighet och proxy-utvärdering, karaktäristik och form på mätetal, trade-off mellan mätetal, samt tolkning av mätetals-förändringar.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-238689 |
| Date | January 2018 |
| Creators | KNOBEL, KARIN, LÆSTADIUS, LOVISA |
| Publisher | KTH, Skolan för industriell teknik och management (ITM) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-ITM-EX ; 2018:157 |
Page generated in 0.0034 seconds