In today’s business climate permeated by Big Data, an opportunity to drive performance lies in analysing consumer behaviour from user data. In particular for online content providers, user data is available in abundance and logged continuously. This leads to new possibilities for design and usage of metrics, as businesses can benefit from smart and timely decision-making. However, in order to profit from user data in performance measurement (PM), it is critical to identify metrics that truly guide decisions. Thus, an effective and efficient PM process is imperative. Despite its promise, Big Data’s role in PM has been scarcely researched. Research has studied user behaviour from data, for instance in the context of video or audio streaming and web search, but primarily with a focus on technical performance. In addition, the research on online content providers’ PM is fragmented, and has mainly been conducted by practitioners. Thus, the PM field needs to be updated to reflect today’s dynamic and digital business climate. Therefore, the purpose of this research was to explore how online content providers, generating a large amount of user data, work with PM, and also practically illustrate how metrics can be designed from user data. The research was carried out as a case study at an audio streaming company, but empirics was also gathered from other online content providers with the aim to increase the generalisability. The illustration of metric design was based on quantitative analysis of commuters’ in-car audio streaming. For commuters’ audio streaming it was found that suitable metrics should capture the habitual nature. Therefore engagement metrics were found to be applicable, for instance the fraction having sessions both in the morning and afternoon, and the fraction having more than one day commuting with the streaming service per week. In regard to online content providers’ PM process, this research contributes with a proposed framework, which was developed from three existing frameworks; HEART reflected as important measurement dimensions and translation of goals to metrics, OKR which sets the focus in terms of high-level goals, and design-implement-use reflected as the process’ phases. It was found that insights from user data and explicit user feedback are complementary and can arise throughout the whole process, and that mutual communication between data scientists and product managers is crucial. Further, four types of iterations were identified in the process; modifying a metric, designing new metrics, completely changing a metric, and starting new initiatives. Moreover, metrics were found to be highly context dependent. Additionally, four important aspects were identified in metric design; data availability and proxy assessment, characteristics and form of metric, metric trade-offs, and metric movement interpretation. / I dagens affärsklimat genomsyrat av Big Data finns en möjlighet att driva resultat framåt genom analys av kundbeteenden från användardata. I synnerhet för online-tjänsteföretag samlas användardata kontinuerligt och finns tillgänglig i en oerhörd mängd. Detta skapar nya möjligheter för design och användande av mätetal då företag kan utveckla smartare och snabbare beslutsfattande. För att verkligen dra fördel av användardata i prestationsmätning (PM) är det dock kritiskt att identifiera mätetal som faktiskt bistår beslutsfattande, vilket följaktligen kräver en effektiv PM-process. Trots potentialen är forskning på Big Data inom PM begränsad. Studier har analyserat kundbeteenden från användardata, exempelvis i kontexten av strömmad video eller audio och webbsökningar, men primärt med fokus på tjänstens tekniska prestanda. Vidare är forskning på PM hos online-tjänsteföretag fragmenterad, och huvudsakligen genomförd av företag inom industrin. Följaktligen bör fältet aktualiseras för att reflektera dagens digitala och dynamiska affärsklimat. Därför var syftet med denna studie att utforska hur online-tjänsteföretag, som besitter stora mängder användardata, arbetar med PM, men även praktiskt illustrera hur mätetal kan designas från denna data. Studien genomfördes som en fallstudie på ett ljud-strömningsföretag, men empiri insamlades även från andra online-tjänsteföretag med avsikt att öka generaliserbarheten. Den praktiska illustrationen av mätetals-design baserades på en kvantitativ analys av pendlares audio-strömning i bil. För pendlares audio-strömning i bil fann denna studie att lämpliga mätetal bör fånga den vanemässiga aspekten associerad med pendling. Därmed anses mätetal som reflekterar engagemang lämpliga, exempelvis andelen som har sessioner både på förmiddagen och eftermiddagen och andelen som har mer än en dag med pendlar-sessioner i veckan. Gällande PM-processen hos online-tjänsteföretag bidrar denna studie med ett föreslaget ramverk som utvecklades från tre existerande ramverk; HEART som reflekteras i form av viktiga mätetalsdimensioner samt översättning av mål till mätetal, OKR vilket sätter fokus för processen i termer av mål på högre nivå, och designa-implementera-använda som reflekterar processens faser. I studien kom det fram att insikter från användardata och explicit användaråterkoppling kompletterar varandra, och att dessa kan uppkomma under hela processen. Vidare konstaterar denna studie att ömsesidig kommunikation mellan dataforskare och produktchefer är essentiellt. Dessutom identifierades fyra typer av iterationer som kan förekomma vid användning av mätetal; modifiera mätetal, designa nya mätetal, fullständigt förändra mätetal samt påbörja nya initiativ. Därutöver kan studien konstatera att mätetal är högst kontextberoende, och att det finns fyra viktiga aspekter att ta hänsyn till i mätetals-design; data-tillgänglighet och proxy-utvärdering, karaktäristik och form på mätetal, trade-off mellan mätetal, samt tolkning av mätetals-förändringar.

This study employs a Gioia analysis to investigate the AI services offered within three distinct professional service sectors in Sweden: IT consulting, marketing, and legal services. Utilizing a list of companies from a prior KTH project and publicly accessible information, we applied a cross-sectoral Gioia analysis to systematically categorize, compare, and understand the types of AI services provided and how these offerings differ between sectors. The objective of this scholarly pursuit is twofold. Firstly, it seeks to develop a cohesive and comprehensive taxonomy that clarifies the AI utilization within the selected domains, providing a clearer perspective on the diverse AI services offered and their respective implications. Secondly, it aims to discern the notable commonalities and distinctions in AI services across the said sectors, highlighting the specific ways in which AI integration manifests within each domain in Sweden. Our research reveals several shared trends, including AI-driven data analysis and management, automation, real-time monitoring, and personalization. Despite these commonalities, each sector leverages AI in a unique way, emphasizing aspects like cybersecurity in IT consulting, ad optimization in marketing, and legal document scrutiny in legal services. We further discuss practical implications, such as elevated operational efficiency, potential shifts in professional focus, and the emergence of AI service providers as indispensable intermediaries. While the adoption of AI presents numerous opportunities, it also introduces challenges, such as the democratization of specialized knowledge, which could disrupt traditional professional-client relationships. Future research avenues and study limitations are also addressed. Our findings serve as a cornerstone for both academic discourse and practical application, illuminating the nuanced impacts of AI across different business domains. / Denna studie verkställer en Gioia-analys för att undersöka de AI-tjänster som erbjuds inom tre distinkta professionella tjänstesektorer I Sverige: IT-rådgivning, marknadsföring och juridiska tjänster. Genom att använda en datauppsättning från ett tidigare KTH-projekt och allmänt tillgänglig information tillämpade vi en tvärsektoriell Gioia-analys för att systematiskt kategorisera, jämföra och förstå vilka typer av AI-tjänster som erbjuds och hur dessa tjänsteerbjudanden skiljer sig mellan sektorer. Målet med denna studie är tvåfaldig. Först och främst syftar den till att utveckla en sammanhängande och omfattande taxonomi som klargör AI-användningen inom de valda sektorerna, vilket ger en tydligare översikt över de olika AI-tjänsterna som erbjuds och deras respektive implikationer. För det andra strävar studien efter att urskilja de märkbara gemensamheterna och skillnaderna i AI-tjänster mellan de nämnda sektorerna, vilket framhäver de specifika sätten på vilka AI-integration manifesterar sig inom varje domän i Sverige. Vår studie avslöjar flera gemensamma trender, inklusive AI-driven dataanalys och hantering, automatisering, realtidsövervakning och personalisering. Trots dessa gemensamma drag utnyttjar varje sektor AI på ett unikt sätt. Aspekter som cybersäkerhet inom IT-rådgivning, annonsoptimering inom marknadsföring och granskning av juridiska dokument inom juridiska tjänster betonas. Vidare diskuterar vi praktiska implikationer, såsom ökad operativ effektivitet, potentiella förändringar i professionellt fokus och framväxten av AI-tjänsteleverantörer som oumbärliga mellanhänder. Även om införandet av AI erbjuder många möjligheter introducerar det också utmaningar, såsom demokratisering av specialiserad kunskap, vilket kan störa traditionella verksamhet-kundrelationer. Framtida forskningsvägar och studiebegränsningar diskuteras också. Våra resultat agerar som en hörnsten för både akademisk diskurs och praktisk tillämpning samt belyser de nyanserade effekterna av AI över olika affärsdomäner.