Denna uppsats undersöker fenomenet konverteringsoptimering på uppdrag av ett företag, för att ta reda på hur man kan arbeta för att öka sin konvertering, och därigenom även sin lönsamhet. Syftet med detta uppsatsarbete har varit att utföra en dokumentation av arbetsprocessen bakom konverteringsoptimering. Dels undersöks verktyg som Google Optimize och Hotjar, hur dessa samlar in testdata, samt hur denna data sedan kan analyseras för att komma fram till ett svar om hur man bör gå vidare efter de genomförda testerna. Dels studeras tre s.k. A/B-tester som genomfördes på ett företags webbplats där kvantitativa data samlades in, presenterades och analyserades av testprogrammet. Resultatet från arbetet visar hur arbetsprocessen konverteringsoptimering ser ut från start till mål: hur man inledningsvis analyserar en webbplats, hur man tar fram designförslag, hur man implementerar dessa i tester, samt hur man sedan samlar in data från testerna och analyserar denna. Bland annat tyder resultaten på att en noggrann analys av användarbeteende och resultat från tester är avgörande för att kunna optimera konverteringsgraden, att A/B-tester är ett kraftfullt verktyg för att testa och utvärdera olika konverteringsoptimeringsstrategier, samt att information om besökarnas scrollningsbeteende är en intressant faktor som spelar roll både i för- och efteranalys.

Den tekniska utvecklingen av datorenheter och kommunikationsverktyg har skapat möjligheter att lagra och bearbeta större mängder information än någonsin tidigare. För forskare är det ett sätt att göra mer exakta vetenskapliga upptäckter, för företag är det ett verktyg för att bättre förstå sina kunder, sina produkter och att skapa fördelar gentemot sina konkurrenter. Inom industrin har A/B-testning blivit ett viktigt och vedertaget sätt att skaffa kunskaper som bidrar till att kunna fatta datadrivna beslut. A/B-test är en jämförelse av två eller flera versioner för att avgöra vilken som fungerar bäst enligt förutbestämda mätningar. I kombination med informationsutvinning och statistisk analys gör dessa tester det möjligt att besvara ett antal viktiga frågor och bidra till övergången från att "vi tror" till att "vi vet". Samtidigt kan dåliga testfall ha negativ inverkan på företags affärer och kan också leda till att användare upplever testerna negativt. Det är skälet till varför det är viktigt att kunna förutsäga A/B-testets långsiktiga effekter, utvunna ur kortsiktiga data. I denna rapport är A/B-tester och de prognoser de skapar undersökta genom att använda univariat tidsserieanalys. Men på grund av den korta tidsperioden och det stora urvalet, är det en stor utmaning att ge korrekta långtidsprognoser. Det är en kvantitativ och empirisk studie som använder verkliga data som tagits från ett socialt spelutvecklingsbolag, King Digital Entertainment PLC (King.com). Först analyseras och förbereds data genom en serie olika steg. Tidsserieprognoser har funnits i generationer. Därför görs en analys och noggrannhetsjämförelse av befintliga prognosmodeller, så som medelvärdesprognos, ARIMA och Artificial Neural Networks. Resultaten av analysen på verkliga data visar liknande resultat som andra forskare har funnit för långsiktiga prognoser med kortsiktiga data. För att förbättra exaktheten i prognosen föreslås en metod med tidsseriekluster. Metoden utnyttjar likheten mellan tidsserier genom Dynamic Time Warping och skapar separata kluster av prognosmodeller. Klustren väljs med hög noggrannhet med hjälp av Random Forest klassificering och de långa tidsserieintervallen säkras genom att använda historiska tester och en Markov Chain. Den föreslagna metoden visar överlägsna resultat i jämförelse med befintliga modeller och kan användas för att erhålla långsiktiga prognoser för A/B-tester. / The technological development of computing devices and communication tools has allowed to store and process more information than ever before. For researchers it is a means of making more accurate scientific discoveries, for companies it is a way of better understanding their clients, products and gain an edge over the competitors. In the industry A/B testing is becoming an important and a common way of obtaining insights that help to make data-driven decisions. A/B test is a comparison of two or more versions to determine which is performing better according to predetermined measurements. In combination of data mining and statistical analysis, these tests allow to answer important questions and help to transition from the state of “we think” to “we know”. Nevertheless, running bad test cases can have negative impact on businesses and can result in bad user experience. That is why it is important to be able to forecast A/B test long-term effects from short-term data. In this report A/B tests and their forecasting is looked at using the univariate time-series analysis. However, because of the short duration and high diversity, it poses a great challenge in providing accurate long-term forecasts. This is a quantitative and empirical study that uses real-world data set from a social game development company King Digital Entertainment PLC(King.com). First through series of steps the data are analysed and pre-processed. Time-series forecasting has been around for generations. That is why an analysis and accuracy comparison of existing forecasting models, like, mean forecast, ARIMA and Artificial Neural Networks, is carried out. The results on real data set show similar results that other researchers have found for long-term forecasts with short-term data. To improve the forecasting accuracy a time-series clustering method is proposed. The method utilizes similarity between time-series through Dynamic Time Warping, and trains separate cluster forecasting models. The clusters are chosen with high accuracy using Random Forest classifier, and certainty about time-series long-term range is obtained by using historical tests and a Markov Chain. The proposed method shows superior results against existing models, and can be used to obtain long-term forecasts for A/B tests.

Since its inception, Marketing has always needed more clearly defined incrementality, i.e., a measurement of advertisement effectiveness. Nowadays, Marketing is an evergrowing business; within it, Digital Marketing is taking the spotlight. Digital Marketing brings multiple benefits, such as a global reach and a lower cost associated with customer communication. However, more importantly, customer interaction and engagement can be clearly tracked, which can help measure Marketing impact. Nowadays, this problem is tackled in two ways, A/B testing and attribution models. Even though statistically solid and proven, A/B testing, a form of hypothesis testing, faces implementation issues and other practical aspects, leading to only sometimes being used in real-world applications. On the other hand, Attribution models are not comparable, thus not quantifiable, and good attribution models are hard to develop, leaving companies relying on third-party providers. In short, this paper suggests that the impact of each marketing campaign can be measured in a two-step process: (1) Training a model to predict a customer's conversion, given their previous advertisement interactions; (2) Applying explainable machine learning methods to said model to infer the importance of each advertisement interaction in a user journey. The main methods used are permutation feature importance and Shapley values. The dataset is designed such that each type of advertisement interaction is a model's feature; thus, an importance value can be calculated for each interaction. On top of that, a local method - counterfactual explanations - and a possible implementation of a hyper-personal application are discussed. The proposed solution is shown to provide more accurate attributions than most common attribution models, with the possibility of augmenting the accuracy by changing the underlying model. It is also suggested that it could benefit significantly from more data on customer demographics, generating insights into how campaigns affect different customer segments. / Marknadsföring har sedan dess begynnelse alltid behövt en tydligare definition av inkrementalitet, det vill säga, mätningen av annonsens effektivitet. Marknadsföring är numera en ständigt växande verksamhet och inom den är det den digitala marknadsföringen som står i fokus. Digital marknadsföring ger flera fördelar t.ex. global räckvidd och lägre kostnader för kundkommunikation. Viktigare är dock att kundernas interaktion och engagemang kan spåras tydligt, detta bidrar i sig till att mäta marknadsföringens effektivitet. Det här problemet hanteras på två sätt: AB-testning och tilldelningsmodeller. Även om AB-testning är statistiskt sett både gedigen och beprövad leder oftast problem med genomförandet och andra praktiska aspekter till att det endast ibland används i korrekta tillämpningar. Å andra sidan är tillskrivningsmodeller inte jämförbara - de saknar mätbarhet - och det är svårt att utveckla bra tillskrivningsmodeller vilket gör att företagen förlitar sig på tredjepartsleverantörer. I korthet föreslår denna artikel att effekten av varje marknadsföringskampanj kan mätas i en tvåstegsprocess. (1) Träning av en modell för att förutsäga en kunds konvertering baserad på deras tidigare annonsinteraktioner. (2) Tillämpning av difinierade maskininlärningsmetoder på nämnda modeller för att härleda betydelsen av varje annonsinteraktion i en användares resa. De viktigaste metoderna som användes var permutation feature importance och Shapley-värden. Datamängden utformad så att varje typ av annonsinteraktion blir en modells funktion; på så sätt kan ett betydelsevärde beräknas för varje interaktion. Dessutom diskuteras en lokal metod - kontrafaktiska förklaringar - och ett möjligt genomförande av en hyperpersonlig applikation. Den föreslagna lösningen visade sig ge mer exakta tillskrivningar än de flesta vanliga tillskrivningsmodeller, med möjlighet att öka noggrannheten genom att ändra den underliggande modellen. Det föreslås också att den skulle kunna dra stor nytta av mer data om kundernas demografi, vilket skulle generera insikter om hur kampanjer påverkar olika kundsegment.