This study is about the selection of test groups for a user test. The natural choice for company is to choose people that are included in the target group for the product or system that are about to be tested. This is something I have chosen to focus on. Is there reason to believe that you would choose people to your test group that are not part of the target audience and still produce an equally good result? To learn more about this, a test is conducted on a product that has one focus area and a clear target audience, in this case Snapchat. This research is showing that it’s a difference depending on what people are picked for the test. The two different groups focused on different things in the test that gave different goals to follow.

No description available.

This report describes the work process behind two A/B tests that was developed, launched and analyzed. The tests were designed for the e-merchants Wegot and Cirkusfabriken. The work was carried out at the conversion optimization company Internetexperten. The report reviews the tools used for development, as well as the actual work that the development of the two tests entailed. After that the results of the tests will be described based on how the new design performed on the sections of the sites in the original version that they where compared against. / Den här rapporten redogör för arbetsprocessen kring två stycken A/B test som utvecklas, lanseras samt analyseras. Testerna är framtagna till e-handelsföretagen Wegot och Cirkusfabriken. Arbetet är utfört internt på konverteringsoptimeringsföretaget Internetexperten. Rapporten går igenom vilka hjälpmedel som använts för framtagandet, samt det faktiska arbetet som utvecklingen av de två testerna medförde. Efter detta beskrivs resultatet av hur testerna presterade mot de sektioner av webbplatserna i originalutförande som ställdes mot den nya designen.

No description available.

Då ett företags webbplats är ansiktet utåt till kunder och en kanal som ska generera värdeför företaget så är det viktigt att dess innehåll och dess design är genomtänkt och möter användarnas behov. Konverteringsoptimering handlar om att omvandla en besökare till kund, vilket leder till en ökad lönsamhet. Denna studie genomfördes på uppdrag av ett företag med syfte att testa och utvärdera hur man genom förändring av design kan generera en ökad konvertering på utvalda sidor på företagets webbplats. Med hjälp av verktyget Google Optimize, så har så kallade A/B-tester satts upp och testats på webbplatsens besökare under en period, för att undersöka hur webbsidorna presterar i förhållande till varandra. Google Analytics har försett Google Optimize med webbtrafikdata och därefter har Google Optimize sammanställt vilken version av sidorna som presterat bäst under denna period. Vidare användes Hotjar för att få fram en karta över besökarnas scrollbeteende. Resultatet från testerna visade en klar framgång för vissa förändringar i designen, även om rekommendationerna till företaget är att fortsätta testa och jobba vidare med konverteringsoptimering på sin webbplats. Slutsatserna av undersökningen är att placering av element och dess synlighet definitivt kan ha en påverkan på besökarnas beteende och därmed också på konverteringsgraden.

Background and problem discussion Organizations are today facing an uncertainty regarding how to properly integrate and work with CRM, in particular in regards to attraction and retention of customers. This can be managed through the use of marketing campaigns. There is a lack of practical research regarding the management and how to optimize the budget of marketing campaigns. Purpose The purpose of this study is to develop a deeper understanding of how small e-commerce retailers within the beauty industry can optimize the marketing budget for social media campaigns. The purpose will be realized through application of hypotheses. Method This study has applied an experimental method design, where cause-effect in regards to how the marketing communication has influenced the customer behavior was investigated. This has been made through applying a modified A/B-test through the use of a marketing campaign, containing of three ads. The ads have been adapted in regards to the pre-study, using a company’s historical transaction data. Conclusion The results of the A/B-test show higher effectiveness and efficiency in the form of CTR, CPC,CPM, link klicks, more purchases, and lower cost per result. This is the result of the adaptation of the ads in regards to the target group. All of the ads in the campaign display a higher value than the Swedish average. This validates the notion that ads adjustments have a positive effect on customer conversion, and as a result on optimizing social media campaigns marketing budget. / Bakgrund och problemdiskussion Det råder osäkerhet hos företag hur de ska integrera och arbeta med CRM, i synnerlighet om attraherandet samt bibehållandet av kunder. Detta är något som företag kan hantera genomkampanjer, dock finns det en brist på praktisk forskning runt hantering och effektivisering av kampanjer och dess marknadsföringsbudget. Syfte Syftet med studien är att skapa en djupare förståelse för hur små e-handelsåterförsäljare inom skönhetsbranschen kan optimera en marknadsföringsbudget vid kampanjer på sociala medier. Syftet kommer att uppfyllas med en rad hypoteser. Metod Studien har designats som ett experiment då orsak-verkan undersöktes i hur kunders beteende påverkas av anpassad marknadskommunikation. Detta har gjorts genom att utforma ett modifierat A/B-test i form av en kampanj innehållandes tre annonser, vilket anpassats utifrån en förstudiebaserat på ett företags tidigare transaktionsdata. Slutsats Resultat av A/B-testet påvisar en höjd effektivitet i form av CTR, CPC, CPM, länkklick, flergenomförda köp samt ett lägre kostnad per resultat, detta till följd av annonsens anpassning till en specifik målgrupp. Samtliga annonserna i kampanjen visar på högre värden än det svenskagenomsnittet. Detta resultat visar på att anpassade annonser har en positiv påverkan på kundkonvertering, och därigenom på optimeringen av marknadsföringsbudgeten för sociala medier.

The data generated from the user's activities and surfing online can have a significant impact when used to improve the content of web pages. The user has little time to scan the content of a web page and the motivation to save time is high. Recommendations and personalized content are becoming more and more common and both businesses and consumers seem to benefit from more targeted content. In order to know what recommendations to present to each individual, information about the user is needed and there are many tools to analyze the behaviours of the users online. In this study, we examined if relevant content on the front-page of Visma, a business software provider, can increase the interaction on the front-page and what metrics can be used to measure the interaction. Together with experts in the field we investigated the eAccounting software users’ preferences for targeted recommendations. By having a pop up survey for users of Visma, conducting an A/B test and using a heatmap for the eAccounting users we found out that a more customized front-page makes the user interact more with the page.

Search on video streaming services is significantly different from web search engines and traditional information retrieval systems. Although an internal site search function’s primary purpose is similar to a web search engine’s, the user’s needs differ, which calls for a different design approach regarding the search result. Many previous researchers have investigated the algorithms behind search functions. However, there is a lack of studies related to the user experience of a search's user interface within the video streaming industry. This study investigates how different presentations of search results affect the users to complete a search on web-based video streaming services. The study was done in collaboration with SVT, examining their video streaming service SVT Play. The research aimed to answer three research questions based on the official usability standard ISO 9241–11. A prototype was designed from a state-of-the-art analysis and the findings from three focus group interviews. An A/B test was conducted on the developed prototype, comparing it against the original search function live on SVT Play, including 46 860 test users. A complementary user test with 10 participants was done in addition to the A/B test. The findings from the A/B test did not show any significant difference between the prototypes. It highlighted that users’ search goals are strong enough not to let the layout and design affect their choice, hence the overall click-through rates. However, the user test showed that the new prototype was, in general, easier to use. It also showed that the different prototypes suited different search goals. The participants expressed a wish to have a solution that combines the design elements from the two prototypes. / Sökfunktionen på videostreamingtjänster skiljer sig från webbsökmotorer och traditionella informationssökningssystem. Även om det primära syftet av en sökfunktion på en intern webbplats liknar webbsökmotorns, så skiljer sig användarens behov vilket därav kräver en annan designmetod. Många tidigare forskare har undersökt algoritmerna bakom sökfunktioner. Dock saknas studier relaterade till användarupplevelsen av sökets gränssnitt inom videostreaming industrin. Denna studie undersöker hur olika presentationer av sökresultatet påverkar användarna för att slutföra en sökning på en webbaserad videostreamingtjänst. Studien gjordes i samarbete med SVT och därav utgick undersökningen från deras videostreamingtjänst SVT Play. Uppsatsen syftade till att svara på tre forskningsfrågor utformade efter den officiella användbarhetsstandarden ISO 9241–11. En prototyp togs fram baserad på en toppmodern analys och resultat från fokusgruppsintervjuer. Ett A/B test med 46 860 testanvändare utfördes med syfte att jämföra den framtagna prototypen med den ursprungliga sökfunktionen på SVT Play. Ett kompletterande användartest med tio deltagare gjordes utöver A/B testet. Resultaten från A/B testet visade ingen signifikant skillnad mellan prototyperna. Det framhöll att användarnas sökmål är tillräckligt starka för att layout och design ska påverka deras val och därav den totala klickfrekvensen. Användartestet visade att den nya prototypen generellt var lättare att använda. Studien visade också att de olika prototyperna passade olika sökmål. Deltagarna uttryckte en önskan om en lösning som kombinerar designelement från de två olika prototyperna.

Personalisierung ist ein wichtiger Bereich des Internet Marketings, zu dem es wenige experimentelle Untersuchungen mit großen Teilnehmerzahlen gibt. Für den erfolgreichen Einsatz von Empfehlungsverfahren sind umfangreiche Daten über das Käuferverhalten erforderlich. Diesen Problemstellungen nimmt sich die vorliegende Arbeit an. In ihr wird das Shop-übergreifende individuelle Käuferverhalten von bis zu 126.000 Newsletter-Empfängern eines deutschen Online-Bonussystems sowohl mittels ausgewählter Data-Mining-Methoden als auch experimentell untersucht. Dafür werden Prototypen eines Data-Mining-Systems, einer A/B-Test-Software-Komponente und einer Empfehlungssystem-Komponente entwickelt und im Rahmen des Data Minings und durch Online-Feldexperimente evaluiert. Dabei kann für die genannte Nutzergruppe in einem Experiment bereits mit einem einfachen Empfehlungsverfahren gezeigt werden, dass zum einen die Shop-übergreifenden individuellen Verhaltensdaten des Online-Bonus-Systems für die Erzeugung von Empfehlungen geeignet sind, und zum anderen, dass die dadurch erzeugten Empfehlungen zu signifikant mehr Bestellungen als bei der besten Empfehlung auf Basis durchschnittlichen Käuferverhaltens führten. In weiteren Experimenten im Rahmen der Evaluierung der A/B-Test-Komponente konnte gezeigt werden, dass absolute Rabattangebote nur dann zu signifikant mehr Bestellungen führten als relative Rabatt-Angebote, wenn sie mit einer Handlungsaufforderung verbunden waren. Die Arbeit ordnet sich damit in die Forschung zur Beeinflussung des Käuferverhaltens durch Personalisierung und durch unterschiedliche Rabatt-Darstellungen ein und trägt die genannten Ergebnisse und Artefakte bei.

Personalisierung ist ein wichtiger Bereich des Internet Marketings, zu dem es wenige experimentelle Untersuchungen mit großen Teilnehmerzahlen gibt. Für den erfolgreichen Einsatz von Empfehlungsverfahren sind umfangreiche Daten über das Käuferverhalten erforderlich. Diesen Problemstellungen nimmt sich die vorliegende Arbeit an. In ihr wird das Shop-übergreifende individuelle Käuferverhalten von bis zu 126.000 Newsletter-Empfängern eines deutschen Online-Bonussystems sowohl mittels ausgewählter Data-Mining-Methoden als auch experimentell untersucht. Dafür werden Prototypen eines Data-Mining-Systems, einer A/B-Test-Software-Komponente und einer Empfehlungssystem-Komponente entwickelt und im Rahmen des Data Minings und durch Online-Feldexperimente evaluiert. Dabei kann für die genannte Nutzergruppe in einem Experiment bereits mit einem einfachen Empfehlungsverfahren gezeigt werden, dass zum einen die Shop-übergreifenden individuellen Verhaltensdaten des Online-Bonus-Systems für die Erzeugung von Empfehlungen geeignet sind, und zum anderen, dass die dadurch erzeugten Empfehlungen zu signifikant mehr Bestellungen als bei der besten Empfehlung auf Basis durchschnittlichen Käuferverhaltens führten. In weiteren Experimenten im Rahmen der Evaluierung der A/B-Test-Komponente konnte gezeigt werden, dass absolute Rabattangebote nur dann zu signifikant mehr Bestellungen führten als relative Rabatt-Angebote, wenn sie mit einer Handlungsaufforderung verbunden waren. Die Arbeit ordnet sich damit in die Forschung zur Beeinflussung des Käuferverhaltens durch Personalisierung und durch unterschiedliche Rabatt-Darstellungen ein und trägt die genannten Ergebnisse und Artefakte bei.:1 Inhalt 1 Einleitung 1 1.1 Stand der Forschung 3 1.2 Forschungsbedarf 6 1.3 Forschungskonzept 8 1.4 Verwendete Methoden 11 1.5 Aufbau der Arbeit 11 2 Theoretische und konzeptionelle Grundlagen 13 2.1 Internethandel, E-Commerce und E-Business 13 2.2 Marketing, Konsumenten- und Käuferverhalten 16 2.2.1 Käuferverhalten bei Rabatt-Angeboten 20 2.3 Internet Marketing 21 2.3.1 Erfolgskontrolle im Internet Marketing 24 2.3.2 Ausgewählte Disziplinen des Internet Marketings 27 2.3.2.1 Affiliate Marketing 28 2.3.2.2 Online-Cashback-Systeme 35 2.3.2.3 E-Mail-Marketing 38 2.4 Personalisierung im Internet Marketing 56 2.4.1 Empfehlungssysteme 59 2.4.2 Bewertung von Empfehlungssystemen 59 2.4.3 Architektur von Empfehlungssystemen 60 2.4.4 Empfehlungssystem-Kategorien 62 2.4.4.1 Hybride Empfehlungssysteme 67 2.4.5 Techniken für Empfehlungsverfahren 69 2.5 Wissensaufbereitung und -entdeckung 89 2.5.1 Datenerhebungsverfahren 89 2.5.1.1 Datenqualität 91 2.5.1.2 Datensicherheit und Datenschutz 92 2.5.2 Knowledge Discovery und Data Mining 94 2.5.2.1 Der Data-Mining-Prozess 96 2.5.2.2 Data-Mining-Problemtypen 98 2.5.2.3 Das Data-Mining-System 100 2.5.3 Das Experiment als Erhebungsdesign 106 2.5.3.1 Anforderungen und Gütekriterien 111 2.5.3.2 Online-Feldexperimente im Marketing 117 2.5.3.3 Auswertungsverfahren 120 2.5.3.4 Theoretische Grundlagen des A/B-Testverfahrens 121 3 Vorgehen 126 3.1 Forschungsdesign 126 3.1.1.1 Ziele und Anforderungen der Andasa GmbH 128 3.1.1.2 Ziele und Anforderungen des Instituts für Angewandte Informatik 129 3.1.2 Design des Informationssystems 130 3.1.2.1 Der Designprozess 131 3.1.3 Konzeption des Software-Systems 133 3.1.4 Evaluation 134 3.2 Datenanalyse 135 3.2.1 Datenbeschaffung 135 3.2.2 Datenaufbereitung 136 3.2.3 Auswahl geeigneter Data-Mining-Methoden 137 3.2.3.1 Auswahl-Kriterien 137 3.2.3.2 Methodenauswahl 140 3.2.4 Erläuterung ausgewählter Data-Mining-Methoden 156 3.2.4.1 Bayes’sche Netze 156 3.2.4.2 Clustering 158 3.2.4.3 Diskriminanzanalyse 158 3.2.4.4 Korrelationsanalyse 159 3.2.4.5 Online Analytical Processing (OLAP) 159 3.2.5 Auswahl geeigneter Data-Mining-Werkzeuge 165 3.2.5.1 Auswahlprozess 165 3.2.5.2 Kriterien 166 3.2.5.3 Werkzeuge zur statistischen Analyse und Visualisierung 168 3.2.5.4 Werkzeuge für Clustering und Diskriminanzanalyse 168 3.2.5.5 Werkzeuge für Online Analytical Processing 169 3.2.5.6 Werkzeuge für Bayes’sche Netze 169 3.3 Untersuchungsdesign 171 3.3.1 Online-Marketing-Instrumente bei Andasa 172 3.3.2 Stimulus-Auswahl 174 3.3.3 Entwurf des Experimentaldesigns 175 4 Umsetzung 180 4.1 Architektur und prototypische Implementation 180 4.1.1 Das Data-Mining-System 180 4.1.2 Der ETL-Prozess 181 4.1.2.1 Datenerhebung 183 4.1.2.2 Datenbereinigung 184 4.1.3 Die A/B-Testumgebung 185 4.1.4 Das Empfehlungssystem 189 4.1.5 Usability-Evaluation 196 4.2 Data Mining 199 4.2.1 Statistische Analyse 200 4.2.2 Anwendung ausgewählter Data-Mining-Methoden 206 4.2.2.1 Clustering 208 4.2.2.2 Klassifikation 213 4.2.2.3 Modellierung als Bayes’sche Netze 214 4.2.3 Ergebnisse und Evaluation 221 4.3 Feldexperimente mit Newslettern 222 4.3.1 Eckdaten der Tests 223 4.3.2 Beispiel-Experimente 224 4.3.3 A/B-Tests Rabattdarstellungen 226 4.3.3.1 Öffnungsrate Prozente vs. Euro 226 4.3.3.2 Klickrate Prozente vs. Euro 227 4.3.3.3 Conversion-Rate Prozente vs. Euro 229 4.3.4 A/B-Test zur Personalisierung 230 4.3.4.1 Auswahl des Empfehlungsverfahrens 230 4.3.4.2 Definition der Kontrollgruppe 231 4.3.4.3 Operative Durchführung 231 4.3.4.4 Auswertung 232 4.3.5 Ergebnisse und Evaluation 236 5 Zusammenfassung und Ausblick 239 6 Anhang 243 6.1 Anhang A Usability-Evaluation 243 6.1.1 Methoden der Usability-Evaluierung 246 6.1.1.1 Usability-Tests und lautes Denken 246 6.1.1.2 Benutzerbefragung 248 6.1.1.3 Feldstudien und Partizipation 250 6.1.1.4 Expertenorientierte (Inspektions-)Methoden 251 6.1.1.5 Formal-analytische Verfahren 252 6.1.1.6 Quantitative Fragebogen 252 6.1.1.7 Verfahrensmodell 259 6.1.1.8 Auswertung 262 6.1.2 Fragebögen 263 6.2 Anhang B Zeitreihenanalyse 281 6.2.1 Klassische Komponentenmodelle 281 6.2.2 Stochastische Prozesse 282 6.2.3 Fourier-Analyse-Methoden (Spektralanalyse) 283 6.3 Anhang C Daten und Programme 286 6.3.1 Technische Daten 286 6.3.1.1 Data Warehouse / Data Mining Server 286 6.3.2 Programm- und Skriptcodes 287 6.3.2.1 R- Skripte 287 6.3.2.2 SQL – Skripte 296 6.3.2.3 C# Code MostRecentLinkInvocationsShopRecommender.cs 314 6.3.3 Daten A/B-Tests 317 6.3.3.1 Übersicht Newsletter 317 6.3.3.2 Mengengerüst Aussendungen 319 6.3.3.3 Shopaufrufe und Besteller 319 6.3.3.4 Darstellungen der Newsletter-Varianten 320 6.3.4 Daten Personalisierung 335 6.4 Abbildungsverzeichnis 338 6.5 Tabellenverzeichnis 343 6.6 Literaturverzeichnis 346