abstract: With the advent of Massive Open Online Courses (MOOCs) educators have the opportunity to collect data from students and use it to derive insightful information about the students. Specifically, for programming based courses the ability to identify the specific areas or topics that need more attention from the students can be of immense help. But the majority of traditional, non-virtual classes lack the ability to uncover such information that can serve as a feedback to the effectiveness of teaching. In majority of the schools paper exams and assignments provide the only form of assessment to measure the success of the students in achieving the course objectives. The overall grade obtained in paper exams and assignments need not present a complete picture of a student’s strengths and weaknesses. In part, this can be addressed by incorporating research-based technology into the classrooms to obtain real-time updates on students' progress. But introducing technology to provide real-time, class-wide engagement involves a considerable investment both academically and financially. This prevents the adoption of such technology thereby preventing the ideal, technology-enabled classrooms. With increasing class sizes, it is becoming impossible for teachers to keep a persistent track of their students progress and to provide personalized feedback. What if we can we provide technology support without adding more burden to the existing pedagogical approach? How can we enable semantic enrichment of exams that can translate to students' understanding of the topics taught in the class? Can we provide feedback to students that goes beyond only numbers and reveal areas that need their focus. In this research I focus on bringing the capability of conducting insightful analysis to paper exams with a less intrusive learning analytics approach that taps into the generic classrooms with minimum technology introduction. Specifically, the work focuses on automatic indexing of programming exam questions with ontological semantics. The thesis also focuses on designing and evaluating a novel semantic visual analytics suite for in-depth course monitoring. By visualizing the semantic information to illustrate the areas that need a student’s focus and enable teachers to visualize class level progress, the system provides a richer feedback to both sides for improvement. / Dissertation/Thesis / Masters Thesis Computer Science 2016

The thesis deals with web analytics of content based websites. Its primary aim is to design metrics of a web analysis and range of the metrics. This allows a proprietor of the content based websites to evaluate the state of the web and also its changes. The following is a practical example of handling website metrics and how to evaluate a web redesign with the help of these metrics. The first and second chapter lists literature of web analysis and specifies a purpose of the thesis and its target group. In the paragraphs that follow, I explain the theoretical starting-points and major concepts in further detail. In the third chapter I describe the main targets of content based websites because con-sequently defined metrics should reflect these targets and aim for them. Then I underline some specific problems of content based websites analysis. The fifth chapter forms the crux of this work. First, I define right metrics and then present the very design of metrics for analysis of content based websites. The proposed metrics describe interpretation of values, possibilities of segmentation and also relation to other metrics. In the fifth chapter there is an example of some metrics applied to real data of two content based websites with a description of how to work with these metrics.

It has become an important part of business development to collect statistical data from online sources. Information about users and how they interact with an online source can help improving the user experience and increasing sales of products. Collecting data about users has many benefits for the business owner, but it also raises privacy issues since more and more information about users are spread over the internet. Tools that collect statistical data from online sources exists, but using such tools gives away the control over the data collected. If a business implements its own analytics system, it is easier to make it more privacy centric and the control over the data collected is kept.  This thesis examines what techniques that are most suitable for a system whose purpose is to collect, store, process, and present large-scale privacy centric data. Research about what technique to use for collecting data and how to keep track of unique users in a privacy centric way has been made as well as research about what database to use that can handle many write requests and store large scale data. A prototype was implemented based on the research, where JavaScript tagging is used to collect data from several online sources and cookies is used to keep track of unique users. Cassandra was chosen as database for the prototype because of its high scalability and speed at write requests. Two versions of the processing of raw data into statistical reports was implemented to be able to evaluate if the data should be preprocessed or if the reports could be created when the user asks for it.   To evaluate the techniques used in the prototype, load tests of the prototype was made where the results showed that a bottleneck was reached after 45 seconds on a workload of 600 write requests per second. The tests also showed that the prototype managed to keep its performance at a workload of 500 write requests per second for one hour, where it completed 1 799 953 requests. Latency tests when processing raw data into statistical reports was also made to evaluate if the data should be preprocessed or processed when the user asks for the report. The result showed that it took around 30 seconds to process 1 200 000 rows of data from the database which is too long for a user to wait for the report. When investigating what part of the processing that increased the latency the most it showed that it was the retrieval of data from the database that increased the latency. It took around 25 seconds to retrieve the data and only around 5 seconds to process it into statistical reports. The tests showed that Cassandra is slow when retrieving many rows of data, but fast when writing data which is more important in this prototype. / Det har blivit en viktig del av affärsutvecklingen hos företag att samla in statistiska data från deras online-källor. Information om användare och hur de interagerar med en online-källa kan hjälpa till att förbättra användarupplevelsen och öka försäljningen av produkter. Att samla in data om användare har många fördelar för företagsägaren, men det väcker också integritetsfrågor eftersom mer och mer information om användare sprids över internet. Det finns redan verktyg som kan samla in statistiska data från online-källor, men när sådana verktyg används förloras kontrollen över den insamlade informationen. Om ett företag implementerar sitt eget analyssystem är det lättare att göra det mer integritetscentrerat och kontrollen över den insamlade informationen behålls. Detta arbete undersöker vilka tekniker som är mest lämpliga för ett system vars syfte är att samla in, lagra, bearbeta och presentera storskalig integritetscentrerad information. Teorier har undersökts om vilken teknik som ska användas för att samla in data och hur man kan hålla koll på unika användare på ett integritetscentrerat sätt, samt om vilken databas som ska användas som kan hantera många skrivförfrågningar och lagra storskaligdata. En prototyp implementerades baserat på teorierna, där JavaScript-taggning används som metod för att samla in data från flera online källor och cookies används för att hålla reda på unika användare. Cassandra valdes som databas för prototypen på grund av dess höga skalbarhet och snabbhet vid skrivförfrågningar. Två versioner av bearbetning av rådata till statistiska rapporter implementerades för att kunna utvärdera om data skulle bearbetas i förhand eller om rapporterna kunde skapas när användaren ber om den. För att utvärdera teknikerna som användes i prototypen gjordes belastningstester av prototypen där resultaten visade att en flaskhals nåddes efter 45 sekunder på en arbetsbelastning på 600 skrivförfrågningar per sekund. Testerna visade också att prototypen lyckades hålla prestandan med en arbetsbelastning på 500 skrivförfrågningar per sekund i en timme, där den slutförde 1 799 953 förfrågningar. Latenstest vid bearbetning av rådata till statistiska rapporter gjordes också för att utvärdera om data ska förbehandlas eller bearbetas när användaren ber om rapporten. Resultatet visade att det tog cirka 30 sekunder att bearbeta 1 200 000 rader med data från databasen vilket är för lång tid för en användare att vänta på rapporten. Vid undersökningar om vilken del av bearbetningen som ökade latensen mest visade det att det var hämtningen av data från databasen som ökade latensen. Det tog cirka 25 sekunder att hämta data och endast cirka 5 sekunder att bearbeta dem till statistiska rapporter. Testerna visade att Cassandra är långsam när man hämtar ut många rader med data, men är snabb på att skriva data vilket är viktigare i denna prototyp.

The central question was how the relationship between trust-in-technology and intent-to-use Big Data Analytics in an organization is mediated by both Perceived Risk and Perceived Usefulness. Big Data Analytics is quickly becoming a critically important driver for business success. Many organizations are increasing their Information Technology budgets on Big Data Analytics capabilities. Technology Acceptance Model stands out as a critical theoretical lens primarily due to its assessment approach and predictive explanatory capacity to explain individual behaviors in the adoption of technology. Big Data Analytics use in this study was considered a voluntary act, therefore, well aligned with the Theory of Reasoned Action and the Technology Acceptance Model. Both theories have validated the relationships between beliefs, attitudes, intentions and usage behavior. Predicting intent-to-use Big Data Analytics is a broad phenomenon covering multiple disciplines in literature. Therefore, a robust methodology was employed to explore the richness of the topic. A deterministic philosophical approach was applied using a survey method approach as an exploratory study which is a variant of the mixed methods sequential exploratory design. The research approach consisted of two phases: instrument development and quantitative. The instrument development phase was anchored with a systemic literature review to develop an instrument and ended with a pilot study. The pilot study was instrumental in improving the tool and switching from a planned covariance-based SEM approach to PLS-SEM for data analysis. A total of 277 valid observations were collected. PLS-SEM was leveraged for data analysis because of the prediction focus of the study and the requirement to assess both reflective and formative measures in the same research model. The measurement and structural models were tested using the PLS algorithm. R2, f2, and Q2 were used as the basis for the acceptable fit measurement. Based on the valid structural model and after running the bootstrapping procedure, Perceived Risk has no mediating effect on Trust-in-Technology on Intent-to-Use. Perceived Usefulness has a full mediating effect. Level of education, training, experience and the perceived capability of analytics within an organization are good predictors of Trust-in-Technology.

Studien har undersökt hur några norrländska stora och medelstora organisationer arbetar medkompetenskartläggning. Vidare undersöktes hur synen på kompetens, kompetenskartläggningoch utsikter för HR-arbetet i och med digitaliseringens framfart varierar mellanorganisationsnivåer. Studien tog delvis utgångspunkt i teorier som rör arbetet med kompetensutifrån ett organisatoriskt perspektiv. Även teorier som rör digitalisering av organisationer ochmer specifikt HR-funktionen där det tämligen nya tillvägagångssättet för databaserad analys,People Analytics, diskuterats i relation till framtidsutsikter och kartläggning. Studiensuppkomst och relevans kunde härledas till den globala kompetensbrist som återspeglas iSverige och i synnerhet Norrland. Data samlades in genom semistrukturerade intervjuer medHR-anställda från respektive organisation. Av resultatet framkom att samtliga organisationerupplever kompetensbristen i någon mån, däremot varierade synen på kompetenskartläggningoch dess nytta för organisationen. I det fall kompetenskartläggning utförs var det ofta relaterattill uppkomna behov såsom rekrytering- eller utbildningsinsatser, i andra fall delegerasansvaret till chefer och föll således inte under HR´s ansvar. Resultatet kunde härledas till dengenerella utvecklingen av HR-professionen då det i studien framkom att det skett enförflyttning från en mer kvalitativ till en mer affärsmässig och strategiskt syn på HR. Vidareframkom att digitaliseringen kan påstås påskyndat denna transformation. En förändring somansågs vara mer eller mindre positiv bland de olika informanterna. Studien bidrog därmedmed en förklaring till varför det finns anledning att ifrågasätta kompetenskartläggningensförekomst i organisationer, men även en skildring av HR´s och den digitala utvecklingen roll iorganisationerna. En förändringsfas som enligt studien bör betraktas som pågående.

In this report, problems regarding the retrieving, measuring, and analysis of data when analysing marketing effects in the web analytics tool Google Analytics will be discussed. A correct setup, configuration, maintenance, campaign tracking and the understanding of the data in Google Analytics is essential to be able to achieve relevant insights. This is important since many Swedish marketing departments experience issues related to their setup of Google Analytics as well as the ongoing configuration and maintenance. A literature study has been conducted to gather information, focusing on collecting theories from researchers and experts in the field of web analytics and marketing analytics. Google Analytics data and reports from several Swedish companies have been studied to gain a deep understanding of how the tool is used for the measuring and analysis of the marketing effects. Interviews with marketing department and media bureau/agency employees have been conducted and analysed in a qualitative manner. A thematic analysis of the interviews has been done, resulting in 8 themes which are presented in the result section. The result has been analysed and discussed in relation to the theory. The interviews showed that there is a difference in knowledge and experience between the senior and junior analysts, and that there is a significant learning curve when working in Google Analytics. The junior analysts trusted the data, and did not know about campaign tracking and filters, in contrast to the senior analysts, who did not trust the data as a control mechanism, and did work with campaign tracking and filters. Furthermore, the senior analysts had more understanding of the data models in Google Analytics, such as attribution models, which are known to show different stories based on which attribution model is being used. The conclusions are four capabilities that address a need for more and better control over the setup and over the data, a wider use of campaign tracking, and wider knowledge of the data and the data models in Google Analytics, and of the business the organisation is conducting, to be able to gain relevant insights. / I den här rapporten diskuteras problemen med att insamla, mäta och analysera data vid analys av marknadseffekter i webbanalys-verktyget Google Analytics. Korrekt installation, konfiguration, underhåll, kampanjspårning och förståelsen av datan i Google Analytics är viktigt för att kunna uppnå relevanta insikter. Detta är viktigt eftersom att många svenska marknadsföringsavdelningar upplever problem i samband med installationen av Google Analytics samt den pågående konfigurationen och underhållet av data som ska mätas och analyseras. En litteraturstudie har gjorts för att samla in information, med inriktning på att samla teori från forskare och experter inom webbanalys och marknadsanalys. Google Analytics-data och rapporter från flera svenska företag har studerats för att få en djupare förståelse för hur verktyget används för att mäta och analysera marknadsföringseffekter. Intervjuer med medarbetare på marknadsavdelningar och mediebyråer har genomförts och analyserats på ett kvalitativt sätt. En tematisk analys av intervjuerna har gjorts, vilket resulterat i 8 teman som presenteras i resultatavsnittet. Resultatet har analyserats och diskuterats i förhållande till teorin. Intervjuerna visade att det finns skillnad i kunskap och erfarenhet mellan seniora och juniora analytiker, och att det finns en signifikant inlärningskurva när en arbetar i Google Analytics. De juniora analytikerna litade på datan och tillämpade inte kampanjspårning och filter i motsats till de seniora analytikerna som inte litade på datan som en kontrollmekanism, samt tillämpade kampanjspårning och filter. Vidare hade de seniora analytikerna större förståelse för datamodellerna i Google Analytics, till exempel attributionsmodeller, som är kända för att indikera olika saker baserat på vilken modell som används. Slutsatserna är fyra förmågor som relaterar till ett behov av mer och bättre kontroll över datan och installationen av Google Analytics, en bredare användning av kampajspårning, bredare kunskaper om både datan och de olika datamodellerna i Google Analytics, och verksamheten som organisationen utför för att kunna tillskansa sig relevanta insikter som är lämpliga att grunda beslut utifrån.

Syftet med arbetet var att utforska möjligheten att hämta data automatiskt från ett ett escape room. Vilken data som är väsentlig att samla in för att stödja utvecklingen av ett escape room? Även hur ska datan samlas in från det fysiska rummet samt vilka komponenter från digitala spel kan användas i insamlings- och analysprocessen? En intervjubaserad metod användes för att granska dom tre olika behoven en projektledare, fullskaligt system och prototyputveckling kräver av ett utvärderingssystem. Resultatet blev att information som tiden för att lösa ett pussel, hur många ledtrådar och vad spelarna interagerar är information som behövs. Användningen av digitala komponenter som Unity Analytics och Xbox Adaptiv Controller har bevisats användas för mer än bara datorspel. Systemet är inte komplett utan enbart en prototyp. Prototypen visar dock på ett gott resultat och implementationen mot ett fullskaligt system är mer än möjligt vid ett framtida arbete. / <p>Det finns övrigt digitalt material (t.ex. film-, bild- eller ljudfiler) eller modeller/artefakter tillhörande examensarbetet som ska skickas till arkivet.</p>

Data klassificeras numera som världens mest värdefulla resurs. Den växande och storskaliga användningen av internet är en bidragande faktor till de enorma mängder data som genereras och florerar i våra digitala miljöer. Genom att analysera data som samlas in från internet, kan insikter och förståelse för internetanvändares beteendemönster utvinnas. Därför har datainsamling och webbanalys på senare år blivit en nyckelaktivitet för många internetaktörer. Med ett effektivt arbete kring dessa områden kan internetaktörer skapa sig fördelar gentemot sina konkurrenter, och därmed skapa sig marknadsmässiga försprång. I takt med att data blir allt mer eftertraktat ökar också kraven på att internetanvändares integritet ska prioriteras så att datainsamlingen inte bryter mot några etiska principer. Detta ämne har på senare år blivit allt mer aktuellt efter att det visat sig att internetanvändares integritet ofta åsidosätts i strävan efter att samla in data. Många webbläsare har därför börjat arbeta aktivt för att skydda sina användare i större utsträckning, bland annat genom att hantera kakor allt mer restriktivt. Detta har orsakatproblem för webbanalysverktyg, då de använder kakor för att kunna identifiera, binda samman och samla in data kring en besökares beteenden och interaktioner på en webbplats. Syftet med denna studie är att utveckla, utvärdera och jämföra metoder som stärkerde kakor som används av webbanalysverktyg. Med hjälp av de metoder som utvecklas är studiens mål att höja kvalitén på den data som samlas in av verktygen. Studien har genomförts med en kvalitativ forskningsmetod i fem olika faser. För att utvärdera de metoder som utvecklas i studien har en utvärderingsmodell introducerats. Via utvärderingsmodellen har underlag till studiens resultat kunnat genereras. Resultatet visar att det med hjälp av mikroservicetjänster, i form av en proxyserver, är möjligt att åstadkomma en markant förbättring av kvalitén i den data som samlas in av webbanalysverktyg. / Data is now classified as the world’s most valuable resource. The growing and large-scale usage of internet is a contributing factor to the huge amount of data that are generated and flourish in our digital environments. By analyzing the data that can be collected from internet, insights and understanding of internet users behavioral patterns can be extracted. In recent years, web tracking and web analytics has therefore become a key activity for many players on the internet. With an effective work in these areas, internet players can create an advantage on thier competitors. As data becomes more and more sought after, the demands on the privacy aspects for internet users are also increasing. In recent years, this topic has become even more relevant, after it has been found that the privacy of internet users is often violated in the effort of data collection. Many web browsers has therefore actively begun to protect their users, for instance by handling cookies more restrictively. This has casued problems for web analytics tools, as they use cookies to identify, bind and collect data about users interactions and behavior patterns on a website. The purpose of this study is to develop, evaluate and compare methods that strengthen cookies used by web analytic tools. Using the methods developed in the study, the goal of the study is to improve the quality of the data that are collected by the tools. The study was conducted using a qualitative research method in five different phases. In order to evaluate the methods developed in the study, an evaluation model has been introduced. Through the evaluation model, data to the study’s result have been generated. The results shows that with help of microservices, in the form of aproxy server, it is possible to achieve a significant improvement in the quality of the data collected by web analytics tools.

The rapid growth of e-commerce contributes to not only an increase in the number of online shoppers but also new changes in customer behaviour. Surveys have revealed that online shopper's brand loyalty and store loyalty are declining. Also the transparency of feedback affects customers' purchase intention. In the context of these changes, online sellers are faced with challenges in regard to their customer relationship managements (CRM). They are interested in identifying high-value customers from a mass of online shoppers, and knowing the factors that might have impacts on those high-value customers. This thesis aims to address these questions. Our research is conducted based on an eBay dataset that includes transaction and associated feedback information during the second quarter of 2013. Focusing on the sellers and buyers in that dataset, we propose an approach for measuring the value for each seller-buyer pair so as to help sellers capture high-value customers. For a seller, the value of each of its customers has been obtained, and we create a customer value distribution for the seller so that the seller knows the majority of its customers' consumption abilities. Next, we categorize sellers based on their customer value distributions into four different groups, representing the majority of customers as being of high, medium, low, and balanced values, respectively. After this classification, we compare the performance of each group in terms of the sales, percentage of successful transactions, and the seller level labelled by the eBay system. Furthermore, we perform logistic regression and clustering to the sellers' feedback data in order to investigate whether a seller's reputation has an impact on the seller's customer value distribution. From the experiment results, we conclude that the effect of negative ratings is more significant than that of positive ratings on a seller's customer value distribution. Also higher ratings about "Item as Described" and "Shipping and Handling Charges" are more likely to help the seller attract more high-value buyers. / Graduate

Large scale machine learning has many characteristics that can be exploited in the system designs to improve its efficiency. This dissertation demonstrates that the characteristics of the ML computations can be exploited in the design and implementation of parameter server systems, to greatly improve the efficiency by an order of magnitude or more. We support this thesis statement with three case study systems, IterStore, GeePS, and MLtuner. IterStore is an optimized parameter server system design that exploits the repeated data access pattern characteristic of ML computations. The designed optimizations allow IterStore to reduce the total run time of our ML benchmarks by up to 50×. GeePS is a parameter server that is specialized for deep learning on distributed GPUs. By exploiting the layer-by-layer data access and computation pattern of deep learning, GeePS provides almost linear scalability from single-machine baselines (13× more training throughput with 16 machines), and also supports neural networks that do not fit in GPU memory. MLtuner is a system for automatically tuning the training tunables of ML tasks. It exploits the characteristic that the best tunable settings can often be decided quickly with just a short trial time. By making use of optimization-guided online trial-and-error, MLtuner can robustly find and re-tune tunable settings for a variety of machine learning applications, including image classification, video classification, and matrix factorization, and is over an order of magnitude faster than traditional hyperparameter tuning approaches.