Syfte: Denna studie har två huvudsyften, ett praktiskt och ett akademiskt. Det praktiska huvudsyftet är att genomföra en utvärdering av e-tjänsten Nationella Exjobb-poolen (’xjobb.nu’) som drivs av Verket för Högskoleservice (’VHS’). Kopplat till detta har vi haft vårt akademiska huvudsyfte som varit att utvärdera hur väl tre metoder (’Effektstyrning’, ’DEVIS’ och ’Expertutvärdering’) passar för att utvärdera en existerande e-tjänst. Frågor: Vi har utgått från tre forskningsfrågor som med grund i vårt syfte är uppdelade i akademiska och praktiska frågor med inriktning på att utvärdera användbarheten hos en e-tjänst och hur användbara de tre metoderna är för utvärdering av e-tjänst. Forskningsmetod: Vår studie har varit till största delen kvalitativ med inslag av kvantitativ metod och har haft en induktiv ansats. Arbetet har även varit en fallstudie ur det perspektivet att våra studier av metoderna kan ses som fall. Arbetsordningen har varit sådan att vi sammanställde metoderna för att kunna ställa upp dem så att den efterföljande metodjämförelsen blev möjlig. Efter metodjämförelsen har vi sedan tillämpat metoderna på vårt undersökningsobjekt och analyserat resultatet av detta för att få fram vårt utvärderingsresultat. Kunskapsbidrag: Vår studie har ett praktiskt kunskapsbidrag och ett akademiskt kunskapsbidrag. Det praktiska kunskapsbidraget är ett utvärderingsresultat till VHS; att deras sida är funktionell och stödjer de flesta designregler för användbarhet men har ett antal punkter som kan åtgärdas. Det akademiska kunskapsbidraget är i form av ett utvärderingsresultat av de tre metoderna; att metoderna kan användas tillsammans och åtminstone Effektstyrning inte bör användas ensamt vid utvärdering. Vi har även valt att kalla den uppsättning verktyg vi har använt för en metod vid namn S.A.E. – Systematisk Användbarhetsutvärdering av E-tjänst.

Syfte: Det övergripande syftet med avhandlingen är att utveckla en intressentbaseradutvärderingsmetod för att utvärdera informationssystem. Jag har valt attkalla utvärderingsmetoden för VISU (Verksamhetsutvecklande InformationssystemUtvärdering). I VISU uppfattas utvärderingsprocessen som en socialprocess där människor arbetar tillsammans för att bestämma sig för egenskaperoch värden hos det informationssystem som utvärderas. Utgångspunkten förutvärderingsprocessen enligt VISU är att utvärdering ska användas praktiskt avmänniskor för att skapa utveckling och förbättring i verksamheter. Frågor: Tvåövergripande forskningsfrågor har drivit avhandlingsarbetet: 1. Hur bör en metodför utvärdering av informationssystem vara utformad för att bidra till enverksamhets utveckling? 2. Vad innebär en pragmatiskt grundad modell för ISUtvärdering? Forskningsmetod: I avhandlingsarbetet utvecklar jag VISU ochundersöker hur metoden fungerar samt vilka konsekvenser som användandet avVISU ger i praktiska utvärderingssammanhang. Forskningsarbetet har bedrivitsenligt Canonical Action Research. Aktionsforskningsstrategin har valts för attmotsvara undersökningsbehovet vid metodutveckling - behovet av att prövametoden i praktiska utvärderingsprocesser där metoden är avsedd att användas.Vidare grundas och förankras VISU i pragmatiska kunskapsteorier och teorier omutvärdering (särskilt intressentmodellen). VISU är också grundad i forskning omIS-utvärdering och förankrad i skolan om interpretativ IS-utvärdering. Kunskapsbidrag: Det praktiska bidraget från avhandlingen är en metod, VISU,för att utvärdera informationssystem. De teoretiska kunskapsbidragen är:rationalitet för en pragmatisk utvärderingsprocess, en multiparadigmmodell förIS-utvärdering samt en modell för utvärderingsbruk. / Purpose: The purpose of the study is to develop an evaluation method forevaluating information systems based on the stakeholder model for evaluation.The method is called VISU (Swedish acronym for IS evaluation for workpracticedevelopment). In VISU, the evaluation process is recognised as a social processwhere people are working together in order to determine the qualities and valuesof the IS under evaluation. The point of departure is that evaluation is to be usedby people in order to make change and betterment. Questions: Two questionshave guided the study: 1) How should a method for evaluation of informationsystems be designed in order to contribute to the development of an organisation? and 2) What is the significance of a pragmatic grounded evaluation model? and 2) What is the significance of a pragmatic grounded evaluation model? Method: The research process has been conducted according to Canonical ActionResearch. The Action Research strategy has been chosen in order to satisfy theresearch needs when doing method development – the need to try the method outin non trivial situations. Further, VISU is grounded in pragmatic knowledgetheories, evaluation theories (stakeholder model) and IS evaluation theories andanchored in the school of interpretive IS evaluation. Contribution: The practicalcontribution from the study is VISU, a method for evaluation informationsystems. The theoretical contributions are rationality for pragmatic IS evaluation,a multiparadigm model for IS evaluation and a model for evaluation use.