Validity is a crucial part of all forms of measurement, and especially in instruments that are high-stakes to the test takers. The aim of this thesis was to examine theory and validity evidence for a recently revised large-scale instrument used for selection to higher education in Sweden, the Swedish Scholastic Assessment Test (SweSAT), as well as identify threats to its validity. Previous versions of the SweSAT have been intensely studied but when it was revised in 2011, further research was needed to strengthen the validity arguments for the test. The validity approach suggested in the most recent version of the Standards for education and psychological testing, in which the theoretical basis and five sources of validity evidence are the key aspects of validity, was adopted in this thesis. The four studies that are presented in this thesis focus on different aspects of the SweSAT, including theory, score reporting, item functioning and linking of test forms. These studies examine validity evidence from four of the five sources of validity: evidence based on test content, response processes, internal structure and consequences of testing. The results from the thesis as a whole show that there is validity evidence that supports some of the validity arguments for the intended interpretations and uses of SweSAT scores, and that there are potential threats to validity that require further attention. Empirical evidence supports the two-dimensional structure of the construct scholastic proficiency, but the construct requires a more thorough definition in order to better examine validity evidence based on content and consequences for test takers. Section scores provide more information about test takers' strengths and weaknesses than what is already provided by the total score and can therefore be reported, but subtest scores do not provide additional information and should not be reported. All four quantitative subtests, as well as the Swedish reading comprehension subtest, are essentially free of differential item functioning (DIF) but there is moderate DIF that could be bias in two of the four verbal subtests. Finally, the equating procedure, although it appears to be appropriate, needs to be examined further in order to determine whether it is the best practice available or not for the SweSAT. Some of the results in this thesis are specific to the SweSAT because only SweSAT data was used but the design of the studies and the methods that were applied serve as practical examples of validating a test and are therefore likely useful to different populations of people involved in test development, test use and psychometric research. Suggestions for further research include: (1) a study to create a more clear and elaborate definition of the construct, scholastic proficiency; (2) a large and empirically focused study of subscore value in the SweSAT using repeat test takers and applying Haberman’s method along with recently proposed effect size measures; (3) a cross-validation DIF-study using more recently administered test forms; (4) a study that examines the causes for the recurring score differences between women and men on the SweSAT; and (5) a study that re-examines the best practice for equating the current version of the SweSAT, using simulated data in addition to empirical data.

Background: “Targeted health dialogues” is a preventive method that aims to reduce the risk of cardiovascular disease and type 2 diabetes. It includes a health-survey containing physical activity (PA)-questions. Health region Skåne introduced the method 2020 and decided to add additional questions about PA and sedentary behavior (SB). With the wish to replace current validated PA-questions with new validated questions and describe SB. Aim: Analyze concurrent validity between the answers of the original PA-questions (kcal/week) in the method and new answers (activity-minutes/last 7-days) and describe SB (hours/day). Method: Quantitative cross-sectional study with non-random, appropriate selection. Participants were 40-year-old health dialogue-participants that consented to research. Data on kcal/week, activity-minutes/last 7-days, sedentary hours/day and basic characteristics were retrieved from digital health-survey. Agreement between PA-questions was analyzed by Cohen´s weighted kappa and intraclass correlation-coefficient (ICC). SB was presented with descriptive statistics and analyzed by Chi2-test, Fisher's-exact-test and independent t-test. Result: Weak agreement between the PA-questions was found (Kw=0,378; ICC=0,273). Participants born in Sweden were more sedentary than those born outside Sweden (p<0.001) and participants with high education were more sedentary compared with lower education (p=0.014). Significant associations were found between SB and BMI (p=0.028; dichotomized analysis). Sedentary participants (>9 hours/d) also had higher mean BMI compared to those who were less sedentary (29,0(SD5,7) and 26,7(SD5,2) respectively; p=0,008). Conclusion: Current PA-questions cannot be replaced in favor of new questions in their current form. Further validation studies are warranted, preferably using objective PA-measures. SB was significantly associated with country of birth, education level and BMI. / Bakgrund: Riktade hälsosamtal är en preventiv metod med syfte att minska risken för hjärt-kärlsjukdom och diabetes typ 2. Metoden innehåller frågor om fysisk aktivitet (FA). Region Skåne införde 2020 metoden och valde att lägga till ytterligare frågor om FA samt stillasittande. Önskemålet var att ersätta tidigare validerade frågor om FA med nya validerade frågor och kartlägga stillasittandet. Syfte: Att undersöka samtidig validitet mellan svaren på de ursprungliga frågorna om FA (kcal/vecka) och svaren på de nya frågorna (aktivitetsminuter/senaste 7-dagarna) samt kartlägga stillasittandet (timmar/dag). Metod: Kvantitativ tvärsnittsstudie med icke-slumpmässigt, ändamålsenligt urval. Deltagarna utgjordes av 40-åringar som haft hälsosamtal samt lämnat forskningssamtycke. Data om kcal/vecka, aktivitetsminuter/senaste 7 dagarna, stillasittande timmar/dag samt bakgrundsinformation inhämtades från den digitala hälsoenkäten. Samstämmighet mellan svaren om FA analyserades genom beräkning av Cohens viktade kappa samt intraklass-korrelationskoefficient (ICC). Stillasittande beskrevs deskriptivt och jämförelseanalyser gjordes med Chi2-test, Fishers exakta-test och oberoende t-test. Resultat: Svag samstämmighet och överensstämmelse sågs mellan FA-frågorna (Kw =0,378; ICC=0,273). Deltagare födda i Sverige var mer stillasittande jämfört med dem födda utanför Sverige (p<0.001) och deltagare med eftergymnasial utbildning var mer stillasittande jämfört med dem utan eftergymnasial utbildning (p=0,014). Signifikant samband sågs mellan stillasittande och BMI (p=0,028; dikotomiserad analys). Medelvärdet för BMI var högre i gruppen som var stillasittande >9h/dag jämfört med ≤9 h/dag (29,0(SD5,7) respektive 26,7(SD5,2); p=0,008). Slutsats: Nuvarande frågor om FA kan inte rakt av bytas ut till förmån för de nya frågorna. Ytterligare valideringsstudier, företrädesvis med objektiva FA-mått, behövs. Nivån av stillasittande hade signifikanta samband med födelseland, utbildningsnivå och BMI.

Sweden’s drug policy still invokes the ideas of zero-tolerance and prohibition despite the high reported number of drug-related deaths and arrest rates for using drugs in Sweden in the latest years. To reach knowledge about why prohibition of illegal drugs has remained such a strong staple of Swedish politics for the latest 60 years, this study asks questions about which ideas and arguments constituting the Swedish drug policy, examines the logical coherence of these, and proposes an alternative policy route which aims to mitigate the shortcomings of the current policy. The drug policy field is extensive and studies from different nations show that drug policies that move away from prohibitionist ideas have succeeded in both reducing drug-related mortality rates and reducing the stigma that is attached to either using or abusing psychoactive drugs. Because of an identified unclarity of why the prohibitionary ideas in Sweden have remained despite recent developments, this study aims to fill a gap in existing research by normatively analyzing the ideas in the policy. Since these ideas have great importance in restrictions of individual liberty and public health considerations, knowledge about them is essential to create because liberty and public health are fundamental aspects in any democratic society. The research endeavor performs an internal validity check as the methodological approach to check the internal logic and arguments of the policy and uses a theory of liberty to shed light on the trade-offs between liberty and public health. What is discovered is that the Swedish drug policy builds on inconsistent arguments and incoherent logic and has a moralizing intent that allows for restrictions on individual liberty to reach a utopian vision of a drug-free society. Also, this study shows that it is possible to create a policy that can mitigate the harms caused by the current by adhering to the principle that individual liberty should stretch as far as possible when no harm is caused to another. The implications of this are that it will be harder to justify the zero-tolerance approach in the future and that future policy must look to other policy approaches rather than build policy on assumptions based on outdated moralism.

Introduktion: Långvarig smärta kostar samhället mycket pengar varje år. Under 2020 och 2021 utvecklades applikationen Vitala som stöd för patienter med behov av fysisk aktivitet i sin rehabilitering av sjukdomar. I applikationen ingår en del som syftar till rehabilitering för personer med muskuloskeletala besvär i nacke, axlar, rygg och höft. Den här studien är den första av sitt slag som utvärderar rehabiliteringsdelen i Vitala. Syftet med denna studie var att undersöka användbarhet, deltagarnas förståelse för applikationens frågor och instruktioner, samt relevansen av Vitalas val av övningar för deras smärtmekanismer. Metod: Tio studiedeltagare med besvär i nacke-/skuldra och ländrygg-/höft sedan ≥4 veckor rekryterades genom en privat fysioterapi- och naprapatklinik i Stockholm. Deltagarna observerades när de använde applikationen för att diagnostisera sina besvär och deras förståelse för appens frågor och tester bedömdes. Efter användning skattades användbarhet genom frågeformulär (Health-ITUES och System Usability Scale). Validitet undersöktes genom att jämföra funktionsdiagnos och övningar som förskrevs av Vitala med en erfaren fysioterapeuts bedömning av funktionsdiagnos och rekommenderade övningar. Resultat: Användbarheten i rehabiliteringsdelen skattades mellan mycket bra och bästa tänkbara. Studiedeltagarna förstod frågor och instruktioner i 88% av fallen. Applikationens funktionsdiagnoser var i linje med fysioterapeutens i 9 av 10 fall. Överensstämmelsen av övningarna var fullständiga för fem av deltagarna, fyra saknade något element och endast en bedömdes bristfällig. Konklusion: Studiedeltagarna visade en god förståelse för Vitalas frågor och instruktioner, vilket var i linje med deras egna skattningar där appen bedömdes vara lätt att använda. En viss svårighet med att förstå vad som menades med begreppen smärta och besvär uppstod hos en del. Vitala hade en god överensstämmelse gällande övningar och funktionsdiagnos, med undantag för deltagare med patoanatomiska förändringar eller nociplastiska smärttillstånd.

Syftet med uppsatsen var att studera huruvida det går att sätta rättssäkra betyg på elever i idrott och hälsa under distansundervisning. Enkätundersökning var metoden för att besvara frågeställningen. 100 lärare deltog i undersökningen och besvarade tolv frågor om ämnets planering och bedömning i idrott och hälsa. Resultatet visade att 84 % av de svarande lärarna ansåg det vara utmanande eller delvis utmanande att planera lektioner för elever på distansundervisning i ämnet idrott och hälsa. Resterande (16 %) ansåg det lätt eller delvis lätt att planera undervisning på distans. Gällande att bedöma elever under distansundervisning ansåg 87 % av de svarande att det är utmanande eller delvis utmanande att planera undervisning på distans. Resterande (13 %) ansåg det vara delvis lätt, men inga lärare ansåg det vara lätt. Resultatet visade på att det är en bred fördelning gällande de undervisningsmetoder lärare använde under distansundervisningen. Lärare använder kommunikation via videosamtal med eller utan kamera, mailkorrespondens eller kontakt via andra plattformar. Eleverna arbetar med “deadlines” och en del får disponera tiden fritt utifrån att de utför de uppgifter som de är tilldelade. Flera lärare svarade att de inte kan garantera att eleverna själva gör vad som förväntas av dem samt att det är ett problem. I slutsatsen kom vi fram till att det inte går att garantera rättssäkerhet vid betygsättning av distansundervisning i idrott och hälsa. Resultatet som presenteras visade att en majoritet av de svarande lärarna ansåg det vara utmanande att både planera, genomföra samt bedöma idrott- och hälsaundervisningen. Det var för oss ett tecken på att rättssäkerheten vid betygssättningen bör ifrågasättas. För framtida studier presenterade vi flera förslag på vad vi ansåg vara relevant att studera vidare om.

Syfte: Målet med denna forskning är att undersöka utveckling av vinstdrivande och icke-vinstdrivande hållbarhetsrapporter för organisationer för att förstå bättre hur hållbarhetsrapportering har utvecklats i takt med att reglerna har förändrats från att vara frivillig till obligatoriska. Dessutom studien undersöker hur ett företag möter intressenternas informationsbehov i sina hållbarhetsrapporter. Därmed skriver författaren att studien är baserad på organisationernas hållbarhetsrapport, för H&M Group år (2016/2020) och för Unicef Sverige år (2017/ 2020). Metod: Enligt studiens syfte och frågeställningar, är det relevant att välja en kvalitativ metod. Kvalitativ innehållsanalys enligt Bryman och Bell (2019) bygger på att analysera dokument via kvantifiering av dokumentets innehåll. Sekundärdata metod har använts, följaktligen informationen som samlas in kommer från sekundärdata. Till skillnad från kvantitativa metoder med kvalitativa metoder kommer det att vara möjligt att skapa en djupare förståelse för hållbarhetsrapporter, kopplat till studiens forskningsfråga och syfte. Theory perspectives: Hållbar utveckling, vinst och ideell organisation, TBL triple bottom line och stakeholders theory. Empiriskt: H&M Group (vinstdrivande företag) och Unicef Sverige (Ideell organisation). Hållbarhetsrapport år 2016, 2017 och 2020. Författaren har valt att studera hållbarhetsrapport för Unicef år 2017 på grund av tillgänglighet av respektive organisationens rapport. Resultat: Enligt H&M Group och Unicef Sverige har ansträngt sig för att anpassa hållbarhet med olika tillvägagångssätt; till exempel H&M Group använder återvunna råvaror och Unicef använder gamla datorer istället för att köpa nya till personalen. Nyckelord: Intressentteori, Utveckling av hållbarhetsrapportering, Vinstdrivande och ideella organisationer, TBL och validitet / The purpose of this research looks into the evolution of for-profit and non-profit organizational sustainability reports, to better understand how sustainability reporting has evolved as regulations have changed from voluntary to compulsory. Furthermore, to investigate how firms meet stakeholders' information needs in their sustainability reports. In doing so, the author studies sustainability reports of H&M Group years 2016/2020 and Unicef Sweden years 2017/2020. According to the purpose of the study, it is relevant to choose a qualitative method. Qualitative content analysis according to Bryman and Bell (2019) is based on analyzing documents via quantification of the document's content. Unlike quantitative methods with qualitative methods, it will be possible to create a deeper understanding of sustainability reporting, linked to the study's research question and purpose. Between 2016 and 2020, the organization's sustainability reports have improved for both for-profit H&M and non-profit Unicef. Organizations have worked with economical sustainability, environmental sustainability and social sustainability. Because the chosen companies differ in their operation and business model, the development of sustainability reports of Unicef Sweden and H&M Group can be seen differently. Organizations' concern for the environment can be noticed in their sustainability reports. For instance in Unicef Sweden avoids traveling for meetings alternatively they are performing all their meetings online to reduce carbon dioxide emissions. At the same time, H&M Group has mentioned in their sustainability reports the use of recycled raw materials to reduce the impact of their productions. Respective organizations tried to meet stakeholders' information needs through interactions and communication with both internal and external stakeholders. Unicef Sweden has been more considerate for their employees by having standardized routines according to the organization's sustainability reports.

The early detection of mild cognitive impairment has the potential to significantly impact the lives of individuals who may be unaware of their cognitive decline. Such a condition can greatly affect their quality of life and ability to perform daily activities. Cognitive screening tests have been developed to identify those who may have cognitive problems or who may be at risk of developing them in the future, aiming to provide appropriate evaluation and treatment. However, a challenge with current tools is the limited correlation often observed between formal tests of executive functions and real-life functioning, which is known as ecological validity. To address this issue, cutting-edge technologies like Virtual Reality can be utilized to assess cognitive functions and increase ecological validity, resulting in more reliable assessments. This study presents a virtual reality application called CE360°VR within which various cognitive functions are examined through tasks, while both quantitative and qualitative data are collected. To achieve this, a set of fourteen scenes has been defined, drawing from standardized tests such as the “Montreal Cognitive Assessment” and the “Mini-Mental State Examination”. The application has been developed using Unity, and the virtual environments are recreated using 360° pictures. The study involves a sample of healthy adults (n=68), aiming to assess the usability and perceived user experience of the Virtual Reality Application. A questionnaire has been administered at the end of the experience including three different standardized scales: System Usability Scale, User Experience Questionnaire, and Affinity for Technology Interaction Scale. According to the results of the study, the Virtual Reality application is classified as “good” with an “acceptable” level of usability, as per the adjective scale developed by Bangor et al. The data collected, which turned into performance indicators of the participants, was found to have no correlation with either the technology affinity or the age. Instead, it was observed that the instruction level of the patients was correlated with their performance. Building upon these findings, a normative study would be necessary to standardize the results and consider this system as a reliable and valid tool for clinical use. / Tidig upptäckt av enklare kognitiv funktionsnedsättning kan påverka livet för individer som kanske är omedvetna om deras kognitiva försämring. Ett sådant tillstånd kan i hög grad påverka deras livskvalitet och förmåga att utföra dagliga aktiviteter. Kognitiva screeningtester har, i syfte att tillhandahålla lämplig utvärdering och behandling, utvecklats för att identifiera personer som har kognitiva problem eller som riskerar att utveckla dem i framtiden. En utmaning med nuvarande verktyg och tester är dess ekologiska validitet eftersom testen ofta visar svag korrelation mellan formella tester av exekutiva kognitiva funktioner och verklig funktion i specifika kontexter. Genom banbrytande teknologier, såsom Virtual Reality (VR), möjliggörs att bedöma kognitiva funktioner och öka ekologisk validitet, vilket kan resultera i mer tillförlitliga bedömningar. Denna studie presenterar en VR-applikation som heter CE360°VR där de formella testerna görs inom välkända kontexter. Både kvantitativ och kvalitativ data samlades in. För att uppnå detta, har en uppsättning av 14 scener har definierats, baserade på ritningar från standardiserade tester som ”Montreal Cognitive Assessment” och ”Mini-Mental State Examination”. Applikationen har utvecklats med Unity, och virtuella miljöer återskapas med 360°-bilder. Studien involverar ett urval av friska vuxna (n=68), som syftar till att bedöma användbarheten och upplevd användarupplevelse av Virtual Reality applikationen. En enkät har besvarats i slutet av testen med hjälp av tre olika standardiserade skalor: System Usability Scale, User Experience Questionnaire och Affinity för Technology Interaction Scale. Resultaten av studien visar att Virtual Reality-applikationen klassificeras som ”bra” med en ”acceptabel” nivå av användbarhet. Datan som insamlades blev till resultatindikatorer för deltagarna, befanns inte ha något samband med vare sig den teknisk läggning eller ålder. Istället observerades att utbildningsnivån hos patienterna var korrelerad med prestation. Utifrån dessa resultat skulle en normativ studie kunna vara nödvändig för att standardisera resultaten och skapa ett system som kan vara tillförlitligt och giltigt verktyg för klinisk användning

The purpose of this study is to examine the validity and reliability of summative assessment of EFL student writing in a Swedish context. Three teachers have assessed the same four student essays from the English 6 course in Swedish upper secondary school. In addition to grading each essay, the teachers have indicated the extent of conformity to the grading criteria in terms of flow, structure, cohesion, adaptation to purpose, clarity, and variation. The analyzed data show a variation in assessment criteria interpretation, affecting assessment validity and reliability, and questioning the assessment equivalence of the Swedish criterion-referenced gradingsystem. / Syftet med denna studie är att undersöka validiteten och reliabiliteten hos summativa bedömningar av studentuppsatser ur ett svenskt perspektiv. Tre lärare har bedömt samma fyra studentuppsatser från engelska 6. Förutom att betygsätta varje uppsats har lärarna angett graden av överensstämmelse med betygskriterierna: flöde, struktur, sammanhållning, anpassning till syfte, tydlighet och variation. De analyserade data visar en variation i tolkning av betygskriterier, vilket påverka rbedömningens validitet och reliabilitet och ifrågasätter bedömningslikvärdigheten i det svenska mål-relaterade betygssystemet.

Introduktion: Ett kostnadseffektivt sätt att kartlägga fysisk aktivitet (FA) är med hjälp av subjektiva mätmetoder som frågeformulär, till exempel socialstyrelsens indikatorfrågor för FA (FASTA). Dessa kan valideras mot objektiva mätinstrument (aktivitetsmätare), till exempel Actigraph GT3X+, men detta har ännu inte gjorts för FASTA-formuläret på den äldre populationen. Syfte: Syftet med studien var att undersöka samband mellan Socialstyrelsens indikatorfrågor om fysisk aktivitet och fysisk aktivitet uppmätt med Actigraph GT3X+ hos äldre personer som är friska men inte tränar. Metod: Sjuttio äldre personer (över 65 år) som var friska men inte tränade bar aktivitetsmätare (Actigraph GT3X+) under sin vakna tid i 7–8 dagar. I anknytning till detta fick deltagarna fylla i FASTA-formuläret. Formuläret består av två frågor där mängden vardagsmotion och fysisk träning under en typisk vecka uppskattas. Korrelation mellan uppmätt och uppskattad FA analyserades med hjälp av Spearman’s rho. Resultat: Måttlig korrelation upptäcktes mellan medelintensiv FA och självskattad vardagsmotion (rho=0.545, p<0.05). Övriga resultat nådde inte statistisk signifikans. Under aktivitetsmätningsperioden var deltagarnas uppmätta tid i medeltal 892 ± 63.0 minuter per valid dag och 5.59 ± 0.885 valida dagar per person. Konklusion: Hos äldre personer som är friska men inte tränar sågs måttligt korrelation mellan medelintensiv FA (MFA) uppmätt med Actigraph GT3X+ och FASTA-formulärets fråga om vardagsmotion. Sambandet mellan högintensiv FA (HFA) uppmätt med Actigraph GT3X+ och FASTA-formulärets fråga om fysisk träning var inte statistiskt signifikant. Mer framtida forskning behövs för att utveckla bättre metoder för att validera FASTA-formuläret på den äldre populationen. / The Umeå High-Intensity Training Study

Sambandsanalys av surveydata kompliceras av förekomsten av slumpfel och metodeffekter i de avgivna svaren. Dessa felkällor kan leda till betydande över- eller underskattning av sambanden mellan undersökta variabler, och riskerar att leda till felaktiga slutsatser. En sedan länge känd metod för att estimera och kontrollera för slumpfel och metodeffekter i enkätdata är den så kallade Multitrait Multimethod-metoden (MTMM). Nackdelen med MTMM-metoden är att den kräver att varje fråga som ska analyseras ställs minst tre gånger i samma enkät, vilket gör att ansatsen i praktiken oftast inte är möjlig att tillämpa. Sedan 2012 finns dock ett verktyg, SQP 2.0, som gör det möjligt att skatta slumpfel och metodeffekter i enkätdata utan att genomföra MTMM-experiment. Den här uppsatsen utvärderar prediktionerna från SQP 2.0 på en enkät om arbetslivsrelaterade frågor besvarad av svenska och brittiska respondenter. Programvarans prediktioner jämförs med resultat från MTMM-experiment, och effekten på sambandsanalysen av att tillämpa SQP-programvarans prediktioner av slumpfel och metodeffekter studeras. Slutsatserna från studien är att SQP 2.0 ger predicerade värden för slumpfel och metod-effekter som ligger nära de MTMM-estimerade i de flesta fall, men att betydande avvikelser också förekommer. Vidare konstateras att korrigering för slumpfel och metodeffekter har en betydande effekt på absolutvärdet av korrelationerna mellan variabler under de studerande förhållandena: korrelationerna i det studerade fallet ökar kraftigt efter justering. Korrelationernas relativa storlek förändras i mindre utsträckning, men för en enkät med mer varierade frågetyper kan också dessa påverkas kraftigt. / Correlation analysis of survey data is complicated by the presence of random errors and method effects in the answers given. These factors can lead to significant over- or underestimation of the correlations between variables. A well-established method for estimating and controlling for random error and method effects in survey data is the Multitrait-Multimethod (MTMM) approach. The disadvantage of this method is that it requires that each survey item to be analysed is asked multiple times in the same survey, making the approach hard to use in many practical situations. Since 2012 there is a tool available, SQP 2.0, to predict random errors and method effects in survey data without performing MTMM experiments. This paper evaluates the use of predictions from the SQP 2.0 software on the correlation analysis of a survey of work related matters answered by Swedish and British respondents. The software's predictions are compared with results from MTMM experiments, and the effect on the correlations of applying the SQP software's predictions of random errors and method effects are studied. The conclusion of the study is that SQP 2.0 gives predicted values for random error and method effects that are close to the MTMM-estimates in most cases, but that considerable deviations also occur. It is further concluded that controlling for random error and method effects has a significant effect on the absolute values of the correlations between variables in the studied cases: the correlations in the study increase substantially after adjustment. The relative sizes of the correlations between variables change to a lesser extent, but a questionnaire with more varied question types may have lead to different results in this respect.