The aim of this research programme was to examine the 3P model of learning (Biggs, 1987a, 1999). The first stage necessarily involved an examination of the Study Process Questionnaire (SPQ) (Biggs, 1987a), an instrument developed to measure the process component of the model. The structure of the SPQ was examined utilising exploratory and confirmatory factor analysis of undergraduate responses (n= 260). The results indicated the higher-order factor structure of deep-achieving and surface-achieving-motive provided the most reliability and a better model fit than either the subscales or scales of the SPQ. The construct validity of the two constructs deep and surface was assessed next using a multitrait-multimethod matrix (MTMM) constructed from the three measures of the self-report questionnaire, interview ratings and written assessments from first-year students (n = 50). The results indicated good convergent validity between the deep scale of the SPQ and the interview ratings on the deep scale, between the deep scale on the SPQ and the written assessment ratings, and between the interview ratings and written assessment ratings. The results indicated good convergent validity between the surface scale on the SPQ and the interview ratings on the surface scale, but not between the surface scale on the SPQ and the written assessment ratings, and between the interview ratings and written assessment ratings. The discriminant validity between deep and surface was good for the SPQ, but not for either the interview or the written assessment. The findings indicate the deep and surface scales of the SPQ adequately measure the underlying deep and surface constructs. The retest reliability of the SPQ was then examined utilising Spearman’s Rho to assess the rank-order correlations with a sample of third-year students (n=87). Over a period of three months there were significant correlations for the surface motive, surface strategy, deep strategy, achieving motive and achieving strategy subscales of the SPQ, suggesting good reliability for these subscales. The results at the scale level of the SPQ result in similar conclusions. There was a moderate significant correlation for the surface, deep and achieving scales of the SPQ, suggesting the scales have good reliability over a period of three months. There was also a moderate significant correlation for the surface-achieving-motive and deep-achieving scales over a period of three months. The stability of SPQ scores was also assessed utilising a series of one-way repeated measures MANOVA’s with a sample of third-year undergraduates (n = 64). The results suggest some change occurs in self-reported use of approaches to learning between the first and third-years of an undergraduate degree programme. The role of the teaching-learning environment was next examined. Utilising a within-subjects design, undergraduate students (n=48) concurrently enrolled in traditional (viz. lecture and tutorial) and non-traditional (viz. workshops and group projects) subjects completed the SPQ to describe their approaches to learning in each subject. A series of 2x2 repeated measures MANOVA’s were undertaken. The results indicated students were likely to change their approach to learning based on their perceptions of the learning environment (traditional or non-traditional subject). However, those students identified as predominantly surface learners significantly increased their deep scale scores in the non-traditional subject when compared to deep learners. The next study examined a range of personality (locus of control, sensing function, thinking function, intelligence) and demographic variables (age, gender, year of study) to assess which were good predictors of deep and surface approaches to learning. A series of regression analyses identified age, sensing function and locus of control as significant predictors of the surface, surface-achieving-motive, and deep approaches to learning. Locus of control was found to be a significant predictor of the deep-achieving approach to learning. The final study examined the 3P model of learning. Based on the results of earlier studies in the research programme the situational component of the presage factors was not included. The model was examined using structural equation modelling (n= 394). Two initial models were tested using both the three (deep, surface, achieving) and two (surface-achieving-motive and deep-achieving) process factor models. The three process factor model provided the better model fit. The results suggest deep and surface approaches to learning do not mediate between personal characteristics and learning outcomes (i.e. GPA). The results of this series of studies suggest the need for further research into the SPQ and the 3P model of learning. The implications of the research programme are also discussed.

Sambandsanalys av surveydata kompliceras av förekomsten av slumpfel och metodeffekter i de avgivna svaren. Dessa felkällor kan leda till betydande över- eller underskattning av sambanden mellan undersökta variabler, och riskerar att leda till felaktiga slutsatser. En sedan länge känd metod för att estimera och kontrollera för slumpfel och metodeffekter i enkätdata är den så kallade Multitrait Multimethod-metoden (MTMM). Nackdelen med MTMM-metoden är att den kräver att varje fråga som ska analyseras ställs minst tre gånger i samma enkät, vilket gör att ansatsen i praktiken oftast inte är möjlig att tillämpa. Sedan 2012 finns dock ett verktyg, SQP 2.0, som gör det möjligt att skatta slumpfel och metodeffekter i enkätdata utan att genomföra MTMM-experiment. Den här uppsatsen utvärderar prediktionerna från SQP 2.0 på en enkät om arbetslivsrelaterade frågor besvarad av svenska och brittiska respondenter. Programvarans prediktioner jämförs med resultat från MTMM-experiment, och effekten på sambandsanalysen av att tillämpa SQP-programvarans prediktioner av slumpfel och metodeffekter studeras. Slutsatserna från studien är att SQP 2.0 ger predicerade värden för slumpfel och metod-effekter som ligger nära de MTMM-estimerade i de flesta fall, men att betydande avvikelser också förekommer. Vidare konstateras att korrigering för slumpfel och metodeffekter har en betydande effekt på absolutvärdet av korrelationerna mellan variabler under de studerande förhållandena: korrelationerna i det studerade fallet ökar kraftigt efter justering. Korrelationernas relativa storlek förändras i mindre utsträckning, men för en enkät med mer varierade frågetyper kan också dessa påverkas kraftigt. / Correlation analysis of survey data is complicated by the presence of random errors and method effects in the answers given. These factors can lead to significant over- or underestimation of the correlations between variables. A well-established method for estimating and controlling for random error and method effects in survey data is the Multitrait-Multimethod (MTMM) approach. The disadvantage of this method is that it requires that each survey item to be analysed is asked multiple times in the same survey, making the approach hard to use in many practical situations. Since 2012 there is a tool available, SQP 2.0, to predict random errors and method effects in survey data without performing MTMM experiments. This paper evaluates the use of predictions from the SQP 2.0 software on the correlation analysis of a survey of work related matters answered by Swedish and British respondents. The software's predictions are compared with results from MTMM experiments, and the effect on the correlations of applying the SQP software's predictions of random errors and method effects are studied. The conclusion of the study is that SQP 2.0 gives predicted values for random error and method effects that are close to the MTMM-estimates in most cases, but that considerable deviations also occur. It is further concluded that controlling for random error and method effects has a significant effect on the absolute values of the correlations between variables in the studied cases: the correlations in the study increase substantially after adjustment. The relative sizes of the correlations between variables change to a lesser extent, but a questionnaire with more varied question types may have lead to different results in this respect.

In der empirischen Forschung gehören Fragebatterien (Sammlungen verschiedener Fragen zu einem gemeinsamen Thema von Interesse) in Umfragen zu den etablierten Instrumenten der Datenerhebung. Die Antworten Befragter auf einzelne Fragen solcher Batterien müssen jedoch nicht zwangsläufig der Wahrheit entsprechen, sondern können durch sogenannte Antwortverzerrungen bewusst oder unbewusst von der eigentlich wahren Antwort abweichen. Eine der bekanntesten Antwortverzerrungen, welche darüber hinaus vielfältig in verschiedenen Studien nachgewiesen werden konnte, ist der Fragereihenfolgeneffekt (kurz: „FRE“). Von einem solchen ist die Rede, wenn die Antwort auf eine nachfolgend gestellte Frage durch die Antwort auf eine vorangegangene Frage beeinflusst wird und die Antwort auf die Folgefrage dadurch systematisch von der eigentlich wahren Antwort abweicht. Um die Entstehungsbedingungen solcher FRE zu identifizieren, wurden verschiedene etablierte Modelle und Theorien des Befragtenverhaltens und der Verhaltensforschung analysiert und hinsichtlich ihrer kleinsten gemeinsamen Nenner verglichen. Hierauf basierend zeigt sich theoretisch fundiert, dass der kognitive Modus der Informationsverarbeitung bei der Beantwortung einer Frage, die Zugänglichkeit von Informationen bezüglich des Objekts der Fragebatterie, sowie das allgemeine Framing der Befragtenrolle maßgebliche Determinanten des Befragtenverhaltens und des Auftretens von FRE darstellen. Um die durch FRE auftretenden Verzerrungen zu bereinigen und um darüber hinaus die konkrete Höhe der FRE und deren Prädiktoren zu quantifizieren, wurde nachfolgend ein CFA Modell entwickelt (das NLC-CFA Modell), welches in der Lage ist, den Einfluss der drei identifizierten Determinanten zu berücksichtigen. Durch die konkrete Berücksichtigung der Determinanten hat das NLC-CFA Modell einen erhöhten Mehrwert gegenüber einem etablierten Modell zur Bereinigung von Antwortverzerrungen (das CFA-MTMM Modell), sowohl hinsichtlich der konkreten Effizienz der Bereinigung, als auch hinsichtlich des Informationsgewinns durch die zusätzliche Quantifizierung des FRE sowie dessen Abhängigkeiten, wie eine umfassende Evaluation des Modells auf Basis mehrerer Monte-Carlo Simulationsstudien zeigt. Das NLC-CFA Modell kann dar-über hinaus situativ adaptiert werden, um beliebige Antwortverzerrungen und nicht nur Verzerrungen durch den FRE zu bereinigen.

Präsentiert werden drei Studien zum Thema Prädiktion von Leistung. In Studie 1 wurde die Prädiktion von Studienerfolg nicht nur mit Persönlichkeitsmaßen auf Facettenebene sowohl von Fremd- als auch Selbst-Ratings untersucht, sondern auch der Einfluss von faking auf die Kriteriumsvalidität. Ergebnisse zeigten, dass Fremd- über Selbst-Ratings und Intelligenz hinaus Studienerfolg prädizieren. Auch wurde gezeigt, dass Faking die Kriteriumsvaliditäten auf Facettenebene in unterschiedlicher Weise beeinflusst. Studie 2 untersuchte den Einfluss der unterschiedlichen Abstraktionsebene von Prädiktor und Kriterium auf die Kriteriumsvalidität. Dazu wurden Leistungsmotivationsskalen sowohl in einer Mathe-spezifischen Formulierung als auch in einer globalen Formulierung Schülern vorgegeben. Diese Skalen dienten dann als Prädiktoren für Noten in Mathe, Physik und Deutsch. Ergebnisse einer Varianzzerlegung mit MTMM zeigten, dass die Mathe-spezifischen Skalen durchgehend ein Plus an Varianz enthalten, welches unabhängig ist von der Varianz aufgrund der einzelnen Motivationskonstrukte. Folglich messen domänen-spezifische Skalen entweder ein engeres Konstrukt von Leistungsmotivation oder, eher, ein zusätzliches Konstrukt. Das Korrelationsmuster der domänen-spezifischen Varianz mit den drei untersuchten Noten legt nahe, dass es sich bei diesem zusätzlichen Konstrukt um Selbstkonzept handelt. Studie 3 untersuchte die Konstruktvalidität der Big 5 und möglicher higher-order factors nach Kontrolle von möglichen Biases innerhalb des CTCM-1 Ansatzes mit Selbst- und Fremdratings. Ergebnisse zeigten, dass bias-bereinigte Big 5 Maße die Annahme eines higher-order factors wenig plausibel machen. Darüber hinaus konnte ein solcher potentieller Faktor nicht theoriekonform die positive Eigenschaft Intelligenz prädizieren. Insgesamt verdeutlicht dies die Problematik des Einflusses von unterschiedlichen Quellen und Verzerrungen auf die Kriteriumsvalidität von häufig eingesetzten Persönlichkeitsmaßen. / Presented are 3 studies about the prediction of performance. Study 1 analyzes the prediction of academic performance by use of self-ratings, other-ratings and faked-ratings of personality measures not only on domain level but also on facet level. Result showed that other-ratings yield incremental validity above and beyond self-ratings and intelligence. Moreover, against prior findings for domain-level, faking does influence criterion validity on facet-level, with the influence not being uniform in direction. Study 2 analyzed the influence of different levels of abstraction of predictor and criterion in the realm of achievement motivation. For that, various achievement motivation scales were administered both in a global and a math-specific wording. These scales later on served as predictor for grades in math, physics and German. By modeling this data in a MTMM model different sources of variance could be disentangled. Results showed that math-specific scales are the better predictors. More so, these domain-specific scales have uniformly an increase in variance regardless of the positive or negative valence of the various achievement motivation scales. This leads to the conclusion that math-domain-specific scales either measure a narrower construct or, more probable, they tap an additional construct. This is backed by the uniform positive additional variance. Moreover, test-criterion correlation-pattern between the math-domain-specific variance and the three different grades makes it plausible that the additional construct tapped in these scales is self-concept. Study 3 analyzed the construct-validity of personality’s Big 5 and their possible higher order factor after controlling for singular rater biases using a newly developed CTCM-1 approach. Results showed that these bias free Big 5 make the assumption of one higher order factor implausible. Moreover, such a factor would not uniformly predict intelligence as is claimed by advocates of this factor.