In der hier vorliegenden Arbeit wurde die Validität von Aufmerksamkeits- und Konzentrationstests untersucht. Im Vordergrund stand dabei die Frage nach dem Einfluss verschiedener kritischer Variablen auf die prädiktive Validität in diesen Tests, insbesondere der Itemschwierigkeit und Itemhomogenität, der Testlänge bzw. des Testverlaufs, der Testdiversifikation und der Validität im Kontext einer echten Personalauslese. In insgesamt fünf Studien wurden die genannten Variablen systematisch variiert und auf ihre prädiktive Validität zur (retrograden und konkurrenten) Vorhersage von schulischen und akademischen Leistungen (Realschule, Abitur, Vordiplom/Bachelor) hin analysiert. Aufgrund der studentischen (d. h. relativ leistungshomogenen) Stichprobe bestand die Erwartung, dass die Korrelationen etwas unterschätzt werden. Da die Validität in dieser Arbeit jedoch „vergleichend“ für bestimmte Tests bzw. experimentelle Bedingungen bestimmt wurde, sollte dies keine Rolle spielen. In Studie 1 (N = 106) wurde zunächst untersucht, wie schwierig die Items in einem Rechenkonzentrationstest sein sollten, um gute Vorhersagen zu gewährleisten. Dazu wurden leichte und schwierigere Items vergleichend auf ihre Korrelation zum Kriterium hin untersucht. Im Ergebnis waren sowohl leichte als auch schwierigere Testvarianten ungefähr gleich prädiktiv. In Studie 2 (N = 103) wurde die Rolle der Testlänge untersucht, wobei die prädiktive Validität von Kurzversion und Langversion in einem Rechenkonzentrationstest vergleichend untersucht wurde. Im Ergebnis zeigte sich, dass die Kurzversion valider war als die Langversion und dass die Validität in der Langversion im Verlauf abnimmt. In Studie 3 (N = 388) stand der Aspekt der Testdiversifikation im Vordergrund, wobei untersucht wurde, ob Intelligenz besser mit einem einzelnen Matrizentest (Wiener Matrizen-Test, WMT) oder mit einer Testbatterie (Intelligenz-Struktur-Test, I-S-T 2000 R) erfasst werden sollte, um gute prädiktive Validität zu gewährleisten. Die Ergebnisse sprechen klar für den Matrizentest, welcher ungefähr gleich valide war wie die Testbatterie, aber dafür testökonomischer ist. In den Studien 4 (N = 105) und 5 (N =97) wurde die prädiktive Validität zur Vorhersage von Schulleistungen im Kontext einer realen Personalauswahlsituation untersucht. Während die großen Testbatterien, Wilde-Intelligenz-Test 2 (WIT-2) und Intelligenz-Struktur-Test 2000R (I-S-T 2000 R), nur mäßig gut vorhersagen konnten, war der Komplexe Konzentrationstest (KKT), insbesondere der KKT-Rechentest ein hervorragender Prädiktor für schulische und akademische Leistungen. Auf Basis dieser Befunde wurden schließlich Empfehlungen und Anwendungshilfen für den strategischen Einsatz von Testinstrumenten in der diagnostischen Berufspraxis ausgesprochen.:1 Einführung und Ziele 2 Diagnostik von Konzentrationsfähigkeit 2.1 Historische Einordnung 2.2 Kognitive Modellierung 2.3 Psychometrische Modellierung 3 Prädiktive Validität von Konzentrationstests 3.1 Reliabilität, Konstruktvalidität, Kriterienvalidität 3.2 Konstruktions- und Validierungsstrategien 3.3 Ableitung der Fragestellung 4 Beschreibung der Fragebögen und Tests 5 Empirischer Teil 5.1 Studie 1 - Itemschwierigkeit 5.1.1 Methode 5.1.2 Ergebnisse 5.1.3 Diskussion 5.2 Studie 2 - Testverlängerung und Testverlauf 5.2.1 Methode 5.2.2 Ergebnisse 5.2.3 Diskussion 5.3 Studie 3 - Testdiversifikation 5.3.1 Methode 5.3.2 Ergebnisse 5.3.3 Diskussion 5.4 Studie 4 - Validität in realer Auswahlsituation (I-S-T 2000 R) 5.4.1 Methode 5.4.2 Ergebnisse 5.4.3 Diskussion 5.5 Studie 5 - Validität in realer Auswahlsituation (WIT-2) 5.5.1 Methode 5.5.2 Ergebnisse 5.5.3 Diskussion 6 Diskussion 128 6.1 Sind schwierige Tests besser als leichte Tests? 6.2 Sind lange Tests besser als kurze Tests? 6.3 Sind Testbatterien besser als Einzeltests? 6.4 Sind Tests auch unter „realen“ Bedingungen valide? 6.5 Validität unter realen Bedingungen - Generalisierung 7 Theoretische Implikationen 8 Praktische Konsequenzen 9 Literaturverzeichnis Anhang

Die Cognitive Load Theory (CLT) postuliert, dass das Lernen neuer, komplexer Informationen mit einer Belastung des Arbeitsgedächtnisses des Lernenden einhergeht. Nachdem die Theorie erstmals 1988 von John Sweller postuliert wurde, arbeitete eine kleine Gruppe von Forschern an Universitäten in Australien und den Niederlanden an ihrer Weiterentwicklung. Sie entwickelte sich schnell zu einer der populärsten Theorien in der pädagogischen Psychologie und im Instruktionsdesign. Die CLT basiert auf Erkenntnissen der Kognitionspsychologie und geht davon aus, dass das Arbeitsgedächtnis nur eine begrenzte Anzahl von Informationselementen simultan verarbeiten kann, wodurch die Fähigkeit, neue Informationen zu verarbeiten, stark eingeschränkt ist. Auf der Grundlage der CLT wurden eine Reihe von Empfehlungen und Prinzipien abgeleitet, die den Lernenden helfen sollen, ihre verfügbaren kognitiven Ressourcen optimal für das Lernen zu nutzen, um Informationen in Form von Schemata in das Langzeitgedächtnis zu übertragen. Ziel ist es, eine Überlastung des Arbeitsgedächtnisses (d.h. eine kognitive Überlastung) zu vermeiden, da diese das Lernen behindern. Nach der Theorie sind drei Arten von kognitiver Belastung während des Lernens relevant. Während der Intrinsic Cognitive Load (ICL) die Komplexität der zu lernenden Informationen unter Berücksichtigung des Vorwissens des Lernenden beschreibt, wird der Extraneous Cognitive Load (ECL) durch die Gestaltung des Lernmaterials bestimmt, welcher sich negativ auf den Lernerfolg auswirken kann. Während ICL und ECL konzeptionell klar definiert sind, wird die Definition der dritten Belastungsart, des Germane Cognitive Load (GCL), innerhalb der CLT kontrovers diskutiert. In diesem Zusammenhang ist unklar, ob der GCL eine eigenständige Quelle kognitiver Belastung darstellt oder ob er sich lediglich auf die kognitiven Ressourcen bezieht, die der Lernende mental aufwendet, um Schemata aufzubauen. Daraus hat sich in den letzten Jahren eine Debatte darüber entwickelt, ob der GCL überhaupt ein Teil der CLT ist und ob es ausreicht, die kognitive Belastung während des Lernens mit dem ICL und dem ECL zu beschreiben. Auch die Annahme, dass die drei Arten unabhängig voneinander additiv zur Gesamtbelastung beitragen, wurde häufig in Frage gestellt. Neben den offenen theoretischen Fragen innerhalb der CLT stellt die Messung der verschiedenen Belastungsarten die größte Herausforderung für die Forschung dar. Latente Konstrukte wie die kognitive Belastung können nur indirekt gemessen werden, wodurch es umso wichtiger ist, die Reliabilität und Validität entsprechender Messungen zu überprüfen. Von besonderer Bedeutung ist dabei die multidimensionale Messung (d.h. die separate Messung der einzelnen Arten der kognitiven Belastung) sowie der optimale Zeitpunkt der Messung (d.h. während oder nach dem Lernen). Ziel dieser Dissertation ist es daher, die Chancen und Herausforderungen der Messung kognitiver Belastung zu diskutieren. Da die kognitive Belastung in der Praxis häufig mit Fragebögen gemessen wird, wird diese Erhebungsmethode in der vorliegenden Dissertation vorrangig betrachtet. So wurde in einer Metaanalyse überprüft, inwieweit die zu diesem Zeitpunkt verfügbaren Fragebögen in der Lage sind, die verschiedenen Arten kognitiver Belastung reliabel und valide zu messen. Dazu wurden experimentelle Studien aus dem Bereich des multimedialen Lernens herangezogen, in denen die CLT eine ganz wesentliche Rolle spielt. Darüber hinaus wurde aufgrund konzeptueller und psychometrischer Inkonsistenzen der verfügbaren Fragebögen ein neuer Fragebogen entwickelt und validiert, der vor allem den Lernenden helfen soll, besser zwischen den verschiedenen Arten der kognitiven Belastung zu unterscheiden. In einer experimentellen Studie wurde zudem untersucht, wie sich unterschiedliche Komplexitätsgrade innerhalb eines Lernmaterials auf die Gesamtbewertung der kognitiven Belastung durch den Lernenden auswirken. Damit verbunden war die Frage, ob sich Lernende einen Ankerpunkt (z.B. den ersten Eindruck) suchen, von dem aus sie das gesamte Lernmaterial hinsichtlich der kognitiven Belastung bewerten. Insgesamt zeigte sich, dass das Konstrukt der kognitiven Belastung mit hoher interner Konsistenz gemessen werden kann, wobei sich Einschränkungen hinsichtlich der Validität ergaben. So deuten die Korrelationen zwischen den einzelnen Arten der kognitiven Belastung darauf hin, dass die Lernenden nicht ausreichend zwischen ihnen differenzieren können. Dies gilt auch dann, wenn die Items im Fragebogen so formuliert sind, dass die Lernenden erkennen sollten, welche Art von kognitiver Belastung sie beurteilen sollen. Darüber hinaus spiegeln sich die theoretischen Annahmen der CLT nicht immer in den Messergebnissen wider. Es ist unklar, ob diese Ambivalenz auf theoretische Unzulänglichkeiten oder auf Messungenauigkeiten zurückzuführen ist. Forschende sollten ihre Messergebnisse vor diesem Hintergrund kritisch reflektieren. Da es sich bei der kognitiven Belastung um ein dynamisches Konstrukt handelt, dessen Intensität während des Lernprozesses stark variieren kann, werden die Forschenden dazu angehalten, die Messung zu geeigneten Zeitpunkten während des Lernprozesses durchzuführen. Basierend auf den Erkenntnissen dieser Dissertation werden Handlungsempfehlungen für den zukünftigen Einsatz von Fragebögen zur Messung kognitiver Belastung abgeleitet und theoretische Implikationen diskutiert.:Zusammenfassung 3 Summary 5 1 Introduction 7 2 Foundations of Cognitive Load Theory 9 2.1 Human Cognitive Architecture 9 2.2 Evolutionary Educational Psychology 12 2.3 The Construct of Cognitive Load 14 2.4 Types of Cognitive Load 16 3 Cognitive Load Theory in Multimedia Learning 22 4 Measuring Cognitive Load 25 4.1 Physiological Measures 25 4.2 Dual-task Approaches 26 4.3 Self-rating Scales 27 5 Conceptual and Psychometric Issues in Cognitive Load Research 31 5.1 Three-factor Model and Additivity Hypothesis 31 5.2 Reliable and Valid Measurement of Cognitive Load with Subjective Scales 33 5.3 Timing of Cognitive Load Measurement 36 6 Article 1: A systematic meta-analysis of the reliability and validity of subjective cognitive load questionnaires in experimental multimedia learning research 40 7 Article 2: Development and validation of a theory-based questionnaire to measure different types of cognitive load 98 8 Article 3: The distorting role of primacy effects when reporting cognitive load in a learning material with varying complexities 136 9 Discussion 193 9.1 Contributions of this Thesis 193 9.2 Limitations and Future Directions 196 9.3 Conclusion 197 10 References 198 Danksagung 208 / Cognitive Load Theory (CLT) postulates that learning new, complex information places a burden on the learner’s working memory. After the theory was first postulated by John Sweller in 1988, a small group of researchers at universities in Australia and the Netherlands worked to develop it further. It quickly became one of the most popular theories in educational psychology and instructional design. CLT is based on findings in cognitive psychology and posits that working memory can only process a limited number of information elements simultaneously, severely limiting its ability to process new information. Based on CLT, a set of recommendations and principles has been derived to help learners make optimal use of their available cognitive resources for learning in order to transfer information to long-term memory in the form of schemata. The goal is to avoid overloading working memory (i.e., cognitive overload), which impedes learning. According to the theory, three types of cognitive load are relevant during learning. While intrinsic cognitive load (ICL) describes the complexity of the information to be learned, taking into account the learner's prior knowledge, extraneous cognitive load (ECL) is determined by the design of the learning material and can have a negative impact on learning success. While ICL and ECL are conceptually well-defined, the definition of the third type of load, germane cognitive load (GCL), is controversial within CLT. In this context, it is unclear whether GCL is a source of cognitive load in its own right or whether it simply refers to the cognitive resources that the learner mentally expends to build schemata. This has led to a debate in recent years as to whether GCL is a part of CLT at all, and whether it is sufficient to use the ICL and ECL to describe cognitive load during learning. The assumption that the three types additively and independently contribute to the total cognitive load has also been questioned. In addition to the open theoretical questions within CLT, the measurement of the different types of cognitive load represents the greatest challenge for research. Latent constructs such as cognitive load can only be measured indirectly, making it all the more important to examine the reliability and validity of such measures. Of particular importance is multidimensional measurement (i.e., measuring each type of cognitive load separately) and the optimal timing of measurement (i.e., during or after learning). Thus, the purpose of this thesis is to discuss the opportunities and challenges of measuring cognitive load. Since cognitive load is often measured in practice with questionnaires, this thesis prioritizes this survey method. Therefore, a meta-analysis was conducted in order to examine the extent to which questionnaires available at this time are able to reliably and validly measure the different types of cognitive load. For this purpose, experimental studies from the field of multimedia learning, in which CLT plays a very important role, were used. In addition, due to conceptual and psychometric inconsistencies of available questionnaires, a new questionnaire was developed and validated, mainly to help learners better differentiate between different types of cognitive load. An experimental study was also conducted to test how different levels of complexity within a learning material affect the learner’s overall assessment of cognitive load. Related to this was the question of whether learners seek an anchor point (e.g., first impression) from which they evaluate the entire learning material in terms of cognitive load. Overall, it was found that the construct of cognitive load can be measured with a high degree of internal consistency, although there are limitations in terms of validity. For example, the correlations between the different types of cognitive load indicate that the learners cannot sufficiently differentiate between them. This is true even though the items in the questionnaire are worded in such a way that learners should be able to identify which type of cognitive load they are being asked to assess. Furthermore, the theoretical assumptions of CLT are not always reflected in the measurement results. It is unclear whether this ambivalence is due to theoretical shortcomings or measurement inaccuracies. In light of this, researchers should critically reflect on their measurement results. Because cognitive load is a dynamic construct whose intensity can vary widely during learning, researchers are encouraged to measure it at appropriate times during the learning process. Based on the findings of this thesis, recommendations for the future use of questionnaires to measure cognitive load are derived and theoretical implications are discussed.:Zusammenfassung 3 Summary 5 1 Introduction 7 2 Foundations of Cognitive Load Theory 9 2.1 Human Cognitive Architecture 9 2.2 Evolutionary Educational Psychology 12 2.3 The Construct of Cognitive Load 14 2.4 Types of Cognitive Load 16 3 Cognitive Load Theory in Multimedia Learning 22 4 Measuring Cognitive Load 25 4.1 Physiological Measures 25 4.2 Dual-task Approaches 26 4.3 Self-rating Scales 27 5 Conceptual and Psychometric Issues in Cognitive Load Research 31 5.1 Three-factor Model and Additivity Hypothesis 31 5.2 Reliable and Valid Measurement of Cognitive Load with Subjective Scales 33 5.3 Timing of Cognitive Load Measurement 36 6 Article 1: A systematic meta-analysis of the reliability and validity of subjective cognitive load questionnaires in experimental multimedia learning research 40 7 Article 2: Development and validation of a theory-based questionnaire to measure different types of cognitive load 98 8 Article 3: The distorting role of primacy effects when reporting cognitive load in a learning material with varying complexities 136 9 Discussion 193 9.1 Contributions of this Thesis 193 9.2 Limitations and Future Directions 196 9.3 Conclusion 197 10 References 198 Danksagung 208

Die Narzisstische Persönlichkeitsstörung (NPS) wird aufgrund der inkonsistenten Konzeptualisierung stark diskutiert. Ziel der Studie war es, NPS-Patienten zu untersuchen, um mit empirischen Daten die Validität und klinische Relevanz der NPS zu diskutieren. Es wurden zwei epidemiologische Studien durchgeführt. Studie 1 betrachtet die allgemeine psychische Belastung und Komorbidiätsraten, Studie 5 schaut auf die Stabilität und Remissionsrate der Diagnose und der diagnostischen Kriterien. Studie 1 fand eine erhöhte allgemeine psychische Belastung und hohe Komorbiditätsraten für affektive Störungen und Störungen durch Substanzkonsum, Studie 5 fand eine moderate Remissionsrate von 53%. In Studie 2 und 3 wurden selbstbezogene Kognitionen und Emotionen untersucht. Studie 2 erforschte die explizite und implizite Selbstwertschätzung. Es zeigte sich, dass die NPS mit einem niedrigen expliziten aber einem unbeeinträchtigten impliziten Selbstwert einhergeht. Studie 3 betrachtete Schamneigung bei der NPS. NPS-Patienten zeigten eine höhere explizite und implizite Schamneigung. Das indiziert, dass die narzisstische Vulnerabilität (niedriger expliziter Selbstwert, hohe explizite und implizite Schamneigung) bei NPS-Patienten eine Rolle spielt. In Studie 4 wurde die kognitive und emotionale Empathie untersucht. NPS-Patienten zeigten eine niedrigere emotionale Empathie aber eine unbeeinträchtigte kognitive Empathie. Die Ergebnisse passen zur aktuellen Kritik, dass die diagnostischen Kriterien zu eng sind, um die NPS adäquat zu beschreiben. Studien 1–3 geben Hinweise für die narzisstische Vulnerabilität, die nicht in den diagnostischen Kriterien repräsentiert wird, Studie 4 bringt Hinweise für eine ungestörte kognitive Empathie, was konträr zum diagnostischen Kriterium „Empathiemangel“ ist, und Studie 5 stellt die Beschreibung der NPS als stabiles andauerndes Muster in Frage. Implikationen für weitere Forschung und für die klinische Praxis werden diskutiert. / Narcissistic personality disorder (NPD) is discussed due to its inconsistent conceptualization. The aim of this study was to investigate a sample of NPD patients to collect empirical evidence and discuss the validity and clinical relevance of NPD. Two epidemiological studies are included in this thesis. Study 1 focused on the general mental stress of NPD patients and assesses comorbidities, Study 5 looks at the stability and remission rate of the diagnosis and its criteria. Study 1 found that NPD is associated with general mental stress and high comorbidity rates for affective disorders and substance use disorders, Study 5 found that NPD demonstrates a moderate remission rate of about 53%. In Study 2 and 3, self-related cognitions and emotions were examined. Study 2 investigated explicit and implicit self-esteem. It was determined that NPD is associated with a lower explicit self-esteem and an unaffected implicit self-esteem. Study 3 focused on shame-proneness in NPD. Patients with NPD showed significantly higher explicit and implicit shame-proneness. These results indicate that the narcissistic vulnerability characterized by low explicit self-esteem and high explicit and implicit shame-proneness is necessary in inpatients with a NPD. In Study 4 cognitive and emotional empathy were examined. NPD patients displayed impairment in emotional empathy while cognitive empathy was unaffected. In summary, the findings are in line with the critique that the diagnostic criteria are too narrow to describe the entire manifestation of the disorder. Study 1-3 presented evidence for the narcissistic vulnerability that is not represented by the current diagnostic criteria, Study 4 provided evidence for an unaffected cognitive empathy that is contrary to the seventh diagnostic criteria “lack of empathy”, and Study 5 calls the stable pattern of long duration into question. Implications for further research and clinical practice are discussed.

Predictive coding theorizes the capacity of neural structures to form predictions about forthcoming sensory events based on previous sensory input. This concept increasingly gains attention within experimental psychology and cognitive neuroscience. In auditory research, predictive coding has become a useful model that elegantly explains different aspects of auditory sensory processing and auditory perception. Many of these aspects are backed up by experimental evidence. However, certain fundamental features of predictive auditory processing have not been addressed so far by experimental investigations, like correlates of neural predictions that show up before the onset of an expected event. Four experiments were designed to investigate the proposed mechanism under more realistic conditions as compared to previous studies by manipulating different aspects of predictive (un)certainty, thereby examining the ecological validity of predictive processing in audition. Moreover, predictive certainty was manipulated gradually across five conditions from unpredictable to fully predictable in linearly increasing steps which drastically decreases the risk of discovering incidental findings. The results obtained from the conducted experiments partly confirm the results from previous studies by demonstrating effects of predictive certainty on ERPs in response to omissions of potentially predictable stimuli. Furthermore, results partly suggest that the auditory system actively engages in stimulus predictions in a literal sense as evidenced by gradual modulations of pre-stimulus ERPs associated with different degrees of predictive certainty. However, the current results remain inconsistent because the observed effects were relatively small and could not consistently be replicated in all follow-up experiments. The observed effects could be regained after accumulating the data across all experiments in order to increase statistical power. However, certain questions remain unanswered regarding a valid interpretation of the results in terms of predictive coding. Based on the current state of results, recommendations for future investigations are provided at the end of the current thesis in order to improve certain methodological aspects of investigating predictive coding in audition, including considerations on the design of experiments, possible suitable measures to investigate predictive coding in audition, recommendations for data acquisition and data analysis as well as recommendations for publication of results.

Predictive coding theorizes the capacity of neural structures to form predictions about forthcoming sensory events based on previous sensory input. This concept increasingly gains attention within experimental psychology and cognitive neuroscience. In auditory research, predictive coding has become a useful model that elegantly explains different aspects of auditory sensory processing and auditory perception. Many of these aspects are backed up by experimental evidence. However, certain fundamental features of predictive auditory processing have not been addressed so far by experimental investigations, like correlates of neural predictions that show up before the onset of an expected event. Four experiments were designed to investigate the proposed mechanism under more realistic conditions as compared to previous studies by manipulating different aspects of predictive (un)certainty, thereby examining the ecological validity of predictive processing in audition. Moreover, predictive certainty was manipulated gradually across five conditions from unpredictable to fully predictable in linearly increasing steps which drastically decreases the risk of discovering incidental findings. The results obtained from the conducted experiments partly confirm the results from previous studies by demonstrating effects of predictive certainty on ERPs in response to omissions of potentially predictable stimuli. Furthermore, results partly suggest that the auditory system actively engages in stimulus predictions in a literal sense as evidenced by gradual modulations of pre-stimulus ERPs associated with different degrees of predictive certainty. However, the current results remain inconsistent because the observed effects were relatively small and could not consistently be replicated in all follow-up experiments. The observed effects could be regained after accumulating the data across all experiments in order to increase statistical power. However, certain questions remain unanswered regarding a valid interpretation of the results in terms of predictive coding. Based on the current state of results, recommendations for future investigations are provided at the end of the current thesis in order to improve certain methodological aspects of investigating predictive coding in audition, including considerations on the design of experiments, possible suitable measures to investigate predictive coding in audition, recommendations for data acquisition and data analysis as well as recommendations for publication of results.:1. Introduction ... 5 1.1 An introduction to predictive coding theory ... 9 1.2 Predictive coding in audition ... 11 1.3 Electrophysiological correlates of predictive auditory processing ... 14 1.4 Limitations of previous research and aims of the thesis ... 21 2. Traditional correlates of auditory prediction ... 24 2.1 Experiment 1: Reliability of auditory predictions ... 25 2.2 Experiment 2: Accuracy of auditory predictions ... 39 3. Pre-stimulus correlates of auditory prediction ...47 3.1 Pre-stimulus effects in Experiment 1 and 2 ... 48 3.2 Experiment 3: Temporal dynamics of auditory prediction ... 56 3.3 Experiment 4: The influence of omissions on stimulus processing ... 64 4 Results across experiments ... 74 4.1 Methods ... 76 4.2 Results ... 80 4.3 Discussion ... 82 5. General Discussion ... 87 5.1 Implications for current research ... 89 5.2 Recommendations for future investigations ... 93 5.3 Future prospects ... 101 5.4 Conclusion ... 104 References ...106 Appendix ... 116

Background Lack of coordination between screening studies for common mental disorders in primary care and community epidemiological samples impedes progress in clinical epidemiology. Short screening scales based on the World Health Organization (WHO) Composite International Diagnostic Interview (CIDI), the diagnostic interview used in community epidemiological surveys throughout the world, were developed to address this problem. Method Expert reviews and cognitive interviews generated CIDI screening scale (CIDI-SC) item pools for 30-day DSM-IV-TR major depressive episode (MDE), generalized anxiety disorder (GAD), panic disorder (PD) and bipolar disorder (BPD). These items were administered to 3058 unselected patients in 29 US primary care offices. Blinded SCID clinical reinterviews were administered to 206 of these patients, oversampling screened positives. Results Stepwise regression selected optimal screening items to predict clinical diagnoses. Excellent concordance [area under the receiver operating characteristic curve (AUC)] was found between continuous CIDI-SC and DSM-IV/SCID diagnoses of 30-day MDE (0.93), GAD (0.88), PD (0.90) and BPD (0.97), with only 9–38 questions needed to administer all scales. CIDI-SC versus SCID prevalence differences are insignificant at the optimal CIDI-SC diagnostic thresholds (χ2 1 = 0.0–2.9, p = 0.09–0.94). Individual-level diagnostic concordance at these thresholds is substantial (AUC 0.81–0.86, sensitivity 68.0–80.2%, specificity 90.1–98.8%). Likelihood ratio positive (LR+) exceeds 10 and LR− is 0.1 or less at informative thresholds for all diagnoses. Conclusions CIDI-SC operating characteristics are equivalent (MDE, GAD) or superior (PD, BPD) to those of the best alternative screening scales. CIDI-SC results can be compared directly to general population CIDI survey results or used to target and streamline second-stage CIDIs.

Randomized controlled trials (RCTs) are the hallmark of evidence-based medicine and form the basis for translating research data into clinical practice. This review summarizes commonly applied designs and quality indicators of RCTs to provide guidance in interpreting and critically evaluating clinical research data. It further reflects on the principle of equipoise and its practical applicability to clinical science with an emphasis on critical care and neurological research. We performed a review of educational material, review articles, methodological studies, and published clinical trials using the databases MEDLINE, PubMed, and ClinicalTrials.gov. The most relevant recommendations regarding design, conduction, and reporting of RCTs may include the following: 1) clinically relevant end points should be defined a priori, and an unbiased analysis and report of the study results should be warranted, 2) both significant and nonsignificant results should be objectively reported and published, 3) structured study design and performance as indicated in the Consolidated Standards of Reporting Trials statement should be employed as well as registration in a public trial database, 4) potential conflicts of interest and funding sources should be disclaimed in study report or publication, and 5) in the comparison of experimental treatment with standard care, preplanned interim analyses during an ongoing RCT can aid in maintaining clinical equipoise by assessing benefit, harm, or futility, thus allowing decision on continuation or termination of the trial.

Background Lack of coordination between screening studies for common mental disorders in primary care and community epidemiological samples impedes progress in clinical epidemiology. Short screening scales based on the World Health Organization (WHO) Composite International Diagnostic Interview (CIDI), the diagnostic interview used in community epidemiological surveys throughout the world, were developed to address this problem. Method Expert reviews and cognitive interviews generated CIDI screening scale (CIDI-SC) item pools for 30-day DSM-IV-TR major depressive episode (MDE), generalized anxiety disorder (GAD), panic disorder (PD) and bipolar disorder (BPD). These items were administered to 3058 unselected patients in 29 US primary care offices. Blinded SCID clinical reinterviews were administered to 206 of these patients, oversampling screened positives. Results Stepwise regression selected optimal screening items to predict clinical diagnoses. Excellent concordance [area under the receiver operating characteristic curve (AUC)] was found between continuous CIDI-SC and DSM-IV/SCID diagnoses of 30-day MDE (0.93), GAD (0.88), PD (0.90) and BPD (0.97), with only 9–38 questions needed to administer all scales. CIDI-SC versus SCID prevalence differences are insignificant at the optimal CIDI-SC diagnostic thresholds (χ2 1 = 0.0–2.9, p = 0.09–0.94). Individual-level diagnostic concordance at these thresholds is substantial (AUC 0.81–0.86, sensitivity 68.0–80.2%, specificity 90.1–98.8%). Likelihood ratio positive (LR+) exceeds 10 and LR− is 0.1 or less at informative thresholds for all diagnoses. Conclusions CIDI-SC operating characteristics are equivalent (MDE, GAD) or superior (PD, BPD) to those of the best alternative screening scales. CIDI-SC results can be compared directly to general population CIDI survey results or used to target and streamline second-stage CIDIs.

Self-regulation, the ability to guide behavior according to one’s goals, plays an integral role in understanding loss of control over unwanted behaviors, for example in alcohol use disorder (AUD). Yet, experimental tasks that measure processes underlying self-regulation are not easy to deploy in contexts where such behaviors usually occur, namely outside the laboratory, and in clinical populations such as people with AUD. Moreover, lab-based tasks have been criticized for poor test–retest reliability and lack of construct validity. Smartphones can be used to deploy tasks in the field, but often require shorter versions of tasks, which may further decrease reliability. Here, we show that combining smartphone-based tasks with joint hierarchical modeling of longitudinal data can overcome at least some of these shortcomings. We test four short smartphone-based tasks outside the laboratory in a large sample (N = 488) of participants with AUD. Although task measures indeed have low reliability when data are analyzed traditionally by modeling each session separately, joint modeling of longitudinal data increases reliability to good and oftentimes excellent levels. We next test the measures’ construct validity and show that extracted latent factors are indeed in line with theoretical accounts of cognitive control and decision-making. Finally, we demonstrate that a resulting cognitive control factor relates to a real-life measure of drinking behavior and yields stronger correlations than single measures based on traditional analyses. Our findings demonstrate how short, smartphone-based task measures, when analyzed with joint hierarchical modeling and latent factor analysis, can overcome frequently reported shortcomings of experimental tasks.

Die Arbeit stellt eine nationale Bildungsstudie zur Erfassung von Schreibkompetenzen vor und untersucht das angewandte Verfahren auf drei ausgewählte Validitätsaspekte. In Studie I wird geprüft, ob es sich bei Schreibkompetenz sowie den Schreibkompetenzdimensionen Inhalt, Stil und sprachliche Richtigkeit um textmusterunabhängige oder textmusterspezifische Konstrukte handelt. Darüber hinaus wird die interne Struktur von Schreibkompetenz betrachtet. Die vorwiegend auf Modellvergleichen basierenden Analysen zeigen, dass es sich bei allgemeinen Schreibkompetenzen sowie bei inhaltlichen und stilistischen Schreibkompetenzen um textmusterspezifische Konstrukte handelt, bei der orthografisch-grammatischen Schreibkompetenz hingegen um ein textmusterunabhängiges Konstrukt. Für alle Textmuster zeigt sich eine zweidimensionale Struktur. In Studie II wird untersucht, inwiefern Lesefähigkeiten bei der Messung von Schreibkompetenzen aufgrund der textuellen Präsentation der Aufgabeninstruktion miterfasst werden. Der Einfluss der Lesekompetenz wird dabei als Zusammenhangsstärke zwischen Lese- und Schreibkompetenz in Abhängigkeit von leseschwierigkeitsquantifizierenden Merkmale via Mehrebenen¬moderatoranalysen geprüft. Es zeigen sich statistisch bedeutsame, aber praktisch kaum relevante Effekte für zwei der Merkmale: syntaktische Komplexität und Seltenheit der Wörter. In Studie III wird untersucht, ob eine von der sprachlichen Richtigkeit unabhängige Beurteilung inhaltlicher und stilistischer Schreibkompetenzen erfolgt oder ob Halo-Effekte zutage treten. In Anschlussanalysen wird geprüft, ob diese Halo-Effekte von Art und Anzahl der Fehler, Textlänge, Textkomplexität und Textmuster abhängen. Es zeigen sich keine Urteilsverzerrungen bei der inhaltlichen, jedoch bei der stilistischen Bewertung. Diese Verzerrungen sind größer bei syntaktisch komplexeren Texten und bei höherer Fehleranzahl, vor allem unter Vorliegen grammatischer Fehler und syntaktisch relevanter Zeichensetzungsfehler. / The dissertation presents a national educational study assessing writing competencies in German. The underlying process of measuring writing competencies is investigated regarding three selected aspects of validity. The first study addresses the question, whether writing competence as well as the writing competence dimensions, i.e. contentual, stylistic and orthographic-grammatic writing competencies are discourse mode dependent or independent constructs. Additionally the internal structure of writing competence is investigated. Analyses, predominantly based on comparison of IRT-models, reveal that general writing competencies as well as the contentual and stylistic dimensions are discourse-mode-specific constructs, whereas the orthographic-grammatic writing competence is discourse mode independent. The second study raises the question to what extent, due to the fact that the writing task instructions are given textually, reading competencies are included when measuring writing. Therefore two-level moderator analyses are computed, modelling the correlation between reading and writing competence dependent on reading difficulty quantifying aspects. Statistically significant but practically hardly relevant effects obtain for two of these aspects: syntactic complexity of the instruction text and (in)frequency of the used words. The third study investigates whether the evaluation of contentual and stylistic writing competencies takes place regardless of orthographic and grammatic features of the underlying texts or whether halo effects occur. Further analyses examine possible rating shifts in dependence of error types, error amount, text length, text complexity and discourse type. The results reveal that stylistic, but not contentual rating shifts occur. These shifts are more pronounced in regard to syntactically more complex texts as well as higher error quantities and arise particularly under the presence of grammatical and syntactically relevant punctuation errors.