This repeated-measures study evaluated the relative sensitivity to change of the Child Behavior Checklist/6-18 (CBCL/6-18), the Behavior Assessment System for Children-2 (BASC-2), and the Youth Outcome Questionnaire-2.01 (Y-OQ-2.01). Participants were recruited from Valley Mental Health, a community outpatient clinic in Salt Lake City, UT. There were 178 participants for 136 cases, with 134 adults and 44 adolescents. Participants provided two through five data points for a total of 548 data points. Hierarchical Linear Modeling (HLM) was conducted for three major comparisons: adult informants, adult and adolescent dyads, and adolescents. Results indicated the Y-OQ-2.01 was the most change sensitive, while the BASC-2 and CBCL/6-18 were not statistically different from each other. Results also showed that the parent-report measures were more change-sensitive than the self-report measures completed by adolescent informants. Sensitivity to change was also evaluated through the reliable change index (RCI) and the use of cut-off scores. In comparisons using the RCI, the Y-OQ-2.01 identified the most cases for reliable change. The Y-OQ-2.01 also had the greatest corroboration of its findings with the other two measures. In comparisons using cut-off scores, results are offered for three variations, as different standards were used to establish cut-off scores for the three measures. The third variation, for which cut-off scores for all three measures were adjusted to one standard deviation above the mean, is suggested to be the most appropriate when comparing measures. Those results indicated there was no statistical difference in how the measures performed relative to each other. Thus, based on the HLM and RCI results of this study, it is recommended that clinicians select the Y-OQ-2.01 for outcome use and tracking changes in child and adolescent symptoms and behaviors.

Many college counseling centers use outcome measures to track therapeutic change for their clientele. These questionnaires have traditionally looked primarily at a client's symptom distress (e.g. depression, anxiety, suicidality, etc.) and are used to detect changes in the client's life that are due to therapy. Unfortunately, there is no measure that has been exclusively created and validated for use with college students. The College Adjustment Scales (CAS) form a multidimensional psychological measure designed specifically for use in college and university settings. Even though the CAS was created as a screening tool, it contains items that provide insight into changes that are possibly taking place for college students in therapy that are not measured by current outcome questionnaires. The purpose of this study was to determine which items and scales on the CAS were sensitive to therapeutic change for college students, thus assessing the validity of the test as an outcome measure and providing data for the development of future college counseling specific outcome questionnaires. This study used hierarchical linear modeling (HLM) to generate slopes that represent change over time for treatment and control groups. These slopes were compared to each other in order to determine whether each item and scale was sensitive to therapeutic change. The control sample consisted of 127 student participants that were not in therapy. The treatment sample was archival and consisted of 409 student clients. Seven of the nine scales were found to be sensitive to therapeutic change. However, 45 of the 108 individual items did not meet the set criteria. Because of these findings, the creators of the CAS are encouraged to revise the measure if it is to be used as an outcome questionnaire. In addition, researchers and clinicians should consider these results and take care not to treat this measure as an instrument that is wholly sensitive to therapeutic change for the college population. Items found to be sensitive to therapeutic change can be used to create a new outcome measure specifically for counseling centers.

<p>Low back pain (LBP) is a common musculoskeletal condition that can lead to pain, functional limitations and disability. Due to the prevalence of LBP, multiple self-reported outcome measures have been developed, which have resulted in redundancy in the literature. Two frequently used outcome measures are the Roland Morris Questionnaire (RMQ) and the Oswestry Disability Index (ODI). Few authors have performed head-to-head comparison studies to determine which of these outcome measures are the most successful at measuring sensitivity to change. The purpose of this thesis was to answer the question: Is there a difference in the sensitivity to change between the RMQ and the ODI in their ability to measure pain-related functional status in persons with low back pain?</p> <p>The first part of this thesis involves a systematic review of head-to-head comparison studies to determine the difference in the sensitivity to change of the RMQ and the ODI. Five databases were searched and nine articles were located. The second part of this thesis entails the development of a quality criteria form to evaluate head-to-head comparison studies.</p> <p>The third aspect of this research was to perform a head-to-head comparison study of the RMQ and the ODI using data from the nine studies. A small but significant difference was noted in favour of the RMQ in terms of the Spearman rank correlation coefficient between its change scores and the reference standard (Z = 2.36, p = 0.018; Z = 3.28, p = 0.001) and also in the Receiver Operating Characteristic curve area (<em>X</em>²₁ = 8.58, p = 0.003).</p> / Master of Science Rehabilitation Science (MSc)

Im Bildungs- und Trainingsbereich erfolgen immer häufiger Evaluationen von Trainings, Workshops usw. Der Messung des Lernerfolgs der Interventionsteilnehmer kommt dabei im Rahmen von Mehr-Ebenen-Konzepten eine wichtige Rolle zu. Diese Evaluationen sind jedoch von formal-methodischen Problemen flankiert, wie dem Kriteriendilemma (Müller, 1987), das die Ambivalenz zwischen der Exaktheit von Datenerhebungen und deren Repräsentativität bezüglich der Programminhalte thematisiert. Des Weiteren ist Wissen domainenspezifisch und muss oft aktualisiert werden. Zuweilen fehlt eine vollständige Wissensbasis zur Konstruktion von Messinstrumenten. In diesem Fall wird häufig auf Selbsteinschätzungen zurückgegriffen. Diese praktikablen subjektiven Einschätzungen sind einerseits etablierte Messzugänge, z.B. in der Selbstkonzeptforschung (z.B. Moschner &amp; Dickhäuser, 2006; Stiensmeier-Pelster &amp; Schöne, 2008). Andererseits werden ihnen verschiedene Verzerrungstendenzen zugeschrieben (z.B. Mummendey &amp; Grau, 2008). Metaanalytische Befunde (z.B. Moser, 1999) geben mittlere Zusammenhänge zwischen Selbsteinschätzungen und objektiven Leistungskriterien an und explizieren Kriterien für eine hohe Validität von Selbsteinschätzungen. Dabei stellt die Erwartung der Validierung der Selbsteinschätzungen das wichtigste Validitätskriterium dar. Alternativ zu subjektiven Messzugängen können so genannte objektive Messzugänge zur Erhebung des Lernerfolgs eingesetzt werden. Darunter versteht man u.a. Wissenstests mit offenem oder geschlossenem Antwortformat, die jedoch einen deutlichen höheren Konstruktions- bzw. Auswertungsaufwand erfordern. In der vorliegenden Arbeit sollen nun zwei methodologische Aspekte im Rahmen der Lernerfolgsmessung untersucht werden: die Differenzierungsfähigkeit und die Änderungssensitivität von Items, Subskalen und Skalen. Dabei sollen diese zwischen verschiedenen subjektiven und objektiven Messzugängen verglichen werden. Unter der Differenzierungsfähigkeit wird die Streuung der Items bzw. je Item verstanden (Lienert &amp; Raatz, 1998). Muellerbuchhof &amp; Zehrt (2004) nutzen für den Vergleich zwischen den Messzugängen den Experten-Novizen-Vergleich, wobei sich im objektiven Kompetenzmaß eine höhere Differenzierung zwischen den bekannten Gruppen zeigt als in den Selbsteinschätzungen. Die Änderungssensitivität gibt die Fähigkeit z.B. eines Items an, reale Veränderungen der jeweiligen Variablen widerzuspiegeln (Krauth, 1995). Für verschiedene Fremd- und Selbsteinschätzungsskalen und -items finden sich Hinweise auf die Änderungssensitivität derselben (z.B. Burlingame et al., 2006; Vermeersch et al., 2004). Es fehlen jedoch vergleichende Studien zu objektiven Messzugängen. In der vorliegenden Arbeit wird nun zuerst geprüft, ob sich subjektive und objektive Messzugänge hinsichtlich ihrer Differenzierungsfähigkeit und ihrer Änderungssensitivität unterscheiden. Weiterhin soll bestimmt werden, welcher Messzugang in welchem Ausmaß besser differenziert und interventionsbedingte Veränderungen sensitiver abbildet. Des Weiteren soll nach der Art des erhobenen Wissens (Faktenwissen oder Anwendungswissen) unterschieden werden. Anschließend sollen verschiedene objektive Messzugänge entsprechend verglichen werden. Zuletzt erfolgt ein Vergleich von zwei Arten von Selbsteinschätzungen. Im Ergebnis sollen jeweils praktikable Empfehlungen für den Einsatz in Evaluationsvorhaben abgeleitet werden. Die globalen Fragestellungen zur Differenzierungsfähigkeit werden anhand von zwei Studien an Studierenden geprüft: in einer methodologischen Analyse einer quasiexperimentellen Trainingsevaluationsstudie (Clasen, 2007; Winkelmann, 2009) (Studie1) sowie in einer experimentellen Studie einer Kursevaluation (Studie 2). In Studie 1 werden dabei der Bestimmung der Differenzierungsfähigkeit Veränderungswerte und in Studie 2 Statuswerte zugrunde gelegt. Die Fragestellungen zur Änderungssensitivität sowie zur Differenzierungsfähigkeit der subjektiven und objektiven Messzugänge untereinander werden anhand von Studie 2 bearbeitet. Im Ergebnis zeigt sich, dass der objektiv offene Messzugang am besten in der Lage ist, zwischen Personen zu differenzieren und treatmentbedingte Veränderungen abzubilden. Dieser ist jedoch auch am aufwändigsten in der Durchführung und besonders in der Auswertung, welche inhaltliche Fachkompetenz des Auswertenden voraussetzt. Die praktikablen Selbsteinschätzungen (einzelne Einschätzungen, die aggregiert werden, sowie Globaleinschätzungen) der Studierenden nehmen den zweiten Platz ein, dicht gefolgt vom objektiv geschlossenen Messzugang, der z.T. auch bessere Ergebnisse liefert als die Selbsteinschätzungen. Sobald in einer Evaluationsstudie jedoch Zweifel an der Validität der Selbsteinschätzungen gerechtfertigt sind, ist ein objektiver Messzugang zu bevorzugen. Innerhalb des objektiv geschlossenen Messzugangs verfügt die weniger übliche Darstellung als Block von „stimmt- stimmt nicht“- Antworten über eine bessere Differenzierungsfähigkeit und Änderungssensitivität als das Multiple Choice- Format. Des Weiteren differenziert die Subskala Anwendungswissen für jeden untersuchten Messzugang tendenziell besser als die Subskala Faktenwissen. Diese Ergebnisse werden in den Forschungskontext eingeordnet, Kritikpunkte der Studien werden thematisiert. Für den Evaluator werden aus den Ergebnissen der vorliegenden Arbeit jeweils praktikable Empfehlungen zum Einsatz der verschiedenen Messzugänge in Evaluationsvorhaben abgeleitet.

Im Bildungs- und Trainingsbereich erfolgen immer häufiger Evaluationen von Trainings, Workshops usw. Der Messung des Lernerfolgs der Interventionsteilnehmer kommt dabei im Rahmen von Mehr-Ebenen-Konzepten eine wichtige Rolle zu. Diese Evaluationen sind jedoch von formal-methodischen Problemen flankiert, wie dem Kriteriendilemma (Müller, 1987), das die Ambivalenz zwischen der Exaktheit von Datenerhebungen und deren Repräsentativität bezüglich der Programminhalte thematisiert. Des Weiteren ist Wissen domainenspezifisch und muss oft aktualisiert werden. Zuweilen fehlt eine vollständige Wissensbasis zur Konstruktion von Messinstrumenten. In diesem Fall wird häufig auf Selbsteinschätzungen zurückgegriffen. Diese praktikablen subjektiven Einschätzungen sind einerseits etablierte Messzugänge, z.B. in der Selbstkonzeptforschung (z.B. Moschner &amp; Dickhäuser, 2006; Stiensmeier-Pelster &amp; Schöne, 2008). Andererseits werden ihnen verschiedene Verzerrungstendenzen zugeschrieben (z.B. Mummendey &amp; Grau, 2008). Metaanalytische Befunde (z.B. Moser, 1999) geben mittlere Zusammenhänge zwischen Selbsteinschätzungen und objektiven Leistungskriterien an und explizieren Kriterien für eine hohe Validität von Selbsteinschätzungen. Dabei stellt die Erwartung der Validierung der Selbsteinschätzungen das wichtigste Validitätskriterium dar. Alternativ zu subjektiven Messzugängen können so genannte objektive Messzugänge zur Erhebung des Lernerfolgs eingesetzt werden. Darunter versteht man u.a. Wissenstests mit offenem oder geschlossenem Antwortformat, die jedoch einen deutlichen höheren Konstruktions- bzw. Auswertungsaufwand erfordern. In der vorliegenden Arbeit sollen nun zwei methodologische Aspekte im Rahmen der Lernerfolgsmessung untersucht werden: die Differenzierungsfähigkeit und die Änderungssensitivität von Items, Subskalen und Skalen. Dabei sollen diese zwischen verschiedenen subjektiven und objektiven Messzugängen verglichen werden. Unter der Differenzierungsfähigkeit wird die Streuung der Items bzw. je Item verstanden (Lienert &amp; Raatz, 1998). Muellerbuchhof &amp; Zehrt (2004) nutzen für den Vergleich zwischen den Messzugängen den Experten-Novizen-Vergleich, wobei sich im objektiven Kompetenzmaß eine höhere Differenzierung zwischen den bekannten Gruppen zeigt als in den Selbsteinschätzungen. Die Änderungssensitivität gibt die Fähigkeit z.B. eines Items an, reale Veränderungen der jeweiligen Variablen widerzuspiegeln (Krauth, 1995). Für verschiedene Fremd- und Selbsteinschätzungsskalen und -items finden sich Hinweise auf die Änderungssensitivität derselben (z.B. Burlingame et al., 2006; Vermeersch et al., 2004). Es fehlen jedoch vergleichende Studien zu objektiven Messzugängen. In der vorliegenden Arbeit wird nun zuerst geprüft, ob sich subjektive und objektive Messzugänge hinsichtlich ihrer Differenzierungsfähigkeit und ihrer Änderungssensitivität unterscheiden. Weiterhin soll bestimmt werden, welcher Messzugang in welchem Ausmaß besser differenziert und interventionsbedingte Veränderungen sensitiver abbildet. Des Weiteren soll nach der Art des erhobenen Wissens (Faktenwissen oder Anwendungswissen) unterschieden werden. Anschließend sollen verschiedene objektive Messzugänge entsprechend verglichen werden. Zuletzt erfolgt ein Vergleich von zwei Arten von Selbsteinschätzungen. Im Ergebnis sollen jeweils praktikable Empfehlungen für den Einsatz in Evaluationsvorhaben abgeleitet werden. Die globalen Fragestellungen zur Differenzierungsfähigkeit werden anhand von zwei Studien an Studierenden geprüft: in einer methodologischen Analyse einer quasiexperimentellen Trainingsevaluationsstudie (Clasen, 2007; Winkelmann, 2009) (Studie1) sowie in einer experimentellen Studie einer Kursevaluation (Studie 2). In Studie 1 werden dabei der Bestimmung der Differenzierungsfähigkeit Veränderungswerte und in Studie 2 Statuswerte zugrunde gelegt. Die Fragestellungen zur Änderungssensitivität sowie zur Differenzierungsfähigkeit der subjektiven und objektiven Messzugänge untereinander werden anhand von Studie 2 bearbeitet. Im Ergebnis zeigt sich, dass der objektiv offene Messzugang am besten in der Lage ist, zwischen Personen zu differenzieren und treatmentbedingte Veränderungen abzubilden. Dieser ist jedoch auch am aufwändigsten in der Durchführung und besonders in der Auswertung, welche inhaltliche Fachkompetenz des Auswertenden voraussetzt. Die praktikablen Selbsteinschätzungen (einzelne Einschätzungen, die aggregiert werden, sowie Globaleinschätzungen) der Studierenden nehmen den zweiten Platz ein, dicht gefolgt vom objektiv geschlossenen Messzugang, der z.T. auch bessere Ergebnisse liefert als die Selbsteinschätzungen. Sobald in einer Evaluationsstudie jedoch Zweifel an der Validität der Selbsteinschätzungen gerechtfertigt sind, ist ein objektiver Messzugang zu bevorzugen. Innerhalb des objektiv geschlossenen Messzugangs verfügt die weniger übliche Darstellung als Block von „stimmt- stimmt nicht“- Antworten über eine bessere Differenzierungsfähigkeit und Änderungssensitivität als das Multiple Choice- Format. Des Weiteren differenziert die Subskala Anwendungswissen für jeden untersuchten Messzugang tendenziell besser als die Subskala Faktenwissen. Diese Ergebnisse werden in den Forschungskontext eingeordnet, Kritikpunkte der Studien werden thematisiert. Für den Evaluator werden aus den Ergebnissen der vorliegenden Arbeit jeweils praktikable Empfehlungen zum Einsatz der verschiedenen Messzugänge in Evaluationsvorhaben abgeleitet.