2011 führten wir eine Studie zur vergleichenden Selbsteinschätzung als Methode der Lehrevaluation durch. Die Studie bestand aus zwei Anteilen – Fokusgruppengesprächen als qualitativem und Befragungen der Studenten als quantitativem Anteil. Die Befragungen beinhalteten sowohl Selbsteinschätzungen als auch formative Testate vor und nach Absolvierung der Lehrveranstaltungen. Zunächst wurde untersucht welchen Stellenwert die Evaluation für die Studierenden hat. Es stellte sich außerdem die Frage ob ein paarweiser Vergleich studentischer Selbsteinschätzungen andere Ergebnisse als die Kalkulation des Lernzuwachses aus den Mittelwerten einer gesamten Studentenkohorte liefert. Weiterhin sollte gezeigt werden ob sich die Ergebnisse bei prospektiver Datenerhebung im Gegensatz zu retrospektiver Erhebung des initialen Leistungsstands ändern. Die Anzahl der pro Modul abzufragenden Lernziele, mit denen reliable Berechnungen möglich sind, sollten ermittelt werden. Außerdem war unklar ob das Ergebnis der vergleichenden Selbsteinschätzung durch psychometrische Größen wie das Selbstwertgefühl beeinflusst wird. Es stellte sich die Frage nach einer akzeptablen Kriteriumsvalidität. Zuletzt sollte, wenn möglich, ein Cut-Off-Wert für die Unterscheidung erfolgreich und erfolglos gelehrter Inhalte definiert werden. Der Stellenwert der Evaluation wurde von den Studierenden, die an den Fokusgruppengesprächen teilgenommen haben, als sehr hoch eingestuft. Zudem wurde der Lernzuwachs als wichtiges Kriterium in der Lehrevaluation identifiziert. Die group-level-Analyse bot gegenüber der individual-level-Analyse deutliche Vorteile. Die breite Streuung der Korrelationskoeffizienten zwischen subjektiven und objektiven individuellen Lernzuwachsberechnungen wies auf die Nachteile der individuellen Berechnung hin. Der Vergleich der prospektiven mit der retrospektiven Erhebung des Leistungsstandes zu Modulbeginn zeigte keine relevanten Unterschiede. Bei Einschluss von 39 Lernzielen lag die Schwankungsbreite bei unter 10%. Ein Einfluss des Selbstwertgefühls auf die vergleichende Selbsteinschätzung konnte nicht bestätigt werden. Die Studie gab Hinweise auf eine akzeptable Kriteriumsvalidität des Evaluationsinstruments. Der Cut-Off-Wert für die Unterscheidung von erfolglos und erfolgreich gelehrten Inhalten konnte für die aggregierten Selbsteinschätzungen (sALZ) bei 54,7% ermittelt werden.