Many academic decision makers rely on quantified ranking measures to estimate the quality of journal publications. The aim of this study was to map journals in Information Systems (IS) with regard to their topic and their rank and determine whether there is a relationship between the scope of a journal and its rank. The study used content analysis, applying both qualitative and quantitative methods. The results of the analysis show the existence of relationships between the journal rank, the research area, and the type as well as significant differences in ranking on the three lists. The findings illustrate that ranking measures, as indicators for the quality of research published in a journal ought to be considered only in the context of a particular research area and scientific community.

Many academic decision makers rely on quantified ranking measures to estimate the quality of journal publications. The aim of this study was to map journals in Information Systems (IS) with regard to their topic and their rank and determine whether there is a relationship between the scope of a journal and its rank. The study used content analysis, applying both qualitative and quantitative methods. The results of the analysis show the existence of relationships between the journal rank, the research area, and the type as well as significant differences in ranking on the three lists. The findings illustrate that ranking measures, as indicators for the quality of research published in a journal ought to be considered only in the context of a particular research area and scientific community.

Traditionelle metrische Indikatoren für wissenschaftliche Produktivität (z. B. Impact-Faktoren von Zeitschriften, h-Index) werden kritisiert, weil (a) empirische Studien ihre Validität in Frage stellen und sie (b) eine Kultur zu fördern scheinen, die der reinen Quantität Vorrang gegenüber der inhaltlichen Qualität der Forschung gibt. Der Ruf nach spezifischen, besseren Alternativen zu den derzeit gängigen Leistungsindikatoren wird immer lauter. Die Deutsche Gesellschaft für Psychologie hat nach der Unterzeichnung von DORA und dem Beitritt zu CoARA eine Arbeitsgruppe mit der Frage befasst, wie eine verantwortungsvollere Form der Forschungsbewertung für die Psychologie aussehen könnte. Über den aktuellen Stand dieser Überlegungen berichten wir hier: Konkret schlagen wir ein zweistufiges Bewertungsverfahren vor, das die Objektivität und Effizienz metrischer Indikatoren (Phase 1) mit einer vertieften, diskursiven Bewertung spezifischer Forschungsinhalte verbindet (Phase 2) verbindet. Wir plädieren für eine Ausweitung des Spektrums relevanter Forschungsbeiträge und schlagen Qualitätskriterien für Forschungsartikel, Datensätze und Forschungssoftware vor, welche vor allem deren methodische Stringenz erfassen. Anhand dieser Kriterien wird in der ersten Phase des Bewertungsprozesses ermittelt, ob eine Mindestschwelle für methodische Stringenz erreicht wird, die Kandidat:innen erfüllen müssen, um für eine Einstellung oder Beförderung in Frage zu kommen. Im Gegensatz dazu sollen in der zweiten Phase des Beurteilungsprozesses Metriken keine Rolle mehr spielen, sondern die spezifischen Inhalte der Forschungsarbeiten der Kandidat:innen im Fokus einer vertieften Diskussion stehen. Wir stellen konkrete Erhebungsinstrumente bereit, die zum Teil bereits in der Praxis erprobt wurden. Unser Ziel ist es, eine breite Diskussion über das Thema anzuregen und letztlich dazu beizutragen, dass die Bedeutung der wissenschaftlichen Qualität im Rahmen von Berufungsverfahren spürbar gestärkt wird. / Traditional metric indicators of scientific productivity (e. g., journal impact factors, h-index) have been criticized because (a) empirical studies cast doubt on their validity, and (b) they seem to foster a culture that prioritizes quantity over quality. Calls for specific, more valid alternatives to the current performance measures are growing louder. After adopting both DORA and CoARA, the German Psychological Society tasked a work group with outlining a more responsible form of research evaluation for psychology. Here, we report on the current status of this project; specifically, we propose a two-stage evaluation process that combines the objectivity and efficiency of metric indicators (Stage 1) with an in-depth, discursive evaluation of actual research content (Stage 2). We argue in favor of broadening the range of relevant research contributions and propose quality criteria for published research articles, datasets, and research software which focus on the methodological rigor of such contributions. These criteria are used in Phase 1 of the evaluation process to establish a minimum threshold of methodological rigor candidates must pass to be considered for hiring or promotion. In contrast, Phase 2 of the evaluation process focuses more on the actual content of the candidate’s research findings, no longer making much use of metrics. We offer assessment tools that have already undergone some testing in actual assessment practice. Our goal is to initiate a broad discussion about this topic and ultimately to help strengthen the role scientific quality plays in the course of academic hiring and promotion proceedings.