Traditionelle metrische Indikatoren für wissenschaftliche Produktivität (z. B. Impact-Faktoren von Zeitschriften, h-Index) werden kritisiert, weil (a) empirische Studien ihre Validität in Frage stellen und sie (b) eine Kultur zu fördern scheinen, die der reinen Quantität Vorrang gegenüber der inhaltlichen Qualität der Forschung gibt. Der Ruf nach spezifischen, besseren Alternativen zu den derzeit gängigen Leistungsindikatoren wird immer lauter. Die Deutsche Gesellschaft für Psychologie hat nach der Unterzeichnung von DORA und dem Beitritt zu CoARA eine Arbeitsgruppe mit der Frage befasst, wie eine verantwortungsvollere Form der Forschungsbewertung für die Psychologie aussehen könnte. Über den aktuellen Stand dieser Überlegungen berichten wir hier: Konkret schlagen wir ein zweistufiges Bewertungsverfahren vor, das die Objektivität und Effizienz metrischer Indikatoren (Phase 1) mit einer vertieften, diskursiven Bewertung spezifischer Forschungsinhalte verbindet (Phase 2) verbindet. Wir plädieren für eine Ausweitung des Spektrums relevanter Forschungsbeiträge und schlagen Qualitätskriterien für Forschungsartikel, Datensätze und Forschungssoftware vor, welche vor allem deren methodische Stringenz erfassen. Anhand dieser Kriterien wird in der ersten Phase des Bewertungsprozesses ermittelt, ob eine Mindestschwelle für methodische Stringenz erreicht wird, die Kandidat:innen erfüllen müssen, um für eine Einstellung oder Beförderung in Frage zu kommen. Im Gegensatz dazu sollen in der zweiten Phase des Beurteilungsprozesses Metriken keine Rolle mehr spielen, sondern die spezifischen Inhalte der Forschungsarbeiten der Kandidat:innen im Fokus einer vertieften Diskussion stehen. Wir stellen konkrete Erhebungsinstrumente bereit, die zum Teil bereits in der Praxis erprobt wurden. Unser Ziel ist es, eine breite Diskussion über das Thema anzuregen und letztlich dazu beizutragen, dass die Bedeutung der wissenschaftlichen Qualität im Rahmen von Berufungsverfahren spürbar gestärkt wird. / Traditional metric indicators of scientific productivity (e. g., journal impact factors, h-index) have been criticized because (a) empirical studies cast doubt on their validity, and (b) they seem to foster a culture that prioritizes quantity over quality. Calls for specific, more valid alternatives to the current performance measures are growing louder. After adopting both DORA and CoARA, the German Psychological Society tasked a work group with outlining a more responsible form of research evaluation for psychology. Here, we report on the current status of this project; specifically, we propose a two-stage evaluation process that combines the objectivity and efficiency of metric indicators (Stage 1) with an in-depth, discursive evaluation of actual research content (Stage 2). We argue in favor of broadening the range of relevant research contributions and propose quality criteria for published research articles, datasets, and research software which focus on the methodological rigor of such contributions. These criteria are used in Phase 1 of the evaluation process to establish a minimum threshold of methodological rigor candidates must pass to be considered for hiring or promotion. In contrast, Phase 2 of the evaluation process focuses more on the actual content of the candidate’s research findings, no longer making much use of metrics. We offer assessment tools that have already undergone some testing in actual assessment practice. Our goal is to initiate a broad discussion about this topic and ultimately to help strengthen the role scientific quality plays in the course of academic hiring and promotion proceedings.

No description available.

Performance measurement and runtime tuning tools are both vital in the HPC software ecosystem and use similar techniques: the analyzed application is interrupted at specific events and information on the current system state is gathered to be either recorded or used for tuning. One of the established performance measurement tools is Score-P. It supports numerous HPC platforms and parallel programming paradigms. To extend Score-P with support for different back-ends, create a common framework for measurement and tuning of HPC applications, and to enable the re-use of common software components such as implemented instrumentation techniques, this paper makes the following contributions: (I) We describe the Score-P metric plugin interface, which enables programmers to augment the event stream with metric data from supplementary data sources that are otherwise not accessible for Score-P. (II) We introduce the flexible Score-P substrate plugin interface that can be used for custom processing of the event stream according to the specific requirements of either measurement, analysis, or runtime tuning tasks. (III) We provide examples for both interfaces that extend Score-P’s functionality for monitoring and tuning purposes.

Performance measurement and runtime tuning tools are both vital in the HPC software ecosystem and use similar techniques: the analyzed application is interrupted at specific events and information on the current system state is gathered to be either recorded or used for tuning. One of the established performance measurement tools is Score-P. It supports numerous HPC platforms and parallel programming paradigms. To extend Score-P with support for different back-ends, create a common framework for measurement and tuning of HPC applications, and to enable the re-use of common software components such as implemented instrumentation techniques, this paper makes the following contributions: (I) We describe the Score-P metric plugin interface, which enables programmers to augment the event stream with metric data from supplementary data sources that are otherwise not accessible for Score-P. (II) We introduce the flexible Score-P substrate plugin interface that can be used for custom processing of the event stream according to the specific requirements of either measurement, analysis, or runtime tuning tasks. (III) We provide examples for both interfaces that extend Score-P’s functionality for monitoring and tuning purposes.