Peer review is considered the gold standard of scientific publishing. Trust in the traditional system of editor – blind-reviewer – author is still high, but it’s authority is in decline and alternative methods are on the rise. The current study investigates opinions of alternative peer review methods, the arguments for and against, and the reasons why academics are searching for new approaches. The opinions were analysed by applying qualitative content analysis to online discussions. The findings were interpreted using two different sociological theories: the Mertonian sociology of science and social constructivism. The results of the study show that the most discussed method was also the most traditional one: closed pre-publication peer review comprised of single blind, double-blind and open peer review (non blinded). Discussions of open peer review (both open publishing of reports and open discussions) were also common. All other alternative methods were discussed much less. But the discussions were lively and each method was discussed in both positive and negative terms. The reasons for preferring certain methods were also manifold, but dominant topics were bias and fairness, quality issues (regarding reviews and publications), issues concerning human resources and communication and exchange among people. The results of this study demonstrate that while ethical norms seems to be a scientific ideal, human nature makes it impossible to accomplish this goal.

In der vorliegenden Arbeit wird die Problematik der Qualitätssicherung beim wissenschaftlichen Publizieren umfassend diskutiert. Dabei werden die spezifischen Charakteristika hervorgehoben, die sich aus dem elektronischen Publizieren, Open-Access-basierter Geschäftsmodelle und insbesondere bei der Realisierung von Open-Access-Zeitschriften ergeben. Aus den unterschiedlichen Ansätzen, die für die Qualitätsbewertung und deren wesentliche Zielstellung – die Herausfilterung relevanter und geprüfter Informationen – infrage kommen, werden vor allem die Peer-Review-Verfahren näher betrachtet. In diesem Zusammenhang werden Schwachpunkte und prinzipielle Kritik an Peer Review aufgezählt und in den Kontext der bisherigen Untersuchungen auf diesem Gebiet gesetzt. Wesentlicher Bestandteil der Arbeit ist eine Klassifikation von Peer-Review-Verfahren anhand unterschiedlicher Eigenschaften und deren möglicher Ausprägungen. Obwohl Peer Review seit Jahrzehnten Gegenstand teils grundsätzlicher Kritik ist, wird dieser Ansatz noch immer als Mittel der Wahl für die vor der Publikation stattfindende Qualitätssicherung betrachtet. Währenddessen stehen die stets an Bedeutung gewinnenden Open-Access-Zeitschriften unter dem Verdacht, geringere Qualitätsmaßstäbe anzusetzen und Artikel zu publizieren, die zuvor keine oder eine weniger strenge Kontrolle durchlaufen haben. Vor diesem Hintergrund wurde für die vorliegende Arbeit eine umfassende Studie durchgeführt, die darauf abzielt, Peer-Review-Verfahren wissenschaftlicher Open-Access-Zeitschriften zu untersuchen. Unter Nutzung der durch das Directory of Open Access Journals (DOAJ) bereitgestellten Daten wurden mehr als 3.000 Herausgeber befragt. Mit einer Rücklaufquote von mehr als 40 % können die gefundenen Ergebnisse als durchaus repräsentativ betrachtet werden. Sie zeigen deutlich, dass die meisten Open-Access-Zeitschriften Peer-Review-Verfahren einsetzen und legen außerdem nahe, dass eine große Bandbreite unterschiedlicher Verfahren und Eigenschaften von Peer Review existieren – etwa die gegenseitige Anonymität von Autoren und Gutachtern, der Informationsfluss, das Verfahren zur Auswahl der Gutachter und formale Regelungen in Bezug auf mögliche Interessenkonflikte. Dabei hängt das Aussehen eines konkreten Peer-Review-Verfahrens wesentlich von dem Wissenschaftsgebiet und der Art des Verlegers der betreffenden Zeitschrift ab. Darüber hinaus können Zusammenhänge zwischen externen Qualitätsindikatoren und Peer-Review-Eigenschaften beobachtet werden. / The present work broadly discusses the problem of quality assurance in the field of scholarly publishing. It highlights the specific characteristics resulting from electronic publishing, business models based on Open Access, and particularly Open Access Journals. Out of the different approaches for quality assessment and its fundamental purpose – filtering relevant and audited information – mainly peer review processes are examined in detail. In this context weak points and basic criticisms on peer review are enumerated and subsequently discussed with respect to known studies in this field. As a major part the present work contains a classification of peer review processes regarding different properties and its potential values. Although it has been subject to fundamental criticism for decades peer review is still widely considered to be the method of choice for pre-publication quality assurance in scholarly publishing. Meanwhile, open access journals which increasingly appear within the scholarly publication market regularly raise suspicion to follow lower quality standards and to publish articles which have passed no or less rigorous editorial examination. Against this background the present work presents a comprehensive survey which aims at analyzing peer review processes of scholarly open access journals. Using the data provided by the Directory of Open Access Journals (DOAJ) more than 3.000 editors have been asked to participate. With an overall return rate of about 40 % the resulting findings can be considered as highly representative. They clearly show that most open access journals actually apply peer review processes. Moreover, the analysis indicates that there exists a broad variety of different procedures and characteristics constituting peer review, includ-ing reciprocal anonymity between authors and reviewers, information flow, the reviewer selection process, and formal settlements as for conflicts of interest. Thereby, the nature of the applied peer review process strongly depends on the scholarly discipline of the respective journal and its publisher. In addition, correlations between external quality indicators and peer review properties could be observed.