1 |
Towards Transparency and Open Science / A Principled Perspective on Computational Reproducibility and PreregistrationPeikert, Aaron 17 October 2023 (has links)
Die Psychologie und andere empirische Wissenschaften befinden sich in einer Krise, da vielen Forschenden bewusst geworden ist, dass viele Erkenntnisse nicht so stark empirisch gestützt sind, wie sie einst glaubten.
Es wurden mehrere Ursachen dieser Krise vorgeschlagen: Missbrauch statistischer Methoden, soziologische Verzerrungen und schwache Theorien.
In dieser Dissertation gehe ich davon aus, dass ungenaue Theorien unvermeidlich sind, diese aber mithilfe von Induktion einer empirischen Prüfung unterzogen werden können.
Anhand von Daten können Theorien ergänzt werden, sodass präzise Vorhersagen möglich sind, die sich mit der Realität vergleichen lassen.
Eine solche Strategie ist jedoch mit Kosten verbunden.
Induktion ist daher zwar notwendig, aber führt zu einem übermäßigen Vertrauen in empirische Befunde.
Um empirische Ergebnisse adäquat zu bewerten, muss diese Verzerrung berücksichtigt werden.
Das Ausmaß der Verzerrung hängt von den Eigenschaften des induktiven Prozesses ab.
Einige induktive Prozesse können vollständig transparent gemacht werden, sodass ihre Verzerrung angemessen berücksichtigt werden kann.
Ich zeige, dass dies bei Induktion der Fall ist, die beliebig mit anderen Daten wiederholt werden kann, was die Bedeutung von computergestützter Reproduzierbarkeit unterstreicht.
Induktion, die die Forschenden und ihr kognitives Modell einbezieht, kann nicht beliebig wiederholt werden; daher kann die Verzerrung durch Induktion nur mit Unsicherheit beurteilt werden.
Ich schlage vor, dass die Verringerung dieser Unsicherheit das Ziel von Präregistrierung sein sollte.
Nachdem ich die Ziele von Reproduzierbarkeit und Präregistrierung unter dem Gesichtspunkt der Transparenz über Induktion präzisiert habe, gebe ich in den wissenschaftlichen Artikeln, die als Teil der Dissertation veröffentlicht wurden, Empfehlungen für die praktische Umsetzung beider Verfahren. / Psychology and other empirical sciences are in the middle of a crisis, as many researchers have become aware that many findings do not have as much empirical support as they once believed.
Several causes of this crisis have been suggested: misuse of statistical methods, sociological biases, and weak theories.
This dissertation proposes the following rationale: to some extent, imprecise theories are unavoidable, but they still can be subjected to an empirical test by employing induction.
Data may be used to amend theories, allowing precise predictions that can be compared to reality.
However, such a strategy comes at a cost.
While induction is necessary, it causes overconfidence in empirical findings.
When assessing findings, this overconfidence must be taken into account.
The extent of the overconfidence depends on the properties of the inductive process.
Some inductive processes can be made fully transparent, so their bias can be accounted for appropriately.
I show that this is the case for induction that can be repeated at will on other data, highlighting the importance of computational reproducibility.
Induction involving the researcher and their cognitive model can not be repeated; hence, the extent of overconfidence must be judged with uncertainty.
I propose that reducing this uncertainty should be the objective of preregistration.
Having explicated the goals of computational reproducibility and preregistration from a perspective of transparency about induction in the synopsis, I put forward recommendations for the practice of both in the articles published as part of this dissertation.
|
Page generated in 0.0155 seconds