Peer Review: Was die Begutachtung leistet — und was nicht
Die Begutachtung durch Fachkollegen ist der Standard der Wissenschaft. Sie filtert Schwächen heraus, garantiert aber keine Richtigkeit.
Microsoft Katja (Neural, deutsch)
Bevor eine wissenschaftliche Arbeit in einer Fachzeitschrift erscheint, wird sie in der Regel begutachtet: Die Redaktion schickt das Manuskript an Fachleute, die Methodik, Datenlage und Schlussfolgerungen prüfen und Änderungen verlangen können.
Was das Verfahren leistet
Gutachter finden Rechenfehler, unpassende statistische Verfahren, fehlende Kontrollgruppen und Schlussfolgerungen, die die Daten nicht tragen. Sie verlangen Präzisierungen und fordern häufig zusätzliche Auswertungen. Ein erheblicher Teil eingereichter Arbeiten wird abgelehnt oder deutlich umgearbeitet.
Was es nicht leistet
Gutachter wiederholen keine Experimente und haben in der Regel keinen Zugriff auf die Rohdaten. Fälschungen sind daher schwer zu erkennen. Das Verfahren prüft Plausibilität und Handwerk, nicht Wahrheit. Eine begutachtete Arbeit kann sich als falsch erweisen — das ist kein Systemversagen, sondern der Normalfall wissenschaftlichen Fortschritts.
Hinzu kommen bekannte Schwächen: Gutachten sind unbezahlt und zeitaufwendig, die Auswahl der Gutachter kann Schulenbildung verstärken, und Zeitschriften bevorzugen tendenziell positive Ergebnisse. Der daraus folgende Publikationsbias ist gut belegt.
Preprints
In vielen Disziplinen werden Manuskripte vorab als Preprint veröffentlicht. Das beschleunigt den Austausch erheblich — mit dem Preis, dass ungeprüfte Ergebnisse in die Öffentlichkeit gelangen. Für die Berichterstattung ist der Status deshalb eine wesentliche Angabe.
Replikation als eigentlicher Test
Entscheidend ist nicht die einzelne Publikation, sondern ob unabhängige Gruppen zu ähnlichen Ergebnissen kommen. In mehreren Fächern haben groß angelegte Replikationsprojekte gezeigt, dass ein erheblicher Teil publizierter Befunde nicht reproduzierbar ist. Als Reaktion haben sich Präregistrierung von Studien, offene Daten und registrierte Berichte verbreitet, bei denen die Methodik vor der Datenerhebung begutachtet wird.
Fragwürdige Zeitschriften
Parallel existiert ein Markt sogenannter Raubverlage, die gegen Gebühr praktisch alles veröffentlichen. Hinweise sind aggressive Einladungsmails, extrem kurze Begutachtungszeiten und Herausgebergremien, deren Mitglieder von ihrer Mitgliedschaft nichts wissen.