Inwieweit ist psychologische Forschung reproduzierbar? Many Labs 5 bestätigt „Reproducibility Project“
Reproduzierbarkeit ist ein wichtiges definitorisches Kriterium empirischer Forschung. Es bedeutet, dass etwa Experimente unter den gleichen Bedingungen die gleichen Ergebnisse hervorbringen sollten. Many Labs 5, ein groß angelegtes internationales Forschungsprojekt, an dem auch Prof. Katrin Rentzsch von der PHB beteiligt war, hat in den letzten Jahren erneut die Reproduzierbarkeit psychologischer Forschungsergebnisse untersucht. Die Resultate wurden nun im Fachmagazin „Advances in Methods and Practices in Psychological Sciences“ veröffentlicht. Die insgesamt elf Artikel nehmen die gesamte Herbstausgabe des Journals ein und könnten die Debatte über die Bedingungen und Kriterien psychologischer Forschung neu entfachen.
Bereits im Jahr 2015 hatten Forscher im sogenannten „Reproducibility Project: Psychology“ überraschende und alarmierende Ergebnisse für die Psychologie zu Tage gebracht: bei dem Versuch, 100 Forschungsergebnisse, die im Jahr 2008 in anerkannten Journals publiziert worden waren, zu replizieren, kamen die Forscher in weniger als 40 Prozent der Fälle zu den gleichen Ergebnissen wie die Originalautoren. Dies löste in Fachkreisen eine umfassende Debatte über die Aussagekraft psychologischer Forschung aus. Dabei führten jedoch Kritiker des Replikationsprojekts an, dass einige der Replikationsfehlschläge u.a. auf inadäquate Stichprobengrößen zurückzuführen seien.
Nach drei Replikationsversuchen: Effektstärke durchschnittlich 78 Prozent geringer als bei Originalstudien
Koordiniert durch das Center for Open Science (COS) hat nun ein Team von 171 internationalen Forschern – unter ihnen auch Prof. Dr. Katrin Rentzsch von der PHB – in dem groß angelegten internationalen Forschungsprojekt Many Labs 5 geprüft, inwiefern die Ergebnisse des „Reproducibility Project: Psychology“ zutreffend waren. Dabei wurden zehn Studien aus dem Replikationsprojekt von 2015 ausgewählt, deren Durchführung von den Originalautoren kritisiert worden waren. Sie wurden in zwei Varianten neu aufgelegt: einige Labs verwendeten bei Vergrößerung der Stichproben die ursprünglichen Designs – andere Labs nutzten Forschungsdesigns, die vorher einen zusätzlichen Peer-Review-Prozess durchlaufen hatten. Jede der Studien wurde außerdem präregistriert.
Das Ergebnis: die neu aufgelegten Studien ergaben eine durchschnittliche Effektstärke (r= .05), die der des Replikationsprojektes von 2015 sehr ähnlich war (r= .05) und sich deutlich von der der Originalstudien (r= .37) unterschied. Damit haben für diese zehn ausgewählten Studien drei verschiedene Replikationsversuche eine Effektstärke ergeben, die durchschnittlich 78 Prozent geringer war als die der jeweiligen Originalstudie.
Prof. Rentzsch: „Prinzipien von Open Science sollten zum Goldstandard wissenschaftlicher Forschungsarbeit werden“
Was bedeutet das für die psychologische Forschung? Für Prof. Katrin Rentzsch hat das Projekt klare Implikationen. „Es gibt keine Ausreden mehr“, so Prof. Rentzsch. „Unsere Ergebnisse zeigen deutlich, dass in der Vergangenheit einige Studien in der Psychologie methodische Probleme hatten und trotzdem publiziert wurden. Und obwohl die Kritik an dem Replikationsprojekt von 2015 methodisch an einigen Punkten gerechtfertigt und hilfreich war, zeigt unsere aktuelle Arbeit auch, dass seine Ergebnisse zutreffend waren.“
Wissenschaftliche Fachmagazine haben in den letzten Jahren ihre methodologischen Standards an Publikationen deutlich erhöht – Prof. Katrin Rentzsch sieht dennoch auch heute noch Verbesserungsbedarf bei einem Teil aktueller Studien. „Aus meiner Sicht sollten Prinzipien von Open-Science wie die Präregistrierung zum Goldstandard psychologischer aber auch generell wissenschaftlicher Forschungsarbeit werden. Das führt zwar häufig zu weniger attraktiven Ergebnissen und bringt gerade auch für junge Forschende, die noch viel publizieren müssen, Erschwernisse mit sich. Es führt aber auch zu genaueren, realitätsgetreueren Ergebnissen – und das sollte das Hauptziel wissenschaftlicher Forschung sein.“
Zur Person:
Professor Katrin Rentzsch ist Leiterin des Fachbereichs für Psychologische Diagnostik und Differentielle Psychologie an der PHB. Ihre Arbeitsschwerpunkte liegen in den Bereichen Persönlichkeit und Emotionen sowie Persönlichkeit und soziale Beziehungen sowie in der Entwicklung und Validierung diagnostischer Verfahren.