Replizierbarkeit in Experimeteller Ökonomie

Dem Thema der Replizierbarkeit von wissenschaftlichen Ergebnissen wird neuerdings immer mehr Aufmerksamkeit gewidmet. Kernfrage dabei ist, welche publizierten Ergebnisse wahre, welche falsche Positives, also signifikant positive Ergebnisse sind. Faktoren die die Replizierbarkeit reduzieren sind bspw. geringe Stichprobengrößen, Tests von Hypothesen mit ex-ante niedriger Wahrscheinlichkeit wahr zu sein und die Tendenz von wissenschaftlichen Zeitschriften eher aufregende und unerwartete Ergebnisse zu publizieren. Mit einem interdisziplinären Team auf drei Kontinenten (Amerika, Asien, Europa) starten wir ein Programm um die Replizierbarkeit von Ergebnissen in Experimenteller Ökonomie einzuschätzen und zu verbessern. Dabei replizieren wir systematisch rund 90 Studien die in den führenden ökonomischen Zeitschriften publiziert wurden. Schon vorher führen wir einen Prognosemarkt durch in dem für jede einzelne Studie durch einen Markt abgeschätzt wird, für wie wahrscheinlich die wissenschaftliche Gemeinschaft die Replizierung der Ergebnisse hält. Mit den Prognosemärkten können wir einschätzen, wie wahrscheinlich die Replizierung in verschiedenen Phasen des wissenschaftlichen Entdeckungsprozesses eingeschätzt wird. Eine Pilotstudie in der wir 18 Studien aus zwei führenden Wirtschaftsjournals replizierten erbrachte Replikationsraten von 61 bis 78% (je nach Spezifikation), was deutlich höher ist als Replikationsraten in anderen Disziplinen. Dies reflektiert auch die Erwartung der Forscher in diesem Feld, denn Befragungen und Prognosemärkte erbrachten erwartete Replikationsraten von 71 bzw. 75%.

Im Rahmen dieses Projektes wurden v.a. Replikationsstudien durchgeführt sowie mit einem großen und innovativen Crowd-Analysis-Projekt im Bereich Neurowissenschaften wissenschaftliches Neuland betreten. Beim innovativsten Teilprojekt NARPS (https://www.narps.info/) handelt es sich um ein Crowd-Analysis-Projekt im Bereich Neurowissenschaften. Dabei wurden gemeinsam mit KollegInnen aus den USA, Schweden und Israel Gehirnscans an 108 Personen durchgeführt, während diese eine Experimentanordnung durchliefen. Die resultierenden Rohdaten haben wir 70 Forscherteams rund um die Welt (die sich zur Analyse freiwillig gemeldet haben) zur Verfügung gestellt, die dann unabhängig voneinander die Daten auswerten und ihre Ergebnisse zu neun Forschungsfragen an uns übermittelten. Was uns interessierte, ist v.a. die Konsistenz (bzw. Inkonsistenz) der Antworten der antwortenden Teams, da gerade im sehr neuen Bereich der Neurowissenschaft (wo Gehirnscans eine entscheidende Rolle spielen) nicht klar ist, wie eindeutig (und damit replizierbar) Ergebnisse sind. Ein Kernergebnis ist, dass die Ergebnisse sehr inkonsistent sind; denn nicht zwei der 70 Analyseteams hatten denselben Analysepfad (geweige denn dieselben Ergebnisse). Gleichzeitig waren die Analyseteams aber "overconfident", d.h. erwarteten drei mal mehr signifikante Ergebnisse, als es sie letztlich gab. Wir kombinierten diese Datenauswertung auch noch mit einer Umfrage sowie mit Prognosemärkten, was insgesamt ein sehr spannendes und umfassendes Forschungsprojekt lieferte. Weietrs befassten wir uns in diesem Projekt mit der Risikowahrnehmung von Finanzprofis rund um die Welt, mit einem Vergleich der Vorhersagen von Finanzexperten und Laien zu US- und britischen Aktienrenditen, sowie mit der Replizierbarkeit von wissenschaftliche Ergebnissen in den Sozialwissenschaften.