Datenfischen · Argumentationslexikon

Datenfischen

Englisch: Data dredging · auch: P-Hacking, Multiple comparisons problem, Garden of forking paths, Look-elsewhere effect, Data fishing

Aus vielen durchsuchten Variablen, Untergruppen oder Auswertungsvarianten wird nur der eine „signifikante“ Zusammenhang berichtet, der bei so vielen Versuchen zufällig erwartbar war.

Wer genug Auswertungen durchprobiert, findet fast sicher irgendeinen auffälligen Zusammenhang, rein durch Zufall. Berichtet man dann nur diesen Treffer, wirkt er wie eine Entdeckung. Das betrifft Studien ebenso wie politische Datenanalysen, Umfragen mit vielen Untergruppen oder Gutachten im Auftrag. Glaubwürdig sind Ergebnisse, deren Hypothese vorher feststand und die sich in neuen Daten bestätigen.

Beispiel

„Unsere Auswertung zeigt: In Bezirken mit Gratis-Kindergarten wählen Frauen zwischen 35 und 39 häufiger unsere Partei.“ – nach Durchsuchen von 200 Kombinationen aus Alter, Geschlecht und Maßnahmen.

So geht es besser

Offenlegen, wie viele Auswertungen gemacht wurden, Hypothesen vorab festlegen und auffällige Ergebnisse an neuen Daten überprüfen.

Verwandt

Ausgewählter ZeitraumStart- oder Endpunkt einer Zeitreihe wird so gewählt, dass ein gewünschter Trend entsteht oder verschwindet, obwohl ein anderer Zeitraum ein anderes Bild zeigt.

RosinenpickenNur die Daten, Studien oder Fakten werden genannt, die die eigene Position stützen; widersprechende, bekannte Belege werden weggelassen oder verschwiegen.

Signifikant heißt nicht bedeutsamEin „statistisch signifikantes“ Ergebnis wird als großer oder wichtiger Effekt dargestellt, oder ein nicht signifikantes Ergebnis als Beweis, dass es keinen Effekt gibt.

Texanischer ScharfschützeIn zufällig verteilten Daten wird nachträglich ein auffälliges Muster oder eine Häufung herausgegriffen und als Beleg für eine Ursache gedeutet.

Zufall als Zeichen deutenZufällige Ereignisse, Zahlenspiele oder zeitliche Zusammenfälle werden als gezielte Hinweise auf einen geheimen Plan gedeutet.