Signifikant heißt nicht bedeutsam

Englisch: Statistical vs practical significance confusion · auch: Significance fallacy, Signifikanz-Missverständnis, Statistisch signifikant gleich wichtig

Ein „statistisch signifikantes“ Ergebnis wird als großer oder wichtiger Effekt dargestellt, oder ein nicht signifikantes Ergebnis als Beweis, dass es keinen Effekt gibt.

„Signifikant“ bedeutet in der Statistik nur, dass ein Ergebnis wahrscheinlich nicht bloß Zufall ist, nicht dass es groß oder relevant ist. Bei sehr vielen Daten werden auch winzige, praktisch bedeutungslose Unterschiede signifikant. Umgekehrt heißt „nicht signifikant“ oft nur, dass die Daten nicht ausreichen, um einen Effekt sicher zu erkennen. Entscheidend ist die Größe des Effekts.

Beispiel

„Die Studie zeigt einen signifikanten Lernerfolg durch Tablets in der Volksschule!“ – der Unterschied beträgt 0,3 Punkte auf einer 100-Punkte-Skala.

So geht es besser

Immer die Größe des Effekts und ihre praktische Bedeutung nennen und „nicht signifikant“ nicht mit „kein Effekt“ gleichsetzen.