Englisch: Checking against a comparison group · auch: Vergleichsgruppe, Kontrollgruppe, Control group, Was wäre ohnehin passiert?, Kontrafaktischer Vergleich
Ob eine Maßnahme gewirkt hat, wird an vergleichbaren Fällen ohne sie gemessen – anderes Bundesland, Nachbargemeinde, früherer Zeitraum: Was wäre ohnehin passiert? Erst der Unterschied zur Vergleichsgruppe zeigt die Wirkung.
Wer einer Maßnahme einen Erfolg oder Misserfolg zuschreibt, behauptet stillschweigend etwas darüber, was ohne sie passiert wäre. Dieses „Ohne“ lässt sich nicht direkt beobachten, aber annähern: durch eine Vergleichsgruppe, die der betroffenen in den wichtigen Punkten ähnelt, die Maßnahme aber nicht bekommen hat. Typische Vergleiche sind andere Bundesländer, Nachbargemeinden, frühere Jahre mit ähnlicher Ausgangslage oder – am stärksten – per Zufall zugeteilte Gruppen in einem Pilotversuch.
Das stärkt ein Argument, weil ein bloßer Vorher-nachher-Vergleich alles mitmisst, was sich gleichzeitig verändert hat: Konjunktur, Wetter, allgemeine Trends, die Rückkehr eines Ausreißerjahres zum Normalwert. Entwickelt sich die Vergleichsgruppe genauso, war es wohl nicht die Maßnahme; entwickelt sie sich anders, spricht der Unterschied für eine Wirkung.
Besonders wichtig ist das, wenn sich Politik Erfolge zuschreibt oder Misserfolge zurückweist, und bei Maßnahmen, die gerade wegen eines Ausreißers eingeführt wurden. Auch Vorbeugung lässt sich so beurteilen: Wenn nichts passiert, zeigt erst der Vergleich, ob das an der Maßnahme lag.
Aufbau
1. Wirkungsbehauptung: Maßnahme M hat Ergebnis E bewirkt.2. Vergleichsgruppe wählen: ähnliche Fälle ohne M (Region, Zeitraum, Zufallsgruppe).3. Die Entwicklung beider Gruppen im selben Zeitraum vergleichen.4. Nur den Unterschied als mögliche Wirkung von M werten – und prüfen, worin sich die Gruppen sonst unterscheiden.
Woran man es erkennt
„Wie hat es sich im selben Zeitraum dort entwickelt, wo es die Maßnahme nicht gab?“
„In den Nachbarbezirken ohne Tempo 30 sanken die Unfälle im selben Zeitraum um …“
„Was wäre ohnehin passiert?“
Pilotprojekte mit vorab festgelegter Vergleichsregion
Ergebnisse werden als Unterschied zwischen zwei Entwicklungen angegeben, nicht als bloßes Vorher-nachher
Beispiele
Pressekonferenz zu einem Beschäftigungsprogramm für Ältere
Eine Landesrätin berichtet: „Seit dem Programm ist die Arbeitslosigkeit der über 50-Jährigen in unserem Bundesland um 12 % gesunken. In den Bundesländern ohne Programm sank sie im selben Zeitraum um 7 %. Als möglichen Effekt werten wir nur den Unterschied – und lassen ihn von einem unabhängigen Institut prüfen.“
Sie misst den Erfolg nicht am Vorher-nachher, sondern an der Entwicklung ohne Programm. Die Konjunktur, die überall wirkt, ist damit weitgehend herausgerechnet, und sie lässt den Rest unabhängig prüfen.
Zum Vergleich, schwächer: „Seit dem Programm ist die Arbeitslosigkeit der über 50-Jährigen um 12 % gesunken – das Programm wirkt.“
Forum-Thread zu einer Radarbox an einer Unfallkreuzung
„Die Radarbox kam, nachdem es 2024 an der Kreuzung acht Unfälle gab – sonst sind es zwei, drei im Jahr. Dass es 2025 drei waren, beweist noch nichts. Interessant wäre, wie es an ähnlichen Kreuzungen ohne Radarbox nach einem Spitzenjahr weiterging.“
Der Beitrag erkennt, dass nach einem Ausreißerjahr ohnehin mit weniger Unfällen zu rechnen ist, und schlägt die passende Vergleichsgruppe vor: ähnliche Kreuzungen nach ähnlichen Spitzen.
Zum Vergleich, schwächer: „Acht Unfälle vorher, drei nachher – die Radarbox hat die Unfälle mehr als halbiert.“
Grenzen
Eine Vergleichsgruppe ist nur so gut wie ihre Ähnlichkeit: Wer ein Bundesland mit einem ganz anders strukturierten vergleicht oder sich die günstigste Vergleichsregion aussucht, erzeugt einen Scheinbeweis. Gruppen, die sich selbst für eine Maßnahme entschieden haben, unterscheiden sich oft schon vorher. Und manchmal gibt es keine brauchbare Vergleichsgruppe – dann ist eine vorsichtige Aussage ehrlicher als ein konstruierter Vergleich.
Wenn es fehlt
Frag nach dem ‚Ohne‘: „Wie hat es sich dort entwickelt, wo es die Maßnahme nicht gab?“ Schlag selbst eine passende Vergleichsregion vor – das ist konstruktiver, als die Wirkung pauschal zu bestreiten.
So gelingt es
Bevor du einer Maßnahme einen Erfolg zuschreibst, such eine vergleichbare Region oder Zeit ohne sie und stell beide Entwicklungen nebeneinander. Nenne den Unterschied, nicht nur das Vorher-nachher, und sag dazu, worin sich die Gruppen sonst unterscheiden.
Herkunft
Vergleichende Versuche wurden in der Medizin zum Standard; als frühes Beispiel gilt James Linds Skorbutversuch von 1747, der mehrere Behandlungen an gleich erkrankten Seeleuten nebeneinander prüfte. Die zufällige Zuteilung zu Versuchs- und Kontrollgruppe begründete vor allem der Statistiker Ronald A. Fisher in den 1920er- und 1930er-Jahren. In der Politikevaluation spricht man vom kontrafaktischen Vergleich.