Kontrollgruppe planen und den Unterschied richtig auswerten

Das Wichtigste auf einen Blick

Wann eine Kontrollgruppe nötig ist

Eine Kontrollgruppe ist immer dann nötig, wenn Sie eine Ursache behaupten wollen: Der Gutschein hat den Umsatz gehoben, die Mailing-Aktion hat Bestellungen ausgelöst. Ohne Vergleichsgruppe bleibt Ihre Aussage eine Vermutung, weil Saison, Wetter oder Wettbewerbsaktionen dieselbe Veränderung erzeugen können.

Für reine Verlaufsbeschreibungen reicht eine Messung ohne Vergleichsgruppe.

Prüfen Sie zuerst, ob die Teilnahmewahrscheinlichkeit mit dem interessierenden Merkmal zusammenhängt. Genau dann entsteht Verzerrung, wie Koch und Blohm in den GESIS Survey Guidelines zu Nonresponse Bias herleiten: Der Bias ist das Produkt aus Ausfallquote und dem Unterschied zwischen Teilnehmern und Nichtteilnehmern.

Testgruppe und Kontrollgruppe vergleichbar auswählen

Vergleichbarkeit entsteht nicht durch ähnlich aussehende Stadtteile, sondern durch den Auswahlweg. Zufallsaufteilung ist das zentrale Mittel: Bandilla nennt in den GESIS Survey Guidelines zu Online-Befragungen die Randomisierung als Kern experimenteller Designs, während die Auswahl der Befragten dort nachrangig ist.

In der Praxis ziehen Sie aus Ihrer Bestandskundschaft eine Liste und weisen jeden Fall per Zufallsverfahren einer Gruppe zu. Strukturmerkmale wie Region oder Kaufhistorie können Sie als Schichtung vor der Ziehung verwenden.

Willkürliche Auswahl zerstört den Vergleich.

Zufall sichern und Auswahl dokumentieren

Die Dokumentation gehört in ein Protokoll, das Sie vor dem Start ausfüllen.

Den Unterschied der Veränderungen rechnen

Das folgende Rechenbeispiel ist eine vereinfachte Illustration mit erfundenen Zahlen, keine Marktgröße. Angenommen, in der Testgruppe liegt der Warenkorb vor der Aktion bei 100 Euro und danach bei 120 Euro, in der Kontrollgruppe bei 100 Euro und danach bei 106 Euro.

Die Wirkung liegt bei 14 Euro, nicht bei 20 Euro. Der isolierte Vorher-Nachher-Wert der Testgruppe enthält alles, was in beiden Gruppen passiert ist: Saison, Preisentwicklung und Wettbewerbsaktionen. Erst die Differenz trennt Ihre Maßnahme von diesen allgemeinen Einflüssen.

Diese Logik gilt auch für Segmentvergleiche. Die CMC Print-Mailing-Studie 2026 teilt die Bestandskundschaft von 35 Online-Shops nach Kundenwert ein. Bei Top-Kunden lag die Conversion Rate bei 8,3 Prozent, bei Gelegenheits-Kunden bei 2,1 Prozent.

Grenzen bei kleiner Fallzahl offen einordnen

Bei kleinen Gruppen wird jede Differenz unsicher. Eine grundsätzliche Grenze bleibt: Zu den tatsächlichen Nichtteilnehmern liegen keine Informationen vor, und die Annahme, sie ähnelten schwer erreichbaren Fällen, ist nicht zwingend. Koch und Blohm beschreiben die Analyse von Variationen innerhalb der Teilnehmer, etwa die Trennung nach früh und spät realisierter Teilnahme über Kontaktprotokolle aus der Feldarbeit.

Für das Konfidenzintervall brauchen Sie die Streuung. Die Formel lautet: Differenz plus/minus t mal Standardfehler. Angenommen, die Testgruppe hat eine Standardabweichung von 12 Euro, die Kontrollgruppe von 10 Euro, jeweils bei 30 Fällen. Der Standardfehler ist die Wurzel aus (12²/30 + 10²/30), also rund 2,85 Euro.

Der t-Wert für 95 Prozent liegt bei nahe 2,0. Das Intervall reicht von 14 minus 5,7 bis 14 plus 5,7, also von 8,3 bis 19,7 Euro.

Eine allgemeine Mindestfallzahl lässt sich nicht angeben. Sie folgt aus erwarteter Differenz, Streuung und gewünschter Sicherheit. Als grobe Orientierung gelten 30 Fälle je Gruppe, bei kleinen Effekten eher 50 bis 100.

Auch Follow-up-Befragungen lösen das nicht vollständig, weil anderer Fragebogenumfang, Erhebungsmodus und Feldzeiten die Vergleichbarkeit erschweren.

Häufige Fragen