Stichprobe und Aussagekraft: Leitfaden für belastbare Marktforschung

Das Wichtigste auf einen Blick

• Die Grundgesamtheit bestimmt, über wen eine Studie etwas aussagen darf; Auswahlrahmen und Erhebungsmethode müssen dazu passen.
• Zufallsstichproben erlauben eine berechenbare Fehlermarge, Quoten- und Panelstichproben liefern sie nur unter zusätzlichen Annahmen.
• Bei 1.000 Befragten und einem Anteil von 50 Prozent liegt die Fehlermarge bei 95 Prozent Sicherheit bei rund 3,1 Prozentpunkten.
• Gewichtung korrigiert Schieflagen in der Struktur, verkleinert aber die effektive Fallzahl und vergrößert damit die Fehlermarge.
• Ein belastbarer Methodenbericht nennt Fallzahl, Auswahlverfahren, Ausschöpfung, Gewichtung und die verbleibende Unsicherheit.

Grundgesamtheit und Auswahlrahmen richtig abgrenzen

Die Grundgesamtheit ist die gedachte Menge aller Einheiten, über die eine Untersuchung eine Aussage treffen soll. Sie ist eine Definition und keine Adressdatei. Wer sie zu weit fasst, erzeugt Durchschnittswerte, die für keine Zielgruppe gelten. Wer sie zu eng fasst, verliert die Vielfalt, die den Auftraggeber interessiert.

Beschrieben wird die Grundgesamtheit über vier Merkmale: Einheit, Ort, Zeit und sachliche Abgrenzung. Eine Einheit kann eine Person, ein Haushalt, ein Unternehmen oder eine konkrete Rolle wie Einkaufsentscheider sein. Ort und Zeit legen Region und Bezugszeitraum fest, die sachliche Abgrenzung definiert das interessierende Verhalten oder Merkmal.

Ein Beispiel: alle Personen ab 18 Jahren mit Hauptwohnsitz in Deutschland, die in den vergangenen drei Monaten mindestens einmal online eingekauft haben. Diese Definition entscheidet über jede spätere Kennzahl. Ohne sie bleibt offen, ob Gelegenheitskäufer und Vielfachkäufer gleich stark ins Gewicht fallen.

Der Auswahlrahmen ist das praktische Verzeichnis, aus dem die Fälle gezogen werden. Das können Einwohnermelderegister, Telefonnummernkreise, Unternehmensverzeichnisse, Panelbestände oder Kundenlisten sein. Rahmen und Grundgesamtheit stimmen fast nie vollständig überein, deshalb gehört die Differenz in jeden Methodenbericht.

Unterabdeckung entsteht, wenn Teile der Grundgesamtheit im Rahmen fehlen. Ein reines Festnetzverzeichnis erreicht Haushalte ohne Festnetzanschluss nicht, eine Kundenliste erfasst keine Nichtkunden. Überabdeckung liegt vor, wenn der Rahmen Einheiten enthält, die nicht zur Grundgesamtheit gehören, etwa stillgelegte Betriebe.

Für Unternehmensgrundgesamtheiten lohnt der Blick in die amtlichen Wirtschaftsstatistiken. Das Statistische Bundesamt stellt Struktur- und Konjunkturdaten bereit, mit denen sich Größenordnungen und Randverteilungen prüfen lassen, etwa Umsätze und Betriebszahlen nach Branche, Größenklasse und Region im Themenbereich Wirtschaft des Statistischen Bundesamtes.

Ein Rechenbeispiel zur Abdeckung: Ein Verzeichnis enthält 70.000 der geschätzten 100.000 relevanter Betriebe. Die Abdeckung liegt bei 70 Prozent. Fehlen vor allem kleine Betriebe, ist die Stichprobe für Aussagen über dieses Segment nur eingeschränkt belastbar, auch wenn die Fallzahl groß wirkt.

Aktualität ist ein eigener Fehlerherd. Adressbestände veralten durch Umzüge, Insolvenzen und Neugründungen. Ein Rahmen mit einem Stand von zwei Jahren erzeugt Ausfälle, die später als Nonresponse erscheinen und die Ausschöpfung drücken, ohne dass dies etwas über die Zielpersonen aussagt.

Dokumentiert werden sollte deshalb immer: Quelle des Rahmens, Stichtag, Umfang, bekannte Lücken, Ausschlüsse und Überschneidungen mit anderen Listen. Diese Angaben machen die Grundgesamtheit prüfbar und trennen eine belastbare Studie von einer Stichprobe nach Gefühl.

Stichprobenarten und ihre Aussagekraft

Stichprobenverfahren zerfallen in zwei Familien. Zufallsauswahlen geben jeder Einheit eine bekannte, von null verschiedene Auswahlchance. Nicht zufällige Verfahren wie Quoten oder selbstrekrutierte Panels liefern diese Chance nicht, dafür sind sie häufig schneller und günstiger.

Die einfache Zufallsauswahl zieht Fälle direkt und ohne Zwischenschritt aus einer vollständigen Liste. Sie ist der Referenzfall der Stichprobentheorie. In der Praxis scheitert sie oft am fehlenden oder unvollständigen Rahmen, nicht an der Rechentechnik.

Bei der geschichteten Auswahl wird die Grundgesamtheit in Schichten geteilt, etwa Bundesländer oder Unternehmensgrößen. Innerhalb jeder Schicht wird zufällig gezogen. Das senkt die Streuung, wenn die Schichten in sich homogener sind als die Gesamtmenge, und erlaubt gezielte Aussagen über kleine Segmente.

Wird disproportional geschichtet, also einzelne Schichten überproportional gezogen, braucht die Auswertung Designgewichte. Ohne diese Gewichte überschätzen kleine, stark gezogene Schichten ihren Anteil. Die Schichtung ist dann kein Fehler, sondern eine bewusste Ungleichbehandlung mit rechnerischer Korrektur.

Klumpen- und mehrstufige Verfahren ziehen zunächst Einheiten wie Filialen, Betriebe oder Schulklassen und befragen darin alle oder viele Personen. Das spart Reisekosten, erzeugt aber ähnliche Antworten innerhalb eines Klumpens. Diese Ähnlichkeit erhöht die Streuung und damit den Designeffekt.

Für Telefonbefragungen in Deutschland stellt der Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) ein Stichprobensystem bereit, das auf Nummernkreisen aufsetzt und auch nicht eingetragene Anschlüsse erreicht. Der ADM veröffentlicht dazu Fachstandards und Richtlinien, an denen sich Ausschreibungen und Methodenberichte orientieren können.

Quotenverfahren besetzen vorab festgelegte Zellen, etwa Alter mal Geschlecht mal Region, durch Interviewerauswahl vor Ort oder im Panel. Die Struktur der Stichprobe ähnelt dann der Grundgesamtheit, die Auswahlwahrscheinlichkeiten bleiben jedoch unbekannt. Eine Fehlermarge lässt sich daraus nicht ohne Zusatzannahmen ableiten.

Access-Panels rekrutieren Teilnehmende über Werbung, Gewinnspiele oder Empfehlungen. Die Teilnahmebereitschaft bestimmt die Zusammensetzung, nicht der Zufall. Studien zu Panelqualität zeigen regelmäßig, dass aktivere und internetaffinere Personen überrepräsentiert sind, was sich durch Gewichtung nur teilweise ausgleichen lässt.

Für Forschungsdaten und Methodenliteratur ist das GESIS-Leibniz-Institut für Sozialwissenschaften eine zentrale Adresse. Es betreibt das Datenarchiv, berät zu Erhebungsdesigns und koordiniert die Allgemeine Bevölkerungsumfrage der Sozialwissenschaften, an deren Stichprobendokumentation sich viele Studien orientieren.

Die Wahl des Verfahrens folgt dem Zweck. Für repräsentative Anteile in der Bevölkerung braucht es einen sauberen Zufallsplan. Für die Exploration von Motiven, für Preisreaktionen im Laborsetting oder für schnelle Trends genügen Quoten- und Panelstichproben, solange die Grenzen der Aussage im Bericht stehen.

Stichprobenfehler und Konfidenzintervall berechnen

Der Stichprobenfehler beschreibt die Abweichung zwischen Schätzwert und wahrem Wert, die allein durch die Auswahl der Fälle entsteht. Er ist nur bei Zufallsauswahlen berechenbar, weil nur dort die Auswahlwahrscheinlichkeiten bekannt sind. Bei Quoten- und Panelstichproben gibt es ihn begrifflich, aber keine gültige Formel.

Für einen Anteilswert lautet der Standardfehler: Wurzel aus p mal (1 minus p) geteilt durch n. Bei einem Anteil von 50 Prozent und 1.000 Fällen ergibt sich 0,5 mal 0,5 geteilt durch 1.000, also 0,00025, daraus die Wurzel: 0,0158 oder 1,58 Prozentpunkte.

Das Konfidenzintervall entsteht aus dem Standardfehler multipliziert mit dem z-Wert des Sicherheitsniveaus. Bei 95 Prozent Sicherheit beträgt der z-Wert 1,96, bei 99 Prozent 2,58. Für das Beispiel ergibt sich 1,96 mal 1,58, also rund 3,1 Prozentpunkte nach oben und unten.

Die Fallzahl wirkt über die Wurzel, deshalb halbiert eine Vervierfachung der Stichprobe die Fehlermarge. Bei 500 Fällen und einem Anteil von 50 Prozent liegt der Standardfehler bei 2,24 Prozentpunkten, das Intervall bei rund plus/minus 4,4 Prozentpunkten. Bei 250 Fällen sind es 3,16 Prozentpunkte und rund plus/minus 6,2 Prozentpunkte.

Fallzahl	Standardfehler bei 50 Prozent	95-Prozent-Intervall
250	3,16 Prozentpunkte	plus/minus 6,2 Prozentpunkte
500	2,24 Prozentpunkte	plus/minus 4,4 Prozentpunkte
1.000	1,58 Prozentpunkte	plus/minus 3,1 Prozentpunkte
4.000	0,79 Prozentpunkte	plus/minus 1,6 Prozentpunkte

Für Mittelwerte in Euro gilt dieselbe Logik mit der Standardabweichung. Beträgt die Standardabweichung der Monatsausgaben 40 Euro und die Fallzahl 1.000, liegt der Standardfehler des Mittelwerts bei 40 geteilt durch die Wurzel aus 1.000, also rund 1,26 Euro. Das 95-Prozent-Intervall reicht dann etwa plus/minus 2,48 Euro um den Schätzwert.

Von diesem Zufallsfehler zu trennen sind die Nicht-Stichprobenfehler. Dazu zählen Abdeckungsfehler im Rahmen, Antwortausfälle, Messfehler durch Fragenformulierung, Erfassungsfehler in der Programmierung und Interviewereffekte. Sie verschwinden nicht mit wachsendem n und sind meist größer als der Stichprobenfehler.

Eurostat beschreibt in seinem Qualitätsrahmen für europäische Statistiken unter anderem Genauigkeit, Stichprobenfehler und Nicht-Stichprobenfehler. Diese Gliederung eignet sich als Vorlage für Methodenberichte in der Marktforschung, weil sie beide Fehlerarten getrennt ausweist.

Ein Beispiel zum Antwortausfall: Von 5.000 kontaktierten Personen nehmen 1.000 teil, die Ausschöpfung liegt bei 20 Prozent. Antworten vor allem zufriedene oder besonders betroffene Personen, verschiebt sich der Schätzwert systematisch. Eine Gewichtung kann das teilweise korrigieren, wenn die Ursachen bekannt und messbar sind.

Deshalb gehören zur Fehlermarge immer zwei Zusatzangaben: die Ausschöpfungsquote und eine Einschätzung, ob die Nichtteilnahme mit dem Untersuchungsgegenstand zusammenhängt. Fehlt beides, ist die Prozentangabe im Chart nur scheinbar präzise.

Gewichtung, Designeffekt und effektive Fallzahl

Gewichtung passt die realisierte Stichprobe an eine bekannte Struktur an. Jeder Fall erhält einen Faktor, der angibt, für wie viele Einheiten der Grundgesamtheit er steht. Ohne Gewichte sprechen Strukturdaten aus disproportionalen Stichproben oder ungleichen Auswahlchancen verzerrt.

Designgewichte ergeben sich direkt aus den Auswahlwahrscheinlichkeiten. Wurde eine Schicht mit doppelter Wahrscheinlichkeit gezogen, halbiert sich ihr Gewicht. Diese Gewichte sind rechnerisch zwingend, sie gehören unabhängig von der inhaltlichen Auswertung in jeden Datensatz.

Redressement- oder Poststratifikationsgewichte gleichen Randverteilungen an, etwa Alter, Geschlecht und Region. Als Referenz dienen amtliche Randverteilungen, die das Statistische Bundesamt bereitstellt. Je mehr Merkmale gleichzeitig angepasst werden, desto stärker können sich extreme Gewichte bilden.

Ein verwandter Gedanke steckt im Preisvergleich. Der harmonisierte Verbraucherpreisindex gewichtet Güter nach ihrer Bedeutung im Warenkorb, damit ein Brotpreis und ein Mietpreis nicht gleich stark durchschlagen. Die Methodik des harmonisierten Verbraucherpreisindex zeigt, wie stark Gewichte das Gesamtergebnis prägen.

Ungleiche Gewichte verkleinern die effektive Fallzahl. Die Kish-Formel lautet: Summe der Gewichte zum Quadrat geteilt durch die Summe der quadrierten Gewichte. Bei lauter gleichen Gewichten entspricht die effektive Fallzahl der realisierten Fallzahl, bei stark streuenden Gewichten fällt sie deutlich darunter.

Ein vereinfachtes Zahlenbeispiel: Geplant sind 48 Prozent Männer und 52 Prozent Frauen, realisiert werden 45 Prozent Männer und 55 Prozent Frauen bei 1.000 Fällen. Die Gewichte betragen 1,067 für Männer und 0,945 für Frauen. Die effektive Fallzahl sinkt dadurch nur geringfügig, die Fehlermarge bleibt fast unverändert.

Extremere Fälle entstehen durch kleine Zellen und starke Anpassung. Erhält ein Fall ein Gewicht von 8, während der Durchschnitt bei 1,2 liegt, bestimmt er mehrere andere Fälle mit. Deshalb werden Gewichte in der Praxis getrimmt, also nach oben begrenzt, und die Wirkung der Trimmung wird dokumentiert.

Gewichtung heilt keine systematische Verzerrung. Ist die Nichtteilnahme gerade bei der Zielgruppe hoch, die inhaltlich im Mittelpunkt steht, bleibt der Schätzwert schief, auch nach der Anpassung an Randverteilungen. Gewichtung korrigiert die Struktur, nicht die Ursache des Ausfalls.

Rechenbeispiel: Fehlermarge, Fallzahl und Kosten in Euro

Die folgenden Beträge sind ein Rechenbeispiel mit Stand 2025, keine Preisliste. Alle Nettobeträge verstehen sich zuzüglich 19 Prozent Umsatzsteuer. Angenommen werden 22,00 Euro netto je abgeschlossenem Interview, ein Anteilswert von 50 Prozent und ein Konfidenzniveau von 95 Prozent.

Bei 1.000 Interviews entstehen 22.000,00 Euro netto. Hinzu kommen 4.180,00 Euro Umsatzsteuer, der Bruttobetrag liegt bei 26.180,00 Euro. Die Fehlermarge beträgt plus/minus 3,1 Prozentpunkte. Je Prozentpunkt Fehlermarge zahlt der Auftraggeber damit rund 8.445,00 Euro brutto.

Eine Vervierfachung der Fallzahl schafft die halbe Fehlermarge. Bei 4.000 Interviews liegen die Nettokosten bei 88.000,00 Euro, die Umsatzsteuer bei 16.720,00 Euro, insgesamt 104.720,00 Euro brutto. Die Fehlermarge sinkt auf plus/minus 1,6 Prozentpunkte, ein Prozentpunkt kostet nun rund 65.450,00 Euro brutto.

Kompakt 500

Standard 1

Fein 2

Sehr fein 4

Show the numbers

Kompakt	500
Standard	1
Fein	2
Sehr fein	4

Der Aufwand wächst linear, die Genauigkeit nur mit der Wurzel. Wer die Fehlermarge von 3,1 auf 1,6 Prozentpunkte drücken will, zahlt das Vierfache. Wer von 4,4 auf 3,1 Prozentpunkte verbessern will, verdoppelt die Fallzahl und damit die Kosten.

Für Untergruppen gelten eigene Rechnungen. Umfasst eine Zielgruppe nur 200 der 1.000 Befragten, beträgt ihre Fehlermarge bei einem Anteil von 50 Prozent rund plus/minus 6,9 Prozentpunkte. Aussagen über solche Segmente brauchen entweder eine geschichtete Anlage mit Aufstockung oder eine vorsichtige Sprache im Bericht.

Ein Designeffekt von 1,5 verändert die Rechnung. Aus 1.000 realisierten Interviews werden 667 effektive Fälle, die Fehlermarge wächst von 3,1 auf rund 3,8 Prozentpunkte. Rechnerisch entspricht das dem Ergebnis einer Zufallsstichprobe mit 667 Fällen, obwohl die Feldkosten für 1.000 Interviews anfallen.

Die Kostenbetrachtung sollte deshalb zwei Größen verbinden: die realisierte Fallzahl und die effektive Fallzahl. Ein günstiges Panel mit hohem Designeffekt kann teurer sein als eine etwas kleinere, sauber gezogene Stichprobe mit niedrigerem Designeffekt und geringerer Antwortausfallquote.

Nicht jede Studie braucht die halbe Fehlermarge. Für Trendbeobachtungen genügen oft größere Intervalle, für Preisentscheidungen mit direkten Euro-Folgen lohnt die höhere Fallzahl. Die Entscheidung gehört vor die Feldphase und nicht in die Diskussion nach Vorlage der Zahlen.

Qualitätssicherung und Prüfschritte im Methodenbericht

Ein belastbarer Methodenbericht beschreibt, wie die Fälle ausgewählt wurden, wer erreicht wurde und wer fehlt. Er nennt Rahmen, Stichprobenverfahren, Feldzeit, Ausschöpfung, Gewichtung und Fehlermarge. Fehlen diese Angaben, lässt sich das Ergebnis nicht nachrechnen, sondern nur glauben.

Eine Checkliste für die Abnahme:

• Sind Grundgesamtheit, Auswahlrahmen und Stichtag benannt?
• Ist die Auswahlwahrscheinlichkeit jedes Falls bekannt oder nachvollziehbar dokumentiert?
• Sind Ausschöpfung und Gründe für Nichtteilnahme ausgewiesen?
• Sind Gewichte, ihre Herkunft und die effektive Fallzahl angegeben?
• Ist die ausgewiesene Unsicherheit mit der Stichprobenart vereinbar?

Sekundärdaten brauchen dieselbe Prüfung. Branchenzahlen aus Verbandserhebungen, etwa aus den Markt- und Technologiedaten des Bitkom, sind nur belastbar, wenn Erhebungsmethode, Stichprobenumfang und Abgrenzung der berichteten Segmente offengelegt sind.

Plausibilitätsprüfungen schützen vor groben Fehlern. Randverteilungen der Stichprobe sollten mit bekannten Strukturdaten verglichen werden. Auffällige Abweichungen bei Alter, Region oder Unternehmensgröße sind ein Hinweis auf Rahmenprobleme oder eine ungewöhnliche Feldphase.

Reproduzierbarkeit ist ein Qualitätsmerkmal. Wer Auswahl, Gewichtung und Auswertung in Skripten festhält und versioniert, kann Ergebnisse Monate später erneut erzeugen. Das gilt besonders, wenn Gewichte neu berechnet werden, weil sich Randverteilungen geändert haben.

Berichte sollten Unsicherheit sichtbar machen, statt sie zu verstecken. Eine Angabe wie 42 Prozent mit plus/minus 3,1 Prozentpunkten ist ehrlicher als eine Zahl ohne Intervall. Bei kleinen Untergruppen gehört die Fallzahl in die Fußzeile der Tabelle.

Häufige Fragen

Was unterscheidet Stichprobenfehler und Nicht-Stichprobenfehler?

Der Stichprobenfehler entsteht durch die Auswahl der Fälle und lässt sich bei Zufallsauswahlen berechnen. Nicht-Stichprobenfehler entstehen durch Abdeckung, Antwortausfall, Frageformulierung und Erfassung. Sie sind meist größer und wachsen nicht mit der Fallzahl.

Wie groß muss eine Stichprobe sein?

Das hängt von der gewünschten Fehlermarge, dem erwarteten Anteil und den geplanten Untergruppen ab. Für Gesamtwerte reichen bei 50 Prozent Anteil und 95 Prozent Sicherheit rund 1.000 Fälle für etwa 3,1 Prozentpunkte. Für Segmente mit wenigen Fällen gelten deutlich größere Intervalle.

Kann man aus einer Quotenstichprobe ein Konfidenzintervall berechnen?

Nur mit zusätzlichen Annahmen über die Auswahlwahrscheinlichkeiten, die im Quotenplan unbekannt bleiben. Seriöse Berichte weisen dann keine formale Fehlermarge aus, sondern nennen Stichprobengröße, Strukturmerkmale und bekannte Verzerrungsrisiken.

Wie wirkt sich Gewichtung auf die Fehlermarge aus?

Gewichtung senkt die effektive Fallzahl und vergrößert dadurch das Konfidenzintervall. Ein Designeffekt von 1,5 macht aus 1.000 Fällen rechnerisch 667. Die Fehlermarge wächst im Beispiel von 3,1 auf rund 3,8 Prozentpunkte.

Warum sinkt die Aussagekraft bei hoher Ausschöpfungsverweigerung?

Weil die Nichtteilnahme selten zufällig ist. Teilnehmende unterscheiden sich oft systematisch von den Verweigerern, etwa bei Interesse, Einkommen oder Betroffenheit. Je niedriger die Ausschöpfung, desto stärker kann dieser Unterschied das Ergebnis verschieben.