Stichprobe und Aussagekraft mit 5 Fehlern in der Stichprobenziehung

Das Wichtigste auf einen Blick

Fehler 1: Die Grundgesamtheit passt nicht zum Auswahlrahmen

Jede Stichprobe schätzt Merkmale einer definierten Population. Bleibt diese Definition unscharf, zieht der Auswahlrahmen andere Einheiten als jene, über die später Aussagen gemacht werden.

Ein konkreter Fall: Eine Zufriedenheitsstudie soll alle Betriebe in Nordrhein-Westfalen mit mindestens 50.000 Euro Jahresumsatz abbilden. Als Rahmen dient eine Datei der Gewerbeanmeldungen, die auch Nebenerwerb, ruhende Gewerbe und abgemeldete Betriebe enthält.

Illustratives Beispiel: Von 40.000 Einträgen entfallen 6.000 auf ruhende oder abgemeldete Betriebe und 9.000 auf Nebenerwerb. Rund 38 Prozent der Nettostichprobe gehören damit nicht zur Zielgruppe, kleine Betriebe sind überrepräsentiert.

Die Folge ist keine zufällige Abweichung, sondern eine systematische Verschiebung der Mittelwerte. Wirtschaftsstatistiken des Statistischen Bundesamtes liefern Unternehmensregister und Klassifikationen für eine saubere Abgrenzung (Themen Wirtschaft beim Statistischen Bundesamt).

Fehler 2: Coverage-Bias durch einen lückenhaften Auswahlrahmen

Coverage-Bias entsteht, wenn der Rahmen Teile der Grundgesamtheit systematisch ausschließt. Typische Fälle sind Festnetzstichproben ohne Mobilfunkanteil und Mitgliederdateien ohne ausgetretene Mitglieder.

Konkret: Eine Telefonbefragung nutzt nur Festnetznummern. Angenommen, 18 Prozent der Zielpersonen leben in einem Haushalt ohne Festnetzanschluss und sind im Schnitt jünger. Diese Personen hatten nie eine Auswahlchance.

Die Schätzung bleibt konsistent zum Rahmen, nicht zur Population. Der ADM, der Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute, kombiniert Festnetz- und Mobilfunkstichproben in einem Dual-Frame-Ansatz. Eurostat nennt Genauigkeit und Abdeckung als eigene Qualitätsdimensionen amtlicher Statistik (Qualitätsdimensionen bei Eurostat).

Fehler 3: Nonresponse verschiebt die Verteilung

Nonresponse ist keine kleinere Stichprobe, sondern eine Auswahl anderer Personen. Wer antwortet, ist häufiger interessiert oder von der Sache betroffen.

Beispielrechnung, rein illustrativ: Von 1.000 gezogenen Personen antworten 300, die Ausschöpfung liegt bei 30 Prozent. Unter den Antwortenden sind 60 Prozent zufrieden, unter den Nichtantwortenden 40 Prozent. Für die Gesamtgruppe ergibt sich ein Anteil von 46 Prozent, die Schätzung aus den Antworten liegt bei 60 Prozent. Die Abweichung beträgt 14 Prozentpunkte.

Der ADM regelt in seinen Standards Ausschöpfungsprotokolle, Kontaktversuche und Ausfallgründe. Anbieter wie respondi (Bilendi) dokumentieren Rekrutierung und Pflege ihrer Online-Panels, sodass sich Panelausfälle von Ausfällen in Zufallsstichproben unterscheiden lassen.

Fehler 4: Selektionseffekte in Rekrutierung und Feld

Selektion wirkt innerhalb eines Rahmens, der formal passt. Drei Muster sind typisch: Selbstselektion bei offenen Online-Umfragen, Interviewerauswahl bei schwer erreichbaren Haushalten und Panelmortalität.

Fall eins: Eine offene Umfrage auf der Website eines Verbands verzeichnet 12.000 Seitenaufrufe und 900 vollständige Interviews, eine Teilnahmequote von 7,5 Prozent. Wer sich für die Verbandsarbeit interessiert, klickt häufiger mit, die Stichprobe fällt themenaffiner aus als die Mitgliedschaft.

Fall zwei, ebenfalls illustrativ: Ein Access-Panel verliert binnen zwölf Monaten 2.000 von 8.000 aktiven Teilnehmenden, und wer bleibt, ist stärker an Umfragen interessiert. Das Leibniz-Institut GESIS stellt Methodenberichte bereit, mit denen sich solche Ausfälle einordnen lassen. YouGov arbeitet mit aktiv rekrutierten, quotierten Panels, was Selbstselektion verringert, aber nicht aufhebt.

Folge: Die Stichprobe bleibt groß und die Schätzung präzise, sie kann trotzdem systematisch falsch sein.

Fehler 5: Ungeeignete Gewichtung erzeugt neue Verzerrung

Gewichtung soll bekannte Abweichungen korrigieren und kann neue Fehler erzeugen. Werden viele Merkmale gleichzeitig angepasst, entstehen kleine Zellen und extreme Gewichte.

Illustrativ: Bei 1.000 Antwortenden sollen Alter, Geschlecht und Bundesland in 16 Zellen gleichzeitig angepasst werden. Auf Männer ab 70 Jahren in einem Stadtstaat entfallen 9 Fälle, das nötige Gewicht liegt bei 4,3. Solche Gewichte blähen die Varianz auf, der Designeffekt steigt auf 2, die effektive Fallzahl sinkt auf 500.

Ein zweites Problem ist die Auswahl der Merkmale. Ein Redressement nach Alter und Geschlecht hilft wenig, wenn die Antwortbereitschaft mit der Zielgröße zusammenhängt und nicht mit diesen Merkmalen. Gewichtung repariert Randverteilungen, nicht Mechanismen.

Prüfliste: Fünf Kontrollen vor dem Feldstart

Häufige Fragen

Was unterscheidet Coverage-Bias von Nonresponse?

Bei Coverage-Bias hatten Einheiten nie eine Auswahlchance, bei Nonresponse wurden sie ausgewählt, antworten aber nicht. Den ersten Fehler heilt Gewichtung praktisch nicht, den zweiten nur teilweise.

Woran erkenne ich eine falsche Grundgesamtheit?

Vergleiche Definition, Erhebungseinheit und Auswahlrahmen. Enthält der Rahmen Nebenerwerb, ruhende oder abgemeldete Betriebe, bezieht sich die Schätzung auf eine andere Population als die Zielgruppe.

Ab welcher Ausschöpfungsquote wird eine Stichprobe unbrauchbar?

Eine feste Grenze gibt es nicht. Entscheidend ist, wie stark die Antwortbereitschaft mit der Zielgröße zusammenhängt. 20 Prozent Ausschöpfung mit schwachem Zusammenhang sind weniger problematisch als 50 Prozent mit starkem.

Kann Gewichtung jeden Ausfall reparieren?

Nein. Sie braucht bekannte Randverteilungen und einen Zusammenhang zwischen Antwortbereitschaft und Merkmalen. Fehlt er, verschiebt sie vor allem die Varianz.