Stichprobe und Aussagekraft als Checkliste für die Ergebnisprüfung

Das Wichtigste auf einen Blick

• Prüfe zuerst die realisierte Fallzahl, nicht die geplante.
• Jede Subgruppe braucht eine eigene, ausreichende Zellenbesetzung.
• Antwortrate und Ausfallgründe gehören getrennt ausgewiesen.
• Gewichtung verändert Ergebnisse, Basis und Methode gehören in den Bericht.
• Verlange Konfidenzintervalle statt reiner Punktschätzer.

Fallzahl und Auswahlgrundlage

Suche im Feldbericht zuerst die realisierte Fallzahl. Entscheidend ist, wie viele Interviews tatsächlich in die Auswertung eingegangen sind. Ein Bericht, der nur die geplante Bruttostichprobe nennt, lässt die Zahl der Ausfälle offen.

Kläre danach die Auswahlgrundlage. Handelt es sich um eine Zufallsauswahl aus einem Register, um eine Quotenauswahl oder um eine Selbstselektion über einen offenen Online-Zugang?

Bei amtlichen Erhebungen lassen sich Methodik und Ergebnisse gegen die Veröffentlichungen des Statistischen Bundesamtes zu den Themen Wirtschaft prüfen. Auch die Ziehungseinheit gehört dazu. Werden Personen, Haushalte oder Betriebe ausgewählt? Erst daraus ergibt sich, über welche Grundgesamtheit die Studie eine Aussage erlaubt.

Welche Auswahlverfahren Aussagekraft tragen

• Eine Zufallsauswahl aus einem Register erlaubt Rückschlüsse auf die Grundgesamtheit.
• Eine Quotenauswahl bildet Merkmale nach, eine Fehlermarge lässt sich aber nicht berechnen.
• Eine offene Selbstselektion trägt keine Verallgemeinerung.
• Wiederholt befragte Panelmitglieder verhalten sich oft anders als Erstteilnehmer.

Lass dir das Verfahren im Bericht benennen. Ohne diese Angabe bleibt jede Hochrechnung eine Behauptung.

Antwortrate und Ausfälle

Verlange die Antwortrate getrennt nach Verweigerungen, stichprobenneutralen Ausfällen und ungeklärten Fällen. Eine pauschale Quote verdeckt, an welcher Stelle die Stichprobe schrumpft.

Bewerte die Rate im Verhältnis zum Thema und zur Zielgruppe. Fünf Prozent Ausschöpfung bei einer Pflichtbefragung von Unternehmen bedeutet etwas anderes als bei einer freiwilligen Verbraucherumfrage.

Prüfe, ob die Ausfälle systematisch sind. Fehlen junge oder einkommensschwache Gruppen, leidet die Aussagekraft stärker als bei einer niedrigen, aber ausgeglichenen Rate.

Subgruppen und Gewichtung

Für jede berichtete Subgruppe gilt eine eigene Fallzahlgrenze. Liegt eine Zelle unter etwa 100 Fällen, werden Anteile und Mittelwerte instabil, Unterschiede sind dann oft Zufall.

Verlange deshalb die Zellenbesetzung zu jedem Teilwert. Ohne sie ist eine Aussage über Region, Altersband oder Segment nicht prüfbar.

Gewichtung ist der nächste Punkt. Designgewichtung korrigiert unterschiedliche Auswahlwahrscheinlichkeiten, Redressement gleicht Strukturen an bekannte Randverteilungen an. Beide Verfahren müssen mit ihrer Basis im Bericht stehen.

Frage nach den Sollzahlen und ihrer Herkunft. Als Referenz für Genauigkeit und Zuverlässigkeit dienen die Qualitätskriterien bei Eurostat.

Konfidenzintervall und Fehlermarge

Ein Punktschätzer ohne Unsicherheitsangabe ist für die Abnahme unbrauchbar. Verlange Konfidenzintervalle, mindestens für die zentralen Kennzahlen. Kläre zudem, ob zweiseitig getestet wurde und auf welchem Signifikanzniveau.

Ein Rechenbeispiel: Bei 1.000 Befragten und einem Anteil von 50 Prozent liegt die Fehlermarge einer einfachen Zufallsauswahl bei rund 3 Prozentpunkten. Die Formel lautet 1,96 mal Wurzel aus 0,25 geteilt durch 1.000. Das ist ein Beispiel, kein Wert aus einer konkreten Studie.

Achte auf Designeffekte. Klumpung und Gewichtung vergrößern die Fehlermarge, häufig um den Faktor 1,5 bis 2. Ohne diesen Zuschlag wirken Unterschiede sicherer, als sie sind.

Prüftabelle für die Abnahme

Prüfpunkt	Leitfrage	Nachweis
Fallzahl	Wie viele Fälle gingen in die Auswertung?	Feldbericht
Subgruppen	Wie groß ist jede berichtete Zelle?	Tabellenband
Antwortrate	Wie hoch ist die Ausschöpfung je Ausfallart?	Feldprotokoll
Gewichtung	Welche Merkmale, welche Sollzahlen?	Gewichtungsanhang
Konfidenzintervall	Wurde ein Designeffekt eingerechnet?	Methodenteil
Dokumentation	Sind Instrument und Feldzeit nachvollziehbar?	Fragebogen, Feldzeitraum

Typische Schwachstellen im Abnahmebericht

Mehrere Muster kehren in Abnahmeberichten wieder. Häufig fehlt die Zellenbesetzung, oder die Gewichtung bleibt unkommentiert. Auch Konfidenzintervalle ohne Designeffekt sind verbreitet.

Ein weiterer Punkt ist das Testen vieler Subgruppen ohne Korrektur. Werden 20 Gruppen geprüft, ist mindestens ein signifikanter Unterschied nach Zufall zu erwarten. Verlange eine Korrektur oder eine Trennung zwischen geplanten und explorativen Auswertungen.

Dokumentation und Feldbericht

Ohne Feldbericht ist keine Prüfung möglich. Verlange Erhebungszeitraum, Erhebungsmodus, Fragebogen, Feldsteuerung und die Definition der Ausfallarten.

Prüfe, ob der Fragebogen im Original vorliegt und ob Frageformulierungen zwischen Welle und Welle unverändert blieben.

Bei Online-Erhebungen hilft ein Blick in die Werkzeugdokumentation, um zu sehen, welche Feldparameter protokolliert werden: Funktionsumfang von SoSci Survey.

Für Methodik und Standardfehler lohnt ein Blick in die Methodenhandbücher von Eurostat. Sie beschreiben, wie Stichprobenfehler und Gewichtung in amtlichen Erhebungen behandelt werden.

Fehlt ein Punkt, ist das kein Formfehler. Es bedeutet, dass die Aussagekraft der Ergebnisse offen bleibt.

Häufige Fragen

Ab welcher Fallzahl ist eine Stichprobe belastbar?

Eine feste Untergrenze gibt es nicht. Für Gesamtwerte gelten oft 300 bis 500 Fälle als brauchbar, für Subgruppen eher 100 Fälle je Zelle.

Was sagt die Antwortrate über die Aussagekraft?

Sie zeigt, wie stark die Stichprobe geschrumpft ist. Wichtiger als die Höhe ist, ob die Ausfälle systematisch verzerren.

Muss eine Gewichtung immer dokumentiert werden?

Ja. Sobald gewichtet wird, verändern sich Werte, Fehlermargen und Subgruppenvergleiche.

Warum reicht ein Punktschätzer nicht aus?

Weil er die Unsicherheit verschweigt. Zwei Mittelwerte können sich unterscheiden, obwohl ihre Konfidenzintervalle überlappen.

Welche Unterlagen gehören zur Abnahme?

Fragebogen, Feldbericht, Gewichtungsanhang, Tabellenband mit Zellenbesetzung sowie der Methodenteil mit Konfidenzintervallen.