Stichprobe prüfen: Diese Unterlagen verlangst du zur Abnahme

Das Wichtigste auf einen Blick

Fünf Unterlagen, fünf Fragen

Prüfe nicht den Bericht, sondern die Unterlagen dahinter. Jede Unterlage beantwortet eine Frage zur Stichprobe, und fehlt sie, bleibt die Frage offen. Lege die Unterlagen am besten schon im Auftrag fest, wie es die Checkliste für Ausschreibungen vorschlägt.

Feldbericht: Fallzahl, Verfahren und Ausfälle

Suche im Feldbericht zuerst die realisierte Fallzahl. Entscheidend ist, wie viele Interviews tatsächlich in die Auswertung eingegangen sind. Ein Bericht, der nur die geplante Bruttostichprobe nennt, lässt die Zahl der Ausfälle offen.

Kläre danach die Auswahlgrundlage und lass dir das Verfahren benennen. Ohne diese Angabe bleibt jede Hochrechnung eine Behauptung.

Verlange die Antwortrate getrennt nach Verweigerungen, stichprobenneutralen Ausfällen und ungeklärten Fällen. Eine pauschale Quote verdeckt, an welcher Stelle die Stichprobe schrumpft. Fünf Prozent Ausschöpfung bei einer Pflichtbefragung von Unternehmen bedeutet etwas anderes als bei einer freiwilligen Verbraucherumfrage.

Bei amtlichen Erhebungen lassen sich Methodik und Ergebnisse gegen die Veröffentlichungen des Statistischen Bundesamtes zu den Themen Wirtschaft prüfen. Auch die Ziehungseinheit gehört dazu: Werden Personen, Haushalte oder Betriebe ausgewählt? Erst daraus ergibt sich, über welche Grundgesamtheit die Studie eine Aussage erlaubt.

Tabellenband: Zellenbesetzung je Subgruppe

Für jede berichtete Subgruppe gilt eine eigene Fallzahlgrenze. Das Statistische Bundesamt stuft im Mikrozensus Ergebnisse, die auf 71 bis unter 120 Befragten beruhen, als relativ unsicher ein. Liegt eine Zelle unter etwa 100 Fällen, sind Unterschiede oft Zufall.

Verlange deshalb die Zellenbesetzung zu jedem Teilwert. Ohne sie ist eine Aussage über Region, Altersband oder Segment nicht prüfbar. Werden 20 Gruppen geprüft, ist mindestens ein signifikanter Unterschied nach Zufall zu erwarten. Verlange eine Korrektur oder eine Trennung zwischen geplanten und explorativen Auswertungen.

Gewichtungsanhang: Basis und Sollzahlen

Designgewichtung korrigiert unterschiedliche Auswahlwahrscheinlichkeiten, Redressement gleicht Strukturen an bekannte Randverteilungen an. Beide Verfahren müssen mit ihrer Basis im Bericht stehen. Sobald gewichtet wird, verändern sich Werte, Fehlermargen und Subgruppenvergleiche.

Frage nach den Sollzahlen und ihrer Herkunft. Bei Erhebungen mit Selbstselektion lohnt der Blick auf das Thema Online-Panels richtig gewichten, denn wiederholt befragte Panelmitglieder verhalten sich oft anders als Erstteilnehmer. Prüfe auch, ob Ausfälle systematisch sind: Fehlen junge oder einkommensschwache Gruppen, leidet die Aussagekraft stärker als bei einer niedrigen, aber ausgeglichenen Rate.

Methodenteil: Konfidenzintervall und Designeffekt

Ein Punktschätzer ohne Unsicherheitsangabe ist für die Abnahme unbrauchbar. Verlange Konfidenzintervalle, mindestens für die zentralen Kennzahlen. Kläre zudem, ob zweiseitig getestet wurde und auf welchem Signifikanzniveau.

Ein Rechenbeispiel: Bei 1.000 Befragten und einem Anteil von 50 Prozent liegt die Fehlermarge einer einfachen Zufallsauswahl bei rund 3 Prozentpunkten. Die Formel lautet 1,96 mal Wurzel aus 0,25 geteilt durch 1.000. Das ist ein Beispiel, kein Wert aus einer konkreten Studie.

Achte auf Designeffekte. Klumpung und Gewichtung vergrößern die Fehlermarge, häufig um den Faktor 1,5 bis 2. Ohne diesen Zuschlag wirken Unterschiede sicherer, als sie sind.

Fragebogen und Feldmaterial

Ohne Feldbericht ist keine Prüfung möglich. Verlange Erhebungszeitraum, Erhebungsmodus, Fragebogen, Feldsteuerung und die Definition der Ausfallarten.

Prüfe, ob der Fragebogen im Original vorliegt und ob Frageformulierungen zwischen Welle und Welle unverändert blieben. Bei Online-Erhebungen hilft ein Blick in die Werkzeugdokumentation, um zu sehen, welche Feldparameter protokolliert werden. Eine Übersicht der Werkzeuge bietet der Vergleich zu Online-Tools für die Kundenbefragung.

Wenn eine Unterlage fehlt

Fehlt ein Punkt, ist das kein Formfehler. Es bedeutet, dass die Aussagekraft der Ergebnisse offen bleibt. Fordere die Unterlage nach, bevor du abnimmst, und halte fest, was bis dahin nicht geprüft werden konnte.

Wie ein vollständiger Methodenbericht aufgebaut ist, beschreibt der Leitfaden für belastbare Marktforschung. Er dient als Maßstab, gegen den du den vorliegenden Bericht lesen kannst.

Häufige Fragen

Welche Unterlagen gehören zur Abnahme?

Fragebogen, Feldbericht, Gewichtungsanhang, Tabellenband mit Zellenbesetzung sowie der Methodenteil mit Konfidenzintervallen.

Ab welcher Fallzahl ist eine Subgruppe belastbar?

Eine feste Untergrenze gibt es nicht. Für Subgruppen gelten eher 100 Fälle je Zelle, für Gesamtwerte oft 300 bis 500 Fälle als brauchbar.

Muss eine Gewichtung immer dokumentiert werden?

Ja. Sobald gewichtet wird, verändern sich Werte, Fehlermargen und Subgruppenvergleiche.

Warum reicht ein Punktschätzer nicht aus?

Weil er die Unsicherheit verschweigt. Zwei Mittelwerte können sich unterscheiden, obwohl ihre Konfidenzintervalle überlappen.