Online-Panels richtig gewichten: Gewichte im Datensatz prüfen

Das Wichtigste auf einen Blick

So entsteht ein Gewicht

Das Gewicht einer Person ergibt sich aus dem Zielanteil ihrer Gruppe geteilt durch den Stichprobenanteil. Ein Wert über eins wertet die Gruppe auf, ein Wert unter eins wertet sie ab. Das gilt für jede Merkmalskombination, die in die Anpassung eingeht.

Zwei Gewichtsarten sollten Sie im Datensatz unterscheiden. Designgewichte korrigieren unterschiedliche Auswahlchancen im Stichprobendesign. Anpassungsgewichte, auch Redressment genannt, gleichen die Stichprobe an bekannte Randverteilungen an.

Bei selbstrekrutierten Panelisten fehlt die Grundlage für das Designgewicht, weil die Auswahlwahrscheinlichkeit unbekannt bleibt. Dann bleibt nur die Anpassung an Randverteilungen, und die setzt eine verlässliche Zielverteilung voraus.

Welche Variablen in die Anpassung gehören

Üblich sind Alter, Geschlecht, Region, Bildung, Haushaltsgröße und Erwerbsstatus. Jede dieser Variablen verbessert die Passung nur dort, wo sie in die Anpassung eingeht, und jede kostet effektive Fallzahl. Wenige Merkmale mit klarer Zielverteilung sind deshalb besser als eine lange Liste.

Die Zielverteilung braucht eine Quelle mit bekannter Auswahl. Der Mikrozensus der amtlichen Statistik befragt Haushalte an Anschriften, die mithilfe einer Zufallsstichprobe ausgewählt wurden. Ein Panel mit Selbstanmeldung kann das nicht leisten, deshalb dient die amtliche Statistik als Vergleichsmaßstab.

Auffällige Gewichte im Datensatz erkennen

Ein einzelnes extremes Gewicht verrät mehr als der Mittelwert aller Gewichte. Bei Werten über 3 oder unter 0,33 steht eine kleine Gruppe für viele Personen oder umgekehrt, und die Streuung steigt stark.

Ist eine Gruppe im Panel zu klein, hilft Aufwertung nur begrenzt: Wenige Personen stehen dann für viele. Prüfen Sie in diesem Fall zuerst, wie viele Befragte hinter der Gruppe stehen, bevor Sie Ergebnisse für sie ausweisen.

Designeffekt und effektive Fallzahl

Ungleiche Gewichte erzeugen zusätzliche Streuung, und der Designeffekt misst sie. Die effektive Fallzahl ergibt sich aus dem Quadrat der Summe aller Gewichte geteilt durch die Summe der quadrierten Gewichte. Bei 1.200 Interviews und einem Designeffekt von 1,5 liegt sie bei 800.

Konfidenzintervalle gehören auf die effektive Fallzahl bezogen, nicht auf die Zahl der Interviews. In Studienberichten fehlt diese Angabe häufig, deshalb lohnt sich die Nachfrage beim Institut.

Was Gewichtung nicht repariert

Gewichtung korrigiert Verhältnisse, keine fehlenden Personen. Kein Panel deckt die gesamte Grundgesamtheit ab: Personen ohne Internetzugang, mit seltenen Merkmalen oder geringer Antwortbereitschaft fehlen systematisch, und ein Gewicht erfindet sie nicht nach.

Auch das Antwortverhalten bleibt unberührt. Wer oft teilnimmt, antwortet schneller und routinierter; Aufmerksamkeitsfragen und Zeitkontrollen sollen sogenannte Speeders erkennen. Ein hoher Anreiz erhöht die Teilnahmebereitschaft, er zieht aber auch Personen an, die vor allem die Prämie wollen.

Die Ausschöpfung, also der Anteil der eingeladenen Personen, die tatsächlich teilnehmen, ist ein zentraler Wert im Methodenbericht. Der Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) und die im Rat der Deutschen Markt- und Sozialforschung vertretenen Verbände verlangen Angaben zu Rekrutierung, Quotierung, Gewichtung und Datenkontrolle.

Wer gewichtete Modelle automatisiert, sollte den Rechtsrahmen der Verordnung (EU) 2024/1689 prüfen; ob Pflichten greifen, hängt von der Rolle des Systems ab. ESOMAR stellt Einkäufern einen Fragenkatalog für Online-Sample bereit, der Rekrutierung, Quoten und Gewichtung abfragt. Welche Angaben ein Angebot dazu enthalten sollte, fasst die Checkliste für Ausschreibungen zusammen.

Prüfliste für die Gewichte

Bevor Sie gewichtete Ergebnisse weitergeben, klären Sie diese Punkte. Sie ergänzen die Checkliste für die Ergebnisprüfung, die den ganzen Datensatz betrifft.

Häufige Fragen

Wann kann ich ungewichtet auswerten?

Nur wenn die Verteilung der Stichprobe der Grundgesamtheit entspricht. Sonst bleiben Verzerrungen bestehen, auch bei großer Fallzahl.

Was unterscheidet Design- und Anpassungsgewicht?

Das Designgewicht korrigiert unterschiedliche Auswahlchancen im Stichprobendesign. Das Anpassungsgewicht gleicht die Stichprobe an bekannte Randverteilungen an. Bei selbstrekrutierten Panelisten fehlt die Grundlage für das Designgewicht, weil die Auswahlwahrscheinlichkeit unbekannt bleibt.

Was bedeutet ein Designeffekt von 1,5?

Die Streuung ist anderthalbmal so groß wie bei gleicher Fallzahl ohne Gewichtung. Aus 1.200 Interviews werden rechnerisch 800.

Warum senkt jede zusätzliche Gewichtungsvariable die Fallzahl?

Jede zusätzliche Variable senkt die effektive Fallzahl. Deshalb ist Sparsamkeit sinnvoll.

Warum erlaubt eine Quotenstichprobe keinen Zufallsschluss?

Weil die Auswahlchance jeder Person unbekannt bleibt. Der Stichprobenfehler lässt sich nicht aus dem Design ableiten, nur modellbasiert schätzen. Das sollten Berichte offenlegen. Mehr zur Grundlage steht im Leitfaden zur Aussagekraft.