Stichprobe und Aussagekraft bei Online-Panels richtig gewichten

Das Wichtigste auf einen Blick

Panels rekrutieren aktiv, per Zufallskontakt, oder passiv über Selbstselektion.
Quoten gleichen Verteilungen an, sie ersetzen keine Auswahlwahrscheinlichkeit.
Gewichte korrigieren nur Merkmale, die in die Anpassung eingehen.
Der Designeffekt senkt die effektive Fallzahl, oft spürbar.
Vor dem Einkauf Methodenbericht und Panelangaben prüfen.

Wie Panels Teilnehmer gewinnen

Panelanbieter nutzen zwei Wege. Bei der aktiven Rekrutierung laden Institute Personen per Telefon, Post oder persönlich ein; die Anmeldung wird meist doppelt bestätigt. Bei der passiven Rekrutierung führen Werbebanner, Gewinnspiele und Verlinkungen zur Registrierung. Der zweite Weg ist günstiger, er liefert aber Menschen, die von sich aus mitmachen wollen.

Entscheidend ist, ob die Auswahlwahrscheinlichkeit bekannt ist. Bei einer Zufallsauswahl aus einem Register lässt sich der Stichprobenfehler berechnen. Bei selbstrekrutierten Panelisten fehlt diese Grundlage. Der Paneldienstleister respondi, heute Teil von Bilendi nennt in seiner Produktbeschreibung Angaben zu Rekrutierung und Panelaufbau.

Quoten planen und Standards prüfen

Quoten legen fest, wie viele Interviews je Merkmalskombination entstehen, etwa nach Alter, Geschlecht, Region und Bildung. Das Ziel ist eine Verteilung, die der Grundgesamtheit ähnelt. Quoten greifen aber nur bei den vorgegebenen Merkmalen, und die Auswahl innerhalb einer Quote bleibt ungesteuert. Wer eine offene Quote füllt, kann jeden passenden Panelisten einsetzen.

Der Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) und die im Rat der Deutschen Markt- und Sozialforschung vertretenen Verbände haben gemeinsame Qualitätsstandards für Online-Befragungen veröffentlicht. Verlangt werden Angaben zu Rekrutierung, Quotierung, Gewichtung und Datenkontrolle. YouGov beschreibt auf seiner Lösungsseite, welche Erhebungsformate auf Panelbasis angeboten werden. Solche Angaben ersetzen keinen Methodenbericht.

Gewichtungsvariablen und Beispielgewichte

Designgewichte korrigieren unterschiedliche Auswahlchancen im Stichprobendesign. Anpassungsgewichte, auch Redressment genannt, gleichen die Stichprobe an bekannte Randverteilungen an. Üblich sind Alter, Geschlecht, Region, Bildung, Haushaltsgröße und Erwerbsstatus. Verfahren wie Randanpassung oder Zellenanpassung verteilen die Gewichte so, dass die Randverteilungen passen. Software wie Qualtrics hält dafür Gewichtungsfunktionen bereit, die in der Support-Dokumentation von Qualtrics beschrieben sind.

Gewichte ändern die Zusammensetzung, nicht die Antworten. Ist eine Gruppe im Panel zu klein, hilft Aufwertung nur begrenzt: Wenige Personen stehen dann für viele.

Beispielrechnung, keine echten Paneldaten:

Gewicht

Frauen 18 bis 29 Jahre 125

Männer ab 60 Jahren 79

Haushalte mit drei und mehr Personen 123

Show the numbers

Frauen 18 bis 29 Jahre	125
Männer ab 60 Jahren	79
Haushalte mit drei und mehr Personen	123

Das Gewicht ist der Zielanteil geteilt durch den Stichprobenanteil. Ein Wert über eins wertet eine Gruppe auf, ein Wert unter eins ab. Gewichte über 3 oder unter 0,33 gelten als auffällig, weil sie die Streuung stark erhöhen.

Designeffekt und effektive Fallzahl

Ungleiche Gewichte erzeugen zusätzliche Streuung. Die effektive Fallzahl ergibt sich aus dem Quadrat der Summe aller Gewichte geteilt durch die Summe der quadrierten Gewichte. Bei 1.200 Interviews und einem Designeffekt von 1,5 liegt sie bei 800. Konfidenzintervalle gehören dann auf die effektive Fallzahl bezogen, nicht auf die Zahl der Interviews. In Studienberichten fehlt diese Angabe häufig.

Wo die Aussagekraft endet

Kein Panel deckt die gesamte Grundgesamtheit ab. Personen ohne Internetzugang, mit seltenen Merkmalen oder geringer Antwortbereitschaft fehlen systematisch. Wer oft teilnimmt, antwortet zudem schneller und routinierter; Aufmerksamkeitsfragen und Zeitkontrollen sollen sogenannte Speeders erkennen.

Die Ausschöpfung, also der Anteil der eingeladenen Personen, die tatsächlich teilnehmen, ist ein zentraler Wert im Methodenbericht. Sie hängt eng mit der Zahl der Einladungen und der Höhe der Incentivierung zusammen. Ein hoher Anreiz erhöht die Teilnahmebereitschaft, er zieht aber auch Personen an, die vor allem die Prämie wollen.

GESIS betreibt mit dem GESIS Panel ein bevölkerungsbezogenes Panel, dessen Teilnehmer überwiegend offline gewonnen werden, und dokumentiert Gewichtungsverfahren für wissenschaftliche Befragungen. Wer gewichtete Modelle automatisiert, sollte den Rechtsrahmen der Verordnung (EU) 2024/1689 prüfen; ob Pflichten greifen, hängt von der Rolle des Systems ab. ESOMAR stellt Einkäufern einen Fragenkatalog für Online-Sample bereit, der Rekrutierung, Quoten und Gewichtung abfragt.

Checkliste für den Einkauf:

Wie wurden die Panelisten rekrutiert, aktiv oder passiv?
Welche Quoten waren gesetzt, wie viele Interviews fielen aus?
Welche Variablen sind gewichtet, wie stark streuen die Gewichte?
Wie hoch sind Designeffekt und effektive Fallzahl?

Häufige Fragen

Warum erlaubt eine Quotenstichprobe keinen Zufallsschluss?

Weil die Auswahlchance jeder Person unbekannt bleibt. Der Stichprobenfehler lässt sich nicht aus dem Design ableiten, nur modellbasiert schätzen. Das sollten Berichte offenlegen.

Welche Gewichtungsvariablen sind üblich?

Alter, Geschlecht, Region, Bildung, Haushaltsgröße und Erwerbsstatus. Jede zusätzliche Variable senkt die effektive Fallzahl, deshalb ist Sparsamkeit sinnvoll.

Was bedeutet ein Designeffekt von 1,5?

Die Streuung ist anderthalbmal so groß wie bei gleicher Fallzahl ohne Gewichtung. Aus 1.200 Interviews werden rechnerisch 800.

Woran erkenne ich ein belastbares Panel?

An nachvollziehbaren Angaben zu Rekrutierung, Panelgröße, Quotenplan, Gewichtung, Ausschöpfung und Incentivierung. Fehlen sie, ist Vorsicht angebracht.

Kann ich ungewichtet auswerten?

Nur wenn die Verteilung der Stichprobe der Grundgesamtheit entspricht. Sonst bleiben Verzerrungen bestehen, auch bei großer Fallzahl.