Collage: Stafeeva, stock.adobe.com (people); KAS
Dieses Papier vergleicht mithilfe eines einmaligen Experiments verschiedene Umfragemethoden. Dabei werden zwei reine Online-Stichproben, drei Mixed-Mode-Stichproben und eine reine Telefonstichprobe jeweils verschiedener Institute analysiert. Die Fragestellungen sind identisch. Die Analyse verstärkt die Zweifel an der Qualität von vielen Online-Umfragen. Um bevölkerungsrepräsentative Daten zu erhalten, führt kein Weg an einer Zufallsauswahl der Befragten vorbei.
Einige Ergebnisse im Detail:
- Die drei Erhebungsmethoden im Telefon-, Online- und Mixed-Mode-Verfahren unterscheiden sich aufgrund der Stichprobenziehung in ihrer Qualität. Während Telefon-Verfahren auf reine Zufallsstichproben setzen, werden in Online-Erhebungen mit Nicht-Zufallsstichproben nur Personen erreicht, die eine gesteigerte Bereitschaft zur Teilnahme aufweisen.
- Die Ergebnisse von Nicht-Zufallsstichproben schwanken ungewöhnlich stark und liefern daher unzuverlässige Ergebnisse.
- Gewichtungen sind kein Garant für Repräsentativität. Sie können fehlende Gruppen („Offliner”/ältere Menschen) nicht ausgleichen. Unbekannte Abweichungen werden durch Gewichtungen nicht korrigiert, sondern ggf. verstärkt.
- Mixed-Mode-Verfahren können soziodemografische Probleme der Telefon-Methode lösen, bringen jedoch qualitative Mängel durch die nicht-zufallsbasierte Stichprobenziehung im Online-Teil mit sich.
