Kommerzielle Wahlumfragen in Österreich: Eine methodische Bestandsaufnahme

12.02.2019

 

Dieser VieCER-Blog-Beitrag beleuchtet die methodische Praxis kommerzieller Wahlumfragen zur „Sonntagsfrage“ in Österreich. Konkret analysiert wurden verwendete Stichprobengrößen, wie statistische Unsicherheit (Schwankungsbreiten) kommuniziert wird und welche Erhebungsmodi (Befragungsarten) zum Einsatz kommen. Als Datenbasis der Analyse diente die Umfragensammlung der Plattform neuwal.com. Zusammenfassend lässt sich über die letzten Jahre eine deutliche Qualitätssteigerung öffentlich publizierter Wahlumfragen sowohl in der Methodik als auch in der Dokumentation von Ergebnissen feststellen. Einige Herausforderungen bleiben jedoch bestehen.


Von: Julian Aichholzer

 

Praxis kommerzieller Wahlumfragen

Während das Vienna Center for Electoral Research (bzw. AUTNES sowie ACIER) eine Plattform für akademisch betriebene Wahlforschung in Österreich bietet, erreichen Informationen über das politische Meinungsbild die österreichische Bevölkerung vorwiegend über kommerzielle Wahlumfragen. Dieses wird üblicherweise in Form der so s.g. „Sonntagsfrage“ („Wen würden Sie wählen, wenn am Sonntag Wahl X wäre?“) in Printmedien und TV-Sendern publiziert.

In diesem Beitrag sollen weniger die möglichen Auswirkungen des so präsentierten Meinungsbildes oder die journalistische Interpretation ihrer Ergebnisse im Vordergrund stehen, sondern eine methodische Bestandsaufnahme der Praxis kommerzieller Wahlumfragen. Drei zentrale Fragen stehen dabei im Vordergrund: Welche Stichprobengrößen werden verwendet? Wie wird statistische Unsicherheit in (Schwankungsbreiten) kommuniziert? Welche Erhebungsmodi werden in der Befragung eingesetzt?

Als Überthema stehen Qualitätskriterien ganz generell im Vordergrund. Konkret werden praktische Auswirkungen der vom VdMI (Verband der Markt- und Meinungsforschungsinstitute Österreichs) im Jänner 2017 publizierten Richtlinien abgeschätzt. Diese selbst auferlegten Regeln formulieren unter anderem: Stichproben von mindestens n = 800 Befragten, keine reinen Online-Erhebungen (CAWI-only), Ausweisen der Schwankungsbreite auf Basis der Deklarierten (d.h. jene mit einer klaren Parteipräferenz) sowie exakte Schwankungsbreiten mit Kommastellen.

 

Datenbasis

Die Datenbasis bildet eine Sammlung publizierter Meinungsumfragen der Sonntagsfrage in Österreich (Nationalratswahlen, EU-Wahlen, Bundesländerergebnisse, Gemeinderatswahlen) durch die Online-Plattform neuwal.com. Diese Daten stehen frei zugänglich als Download zur Verfügung. Mit dokumentiert werden neben der Originalquelle etwa das Datum, durchführendes Institut, geschätzte Anteilswerte aller abgefragten Parteien, die Stichprobengröße inkl. nicht deklarierter Wähler (n), Erhebungsmodus und Schwankungsbreiten der Ergebnisse. Die vorliegende Analyse fokussiert auf den Zeitraum zwischen 2013 und 2018 mit insgesamt n = 627 Umfragen.

 

Verwendete Stichprobengrößen

Die Stichprobengröße einer Umfrage hängt unmittelbar mit der Präzision der berichteten Ergebnisse zusammen: größere Samples liefern größere Genauigkeit der geschätzten Ergebnisse. Im Folgenden wird daher analysiert, ob sich im Mittel die Stichprobengröße über die Jahre verändert hat.

Der Box-Plot unten liefert Informationen über die Häufigkeit des Vorkommens bestimmter Stichprobengrößen (Abb. 1). Innerhalb der Box befinden sich 50% aller Stichproben des Jahres. Die rote Linie innerhalb der Box stellt den Median dar. Die „Whiskers“ bzw. Antennen zeigen Minimal- und Maximalwert ohne „Ausreißer“, d.h. extreme Werte (hier: keine Information bzw. 0 ausgeschlossen), die als Punkt dargestellt werden. 

Die Abbildung zeigt, dass die angegebenen Stichprobengrößen im Mittel über die Zeit zugenommen haben. Im Jahr 2018 befindet sich bereits der Großteil aller Studien im Bereich zwischen n = 800 und n = 1000 Befragten. Dies war vor einigen Jahren eher noch die Ausnahme. Die laut VdMI angestrebte minimale Samplegröße wird somit zum Großteil (im Jahr 2018 von 77% aller Studien) erreicht. Stichprobengrößen hängen jedoch auch vom Erhebungsmodus ab: Speziell CAWI- und Mixed-Mode-Erhebungen erreichen im Mittel Stichproben um n = 800, während Stichproben aus telefonischen Befragungen (CATI) meist darunter und Stichproben aus persönlichen CAPI-Befragungen jeweils deutlich darüber lagen. Die Vermutung liegt nahe, dass reine CAWI- oder Mixed-Mode- Stichproben es auch ermöglichen, verhältnismäßig günstiger eine große Stichprobe zu erreichen.

 

Kommunikation statistischer Unsicherheit (Schwankungsbreite)

Da Anteilswerte (oder andere „Parameter“) aus Stichproben immer Schätzungen der unbekannten Populationswerte, d.h. der „wahren“ Werte, sind, wird deren Unsicherheit meist durch so genannte Konfidenzintervalle (bzw. die Schwankungsbreite) ausgedrückt. Im einfachsten Fall wird die maximale Schwankungsbreite von Prozentwerten (d.h. dann, wenn eine Partei 50% der Stimmen erhielte) mit einer zuvor definierten Sicherheit angegeben (z.B. die Schwankungsbreite nach oben oder unten als die Hälfte eines 95%-Konfidenzintervalls).

Die erwartete Schwankungsbreite lässt sich in einer echten Zufallsstichprobe als (nicht-lineare) Funktion der Stichprobengröße darstellen, nämlich je größer die Stichprobe, desto kleiner die Schwankungsbreite (Abb. 2). Geprüft wird daher, ob laut neuwal.com die Schwankungsbreite dieser Logik folgend berichtet wird.

Wie die Abbildung zeigt, folgen die ausgewiesenen Schwankungsbreiten überwiegend der genannten Logik. Abweichungen scheinen primär durch gerundete Werte der Schwankungsbreiten auf ganze Zahlen zu entstehen, was zumindest den VdMI-Empfehlungen widerspricht. Nur sehr wenige Umfragen (ausschließlich vor 2017) enthielten laut neuwal.com keine Angaben über die Schwankungsbreite (n = 35).

Gleichzeitig bestätigt die Grafik, dass im Normalfall die Schwankungsbreite auf Basis aller, nicht nur deklarierter Wählerinnen und Wähler registriert wird – diese würde selbstverständlich bei weniger Befragten größer ausfallen.[1] Laut neuwal.com- Qualitätschecks wurde seit Februar 2017 nur in 22% aller Umfragen die Zahl deklarierter Befragter genannt.[2] In Medienberichten folgt daraus oftmals eine Diskrepanz zwischen berichteter Nettostichprobe und der (bekannten) realen Stichprobengröße, definiert als Zahl der Deklarierten: letztere ist häufig nur in einer Fußnote bzw. auf Homepages der Umfrageinstitute sichtbar, wie Beispiele (hier und hier) zeigen. In diesem Punkt hat sich somit noch keine einheitliche Form der Berichterstattung durchgesetzt.

 

Verwendete Erhebungsmodi

Ein offenkundiger Trend der Umfrageforschung ist – primär aus Effizienz- und Kostengründen – der zunehmende Einsatz von Online-Befragungen (CAWI) bzw. eine Mischung von Erhebungsmodi (Mixed-Mode, fast immer Telefon/CATI mit CAWI). Der Vorteil einer Mischung ist etwa, dass dadurch Selektionseffekte durch unterschiedliche Listen der Grundgesamtheit (Auswahlrahmen, z.B. Internet-/Festnetzanschluss) bzw. spezielle Stichproben (z.B. hinsichtlich Alter), aber auch unerwünschte Messeffekte verringert bzw. „ausbalanciert“ werden können.

Die Grafik (Abb. 3) zeigt, erstens, dass der verwendete Erhebungsmodus – insbesondere seit 2017 – weitaus transparenter dokumentiert wird. Das heißt, der Anteil publizierter Umfragen ohne Informationen zum Erhebungsmodus ist beachtlich gesunken (Abb. 3: rote Balken). Zweitens ist ein klarer Trend hin zu mehr Mixed-Mode und CAWI-Befragungen zu verzeichnen, was 2018 den historisch geringsten Anteil an rein telefonischen Befragungen (CATI) nach sich gezogen hat. Wie bereits erwähnt, ist dieser Trend mit Kostengründen, aber auch mit dem Versuch, andere Bevölkerungsgruppen (etwa junge, nicht telefonisch Erreichbare) „einzufangen“, erklärbar. Reine CAWI-Befragungen machen 2018 immerhin 41% aller Wahlumfragen aus.[3] Auch gab es in den letzten zwei Jahren (2107 und 2018) einen kleinen Anteil an Wahlumfragen der auf zumeist größeren face-to-face (CAPI) Befragungen basiert.

 

Fazit

Der Beitrag hatte zum Ziel, eine methodische Bestandsaufnahme der Praxis kommerzieller Wahlumfragen – größtenteils entlang der Kriterien des VdMI – zu bieten. Folgende Qualitätssteigerungen sind zu verzeichnen: Im Schnitt werden heute (speziell 2018) größere Stichproben verwendet, was generell für eine geringere Schwankung der Ergebnisse spricht. Die zur Verfügung gestellte Information ist heute (seit 2017, dem Erscheinen der VdMI-Richtlinie) weitaus detaillierter und damit transparenter. Die zunehmende Mischung von Modi – um Eigenheiten eines Befragungsmodus/einer Stichprobe auszugleichen – ist ebenfalls positiv hervorzuheben.

Kontinuierliche Herausforderungen bleiben die klare Kommunikation tatsächlicher Schwankungsbreiten auf Basis der Zahl deklarierter Personen, idealerweise separat für jede Partei, sowie die Sicherstellung eines repräsentativen Abbildes der Grundgesamtheit (Wahlbevölkerung) samt transparenter Gewichtungsverfahren. Letzteres Ziel – ein exaktes Abbild der Wahlbevölkerung – sollte schließlich vor dem Erreichen einer Mindestgröße der Stichprobe oder der Wahl eines bestimmten Erhebungsmodus stehen.

 

[1] Neuwal.com registriert zwar in seinen Qualitätschecks auch, ob gegebenenfalls die Zahl an Deklarierten Wählerinnen und Wählern ausgewiesen wurde; diese Information – Basis: Zahl an Deklarierten – wird jedoch nicht als Primärinformation der Umfrage oder im Daten-Download ausgegeben.

[2] Ich danke Martin Fenz sehr herzlich für diese Zusatzanalyse.

[3] Die VdMI-Kriterien geben zwar vor, dass reine online-Umfragen nicht für die Hochschätzung der Sonntagsfrage geeignet sind. Wichtiger scheint allerdings die möglichst repräsentative Zusammensetzung der Befragten eines online-Panels als der Modus per se.


Julian Aichholzer ist Universitätsassistent (Post-Doc) am Institut für Staatswissenschaft und Teil der „Austrian National Election Study“ (AUTNES) und ACIER sowie des Forschungsverbunds „Interdisziplinäre Werteforschung“. Er hat zuvor Soziologie (Mag.) und Politikwissenschaft (Dr.) an der Universität Wien studiert.


(Abbildung 1: Verwendete Stichprobengrößen nach Jahr und Erhebungsmodus (gültige Werte). Anm.: Rote Linie zeigt Medianwert. Daten: neuwal.com; n = 599 (Jahr) bzw. n = 301 (Erhebungsmodus) Umfragen; CAWI = online, CAPI = face-to-face, CATI = telefonisch, Mixed = Mischung von Modi)

(Abbildung 2: Berichtete Schwankungsbreiten nach Stichprobengröße. Anm.: Graue Linie zeigt max. Schwankungsbreite bei einer echten Zufallsstichprobe, Stichproben ohne Schwankungsbreite rot eingefärbt. Daten: neuwal.com; n = 627 Umfragen, davon n = 35 ohne Schwankungsbreite)

(Abbildung 3: Informationen zum Erhebungsmodus nach Jahr. Daten: neuwal.com; n = 627 Umfragen gesamt bzw. n = 302 Umfragen mit gültigen Einträgen; CAWI = online, CAPI = face-to-face, CATI = telefonisch, Mixed = Mischung von Modi)