Was man gerade jetzt (und eigentlich auch sonst) über Meinungsumfragen wissen sollte
Screenshot via Neuwal
Schon wieder Wahlen!!!

Was man gerade jetzt (und eigentlich auch sonst) über Meinungsumfragen wissen sollte

Wie steht es in den Umfragen? Kann man ihnen glauben? Und was ist eigentlich "Herding"?
6.10.17

Der Bundeskanzler hatte was loszuwerden. "Ich halt's mit den Umfragen wie mit dem Horoskop – ich glaub an beide nicht", sagte Christian Kern beim Bundesparteirat Anfang August in Wien. "Aber ich hab gelernt, die statistische Wahrscheinlichkeit, dass das Horoskop stimmt, ist größer." Kern musste seine Leute auch angesichts schlechter Umfragewerte motivieren, das sei ihm unbenommen. Aber sachlich ist es natürlich Unsinn: Umfragen liegen zwar manchmal daneben, die wissenschaftliche Evidenz für Astrologie in Doppelblindstudien ist hingegen exakt null.

Anzeige

Das Vertrauen in Meinungsumfragen hat in den letzten zwei Jahren einen erheblichen Dämpfer bekommen. "Denen ist ja eh nicht zu glauben", hört man immer wieder. Das hat seine Gründe, die sowohl in einigen tatsächlichen Fehlern der Branche (die erste Runde der österreichischen Bundespräsidentenwahl, die US-Wahlumfragen in Michigan/Ohio/Illinois) als auch in der medialen Vermittlung (das "Ja" zum Brexit war immer im Bereich des Möglichen) lagen.

Die Meinungsforschungsinstitute haben seitdem auf zwei, eigentlich sogar drei Ebenen reagiert. Zum einen arbeiten sie an sich selbst: Die Stichproben sind durchschnittlich größer geworden (viel weniger n = 400), und der Verband der Meinungsforschenden Instituten (VdMI) hat sich Kriterien gegeben, wie eine gute Umfrage aussehen soll.

Diese Kriterien umfassen sowohl die Methodik, als auch die Transparenz. Dazu gehört, dass die Umfragen nicht ausschließlich online geführt werden sein sollten, es eine gewisse Stichprobengröße braucht und so weiter. Diese Kriterien haben den Haken, dass sie freiwillig sind. Kein Institut ist daran gebunden.

"Denen ist ja eh nicht zu glauben."

Daneben haben die Demoskopen eine Aufklärungskampagne darüber gestartet, was Umfragen können und – vor allem – was nicht. Sowohl durch den Auftritt in den Medien, als auch durch die Aufklärung der Journalisten. Die haben nämlich oft genug keine Ahnung.

Auch aufgrund dieser Aktivitäten hat sich das Wissen über Meinungsumfragen in diesem Wahlkampf tendenziell verbessert. Wer sich informieren will, hatte einige Quellen, um das sinnvoll zu tun. Armin Wolf erklärt hier die wichtigsten Grundzüge von Demoskopie. Eva Zeglovits vom IFES redet in diesem Podcast ausführlich über ihre Arbeit, Neuwal hat einen fortlaufenden Podcast, in dem es immer wieder um Methodik geht. Die Zeit hat sich mit dem Unsicherheitsfaktor beschäftigt, und ich habe im letzten DATUM einen recht langen Text dazu geschrieben.

Wer dafür keine Zeit hat, hier ein kurzes, sehr grobes tl;dr dazu, wie Umfragen eigentlich so ablaufen:
Ein Institut befragt 1000 Menschen, von denen 700 sagen, wen sie wählen. Die Kunst besteht jetzt darin zu schätzen, was die restlichen 300 tun werden, die sich nicht deklariert haben. Gehen die nicht zu Wahl, verhalten die sich ähnlich wie die Deklarierten? Gibt es Parteien, die unterdeklariert sind (was zum Beispiel für die FPÖ oft gilt)? Die Meinungsforscher rechnen sie mit einer Mischung aus Folgefragen ("Wen würden sie denn am ehesten wählen?"), Erfahrung und der sogenannten Recall-Frage ("Was haben Sie bei den letzten Wahlen gewählt?") den Parteien zu. Dann kommt eine Bandbreite (also ein Ergebnis mit plus/minus Schwankungsbreite) heraus, in der die Partei mit einer gewissen Wahrscheinlichkeit (das Konfidenz-Niveau, meist 95 Prozent) liegt.

Die Kunst besteht jetzt darin zu schätzen, was die restlichen 300 tun werden, die sich nicht deklariert haben.

Das funktioniert normalerweise recht gut – in Österreich weichen Wahlumfragen vor Wochen vor Wahltermin im Schnitt um 1,4 Prozent vom tatsächlichen Ergebnis ab –,hat aber ein paar Tücken. Gerade bei Wahlen, die sich mit den vorherigen wenig vergleichen lassen (die Bundespräsidentenwahl mit starken Kandidaten der kleinen Parteien war ein Novum), versagen die Modelle gerne mal.

In den letzten drei Jahren haben alle Umfrageinstitute die großen Trends mehr oder weniger nachvollzogen. Bei den Kleinparteien tat sich nicht viel: Die Grünen lagen bis zum Abfall im Sommer meist zwischen 10 und 15, die NEOS konstant zwischen 5 und 8 Prozent. Weiter oben sah das anders aus:

Anzeige

Ab Herbst 2014 gab es zwölf Monate lang drei etwas gleich starke Parteien, ab Herbst 2015 zog die FPÖ auf 30+ Prozent davon. In den Monaten, nachdem Christian Kern im Mai 2016 SPÖ-Parteichef übernahm, kletterte die SPÖ in Richtung 30, die ÖVP eher Richtung 20 Prozent. Mit der Übernahme von Sebastian Kurz kam die ÖVP auf über 30 Prozent, wo sie seitdem auch steht.

Wie schaut es jetzt aktuell aus? Neuwal bietet einen Überblick über alle publizierten Umfragen (ja, es gibt mehr: die berühmt-berüchtigten "internen" Umfragen). Das Rennen um Platz 1 scheint relativ gelaufen zu sein, auch ohne die letzten Enthüllungen um Tal Silberstein.

Da müsste – zumindest nach "Conventional Wisdom" und menschlichem Ermessen – schon sehr viel passieren, damit sich da noch was tut. Es gibt zwar immer wieder ein paar kleinere Details in den Umfragen, die vor allem von der Kurz-kritischen Seite eingeworfen werden (es gibt Umfragen, in denen sich die Kurz-Wähler tendenziell weniger sicher sind, den Kandidaten auch wirklich wählen zu wollen), aber grundsätzlich liegt die Partei mit einem komfortablen Polster konstant vorne.

Die ÖVP liegt grundsätzlich mit einem komfortablen Polster konstant vorne. Vielleicht sogar ein bisschen zu konstant.

Vielleicht sogar ein bisschen zu konstant. Wie der Wiener Politikwissenschaftler Laurenz Ennser-Jedenastik in seinem Blog auf derstandard.at ausführt, sind die Werte der ÖVP zu konstant, um statistisch Sinn zu ergeben.

In den Worten der Wissenschaft klingt das so: "Nach den Gesetzen der Statistik sollten bei durchschnittlich rund 700 Befragten und einem tatsächlichen Zustimmungsgrad zur ÖVP von 33 Prozent, die 34 Umfragen mit einer Standardabweichung von 1,8 Prozentpunkten streuen". Etwas einfacher ausgedrückt: Wenn 33 Prozent der Leute ÖVP wählen wollen, sollte es statistisch auch Umfragen geben, wo sie bei 31 oder 35 Prozent landet.

Die Konstanz spricht für das Vorliegen von "Herding", also der Tendenz, dass sich Meinungsumfragen über das statische erklärbare Maß aneinander angleichen. Das passiert überall auf der Welt; der bekannte US-Statistiker Nate Silver wird nicht müde, davor zu warnen. Herding hat ganz praktische Gründe: Gerade in einem kleinen Markt wie Österreich telefonieren Meinungsforscher miteinander, vergleichen Ergebnisse.

Ein anderes Ergebnis als die anderen zu haben, ist auch riskant: Wenn alle daneben liegen, wird auf die Branche eingeprügelt. Wenn man nur selbst daneben liegt, kann das dem eigenen Institut schaden. Zahlreiche Meinungsforscher hatten während der Präsidentschaftswahl Umfragen, die sie nicht veröffentlichten, weil das Ergebnis nicht mit dem Trend zusammenfiel.

Man muss vorsichtig sein: Die Anwesenheit von Herding bedeutet nicht, dass die Werte falsch und schon gar nicht, dass sie grob falsch sind. Aber es bedeutet schon, dass eine gesunde Rest-Skepsis angebracht ist – was bei Umfragen ganz generell immer gilt. Auch wenn die Demoskopie viel öfter richtig liegt als der Bundeskanzler in manchen Reden behauptet: Es ist eine statistische Arbeit mit einem konstanten Unsicherheitsfaktor.

Folgt VICE auf Facebook, Instagram und Twitter.