Was man gerade jetzt (und eigentlich auch sonst) über Meinungsumfragen wissen sollte

Der Bundeskanzler hatte was loszuwerden. "Ich halt's mit den Umfragen wie mit dem Horoskop – ich glaub an beide nicht", sagte Christian Kern beim Bundesparteirat Anfang August in Wien. "Aber ich hab gelernt, die statistische Wahrscheinlichkeit, dass das Horoskop stimmt, ist größer." Kern musste seine Leute auch angesichts schlechter Umfragewerte motivieren, das sei ihm unbenommen. Aber sachlich ist es natürlich Unsinn: Umfragen liegen zwar manchmal daneben, die wissenschaftliche Evidenz für Astrologie in Doppelblindstudien ist hingegen exakt null.

Das Vertrauen in Meinungsumfragen hat in den letzten zwei Jahren einen erheblichen Dämpfer bekommen. "Denen ist ja eh nicht zu glauben", hört man immer wieder. Das hat seine Gründe, die sowohl in einigen tatsächlichen Fehlern der Branche (die erste Runde der österreichischen Bundespräsidentenwahl, die US-Wahlumfragen in Michigan/Ohio/Illinois) als auch in der medialen Vermittlung (das "Ja" zum Brexit war immer im Bereich des Möglichen) lagen.

Die Meinungsforschungsinstitute haben seitdem auf zwei, eigentlich sogar drei Ebenen reagiert. Zum einen arbeiten sie an sich selbst: Die Stichproben sind durchschnittlich größer geworden (viel weniger n = 400), und der Verband der Meinungsforschenden Instituten (VdMI) hat sich Kriterien gegeben, wie eine gute Umfrage aussehen soll.

Diese Kriterien umfassen sowohl die Methodik, als auch die Transparenz. Dazu gehört, dass die Umfragen nicht ausschließlich online geführt werden sein sollten, es eine gewisse Stichprobengröße braucht und so weiter. Diese Kriterien haben den Haken, dass sie freiwillig sind. Kein Institut ist daran gebunden.

Daneben haben die Demoskopen eine Aufklärungskampagne darüber gestartet, was Umfragen können und – vor allem – was nicht. Sowohl durch den Auftritt in den Medien, als auch durch die Aufklärung der Journalisten. Die haben nämlich oft genug keine Ahnung.

Auch aufgrund dieser Aktivitäten hat sich das Wissen über Meinungsumfragen in diesem Wahlkampf tendenziell verbessert. Wer sich informieren will, hatte einige Quellen, um das sinnvoll zu tun. Armin Wolf erklärt hier die wichtigsten Grundzüge von Demoskopie. Eva Zeglovits vom IFES redet in diesem Podcast ausführlich über ihre Arbeit, Neuwal hat einen fortlaufenden Podcast, in dem es immer wieder um Methodik geht. Die Zeit hat sich mit dem Unsicherheitsfaktor beschäftigt, und ich habe im letzten DATUM einen recht langen Text dazu geschrieben.

Das funktioniert normalerweise recht gut – in Österreich weichen Wahlumfragen vor Wochen vor Wahltermin im Schnitt um 1,4 Prozent vom tatsächlichen Ergebnis ab –,hat aber ein paar Tücken. Gerade bei Wahlen, die sich mit den vorherigen wenig vergleichen lassen (die Bundespräsidentenwahl mit starken Kandidaten der kleinen Parteien war ein Novum), versagen die Modelle gerne mal.

In den letzten drei Jahren haben alle Umfrageinstitute die großen Trends mehr oder weniger nachvollzogen. Bei den Kleinparteien tat sich nicht viel: Die Grünen lagen bis zum Abfall im Sommer meist zwischen 10 und 15, die NEOS konstant zwischen 5 und 8 Prozent. Weiter oben sah das anders aus:

Ab Herbst 2014 gab es zwölf Monate lang drei etwas gleich starke Parteien, ab Herbst 2015 zog die FPÖ auf 30+ Prozent davon. In den Monaten, nachdem Christian Kern im Mai 2016 SPÖ-Parteichef übernahm, kletterte die SPÖ in Richtung 30, die ÖVP eher Richtung 20 Prozent. Mit der Übernahme von Sebastian Kurz kam die ÖVP auf über 30 Prozent, wo sie seitdem auch steht.

Wie schaut es jetzt aktuell aus? Neuwal bietet einen Überblick über alle publizierten Umfragen (ja, es gibt mehr: die berühmt-berüchtigten "internen" Umfragen). Das Rennen um Platz 1 scheint relativ gelaufen zu sein, auch ohne die letzten Enthüllungen um Tal Silberstein.

Da müsste – zumindest nach "Conventional Wisdom" und menschlichem Ermessen – schon sehr viel passieren, damit sich da noch was tut. Es gibt zwar immer wieder ein paar kleinere Details in den Umfragen, die vor allem von der Kurz-kritischen Seite eingeworfen werden (es gibt Umfragen, in denen sich die Kurz-Wähler tendenziell weniger sicher sind, den Kandidaten auch wirklich wählen zu wollen), aber grundsätzlich liegt die Partei mit einem komfortablen Polster konstant vorne.

Vielleicht sogar ein bisschen zu konstant. Wie der Wiener Politikwissenschaftler Laurenz Ennser-Jedenastik in seinem Blog auf derstandard.at ausführt, sind die Werte der ÖVP zu konstant, um statistisch Sinn zu ergeben.

In den Worten der Wissenschaft klingt das so: "Nach den Gesetzen der Statistik sollten bei durchschnittlich rund 700 Befragten und einem tatsächlichen Zustimmungsgrad zur ÖVP von 33 Prozent, die 34 Umfragen mit einer Standardabweichung von 1,8 Prozentpunkten streuen". Etwas einfacher ausgedrückt: Wenn 33 Prozent der Leute ÖVP wählen wollen, sollte es statistisch auch Umfragen geben, wo sie bei 31 oder 35 Prozent landet.

Die Konstanz spricht für das Vorliegen von "Herding", also der Tendenz, dass sich Meinungsumfragen über das statische erklärbare Maß aneinander angleichen. Das passiert überall auf der Welt; der bekannte US-Statistiker Nate Silver wird nicht müde, davor zu warnen. Herding hat ganz praktische Gründe: Gerade in einem kleinen Markt wie Österreich telefonieren Meinungsforscher miteinander, vergleichen Ergebnisse.

Ein anderes Ergebnis als die anderen zu haben, ist auch riskant: Wenn alle daneben liegen, wird auf die Branche eingeprügelt. Wenn man nur selbst daneben liegt, kann das dem eigenen Institut schaden. Zahlreiche Meinungsforscher hatten während der Präsidentschaftswahl Umfragen, die sie nicht veröffentlichten, weil das Ergebnis nicht mit dem Trend zusammenfiel.

Man muss vorsichtig sein: Die Anwesenheit von Herding bedeutet nicht, dass die Werte falsch und schon gar nicht, dass sie grob falsch sind. Aber es bedeutet schon, dass eine gesunde Rest-Skepsis angebracht ist – was bei Umfragen ganz generell immer gilt. Auch wenn die Demoskopie viel öfter richtig liegt als der Bundeskanzler in manchen Reden behauptet: Es ist eine statistische Arbeit mit einem konstanten Unsicherheitsfaktor.

Folgt VICE auf Facebook, Instagram und Twitter.