Erstellt am: 5. 9. 2016 - 17:50 Uhr
Die Krise der Meinungsforschung?
Mitarbeit: Lukas Lottersberger
Die Meinungsforschung habe versagt, konnte man nach den Wahlen der letzten Jahren auf Landesebene, als auch bei den ersten beiden Durchgängen der Bundespräsidentschaftwahl von vielen Seiten hören. Doch stimmt das wirklich? Wir haben zwei Personen, die sich professionell mit Meinungsumfragen befassen, ins FM4 Studio geladen, um über falsche Prognosen und mangelnde Qualität bei Wahlumfragen zu reden, Dieter Zirnig und Erich Neuwirth.
FM4
Dieter Zirnig ist der Gründer von neuwal. Die Seite sammelt einerseits alle Wahlumfragen des Landes, stellt aber zum Beispiel auch Transkripte von Politikerinterviews online, die beim Nachlesen einen oft zum Schmunzeln oder Stutzen bringen.
Erich Neuwirth ist außerordentlicher Universitätsprofessor i.R. für Statistik und Informatik an der Universität Wien und beschäftigt sich mit Wahlergebnissen, Hochrechnungen und Wählerstromanalysen. Außerdem betreibt er einen Blog mit relativ (!) einfach verständlichen Erklärungen zu Statistik-Themen.
Nina Hochrainer: Herr Zirnig, Ihre Seite neuwal.com sammelt so ziemlich jede Umfrage aus dem ganzen Land. Was ist denn Ihre Erfahrung, ist denn tatsächlich eine Qualitätsverschlechterung bemerkbar?
Dieter Zirnig: Ja, wir sammeln sämtliche Wahlumfragen, von der Gemeinderatswahl bis hin zur Nationalrats- oder Bundespräsidentenwahl.
Es ist so, dass die Wahlumfragen eigentlich zu 82 Prozent richtig liegen – also innerhalb der Schwankungsbreite. Bei der Bundespräsidentenwahl 2016 ist der Wert weit darunter gelegen. Innerhalb der letzten vier Jahre, waren das die schlechtesten Wahlumfragen. Nur 63,9 Prozent sind in der Schwankungsbreite gelegen, sehr weit daneben also.
Herr Neuwirth, warum war das so?
Erich Neuwirth: Es ist die Frage, was man als daneben bezeichnet. Als Statistiker muss ich sagen, wenn man auf +/- drei Prozent genau ist, ist das schon recht gut – mehr darf man nicht erwarten. Ich glaube, die Erwartungen des Publikums sind einfach zu hoch. Auf Zehntelprozent vorhersagen kann eine Umfrage niemals.
Traut sich jetzt – abgesehen vom Boulevard – kein Medium mehr, Umfragen in Auftrag zu geben?
Neuwal
Dieter Zirnig: Das sehe ich nicht so. Neulich war im Standard eine Wahlumfrage zur Nationalratswahl, auf ATV hat es den Österreich-Sonntagstrend gegeben.
Aber was ich von den Meinungsforschungsinstituten schon höre, ist, dass man abwartet. Sie justieren ihre Methoden nach und schauen, was sie aus diesen Bundespräsidentenwahlen lernen.
Herr Neuwirth, ab welcher Stichprobengröße kann denn eine Wahlumfrage ernstgenommen werden?
Erich Neuwirth: Also wünschenswert sind für Statistiker Tausenderstichproben. "Vierhunderter" scheinen mir schon recht klein zu sein, weil ja noch dazu kommt, dass das Momentaufnahmen zu einem bestimmten Zeitpunkt sind und die Leute bis zur Wahl ihre Meinung ja noch ändern können. Das heißt, man sollte überhaupt sagen: Umfragen sind Meinungsbilder und keine Prognosen.
Lügen die Leute einfach mehr als früher? Ist das vielleicht der Grund, warum die Wahlumfragen mehr daneben liegen?
Dieter Zirnig: Ich würde sagen, es gibt generell einen digitalen Wandel in der gesamten Meinungsumfragebranche, d.h. das Szenario hat sich komplett geändert. Die Meinungsbildung wechselt sich viel schneller ab, und vor allem auch viel kurzfristiger vor der Wahl, wie es z.B. bei den letzten Wahlen war. Es sind auch nicht mehr alle Wähler direkt per Telefon erreichbar. Vor allem das ältere Segment ist hier erreichbar. Es gibt noch immer keine guten Methoden, was die Online-Befragung betrifft, das heißt es gibt in diesem Bereich viele Veränderungen.
Die 10 Qualitätskriterien für bessere Wahlumfragen hat Dieter Zirnig gemeinsam mit dem Meinungsforscher Peter Hajek ausgearbeitet.
Herr Zirnig, Sie fordern, neue, weitreichende Qualitätskriterien, einerseits für Umfrageinstitute, aber auch für Redaktionen von Tageszeitungen und anderen Medien. Um welche Kriterien geht es dabei?
Dieter Zirnig: Das Kriterium ist: Mehr Transparenz zeigen. Je mehr Informationen, Insights, ich als Medium offenlege, desto besser werden die Wahlumfragen verstanden. Da rede ich nicht nur von einer Umfragegröße oder einer Schwankungsbreite sondern auch von einem Zeitraum, von der Methode. Wie viele Personen haben sich jetzt tatsächlich deklariert bei einem Sample von n=600? Das geht bis zur Zielgruppenanalyse, bis zur Stichprobenanalyse hinunter, bis hin zur Visualisierung der Umfrage mit Schwankungsbreiten etc.
Jetzt zur anstehenden Wiederholung der Bundespräsidentschaftswahl: Wie schätzen sie die Qualität der aktuellen Umfragen da ein?
Dieter Zirnig: Das ist sehr interessant. Es gibt momentan bei den Bundespräsidenten-Wahlumfragen ein n=600 bis n=800, das ist deutlich höher als zuletzt. Allerdings hat sich auch die Methode verändert, d.h. viele Institute schwenken auf Online um, was das Vertrauen nicht unbedingt stärkt.
Erich Neuwirth: Bei Online gibt’s ein Problem: Wenn ein Interviewer vor mir steht sag ich nicht, „ich geb keine Antwort“. Möglicherweise gebe ich nicht die richtige, aber die Verweigerung ist schon bei einer Telefon-Umfrage leichter, online noch viel leichter.
Inwieweit beieinflussen Wahlumfragen jetzt tatsächlich das Wahlergebnis?
Erich Neuwirth: Dazu gibt’s zwei Theorien: Den "Underdog-Effekt" und den "Bandwagon-Effekt", d.h. will man beim Sieger sein – die da vorne unterstütze ich auch oder will man den armen Würsteln weiterhelfen, dass sie doch nicht so arme Würsteln sind. Es ist bis heute in der Sozialwissenschaft noch nicht entschieden, welche der Theorien die stärkere ist.
Was meinen Sie, ab welchem Zeitpunkt vor der Wahl sollten dann keine Umfragen mehr veröffentlicht werden?
Dieter Zirnig: Es ist in Österreich ein Gentlemen’s Agreement, dass man eine Woche vor der Wahl keine Wahlumfrage mehr online stellt. In Deutschland gab’s jetzt ein interessantes Szenario bei der Wahl in Mecklenburg-Vorpommern. Da ist drei Tage vor der Wahl eine Umfrage im Online-Bereich erschienen.
Die ARD hat gemeint, sie veröffentlichen Wahlumfrage nur mehr bis 10 Tage vor der Wahl, aber das ZDF hingegen hat gesagt, sie wollen den Userinnen und Usern keine Informationen vorenthalten und haben sie veröffentlicht.
Wie genau die Wahlumfragen für die Bundespräsidentschaftswahl schlussendlich gelegen sind, wissen wir wahrscheinlich am 3. Oktober.
Erich Neuwirth: Ja, vorher werden wir es sowieso nicht wissen. Denn selbst bei einer Tausender-Stichprobe, die groß ist, ist die Schwankungsbreite +/- drei Prozent. Nachdem das Ergebnis zwischen den beiden Kandidaten das letzte Mal so knapp war, wäre es sehr verwunderlich, wenn wir eine Umfrage außerhalb dieses Bereiches hätten.