Die Wahrheit über Umfragen – Schluss mit RCP!

Liebe Leser:innen,

Wahlumfragen aus den USA haben seit dem Überraschungssieg von Donald Trump einen fürchterlichen Ruf. Ich finde, das ist nur zum Teil gerechtfertigt. Es liegt auch eine Schuld bei Medien und Leser:innen, denn wir neigen dazu, die Umfragen falsch zu interpretieren oder ihre Aussagekraft zu überschätzen.

Weil nun alle warten, wo genau Kamala Harris nach ihrem erfolgreichen Parteitag in den „Polls“ landen wird, habe ich mich entschieden, diese Woche den Newsletter für eine kleine Umfragekunde zu nutzen.

Ich will erklären, wie sich die Zahlen besser lesen lassen, welche Seiten und Institute ich links (ehrlich gesagt eher rechts) liegen lasse und welchen ich vertraue. 

Let's go.

VERSTEHEN

Wie man bei all den Wahlumfragen nicht verrückt wird

Vorab: Umfragen sind immer Momentaufnahmen zum Zeitpunkt der Befragung. Klingt logisch, unterstreicht aber auch noch einmal, dass sie nicht wahnsinnig gut im Vorhersagen sind. Vor fünf Wochen lagen die Demokraten drei Prozentpunkte hinten, nun liegen sie drei Prozentpunkte vorne – und bis zur Wahl sind es noch zehn Wochen. Dinge geschehen und es kann auch in diesem Wahlkampf gut sein, dass sich die Präsidentschaft erst entlang des wichtigsten Gesprächsthemas eine Woche vor der Wahl entscheidet. 

Umfragen bilden zudem verzögert ab, wo die Wähler:innen wirklich stehen. Nach einem Großereignis wie einer TV-Debatte, dem Trump-Attentat oder einem Parteitag gibt es schnell das Bedürfnis zu wissen, wie es sich auf die Meinungen der Wähler:innen auswirkt. Aber das dauert. Nicht alle Menschen kriegen das Ursprungsereignis mit und haben sofort eine Meinung dazu, viele bilden ihr Urteil auf Basis der Berichterstattung in den darauffolgenden Tagen und Wochen. Eine Umfrage im Feld dauert oft drei oder vier Tage, bis zur Veröffentlichung sind es noch einmal ein oder zwei Tage. In der Regel lassen sich damit Effekte erst nach zwei bis drei Wochen beobachten und dann ist es oft schwer, sie wirklich auf ein Einzelereignis zurückzuführen, weil so viele Faktoren in die Meinung der Leute einfließen.

Erste Werte, die Meinungsumschwünge wegen des Demokratenparteitags abbilden könnten, kommen vermutlich Ende dieser Woche. In der Regel gibt es dann einen „Convention Bounce“, ein Plus von einigen Prozentpunkten – bei Bill Clinton 1992 waren es acht Prozentpunkte. Sehr oft verschwindet dieses Zwischenhoch, aber manchmal bleibt eben doch eine geänderte Meinung zurück. Es ist kaum möglich zu sagen, was wir dieses Mal erleben.

Alle mahnen andauernd, dass nun aber bald wirklich, wirklich für Harris der Honeymoon vorüber sei, aber sicher weiß das keiner. Was ist, wenn es immer noch eine Gruppe an Wähler:innen gibt, die dabei sind, langsam ihre Meinung über die einstige Vizepräsidentin zu ändern? Was, wenn Trump mit seiner Larmoyanz immer noch Anhänger:innen verliert? Wie tief geht wirklich der Ärger über Abtreibungsverbote und das Gerede von einsamen Katzenfrauen? Was, wenn die Demokraten weiter kaum in Umfragen erfasste low-information Wähler:innen motivieren können, die eigentlich daheimbleiben wollten?

All diese Unklarheiten sorgen dafür, dass Umfragen mit Vorsicht zu genießen sind, auch wenn Berichterstattung und Konsum so verlockend sind – schließlich ist es viel einfacher, 2.500 Zeichen über eine Poll rauszuhauen anstatt sich in der Tiefe durch Politikvorschläge zum sozialen Wohnungsbau zu quälen.

Einige Probleme mit Umfragen beschreibt die konservative Meinungsforscherin Kristen Soltis Anderson in der New York Times (Opens in a new window).

Meine Umfrage-Morgenroutine

Mit dieser Vorrede will ich kurz meine Umfragen-Morgenroutine erklären: Ich gehe auf Fivethirtyeight (Opens in a new window), stelle „Poll Type“ von „President: General election“ auf „All polls“ und wähle „All“ bei State. Dann ein Klick auf „Sort by date Added“ (statt „Surveyed“). So sehe ich alle Umfragen, die seit gestern hinzugefügt wurden.

Bei den Umfragen schaue ich dann auf die Sample-Größe (die Zahl unter/neben dem Datum). Eine hohe Hunderter-Zahl ist gut, falls dort eine fünfstellige Zahl steht, ist das meist Zeichen für eine Online-Klickumfrage, die meines Erachtens weniger verlässlich ist.

Dann folgen drei Kürzel: „A“ steht für „Adults“, „RV“ steht für „Registered Voters“, „LV“ für „Likely Voters“. Je weiter die Wahl entfernt ist, desto unwichtiger ist diese Unterscheidung, weil es dann noch kaum verlässlich ist, ob jemand nur volljährig ist oder tatsächlich wählen geht. Tendenziell sind „A“-Umfragen aber eher schlechter, weil dadurch niedrigschwellig Frustrierte überbewertet werden, die möglicherweise nicht wählen – viele waren zum Beispiel mit Joe Biden unzufrieden, aber möglicherweise nicht genug, um aktiv gegen ihn zu stimmen.

Je näher die Wahl kommt, desto besser ist es, auf „LV“-Umfragen zu achten. Die Institute unterscheiden „wahrscheinliche“ und „registrierte“ Wähler vor allem entlang deren eigener Aussagen („Wie wahrscheinlich ist es, dass sie bei der Wahl ihre Stimme abgeben?“).

Dann blicke ich auf den Namen des Instituts. Es gibt in den USA eine Unmenge an Instituten und nur wenige haben einen wirklich zweifelsfreien Ruf. Ratings aller Institute gibt es bei ebenfalls bei 538 (Opens in a new window).

Alle Institute haben aber das selbe Problem: Sie erhalten Antworten von Menschen mit bestimmten demografischen Merkmalen wie Hautfarbe, Einkommen, Bildungsstand, aber die Wähler:innenschaft am 5. November setzt sich anders zusammen. Sie müssen deshalb die Antworten hoch- oder runtergewichten.

Ein Beispiel: Es kann sein, dass ich weiß, dass immer 20 Prozent aller Wähler:innen weiße Männer unter 50 und ohne College-Abschluss sind und diese überproportional oft für die Republikaner stimmen. Wenn dann aber unter den 500 Leuten meiner Umfrage nur 50 Personen diese Merkmale erfüllen (also 10 Prozent), dann würde ich die Republikaner unterschätzen – ich muss also die 50 Leute stärker gewichten.

Das große Problem aber ist, dass niemand weiß, wie sich die demografischen Merkmale der Wähler:innenschaft von Wahl zu Wahl verändern. Wird Harris dieses Mal für einen großen Anstieg der Wahlbeteiligung unter Schwarzen Frauen sorgen? Wenn ja, wie groß wird er sein? Hat Trump weiter den Vorteil, dass er frustrierte Wähler motiviert, die sonst nie ihre Stimme abgeben und Umfrageinstituten am Telefon nicht antworten? Stecken unter den Latinos, die ich erreicht habe, zu viele Konservative aus Florida und zu wenig Junge aus Arizona? 

Es ist schwer einzuschätzen, in welchem Maß das jeweilige Institut solche Filter anwendet.

Obacht! Real Clear Politics ist eine rechte Seite

Das wiederum sorgt dafür, dass es fast immer besser ist, Umfrage-Durchschnitte zu betrachten als auf Einzelumfragen zu schauen. Ich schreibe „fast“, denn es gibt ein schwarzes Schaf unter diesen Aggregatoren: Real Clear Politics.

Real Clear Politics ist inzwischen eine rechtskonservative Seite, die auf viele unseriöse Quellen verlinkt (z. B. Washington Examiner, The Free Press und Federalist sind rechte Drecksseiten, die selbstgeschriebenen Artikel von RCP sind klar erkennbar rechts, siehe zb. hier (Opens in a new window)) und Umfragen berücksichtigt, die kaum verlässlichen Standards entsprechen. Die New York Times beleuchtet RCP (Opens in a new window) ausführlich.

Ein Beispiel ist das „Institut“ Rasmussen, das nicht nachvollziehbar erläutert, wie es zu seinen Ergebnissen kommt, aber immer einen sehr auffälligen Republikaner-Ausreißer hat. Die Washington Post (Opens in a new window) beschreibt die fragwürdigen Methoden gut. Rasmussen ist so schlecht, dass 538 die Umfragen komplett streicht.

Außerdem wartet der RCP-Schnitt bei Demokraten-freundlichen Umfragen oft länger mit der Berücksichtigung als bei Republikanern und es ist nicht nachvollziehbar, wie viele Umfragen gerade in den Schnitt einfließen: pro-demokratische scheinen mir schneller rausgeworfen zu werden als pro-republikanische.

Aktuell würde ich für landesweite Durchschnittswerte daher eher auf 538 (Opens in a new window), den Economist (Opens in a new window) oder den geschätzten österreichisch-amerikanischen Kollegen Lenny Bronner und sein Team bei der Washington Post (Opens in a new window) schauen.

Landesweite Umfragen haben aber das Problem, dass sie keine Aussagen über die Wahlleute, das Electoral College, treffen. Weil besonders viele Menschen in demokratenfreundlichen Staaten wie Kalifornien und New York leben, brauchen die Demokraten etwa zwei bis drei Prozentpunkte Vorsprung unter allen abgegebenen Stimmen, um das Electoral College für sich entscheiden zu können.

Noch wichtiger werden deshalb nach und nach Umfragen aus den Bundesstaaten. Diese sind schwer durchzuführen, es braucht für eine:n einzige:n Antwortende:n um die 100 Anrufversuche. Gut möglich, dass inzwischen jede:r in Pennsylvania durchbefragt wurde. 

Also, knapp zusammengefasst:

• Besser Durchschnitt als Einzelumfragen

• Besser Umfragen als Trendmesser für Veränderungen verstehen, anstatt sie als konkrete Aussage über aktuelle Prozentwerte zu deuten

• Besser auf „Likely Voters“ in Swing-State-Umfragen schauen als auf landesweite Werte unter allen Erwachsenen

VORAUSSCHAUEN

Das erste große TV-Interview von Harris – gemeinsam mit Walz

Da hat die Washingtoner Medienblase nun doch genug darüber gejammert, dass die Demokraten-Kandidatin ihnen keine Interviews gibt: Am Donnerstag (Freitagmorgen 3 Uhr deutscher Zeit) gehen Kamala Harris und ihr Vize Tim Walz zu CNN (Opens in a new window). Das Interview wird sicher zum Großereignis hochgejazzt, auch weil Trumps Team darauf hofft, dass sich Harris einen Schnitzer leistet.

Deren Vorfreude hat einen Grund: 2021 saß Harris bei Lester Holt von NBC (Opens in a new window) und antwortete so schnippisch und hilflos auf Fragen zur Lage an der Grenze, dass es ihr jahrelang nachhing. Die New York Times (Opens in a new window) hatte das Interview auch in einer kritischen Bilanz nach einem Jahr Vizepräsidentschaft noch einmal kurz aufgearbeitet.

VERTIEFEN

Was macht eigentlich Nate Silver?

Oben ging es um Umfragen, selbst in Deutschland klingt da noch ein Name in den Ohren: Nate Silver. Der Datenjournalist hat Fivethirtyeight gestartet und wesentlich die Idee geprägt, dass sich mit Prognosemodellen die Ergebnisse der Wahlen vorhersagen lassen. Dafür hat er frühere Ergebnisse, Umfragen, Informationen zu Bias der Institute und Wirtschaftsdaten zusammengeschmissen – und 2012 alle Bundesstaaten korrekt vorhergesehen.

Inzwischen hat Silver 538 verlassen, die Seite gehört nun zu ABC und damit Disney und im Zuge der Übernahme ist er gegangen. Er pflegt eine eigene Umfrageseite bei Substack (Opens in a new window), schreibt Schlagzeilen als Pokerspieler und hat darüber ein neues Buch (Opens in a new window) geschrieben.

Der Guardian (Opens in a new window) hat es gehasst. „At one point, Silver describes himself as “someone who has been around plenty of smart nerds who didn’t know their own limitations”. Has he ever asked himself whether he’s one of them too?“

Bei Bluesky (Opens in a new window) gibt es einen hübsch sezierenden Thread von David Karpf.

ANDERSWO

Neue Arbeit von mir an anderer Stelle

Frisch auf dem Tisch liegt die neue Folge vom Podcast „Bei Burger und Bier“ (Opens in a new window) von Bastian Hartig und mir. Darin beschreiben wir, warum der Harris-Hype immer weiter geht.

Außerdem ein Themenwechsel: Für dpa habe ich das neue Album von Sabrina Carpenter besprochen, hier aufgearbeitet bei der Badischen Zeitung (Opens in a new window). TLDR: I don’t get it.

Team Olivia Rodrigo!

Best from NYC,

Christian

PS: Solltet ihr „WTH, America“ von Freundin oder Feind weitergeleitet bekommen haben, könnt ihr selbst hier den