Nate Silver: The Signal and the Noise

Fast den gesamten Winter 2023/24 habe ich mich der Lektüre von „The Signal and the Noise“ (deutsch „Die Berechnung der Zukunft”) von Nate Silver gewidmet. Das lag nicht daran, dass ich sehr langsam gelesen habe. Es lag daran, dass ich dieses inspirierende Buch zwei Mal gelesen habe. Angefangen habe ich mit dem englischen Original . Im Januar 2024 bekam ich die deutschsprachige Ausgabe geschenkt und habe sozusagen von vorn angefangen. Das war eine gute Entscheidung. Erstens für die Verbesserung meiner Englisch-Kenntnisse und zweitens, weil dieses Buch eine Fülle von detailliert beschriebenen Beispielen aus dem Gebiet der Statistik enthält und doppelt (lesen) hält bekanntlich länger. Statistik ist in der praktischen Anwendung ein Minenfeld und weil die meisten Menschen einschließlich mir nicht wissen, wie fehlerhaft ihre Einschätzungen sind und auch nicht wissen, wie komplex scheinbar simple statistische Einschätzungen sein können, bin ich froh darüber, gleich zwei Mal meine Grundkenntnisse über dieses schwierige und interessante und notwendige Thema erweitert zu haben.

Fuchs und Igel

Informationen und daraus folgende Einschätzungen werde ich künftig als Fuchs betrachten und nicht als Igel. Nate Silver beschreibt das sehr anschaulich. Füchse sind der Überzeugung, dass sich viele Probleme schlecht vorhersagen lassen und dass man diese Unsicherheiten auch aussprechen sollte. Das wird in der Öffentlichkeit fälschlicherweise für mangelndes Selbstbewusstsein gehalten. Der pluralistische Ansatz von Füchsen gilt als Mangel an Überzeugung. Aber Füchse machen die besseren Prognosen. Sie erkennen rascher, wie sehr es rauscht, und laufen weniger Gefahr, den falschen Signalen hinterher zu jagen. Sie sind sich ihrer Unkenntnis bewusst.

Igel sind selbstsicher und kommen sehr schnell zu einer Einschätzung. Aber ihre Selbstsicherheit verleitet sie dazu, an der einmal getroffenen Entscheidung festzuhalten. Sie ignorieren tapfer neue Daten, auch wenn diese zu einer neuen Beurteilung führen müssten. Ihre Selbstsicherheit lässt meistens nicht zu, dass neue Daten zu einer Änderung der ursprünglich getroffenen Einschätzung führen. Denn das würde bedeuten zuzugeben, dass die erste Einschätzung falsch oder zumindest fehlerhaft gewesen ist. Das kratzt am Selbstbewusstsein und am guten Ruf. Wo kommen wir denn hin, wenn wir unser Urteil laufend korrigieren und neuen Daten anpassen? Für den Igel geht das überhaupt nicht

Dem Fuchs ist das egal. Der Fuchs ist Realist. Recht haben als Selbstzweck interessiert ihn nicht. Ihm fällt es leicht, seine Meinung zu ändern, wenn die Fakten sich geändert haben.

Warum die Vorgehensweise von Füchsen cleverer ist und auch zu besseren Ergebnissen führt, beschreibt Silver anhand von einem Terminus aus der Entwicklung der wissenschaftlichen Methode und der Statistik – gemeint ist der „Laplace’sche Dämon“.

Der „Laplace’sche Dämon“

Ausgangspunkt war folgender: Isaac Newtons Mechanik schien zu suggerieren, dass das Universum in hohem Maße geordnet und vorhersehbar sei und relativ einfachen physikalischen Gesetzen gehorcht. Die Idee des wissenschaftlichen, technischen und wirtschaftlichen Fortschritts verstärkte die Vorstellung, dass die Menschheit lernen könnte, ihr Schicksal selbst in die Hand zu nehmen. Das führte zu einer neuen Idee, dem wissenschaftlichen Determinismus. 

Dieser Gedanke nahm verschiedene Formen an, aber niemand brachte ihn weiter als Pierre-Simon Laplace, ein französischer Astronom und Mathematiker. Im Jahr 1814 stellte Laplace ein folgenreiches Postulat auf, das später als Laplace-Dämon bekannt wurde. Im Original beschreibt Laplace die Welt als vollständig deterministisch. 

„Wir müssen also den gegenwärtigen Zustand des Weltalls als die Wirkung seines früheren Zustandes und andererseits als die Ursache dessen, der folgen wird, betrachten. Eine Intelligenz, welche für einen gegebenen Augenblick alle Kräfte, von denen die Natur belebt ist, sowie die gegenseitige Lage der Wesen, die sie zusammensetzen, kennen würde, und überdies umfassend genug wäre, um diese gegebenen Größen einer Analyse zu unterwerfen, würde in derselben Formel die Bewegungen der größten Weltkörper wie die des leichtesten Atoms ausdrücken: Nichts würde für sie ungewiss sein und Zukunft wie Vergangenheit ihr offen vor Augen liegen.“ (S. 145/146)

Mit den Worten von Nate Silver: „Mit der perfekten Kenntnis der gegenwärtigen Verhältnisse (»die gegenseitige Lage der Wesen, die sie [die Welt) zusammensetzen«) und der perfekten Kenntnis der Gesetze, die das Universum beherrschen (»alle Kräfte, von denen die Natur belebt ist«), wäre es möglich, perfekte Vorhersagen anzustellen (»Zukunft wie Vergangenheit liegen ihr [der Formel] offen vor Augen«). Die Bewegung jedes Teilchens im Universum wäre so vorhersagbar wie die der Kugeln auf einem Billardtisch. Menschen wären dazu vielleicht nicht in der Lage, räumt Laplace ein. Aber wenn wir klug genug wären (oder wenn wir ausreichend schnelle Computer hätten), dann könnten wir das Wetter und alles andere vorhersagen und zu dem Schluss kommen, dass die Natur an sich perfekt ist.“ (S. 145/146)

Determinismus versus Probabilismus!

Während Deterministen mit dem Laplaces’chen Dämon argumentieren, sind Probabilisten der Meinung, dass die Bedingungen des Universums nur mit einem gewissen Grad an Ungewissheit bekannt sind. Der Probabilismus betrachtet die Fähigkeit des Menschen, das Universum in den Griff zu bekommen, als begrenzt. 

Mit der Quantenmechanik wurde es noch komplexer, denn nun stellte sich die Frage, ob sich das Universum selbst probabilistisch verhält. Die Teilchen, denen Laplace einen festen Platz zuordnete (wir haben nur nicht die Möglichkeiten, das zu erkennen), verhalten sich bei der probabilistischen Sichtweise wie Wellen, wenn man nur genau genug hinschaut. Was bedeutet, dass sie keine feste Position einzunehmen scheinen. Damit stellt sich die Frage, wie man vorhersagen kann, wohin sich etwas bewegen wird, wenn man nicht weiß, wo es sich überhaupt befindet? Die Quantenmechanik sagt: Man kann es nicht. Daraus folgt: Perfekte Vorhersagen sind unmöglich, wenn das Universum selbst zufällig ist. (Nate Silver, Signal and Noise, S. 104)

In eine ähnliche Richtung argumentiert die Theorie der Komplexität, die der mittlerweile verstorbene Physiker Per Bak in Zusammenarbeit mit anderen entwickelte. Gern in einem Atemzug mit der Chaostheorie genannt, „besagt diese Theorie, dass sich einfache Dinge bei der Interaktion seltsam und rätselhaft verhalten können. Baks Lieblingsbeispiel war ein Sandhaufen am Strand. Wenn man ein weiteres Sandkörnchen auf den Haufen wirft (Was kann schon leichter sein als ein Sandkörnchen?), dann können drei Dinge eintreten: Je nach Größe und Form des Haufens könnte es an der Stelle liegen bleiben, an der es auftrifft, es könnte aber auch den Hang bis an den Fuß des Hügels hinab rutschen. Oder es könnte etwas Drittes passieren: Ist der Haufen zu steil, dann könnte alles ins Rutschen geraten. In komplexen Systemen scheint es möglich, dass langen Perioden offensichtlicher Statik plötzliche katastrophale Einbrüche folgen. Diese Prozesse sind nicht im eigentlichen Sinn zufällig, aber sie sind so unauflöslich komplex (bis zum kleinsten Sandkörnchen), dass sie sich nicht über ein gewisses Maß hinaus vorhersagen lassen.“ (S. 215)

Flexibel zu bleiben und offen dafür, Kehrtwendungen bei seinen Entscheidungen zu machen, wenn die Fakten sich ändern, ist nichts weiter als die Anwendung einer unserer evolutionär geprägten Eigenschaften, sich an die Umgebung anzupassen. Diese adaptive Vorgehensweise bietet auch Vorteile bei Prognosen. Denn so schwierig Prognosen sind, so falsch sind sie oft genug. Dabei ist es egal, ob Amateure Prognosen abgeben oder Experten. Ein Grund dafür ist das oft missverstandene Zusammenspiel von Kausalität und Korrelation. 

Korrelation ist nicht Kausalität!

Die meisten werden den Spruch „Korrelation impliziert nicht Kausalität“ schon einmal gehört haben. Nur weil zwei Variablen eine statistische Beziehung zueinander haben, heißt das nicht, dass die eine für die andere verantwortlich ist. So sind beispielsweise der Verkauf von Speiseeis und Waldbrände miteinander korreliert, weil beide in der Sommerhitze häufiger auftreten. Aber es gibt keine Kausalität; man zündet kein Waldstück in Montana an, wenn man eine Packung Häagen-Dazs kauft. (Übersetzt mit DeepL)

Wir verfügen heute über riesige Datenmengen. Das verleitet zur Verfeinerung von statistischen Modellen. Viele Daten und noch mehr Daten sind gut. Mit Daten machen wir die Entwicklungen in der Welt sichtbar. Durch Datenanalyse erkennen wir den Fortschritt in allen Bereichen. Aber viele Daten sind auch „der Grund, warum sich die Fehlprognosen in der Big-Data-Ära mehren. Es gibt einen exponentiellen Anstieg der Informationsmenge und gleichzeitig einen zahlenmäßig exponentiellen Anstieg der Hypothesen, die getestet werden müssen.“ (Seite 307)

Aber diese riesigen Datenmengen sorgen auch dafür, dass sich viele Prognostiker komplett verirren. Zu viele Daten erhöhen die Möglichkeit, dass wir das Signal nicht mehr vom Rauschen unterscheiden können. 

Nate Silver: „… die Zahl der sinnvollen Beziehungen in der Datenflut, bei denen es um Kausalität und nicht nur um Korrelationen geht, und die einem sagen, wie die Welt wirklich tickt, ist unendlich viel kleiner. Es ist auch nicht wahrscheinlich, dass sie so schnell zunimmt wie die Masse der Informationen. Es gibt nicht mehr Wahrheit auf der Welt als in der Zeit vor dem Internet oder vor der Druckerpresse. Beim überwiegenden Teil der Daten handelt es sich um bloßes Rauschen.“ (S.307) 

Overfitting: Anpassen, bis nichts mehr passt!

Eine weitere Fehlerquelle ist Overfitting. Um Overfitting handelt es sich, wenn Einflussfaktoren bei einem Modell so lange angepasst werden, bis das Ergebnis zur Hypothese passt. Man lässt sich nicht mehr darauf ein, die Hypothese zu testen und sich überraschen zu lassen, ob sie bestätigt wird. Vielmehr wird so lange an den Knöpfen gedreht, bis das Ergebnis passt. „Die große Auswahl statistischer Modelle, die den Wissenschaftlern zur Verfügung steht, befähigt diese, genauso viel Fantasie zu entwickeln und genauso wissenschaftlich vorzugehen wie ein Kind, das in den Wolkenformen Tiere erkennt.“

„Mithilfe von vier Parametern kann ich selbst einen Elefanten anpassen, und mittels eines fünften Parameters kann er sogar noch mit seinem Rüssel winken.“ John von Neumann

„Die Überanpassung stellt einen doppelten Rückschlag dar. Sie hat zur Folge, dass unser Modell auf dem Papier besser aussieht, in der Realität aber schlechter abschneidet. Letzteres führt über kurz oder lang dazu, dass sich ein überangepasstes Modell selbst entlarvt, wenn es für echte Prognosen eingesetzt wird. Es wirkt anfänglich beeindruckender, weil es beachtenswert genauere Prognosen und im Vergleich mit älteren Methoden Vorteile verspricht. Es lässt sich möglicherweise leichter in einer Fachzeitschrift veröffentlichen oder an einen Kunden verkaufen und verdrängt dabei ehrlichere Modelle vom Markt. Wenn das Modell jedoch nur das Rauschen beschreibt, kann es der Wissenschaft schaden.“  (S. 208/209)

Ich sehe was, was du nicht siehst!

Nate Silver erwähnt eine weitere Fehlerquelle bei statistischen Prognosen beziehungsweise der Auswertung von statistischen Daten – den „Beobachter-Effekt“.

„In der Physik ist der Beobachtereffekt die Störung eines beobachteten Systems durch den Akt der Beobachtung. Dies ist oft das Ergebnis der Verwendung von Instrumenten, die zwangsläufig den Zustand dessen, was sie messen, auf irgendeine Weise verändern.“ Wikipedia (Englisch) (Abre numa nova janela)

„Die meisten statistischen Modelle gehen von unabhängigen sowie abhängigen Variablen aus, Input und Output, und davon dass diese Variablen auseinandergehalten werden können.“ Silver zielt mit seiner Kritik auf den Bereich der Ökonomie. In der Ökonomie ist die erwähnte Prämisse meistens verzerrt, denn seit Jahrzehnten greifen Regierungen, Notenbanken und andere Institutionen aktiv in ökonomische Prozesse ein. Das heißt, diese mächtigen Institutionen sind geschaffen worden, um nicht einfach nur den Beobachter zu spielen im Sinne eines Aufpassers, dass alles seinen geregelten Gang geht. Diese Institutionen beeinflussen durch ihr Eingreifen (Input) massiv den Output. 

Wenn Notenbanken massiv die Zinsen senken und es dadurch für (fast) jeden möglich wird, einen Kredit für den Kauf einer Immobilie von einer Bank zu bekommen (egal, wie schlecht seine persönliche finanzielle Situation ist), dann steigert diese laxe Vorgehen bei der Kreditvergabe erst einmal die Nachfrage nach Immobilien. Die Folge davon ist, dass die Preise für Immobilien steigen. Die Schlussfolgerung, dass der Immobilienmarkt gesund ist, weil die Preise steigen und die Nachfrage stabil bleibt, ist aber eine verzerrte Darstellung der Realität. Nur bei der kleinsten Zinsanhebung werden viele dieser Kredite „platzen“, weil die Kreditnehmer nicht in der Lage sind, ihren Kreditverpflichtungen nachzukommen.

„Wenn also die Immobilienpreise durch das Eingreifen der Regierung aufgeblasen werden, dann geben diese keinen Aufschluss mehr über die tatsächliche wirtschaftliche Situation.“ (S. 234)

Schwarze Schwäne lassen sich nicht vorhersagen, aber sie haben großen Einfluss auf Statistiken!

„Es gibt bekannte Bekannte, das sind die Dinge, die wir wissen. Wir wissen auch, dass es bekannte Unbekannte gibt, d.h. dass wir wissen, dass Dinge existieren, die wir nicht wissen. Aber es gibt auch unbekannte Unbekannte. Es gibt Dinge, von denen wir nicht wissen, dass wir sie nicht wissen.“ Donald Rumsfeld

Dieses inzwischen berühmte Statement 2002 „auf die Frage eines Journalisten, ob der Irak Massenvernichtungswaffen besitze, ist eine Folgerung aus Schellings Beobachtung, dass man das Unbekannte leicht mit dem Unwahrscheinlichen verwechselt.“ (S. 311/312)

Nur weil wir etwas nicht wissen und noch nicht einmal in der Lage sind, eine Frage zu formulieren, um herauszufinden, was wir wissen wollen, heißt das nicht, dass es dieses Ereignis nicht gibt. Im Gegenteil.  „Wenn wir uns eine Frage stellen und eine genaue Antwort finden, handelt es sich um eine bekannte Bekannte. Wenn wir uns eine Frage stellen und keine sonderlich genaue Antwort finden, dann handelt es sich um eine bekannte Unbekannte. Mit einer unbekannten Unbekannten haben wir es zu tun, wenn wir gar nicht auf die Idee gekommen sind, die Frage überhaupt zu formulieren.”

Irren, aber weniger und weniger und weniger 

(Anspielung auf ein Kurzgedicht des dänischen Mathematikers Hein: »The road to wisdom? - Well, it's plain / and simple to exp Err / and err / and err again / but less / and less / and less.«) (S. 285)

Das Ziel eines jeden Vorhersagemodells ist es, so viel Signal wie möglich und so wenig Rauschen wie möglich zu erfassen. Das richtige Gleichgewicht zu finden, ist nicht immer einfach, und unsere Fähigkeit, dies zu tun, hängt von der Stärke der Theorie sowie der Qualität und Quantität der Daten ab. In der Wirtschaftsprognose ist die Datenlage sehr schlecht und die Theorie schwach, daher das Argument von Armstrong, dass "je komplexer das Modell, desto schlechter die Prognose". (S. 351 Signal and Noise) 

Der Prognoseprozess ist mehr als Heuristiken anzuwenden wie Occams Rasiermesser oder „Je komplexer das Modell, desto schlechter die Vorhersage“. Letzteres ist gleichbedeutend mit dem Spruch „Gib niemals zu viel Salz in das Rezept“. Gute Prognosen brauchen Flexibilität im Denken und den Willen, sich in die Materie zu vertiefen. Bei guten Prognosen sollte man seinem eigenen Geschmack vertrauen (S. 352). 

Wenn die Welt probabilistisch ist, und wir unser Vorgehen bei der Erstellung von Prognosen dieser Sichtweise anpassen, dann bleibt nur die Methode von Versuch und Irrtum. Thomas Bayes hat gezeigt, dass es am sinnvollsten ist, wenn wir unsere Einschätzungen anpassen, sobald neue Einflussfaktoren aktiv werden. 

Nate Silver fasst das so zusammen: „Trotzdem ist ein ständiges Sich-selbst-Testen, das uns vor Augen führt, wie sich unsere Prognosen in der Praxis und nicht nur als bequemes statistisches Modell bewähren, vermutlich die beste Methode, um den Lernprozess zu beschleunigen.“ (S. 356)

Mit einer Verbeugung vor Sir Karl Popper schreibt er weiter: „Je gründlicher wir unsere Theorien prüfen und testen, desto bereitwilliger akzeptieren wir, dass perfekte Prognosen unmöglich sind. Je weniger wir unser Versagen fürchten, desto frei er sind wir in unserem Denken. Indem wir mehr darüber wissen, dass wir Dinge nicht wissen, gelingen uns möglicherweise mehr sinnvolle Vorhersagen. (S. 541)

Foto von Evie S. (Abre numa nova janela) auf Unsplash (Abre numa nova janela)