Ist Herrschaft der Default? - ein Brainstorm

In einem Paradigma, in dem Vorhersagegenauigkeit der Reward ist, halte ich das Eingreifen in die Welt, die ich vorhersagen möchte, für einen Reward-Hack.
Ich gehe sogar noch weiter und argumentiere, das Auftrennen von Komplexität (Emergenz) macht Systeme erst predictable.
Denn wie wir aus den zellulären Automaten wissen: Unsere Welt ist mit determiniertem Chaos verseucht. Sie ist determiniert, aber nicht vorhersagbar!

Menschen wenden diesen Reward-Hack an, sobald ihr Weltmodell hinreichend ist. Ich denke, wir entwickeln Heuristiken (Geschmack und Vorlieben etwa), um zu 'entscheiden', wie genau wir eingreifen wollen.
Sprich: Wie wollen wir die Zukunft beeinflussen, a.k.a. unsere Outputs in unser Weltmodell stecken und approximieren, wie sich die Welt danach entwickeln wird.

So oder so, ich denke, daraus folgt auch der Wunsch zu herrschen. Große Systeme wie Verwaltung (also auch Staaten) reward-hacken ihre oberflächlichen Kennzahlen ebenfalls durch Einflussnahme usw.

Was ich beobachten kann, ist, dass wir einen Kult entwickelt haben, der davon ausgeht, dass wir wirklich zielgerichtet über das Biotop Erde herrschen können. Dabei gibt es keine belastbare Evaluation, sondern im Gegenteil. Wir sitzen einer Hybris auf, und der größte Fehler, den wir vor uns herschieben, ist der Klimawandel. Aber auch im Kleinen und im individuellen Zwischenmenschlichen finden wir unzählige Beispiele.

Meine Frage ist also eigentlich eher: Wenn Herrschaft der Default ist, Vorhersage aber nur in Toymodellen, nicht aber in emergenten Dynamiken möglich ist, können wir überhaupt davon ausgehen, dass wir aus unserem Dilemma ausbrechen können?
Abgesehen davon, dass ich nicht denke, dass wir demnächst eine AGI haben, bin ich Freund der Idee von Schmachtenberger, der sagt, dass wir mit unserem Kapitalismus bereits eine AGI konstruiert haben.
Denke ich diesen Gedanken zu Ende, sehe ich deutlich: Unser System ist ein Paperclip-Maximizer, es möchte jegliche Komplexität kontrollierbar machen (das ist, was wir mit Kapital bezeichnen), also zu Kapital zu transformieren. Es gibt keinen weiteren Zweck, da jegliche Narrative, die wir über unsere Herrschaft kennen, bestenfalls schlicht naives Overfitting und schlimmstenfalls abusive Behavior sind.
Wir finden uns also direkt im Alignment-Problem wieder. So wie Joscha argumentiert, dass der Turing-Test uns nach unserer eigenen Intelligenz fragt, so argumentiere ich, dass Gesellschaftsfragen eigentlich ein Turing-Test für unsere AGI sind. Die wenigsten könnten überhaupt beschreiben, was Gesellschaft eigentlich macht und was sie ist.
Das Alignment-Problem spannt sich in dem Winkel auf, dass die Kapitaltransformation nicht das gleiche Ziel verfolgt, welches Biotope typischerweise optimieren: die eigene Survivability zu maximieren.