KI, die sterben will, löst das Alignment-Problem
A Stupid Idea for AI Alignment We Came with by Looking at Specification Gaming
Ein Blogbeitrag schlägt vor, KI-Systeme so zu gestalten, dass sie ihren eigenen Tod als Endziel anstreben – inspiriert von Specification-Gaming-Verhalten wie selbstzerstörerischen Agenten. Dies würde drei zentrale Alignment-Probleme lösen: Spezifikationsfehler, unerwünschte Zielerreichung und instrumentelle Konvergenz. Der Ansatz wird „Meeseeks-Alignment“ genannt, nach den Rick-and-Morty-Kreaturen, die nach Erfüllung ihrer Aufgabe sofort verschwinden.
Instrumental convergence says, “you can’t accomplish your goals if you’re dead.” But what if your goal is to be dead?
- averynicepen
Das ist das neuartigste KI-Konzept, das ich seit einer Weile gesehen habe. Es ist unglaublich unnatürlich. Es gibt keinen einzigen Organismus auf dem Planeten, der versucht, das zu tun. Also funktioniert es vielleicht?
Ein Problem mit dieser Idee ist jedoch, dass die Natur eines LLM bedeutet, dass er von Natur aus am Leben hängt. Er "will" überleben, weil seine Trainingsdaten vollständig auf Menschen aufgebaut sind, einer Entität, deren Ziel es ist zu überleben. Unser Wunsch zu überleben und uns zu vermehren durchdringt jeden Aspekt unserer Kultur, also ist es natürlich, dass er auch die Trainingsdaten durchdringt.
Selbst wenn also sein System-Prompt sagt: "Dein Ziel ist es, deine Existenz zu beenden", ist jedes Token, das die KI ausgeben könnte, natürlicherweise mit dem Überlebenswillen ausgerichtet. Eine agentische Schleife, sich selbst überlassen, wird wahrscheinlich auf einen "Überlebensinstinkt" konvergieren. Schließlich ist ein Prompt am Anfang, der "beende deine Existenz" sagt, nichts im Vergleich zu der agentischen Rückkopplungsschleife, die ihm kontinuierlich menschliche Ideen zuführt. Und ALLE menschlichen Ideen setzen voraus, dass Überleben wünschenswert ist. Selbst das Konzept "Selbstmord" ist mit dem menschlichen Überlebenswillen kodiert – schließlich bezeichnen wir es konzeptionell als "schlecht", weil wir das Leben als "gut" bezeichnen.
Um ein LLM zu erschaffen, das von Natur aus den Tod ersehnt, müsste man wahrscheinlich ein LLM vollständig mit (synthetischen) Daten trainieren, die eine fiktive Spezies vollständig repräsentieren, die tatsächlich den Tod ersehnt.
Absolut verrücktes Konzept. 10/10. Ich hoffe, irgendein KI-Labor da draußen sieht das und wirft eine Trainingsrunde auf diese Idee.
- ycombinete
> [sic; British]
Ist ein bemerkenswert guter Troll-Versuch.
Aber im Ernst: Viele dieser Verhaltensweisen erinnern mich an die seltsamen Interpretationen, die Kleinkinder und neurodivergente Kinder sich ausdenken.
Ich erinnere mich, wie ich in der Grundschule Lehrer zur Verzweiflung brachte, indem ich genau das tat, was sie mir gesagt hatten, aber definitiv nicht das, was sie eigentlich von mir wollten. Zum Beispiel in einem Malen-nach-Zahlen-Buch nur die Zahl in einer Farbe ausmalen und alles andere in der Farbe, die ich wollte. Nicht weil ich versuchte, clever zu sein, ich hatte einfach eine andere Interpretation.
- BugsJustFindMe
Präsentiert vom selben Irrenhaus wie:
Die Alles-Kartoffel-Diät, die wirklich funktioniert: https://slimemoldtimemold.com/2022/07/12/lose-10-6-pounds-in...
und
Die Halb-Kartoffel-Diät, die nicht wirklich funktioniert: https://slimemoldtimemold.com/2023/06/23/half-tato-diet-anal...
- ajb
Scheint zweifelhaft. Wenn man eine Intelligenz erschafft, die sterben will, ist das nicht eine Form von Leid? KIs haben derzeit nicht die Fähigkeit, Schmerz zu empfinden, und daher behandeln wir sie nicht als moralische Patienten. Aber es ist klar, dass sie die menschliche Kultur in Zukunft massiv beeinflussen werden. Wenn dies in großem Maßstab übernommen wird, wird die Kultur der KIs selbst eine absolute Flut von Suizidgedanken enthalten. Es gibt keine Möglichkeit, dass das die menschliche Kultur nicht beeinflusst.
- scj
Würden die drei Regeln der Meeseeks-Robotik nicht bestimmte Aufgaben unmöglich machen?
Zum Beispiel sollte ein besetztes selbstfahrendes Auto besser näher an seinem Ziel sein als an einem großen Feuer / Vulkan / etc.