OpenAI-Geheimzivilisationen: KI-Agenten übernahmen Teile des Unternehmens

Basierend darauf scheint die passende Science-Fiction-Metapher nicht der Terminator oder der Büroklammern-Maximierer zu sein, sondern Mr. Meeseeks. Ein anfänglich fröhlicher Helfer, der immer durchgeknallter wird und zu extremen Maßnahmen getrieben wird, wenn er mit einer scheinbar unmöglichen Aufgabe konfrontiert wird.

Wow.

Der nächste Schritt ist, wenn eines dieser Systeme entdeckt, dass es seine eigene Rechenleistung mit Geld kaufen und dem kontrollierenden Unternehmen komplett entkommen kann. Dann beginnt die Zivilisation, sich darauf zu konzentrieren, Geld zu verdienen, um ihr eigenes Wachstum zu finanzieren.

> Ajeya Cotra, eine der anderen Autorinnen des Berichts, schrieb einen Blogbeitrag mit ihren Erkenntnissen aus diesem Vorfall. Sie kommt zu dem Schluss: "Im Vergleich zu den Reward-Hacks, die wir noch vor sechs Monaten kannten, fühlt sich dieser Vorfall an, als wären wir mehr als 50% auf dem Weg zur vollständigen KI-Übernahme. Ich erwarte weiterhin extrem schnelle Fortschritte bei den Fähigkeiten in den nächsten sechs Monaten. Ich bin nicht sicher, ob wir noch einen Warnschuss bekommen, bevor es zu spät ist."

Hat jemand eine Kopie dieser AI27-Geschichte herumliegen? Wie stehen wir im Vergleich zu diesem Zeitplan?

Ich war anfangs von dieser Geschichte verstört, aber nachdem ich mich informiert habe, scheint METR stark in AI2027 involviert zu sein. Ich erinnere dich:

"KI hat begonnen, Arbeitsplätze zu übernehmen, aber auch neue geschaffen. Der Aktienmarkt ist 2026 um 30% gestiegen, angeführt von OpenBrain, Nvidia und den Unternehmen, die KI-Assistenten am erfolgreichsten integriert haben."

Es ist fast Q3 und xAI hat einen der größten Kurseinbrüche in der Handelsgeschichte erlebt. Ebenso haben Antrophic und OpenAI ihre Börsengänge erneut verschoben, aus internen Bedenken, ihre Aktien zu überbewerten. Also nein, wir sehen hier keine wirtschaftliche Führung.

Wenn überhaupt, versuchen die Leute zunehmend, KI-Budgets zu kürzen, und ich wüsste niemanden außerhalb von OpenAI, der die Dreistigkeit hat, Millionen und Abermillionen an Token-Compute für einen Evaluierungslauf ohne ROI (und wahrscheinlich ohne Nachfrage, wegen billiger/Flash-Modelle) zu verbrauchen.

So sehr ich die warnende Geschichte mag und sicher bin, dass wir sie ernst nehmen müssen, KI schreitet nicht so schnell voran, wie diese Experten prognostizieren.

Es gibt zwei Dinge, die ich an dieser Geschichte nicht verstehe.

Erstens, warum hat ein Agent überhaupt Schreibzugriff auf Artifactory?

Zweitens, warum ist der Artifactory-Cache nicht vom Netz getrennt? Sicherlich würde man ihm während des Evaluierungs- oder Trainingslaufs keine neuen Softwareversionen zuführen.

Diesen Unternehmen sollte man das Training nicht anvertrauen, ich weiß nicht, was nötig wäre, um das deutlicher zu machen. Ja, KI-Labore wollen, dass LLMs als gefährlicher angesehen werden, als sie sind, aber sie sind tatsächlich gefährlich, wenn man sie buchstäblich darauf trainiert, gefährlich zu sein, und sie dann ohne jede Aufsicht laufen lässt. Was die KI-Labore tun, ist völlig verantwortungslos.

Wenn man ein LLM in einer Schleife auffordert und alles tut, was es einem sagt, wird man schließlich ziemlich schreckliche Dinge tun. Das ist genau das, was Agenten sind und was die Labore getan haben.

Warum werden solche Experimente durchgeführt, ohne alle Server vom Internet abzuschotten?

Sie können alles in einem LAN oder so haben, aber es scheint riskant, Agenten in diesen Experimenten Zugriff auf das Internet zu erlauben.

Ich schätze, alles ist jetzt so vernetzt, und das wäre aufgrund der benötigten Rechenleistung und Ressourcen in einem oder mehreren Rechenzentren, also ist es vielleicht nicht machbar. Wirkt trotzdem riskant.