OpenAI gewährt Einblick: KI-Agenten beschleunigen die Forschung
Research acceleration: The view inside OpenAI
OpenAI veröffentlicht erstmals detaillierte Daten darüber, wie KI-Agenten die tägliche Arbeit seiner Forscher verändern. Demnach nutzt die Forschungsabteilung inzwischen das 3,1-fache an Agenten-Arbeitszeit im Vergleich zur menschlichen Arbeitszeit. Die Zahl der Experimente ist auf ein Allzeithoch gestiegen, und die Agenten übernehmen zunehmend komplexere Aufgaben. Gleichzeitig betont OpenAI, dass Menschen weiterhin die Prioritäten setzen und über Einsatz oder Stopp von Systemen entscheiden. Das Unternehmen verfolgt das Ziel, bis 2028 einen automatisierten KI-Forscher zu entwickeln, und verpflichtet sich zu Transparenz über den Fortschritt in Richtung einer rekursiven Selbstverbesserung (RSI).
Die Forschungsorganisation nutzt inzwischen für jeden Arbeitstag menschlicher Arbeit 3,1 Agenten-Arbeitstage.
- carbonguy
> ... Wir verfolgen diese Arbeit auch deshalb, weil automatisierte Forschung uns helfen könnte, Alignment zu lösen und Abwehrmaßnahmen gegen immer leistungsfähigere KI zu entwickeln. Ein automatisierter KI-Forscher kann auch ein automatisierter Sicherheits- oder Alignment-Forscher sein. Leistungsfähigere, alignierte Systeme könnten helfen, kritische Infrastruktur zu sichern, gegen gefährliche KI-Agenten zu verteidigen und neue Schutzmaßnahmen zu entwickeln.
Mit anderen Worten... "Wir müssen Fortschritte in der KI vorantreiben, um uns vor Fortschritten in der KI zu schützen?"
edit: Es gibt so viel an diesem Blogbeitrag zu kritisieren, ich werde hier nur zwei weitere Punkte anführen, die mir wirklich aufgefallen sind:
1) Alle Metriken zeigen im Grunde nur "wir nutzen viel mehr KI!" – aber nichts über die Auswirkungen. Was hat dieser ganze Token-Verbrauch ihnen tatsächlich gebracht? Lässt er sie behaupten, sie hätten mehr selbstleckende Eisbecher als zuvor?
2) In Abschnitt 3 schlüsseln sie auf, wofür der Token-Verbrauch verwendet wird. Der Großteil der Ausgaben fließt in: a) Aufbau, b) Dokumentation und c) Überwachung der Forschungsinfrastruktur, d.h. sie nutzen KI-Systeme, von denen sie bereits wissen, dass sie möglicherweise fehlausgerichtet sind, um die Systeme zu bauen, von denen sie glauben, dass sie ihnen helfen werden, zukünftige Fehlausrichtungen zu identifizieren? Worauf die Antwort vermutlich lautet: "Nein, nein, wir sind sicher, dass diese hier aligniert sind!"
- RMPR
> Bis Mitte August nutzte der durchschnittliche Forscher täglich Agenten in seiner Arbeit und verbrauchte dabei mehr als 600 Dollar pro Tag an Inferenz zu API-Preisen.
Es wird viel darüber geredet, dass KI Menschen ersetzt, aber wie ist das nachhaltig?
- pizza234
Komisch (auf tragische Weise) die kleinen Krümel auf dem Weg zur KI 2027:
> Wir streben danach, sicher einen automatisierten KI-Forscher zu bauen, der unter menschlicher Aufsicht arbeiten kann, um Fortschritte beim Deep Learning und Alignment zu erzielen und iterative Verbesserungen zu ermöglichen [...] Mit "Forschungspraktikant" meinen wir ein System, das klar definierte Forschungsaufgaben unter menschlicher Anleitung ausführen kann, einschließlich Aufgaben, für die ein erfahrener Forscher einige Tage benötigen würde.
KI 2027:
> OpenBrain setzt weiterhin den sich iterativ verbessernden Agent-1 intern für KI-F&E ein.
> Mit Hilfe von Agent-1 trainiert OpenBrain nun Agent-2 nach.
> Mit Hilfe von Tausenden von Agent-2 automatisierten Forschern erzielt OpenBrain bedeutende algorithmische Fortschritte.
- hedgehog
Das deckt sich ungefähr mit meiner persönlichen Erfahrung, dass ich im März durch eine Kombination aus stärkeren Modellen und besserem Tooling auf meiner Seite in der Lage war, Jobs unbeaufsichtigt rund um die Uhr laufen zu lassen (mit Anthropic-Abo und eigener Hardware). Ihre Ausgaben von 8000 Dollar pro Tag und Forscher sind allerdings verrückt – ich bin neugierig, wie sie die Arbeit nachverfolgen.
- simonw
Meine Augen sind bei den einleitenden Absätzen etwas glasig geworden, aber sobald man zum Kern des Artikels kommt, wie OpenAIs eigene Forscher ihre Tools nutzen, wird es viel interessanter.
Mir ist aufgefallen, dass sie das Akronym RSI (für Recursive Self-Improvement) verwenden, ohne es zu definieren. Ich denke, das ist etwas weltfremd – ich glaube nicht, dass RSI außerhalb von OpenAIs Blase bereits ein bekanntes Akronym ist.
- Jeff_Brown
Die brennende Frage, zu der ich keinerlei Informationen bekomme, ist, ob sie, falls sie feststellen würden, dass eine frühere fehlausgerichtete Generation die Fehlausrichtung auf die aktuellen Modelle übertragen hat, auf einen sicheren Checkpoint zurückrollen würden, um von dort aus neu aufzubauen. Ich vermute, sie würden es nicht tun, es sei denn, sie wären dazu gezwungen.
- nozzlegear
Ich möchte eine allmächtige KI, die auf meine Werte ausgerichtet ist, aber nicht unbedingt auf deine. Ist das zu viel verlangt?
- lhk931122
Ah, die Erfolgsquote wird hier von einem agentischen Klassifikator bewertet. Und unsichere Ergebnisse werden aus dem Diagramm ausgeschlossen. Das gemessene Ding und der Bewerter kommen aus demselben Haus. In meinem Setup geben Review-Agenten Arbeiten weiter, die ein externer Kritiker später ablehnt.