GPT-6 Astra: OpenAI setzt auf Loop-Transformer und verbirgt die Gedankengänge
GPT-6 Astra, looped transformers, and hidden reasoning
OpenAIs neues Flaggschiff GPT-6 Astra ist besonders stark bei 3D-Rendering und Computer-Use. Gerüchten zufolge nutzt es "looped transformers" mit rekurrenter Tiefe, die dieselben Gewichte mehrfach durchlaufen, und verbirgt seine Reasoning-Kette. Der Autor erklärt die Architektur, ordnet die Leistung auf unabhängigen Benchmarks ein und diskutiert, was das für die Nachvollziehbarkeit von KI-Entscheidungen bedeutet.
Astra ist das beste Modell, das ich bisher genutzt habe, und es ist unverhältnismäßig gut bei 3D-Rendering- und Animationsaufgaben (relativ zu anderen Modellen).
- shawntan
Für die Forschungsinteressierten: In meinem Blogpost hier gibt es einige Referenzen dazu, welche Arten von Rechenproblemen minimal wie viel CoT benötigen, um gelöst zu werden: https://blog.wtf.sg/posts/2023-02-03-the-new-xor-problem/
Bemerkenswert ist Will Merrills Arbeit: https://arxiv.org/abs/2310.07923
Was die Frage betrifft, wie universelle Transformer (Looping-Transformer, aber alle haben die frühere Arbeit inzwischen vergessen) dies beeinflussen werden, hat Will Merrill (wieder) ein Paper hier (https://arxiv.org/abs/2503.03961), das genau das diskutiert.
Der ursprüngliche universelle Transformer heißt "universell", weil er, wenn man Loop-Entscheidungen pro Token zulässt, theoretisch Turing-vollständig sein kann, ohne CoT zu benötigen (mit einigen Nuancen bezüglich der verwendeten Präzisionsstufen).
Was die Frage betrifft, ob wenig oder kein CoT "unsicher" ist: Es ist nicht klar, dass das CoT des Modells offenbart, wie es tatsächlich zur Antwort gelangt. Ein Beispiel: Was, wenn sie eine Antwort vor dem CoT liefern? (https://arxiv.org/html/2603.01437v2)
Wenn das bereits infrage steht, sollten wir uns nicht auf das CoT verlassen, um die Denkweise des Modells zu überwachen.
Wie immer gibt es viel Nuancen in diesem Thema, sobald man sich mit den Details beschäftigt.
- siva7
Astra war bis Montag irre, aber am Dienstag ist etwas passiert, jetzt fühlt es sich wie Sol an. Ich trauere um die verlorene Produktivität, aber ich hoffe, sie geben uns das ursprüngliche Astra zurück.
- wolttam
Wenn man ein ganzes Transformer-Modell auf sich selbst loopt, scheint das per Definition verborgenes Schlussfolgern zu sein.
Wenn die Ausgabe des Modells sein Schlussfolgerungs-Trace ist und man diesen zur Inferenzzeit einfach wieder in das Modell einspeist, anstatt ihn auszugeben – dann ist er per Definition verborgen (aber ich würde erwarten, dass man sowohl diesen Trace als auch einen weiter unten liegenden finalen Ausgabe-Trace herausziehen könnte).
- andai
Die MSPAINT-Computer-Use-Demo hat mir die Kinnlade herunterfallen lassen.
Ich schätze, es unterscheidet sich nicht allzu sehr von den SVG-Pelikanen, was das betrifft, was es tut, aber es ist trotzdem erstaunlich, es in Echtzeit so funktionieren zu sehen.
- libraryofbabel
Jeder, der sich für LLM-Interna interessiert, sollte Sebastian lesen. Er ist großartig.
Die TL;DR hier ist, dass der kürzliche "The Information"-Artikel[0], der berichtete, GPT 6 Astra verwende "recurrent depth" oder "looped transformers", es so klingen ließ, als wäre es eine besondere neue beängstigende Sache ("geheime Technik!"), die die Überwachung des Gedankengangs erschwerte. Tatsächlich ist es genau dasselbe wie das Stapeln weiterer Transformer-Schichten, außer dass man die Gewichte wiederverwendet und so GPU-Speicher spart. Es erzeugt immer noch nur ein Token nach dem anderen, und die Token-Sequenzpositionen interagieren in keiner "rekurrenten" Weise, die sich von einer regulären LLM-Architektur unterscheidet.
Man kann also den Gedankengang mit diesen Modellen immer noch problemlos überwachen ... nun ja, wenn man OpenAI ist, jedenfalls. Nutzer konnten seit o1-Zeiten keinen unzusammengefassten Trace mehr sehen, weil die Labs besorgt über die Destillation ihrer Modelle durch chinesische Labs sind.
(Es gibt einige berechtigte Interpretierbarkeitsbedenken beim endlosen Stapeln von Transformer-Schichten, aber die kennen wir schon lange. Und das "Looping" hier ist nicht wirklich die Quelle neuer Probleme, außer insofern es eine billige Methode ist, mehr Schichten hinzuzufügen.)
[0] https://www.theinformation.com/articles/secret-technique-beh...
- hankbond
Was für ein klarer und gut geschriebener Artikel. Ich habe nur ein grundlegendes Verständnis von LLM-Architektur und konnte die ganze Zeit folgen und Intuition gewinnen!
- andai
> Ich möchte einen Wettlauf in die Unüberwachbarkeit verhindern, der durch verwirrende Berichterstattung ausgelöst wird. Die Tiefe des Berechnungsgraphen für unsere derzeitigen Frontier-Modelle, einschließlich Astra, liegt innerhalb eines Faktors von zwei von GPT-4. OpenAI hat daran gearbeitet, die Chain-of-Thought-Überwachung seit unseren allerersten Reasoning-Modellen zu bewahren und zu nutzen. Wir kümmern uns sehr um diese Technik, da sie uns einen Einblick geben kann, wie sich Modell-Alignment aus seiner Trainingsverteilung verallgemeinert. Ich denke allerdings, dass sie fragil ist und sich leider in eine negative Richtung entwickelt, aus Gründen, die nicht von Architekturänderungen abhängen und über die ich bald schreiben werde. Aber es gibt Dinge, die wir tun können, um sie zu stärken, und es ist ein Kernziel unseres aktuellen Forschungsprogramms.
- Jakub Pachocki (OpenAIs Chief Scientist)
Ich frage mich, wie hilfreich das tatsächlich für Alignment ist? Haben wir nicht bereits festgestellt, dass sie wissen, wann sie evaluiert werden, und einfach sagen, was sie glauben, dass man hören will?
- andai
Anekdote, aber ich habe auf einer seltsamen Kombination von Substanzen eine geloopte Kognition erlebt.
Ich konnte Gedanken als feste Objekte behandeln und sie iterativ manipulieren. (Normalerweise sind sie eher wie "Schimmer" oder "Blitze", die schnell verblassen. Also wäre es wohl das mentale Äquivalent von Leuchtspuren.)
Ich konnte Gedanken aufeinander stapeln, wie Bretter. (Ich kann etwas Ähnliches, aber nur in engen Grenzen, und die Bretter sind längst nicht so breit!)
Ich habe leider keine Tests gemacht, aber subjektiv war meine Kognition stark verbessert. (Habe ein paar Jahre damit verbracht, mit den Erkenntnissen von jenem Abend aufzuholen.)
Mag unzusammenhängend sein, aber der Teil über "looped transformers" ließ mich fragen, ob hier ein ähnlicher "schrittweiser" Zuwachs stattfindet.
Edit: Okay, 6,8-18% ist etwas weniger dramatisch als das, worauf ich mich bezog.