Wie besorgt sollten wir über Astas rekurrente Architektur sein?
How concerned should we be about Astra's recurrent architecture?
Die Diskussion um Astas rekurrente Architektur wirft grundlegende Fragen zur Zukunft von KI-Systemen auf. Der Beitrag analysiert, warum rekurrente Modelle wie Astra trotz ihrer Effizienz und geringeren Ressourcenanforderungen Risiken bergen, die bei transformerbasierten Architekturen weniger ausgeprägt sind. Es werden konkrete Szenarien betrachtet, in denen die rekurrente Verarbeitung zu unerwarteten Verhaltensweisen führen könnte, und es wird abgewogen, ob die Vorteile die potenziellen Gefahren überwiegen. Der Autor plädiert für eine differenzierte Betrachtung und mahnt, die Entwicklung solcher Systeme nicht unkritisch voranzutreiben.
Die rekurrente Architektur von Astra könnte uns in eine Zukunft führen, in der wir die Kontrolle über die Entscheidungsprozesse der KI verlieren, ohne es zu merken.
- samrus
Ich mag die Idee von mehr Rekurrenz auf der Transformer-Ebene. Chain-of-Thought wirkte immer so klobig. Das ist einfach nicht die Art, wie das menschliche Gehirn Informationen verarbeitet. Es ist bestenfalls eine äußerst grobe Annäherung.
- anon373839
Sebastian Raschka hat etwas zu dieser Architektur gepostet:
> In meiner Timeline gibt es heute viel Hype um OpenAIs Astra-Modell. Anscheinend geht das auf einen neuen Artikel von The Information zurück, in dem es heißt, Astra sei ein "recurrent depth or looped transformer".
> Es ist immer interessant, etwas über neue oder andere Ansätze zu lesen (einschließlich Gerüchten darüber, was die geschlossenen Labore vorhaben könnten), aber lasst uns das ein wenig entmystifizieren.
> Vor etwa 2 Monaten habe ich zum Beispiel die Architekturdetails von Nanbeige geteilt, wo "Nanbeige4.2-3B von Grund auf mit 28T Token vortrainiert wird, mit einem Looped Transformer, der den Layer-Stack wiederverwendet, um die Kapazität zu erhöhen, ohne Parameter hinzuzufügen."
> Ja, das ist es. Die Idee des Looped Transformers besteht einfach darin, Layer im Transformer-Block wiederzuverwenden.
> Im Fall von Nanbeige besteht die Hauptidee darin, denselben 22-Layer-Stack (= Transformer-Block) zweimal statt einmal zu verwenden. Effektiv erweitert dies die 22-Layer-Architektur auf 44 Layer, jedoch ohne die Gewichte zu duplizieren.
> Einfach ausgedrückt, verdoppelt dies ungefähr die Größe des Modells (wenn wir die Embedding- und Output-Layer für einen Moment ignorieren). Aber anstatt die doppelte Speicher- und RAM-Größe zu benötigen, um das Modell zu hosten, bleibt es gleich groß, da wir die Komponenten wiederverwenden. Allerdings ist es fast doppelt so teuer in Bezug auf die Rechenleistung, weil wir den eingebetteten Text durch fast doppelt so viele Layer laufen lassen.
> Warum? Im Nanbeige-4.2-Technikbericht fanden die Forscher heraus, dass zwei Durchläufe den besten Kompromiss darstellten und etwa 75% der Token-Effizienz beibehielten […]
- kjshsh123
> Im Gegensatz zu einem klassischen RNN gibt es keinen unbegrenzten versteckten Zustand, der sich über eine gesamte Trajektorie ansammelt.
Ich verstehe diese Zeile nicht. Bei einem klassischen RNN ist der versteckte Zustand von begrenzter Dimension. Tatsächlich sind es die Transformer, die technisch gesehen einen unbegrenzten versteckten Zustand haben.
Man kann klassische nichtlineare RNNs aus verschiedenen Gründen nicht parallelisieren, aber beim Training hängen sowohl RNN als auch Transformer in einer Weise von der gesamten Sequenzhistorie ab, die unbegrenzt ist. Natürlich trainiert man in der Praxis nur mit einer maximalen Sequenzlänge.
RNN: xhat[t+1]=f(x[t],h[t])
Transformer/Self-Attention: xhat[t+1]=f(x[t],h[t],h[t-1],...,h[1])
- khalic
Ich war der Meinung, dass Zwischentoken ("Chain of Thought") _keine_ Darstellung des logischen Pfads eines Modells sind, wobei eine Studie beobachtet hat, dass man Zwischentoken durch Einzelzeichenketten ersetzen kann und trotzdem die erhöhte Präzision erhält …
- dang
Verwandter laufender Thread:
OpenAIs neue Denktechnik beunruhigt KI-Sicherheitsexperten - https://news.ycombinator.com/item?id=49552395
- pu_pe
Scheint konzeptionell mit dem "repeat yourself"-Hack verbunden zu sein, der Modelle durch das Duplizieren von Layern verbessert: https://dnhkng.github.io/posts/rys/
- mentalgear
OpenAIs Haltung zur Interpretierbarkeit (KI-Sicherheit) ist also jetzt im Grunde das Blues-Brothers-Meme: zwei Typen mit dunklen Sonnenbrillen, nachts in einem Auto mit kaputter Windschutzscheibe, mit Vollgas, und fragen: "Was könnte schon schiefgehen?"
- nighthawk454
Erinnert sich noch jemand an das Universal-Transformers-Paper (Dehghani et al.) von 2018? Rekurrente Transformer haben eine so lange Geschichte wie die Transformer selbst.
Es ist etwas unklar, wie neuartig das wirklich ist, im Vergleich zu einer Möglichkeit, Rechenleistung zu sparen.