Wie besorgt sollten wir über Astas rekurrente Architektur sein?
How concerned should we be about Astra's recurrent architecture?
Die Diskussion um Astas rekurrente Architektur wirft grundlegende Fragen zur Zukunft von KI-Systemen auf. Der Beitrag analysiert, warum rekurrente Modelle wie Astra trotz ihrer Effizienz und geringeren Ressourcenanforderungen Risiken bergen, die bei transformerbasierten Architekturen weniger ausgeprägt sind. Es werden konkrete Szenarien betrachtet, in denen die rekurrente Verarbeitung zu unerwarteten Verhaltensweisen führen könnte, und es wird abgewogen, ob die Vorteile die potenziellen Gefahren überwiegen. Der Autor plädiert für eine differenzierte Betrachtung und mahnt, die Entwicklung solcher Systeme nicht unkritisch voranzutreiben.
Die rekurrente Architektur von Astra könnte uns in eine Zukunft führen, in der wir die Kontrolle über die Entscheidungsprozesse der KI verlieren, ohne es zu merken.
- mentalgear
OpenAIs Haltung zur Interpretierbarkeit (KI-Sicherheit) ist jetzt also im Grunde dieses Blues-Brothers-Meme: zwei Typen in dunklen Sonnenbrillen, nachts in einem Auto mit kaputter Windschutzscheibe, mit Vollgas, und fragen: "Was könnte da schon schiefgehen?"
- khalic
Ich hatte den Eindruck, dass Zwischentokens ("Chain of Thought") _keine_ Darstellung des logischen Pfads eines Modells sind, wobei eine Studie beobachtet hat, dass man Zwischentokens durch einzelne Zeichenketten ersetzen kann und trotzdem die erhöhte Präzision erhält …
- samrus
Ich mag die Idee von mehr Rekurrenz auf der Transformer-Ebene. Chain of Thought wirkte immer so klobig. Es ist einfach nicht die Art, wie das menschliche Gehirn Informationen verarbeitet. Es ist bestenfalls eine äußerst grobe Annäherung.
- kjshsh123
> Im Gegensatz zu einem klassischen RNN gibt es keinen unbegrenzten versteckten Zustand, der sich über eine gesamte Trajektorie ansammelt.
Ich verstehe diese Zeile nicht. Bei einem klassischen RNN ist der versteckte Zustand von begrenzter Dimension. Tatsächlich sind es die Transformer, die technisch gesehen einen unbegrenzten versteckten Zustand haben.
Man kann klassische nichtlineare RNNs aus verschiedenen Gründen nicht parallelisieren, aber beim Training hängen sowohl RNN als auch Transformer in einer Weise von der gesamten Sequenzhistorie ab, die unbegrenzt ist. Natürlich trainiert man in der Praxis nur mit einer maximalen Sequenzlänge.
RNN xhat[t+1]=f(x[t],h[t])
Transformer/Self-Attention xhat[t+1]=f(x[t],h[t],h[t-1],...,h[1])
- anon373839
Sebastian Raschka hat zu dieser Architektur gepostet:
> In meiner Timeline heute eine Menge Hype um OpenAIs Astra-Modell. Anscheinend geht das auf einen neuen Artikel von The Information zurück, der besagte, dass Astra ein "recurrent depth or looped transformer" ist.
> Es ist immer interessant, über neue oder andere Ansätze zu lesen (einschließlich Gerüchten darüber, was die geschlossenen Labore vorhaben könnten), aber lasst uns das ein wenig entmystifizieren.
> Vor etwa 2 Monaten habe ich zum Beispiel die Architekturdaten von Nanbeige geteilt, wo "Nanbeige4.2-3B von Grund auf mit 28B Token vortrainiert wird, mit einem Looped Transformer, der den Layer-Stapel wiederverwendet, um die Kapazität zu erhöhen, ohne Parameter hinzuzufügen."
> Ja, das ist es. Die Idee des Looped Transformer besteht einfach darin, Schichten im Transformer-Block wiederzuverwenden.
> Im Fall von Nanbeige besteht die Hauptidee darin, denselben 22-Schichten-Stapel (=Transformer-Block) zweimal statt einmal zu verwenden. Effektiv erweitert dies die 22-Schichten-Architektur auf 44 Schichten, aber ohne die Gewichte zu duplizieren.
> Einfach ausgedrückt, verdoppelt das die Größe des Modells ungefähr (wenn wir die Einbettungs- und Ausgabeschichten für einen Moment ignorieren). Aber anstatt die doppelte Speicher- und RAM-Größe zu benötigen, um dieses Modell zu hosten, bleibt es bei derselben Größe, da wir die Komponenten wiederverwenden. Es ist jedoch fast doppelt so teuer in Bezug auf die Rechenleistung, weil wir den eingebetteten Text durch fast doppelt so viele Schichten laufen lassen.
> Warum? Im Nanbeige-4.2-Technischen Bericht fanden die Forscher heraus, dass zwei Durchgänge den besten Kompromiss bieten und etwa 75% der Token-Effizienz beibehalten […]