HybridAgent denkt im latenten Raum und spart dabei bis zu 55 % der Tokens
Hybrid Reasoning Agents: 35–55% fewer tokens and up to 2.6× faster inference
LLM-Agenten denken und handeln bislang ausschließlich in Text, während latentes Reasoning zwar effizienter ist, aber keinen Werkzeugzugriff und keine Transparenz bietet. HybridAgents verbinden beide Modi: Ein leichtgewichtiger HybridLink wechselt während der Generierung zwischen Text und latentem Raum, ein kontinuierliches Arbeitsgedächtnis bewahrt den Kontext über mehrere Turns. Über 11 Benchmarks hinweg erzielt das Modell 10,4 % bessere Ergebnisse bei 35,5 bis 54,7 % weniger Tokens und 1,8- bis 2,6-fach schnellerer Inferenz.
Wie bauen wir einen Agenten, der über die menschliche Sprache hinausdenkt und dennoch durch sie in der externen Umgebung handelt?
- sinuhe69
[verzögert]
- bhattisatish
Der Code ist verfügbar unter: https://github.com/togethercomputer/HybridAgent
LLM-Modelle und Daten: https://huggingface.co/collections/togethercomputer/hybridag...
Evaluierungen: https://arxiv.org/html/2610.18861v1#S5
- amluto
Ich frage mich, wie das im Vergleich dazu abschneidet, voll aufs Ganze zu gehen: das Input-Embedding so zu verbreitern, dass es den Output-Latentvektor (nach dem „Hybrid Link“) und ein Token-Embedding aufnimmt, und beide durchzuschleusen, selbst im Textmodus. Schließlich zahlt man beim Generieren von Text im Wesentlichen die vollen Kosten für den Betrieb des Latent-Modus-Modells – warum also nicht gleichzeitig latent reasoning betreiben lassen?
(Oder einfach die Vektoren addieren, statt breitere Vektoren zu verwenden – jeder scheint gute Ergebnisse damit zu erzielen, Vektoren einfach durch schnöde Addition zusammenzumanschen.)
- notnullorvoid
Ich bin gespannt, das auf Qwen 3.8 27B anzuwenden. Seine Reasoning-Ausgabe neigt dazu, viele Wiederholungen zu enthalten, was mit diesem hybriden Reasoning vermutlich eher im latenten Raum verbleiben würde.
- SwellJoe
Ich betreibe das 14B in llama.cpp (eine Version von gestern), die 8-Bit-Quantisierung von bartowski, und es hat fünf Minuten lang Variationen desselben Absatzes in einer Schleife wiederholt, bevor das Turn-Budget aufgebraucht war – als Antwort auf eine ziemlich einfache Chat-Anfrage, mit der andere Modelle ähnlicher Größe (z. B. Gemma 4 12B) keine Probleme haben, eine Web-Suche und Datenzusammenfassungsaufgabe, sozusagen der Sweet Spot für Modelle dieser Größe. Es ist möglich, dass llama.cpp ein Update braucht, um mit diesem Modell zu funktionieren, aber es basiert auf Qwen 3, also würde ich erwarten, dass es ziemlich gut unterstützt wird. Das Chat-Template ist dasselbe, das upstream ausgeliefert wird, was korrekt sein mag oder auch nicht. Ich lade gerade die 16-Bit-Version herunter, um zu sehen, ob es sich um eine Quantisierungs-Pathologie handelt.
Ich bin mir auch nicht sicher, ob es weiß, was eine CSV ist, denn es hat die Daten während seiner Reasoning-Phase als Beispiel dafür, wie die Daten präsentiert werden sollen, in eine Markdown-Tabelle gepackt (mein Prompt verlangt Daten in einer CSV). Meine Erfahrung mit den meisten Qwen-Fine-Tunes ist, dass sie dümmer werden, aber ihre Benchmark-Ergebnisse deuten etwas anderes an, also muss ich annehmen, dass es eine llama.cpp-Inkompatibilität ist.
Edit: Gleiche Schleife in BF16. Also muss ich wohl auf ein llama.cpp-Update warten.
- incognito124
Wie unterscheidet sich das von Astros looped Transformer? Diese Architektur argumentiert ebenfalls im latenten Raum.
- iforgotmypasswo
Das geht so weit über meinen Horizont, dass ich einfach frage und hoffe, dass jemand Kundiges hier ist:
Könnte diese Idee des Reasonings durch grundlegend unterschiedliche (so klingt es zumindest?) Modelle genutzt werden, um noch weiter entfernte Modelle oder Systeme zu verknüpfen?
Wenn man einen kleinen Sprung machen kann, dann kann man durch eine Kette größere Sprünge konstruieren. Woran kann latenter Raum sonst noch anknüpfen?
Statt Tool-Nutzung durch Text, Tool-Nutzung durch analoge Signale?
Statt Sprach-Prompts, analoge Sensoren?
- ajey_ds
Ich dachte immer, manchmal wäre Sprache der limitierende Faktor für LLMs, und internes Reasoning auf Basis von Vektor-Embeddings wäre der Schlüssel zu schnelleren, besseren Modellen.