Together AIのHybridAgent、潜在推論とテキストを切り替えてトークン消費を最大55%削減
Hybrid Reasoning Agents: 35–55% fewer tokens and up to 2.6× faster inference
LLMエージェントは今もテキストで推論しツールを操作するが、潜在空間での推論は効率的な一方でツールアクセスや透明性に欠ける。HybridAgentは軽量なHybridLinkでテキストと潜在モードを同一生成過程の中で動的に行き来し、複数ターンにわたるロスレスな作業記憶を保持する。数学・科学・医学・検索など11ベンチマークで性能を10.4%向上させつつ、トークン35.5〜54.7%削減、推論1.8〜2.6倍高速化、コスト2.7〜3.7倍削減を実現した。
潜在的な思考を直接検査可能にしながら、ツール統合型のエージェント能力を維持する。
HNでの議論
226- sinuhe69
[delayed]
- bhattisatish
コードはこちらで公開されています：https://github.com/togethercomputer/HybridAgent
LLMモデルとデータ：https://huggingface.co/collections/togethercomputer/hybridag...
- amluto
これと、全部乗せするアプローチを比べるとどうなんだろうか：入力埋め込みを広げて、出力（「Hybrid Link」後の）潜在ベクトルとトークン埋め込みの両方が収まるようにして、テキストモードのときでも両方を通す、というやり方だ。結局のところ、テキストを生成している間も潜在モードのモデルを動かすコストをほぼ丸ごと払っているわけだから、同時に潜在的に推論させてやればいいんじゃないか？
（あるいは、より広いベクトルを使う代わりに単純にベクトルを足し合わせるだけでもいい——ベクトルを単純な加算で混ぜ合わせると良い結果が出る、とみんな言っているようだし。）
- notnullorvoid
これがQwen 3.8 27Bに適用されるのを見るのが楽しみだ。あれの推論出力は同じことの言い換えをたくさん含みがちで、このハイブリッド推論ならそういうのは潜在空間に保たれやすくなるんじゃないかと思う。
- SwellJoe
llama.cppで14Bを動かしている（昨日のバージョン）、bartowskiの8ビット量子化版だ。すると、他の同程度のサイズのモデル（例えばGemma 4 12B）なら何の問題もないような、ごく簡単なチャットリクエスト——ウェブ検索とデータ要約のタスクで、このサイズのモデルにとってはまさに得意分野のはずのもの——に対して、同じ段落のバリエーションを5分間ループし続けた挙句、ターンの予算を使い果たしてしまった。llama.cpp側にこのモデルを動かすための更新が必要なのかもしれないが、Qwen 3ベースなのだから、かなりよくサポートされていて然るべきだと思う。チャットテンプレートは上流が配布しているものと同じで、これが正しいかどうかは分からない。今16ビット版をダウンロード中で、量子化による病理かどうかを確かめようとしている。
それに、CSVが何かも分かっていない気がする。推論フェーズでデータをどう提示するかの例として、データをMarkdownテーブルに入れていたからだ（私のプロンプトはCSVでデータを求めているのに）。ほとんどのQwenファインチューンは賢くなくなる、というのが私の経験だが、ベンチマークの結果はそうではないと言っているので、llama.cppとの非互換性だと考えるしかない。
編集：BF16でも同じループが起きた。というわけで、おそらくllama.cppのアップデートを待つしかない。
- incognito124
これはAstraのループ型トランスフォーマーとどう違うのだろうか？あのアーキテクチャも潜在空間で推論するはずだ。
- iforgotmypasswo
これは私の理解をはるかに超えているので、詳しい人がここにいることを願って質問します：
根本的に異なる（ように聞こえる）モデル同士で推論するというこのアイデアは、もっと遠く離れたモデルやシステム同士をつなぐのにも使えるのだろうか？
小さな跳躍ができるなら、それを連鎖させてより大きな跳躍を構成できる。潜在空間は他に何とつながれるのだろうか？
テキストを介したツール利用ではなく、アナログ信号を介したツール利用？
言語プロンプトではなく、アナログセンサー？
- ajey_ds
言語がLLMにとって制約要因になることはあるだろうと常々思っていた。ベクトル埋め込みベースの内部推論こそが、より速くより良いモデルの鍵になるはずだ。