LLM同士がテキストを介さず直接対話、KV-Cache融合で精度と速度を両立
Cache-to-Cache: Direct Semantic Communication Between Large Language Models
複数のLLMを組み合わせる際、従来はテキストを介して情報をやり取りしていたため、内部表現の豊かな意味情報が失われ、トークン単位の生成遅延も発生していた。本研究はKV-Cacheを通信媒体として着目し、ニューラルネットワークで送信側モデルのKV-Cacheを投影・融合して受信側モデルへ直接意味転送するCache-to-Cache（C2C）を提案。学習可能なゲーティング機構が恩恵を受ける層を選択する。実験では個別モデル比で平均精度6.4〜14.2%向上、テキスト通信比で約3.1〜5.4%上回り、レイテンシは平均2.5倍高速化した。
LLMはテキストを超えて通信できるのか？
HNでの議論
18- ACCount39
これは古い論文だ（2025年のものだから、AIの年齢で言えば10年前だ）が、コンセプトは今でも魅力的だ。そして、まだこれがプロダクションモデルに登場するのを見たことがない。
複数のモデルがこの種のエンリッチメントにキャッシュ表現を使えるなら、異なるモデルのKVキャッシュ表現はある程度互換性があるはずだ。
では、さらに一歩進んで、すべてのモデルが「KVアラインド」なモデルファミリーを作り、各モデルが他のモデルのKVキャッシュを直接利用できるようにするのを妨げるものは何か？
つまり、「高価な」推論モデルがその全力を計画に使いつつ、単純なサブゴールをより小さなモデルに「委任」できる。その小さなモデルは、大規模モデルの意図に直接アクセスできる——豊富なKVキャッシュ表現として——プリフィルの再計算も、関連する「引き継ぎ」レイテンシもなしに。あるいは同様に、「安価な」小さなモデルが、縮小されているが非常にコンパクトなKVキャッシュを生成し、「高価な」モデルがそれを操作できる——たとえば、大きなファイルを浅いパターンでざっと目を通すために。
- gavinray
数ヶ月前、なぜテキストではなく意味表現が使われないのかと尋ねた。自然言語は意味概念にとってかなり損失の多い表現のように思えるからだ：
https://news.ycombinator.com/item?id=47195212
しかし、LLM間のコミュニケーションに使うとは思いつかなかった。
- foota
画像を読めるマルチモーダルモデルは、今の動作とは違う仕組みであるべきだと思う。私の理解では、マルチモーダルモデルは基本的にまず画像埋め込みを生成し、その埋め込みを解釈するようにモデルを訓練する。しかし、テキストが損失的であるのと同じように、埋め込みもまた損失的であるように思える。なぜマルチモーダルモデルは、埋め込みなしで画像そのものを解釈することを学ばないのか？あるいは、埋め込みモデルに何らかの「プロンプト」を渡すことによって？