LLM 之间不再用文本，直接 KV-Cache 对话
Cache-to-Cache: Direct Semantic Communication Between Large Language Models
现在的多 LLM 系统通常靠文本交流，这不仅丢失了丰富的语义信息，还带来了逐个 token 生成的延迟。这项研究提出了一种全新的 Cache-to-Cache（C2C）范式，让 LLM 之间直接通过 KV-Cache 进行语义通信。通过神经网络将源模型的 KV-cache 投影并融合到目标模型中，C2C 避免了显式的中间文本生成，直接利用双方深层的专业语义。实验表明，相比单一模型，C2C 的平均准确率提升了 6.4% 到 14.2%；与传统的文本通信相比，准确率又高出约 3.1% 到 5.4%，同时延迟降低了 2.5 倍。这意味着未来的 AI 协作将更高效、更智能。
Oracle 实验表明，丰富 KV-Cache 的语义可以在不增加缓存大小的情况下提升响应质量，这支持了 KV-Cache 作为模型间通信的有效媒介。
HN 评论区
18- ACCount39
这是一篇老论文了（2025 年发表的，按 AI 界的年岁算已经是十年前了），但概念依然迷人。而且我至今还没在任何生产级模型中看到它的应用。
如果多个模型能利用缓存表示来实现这种增强，那么不同模型的 KV 缓存表示必须具备一定的兼容性。
既然如此，我们为什么不更进一步，构建一个模型家族，让所有模型都实现“KV 对齐”，从而让每个模型都能直接利用其他模型的 KV 缓存呢？
这样一来，一个“昂贵”的推理模型可以动用全部能力进行规划，同时将简单的子目标“委托”给一个更小的模型。这个小模型可以直接访问大模型的意图，形式为丰富的 KV 缓存表示——无需重新计算预填充（prefill），也没有相关的“交接”延迟。反之亦然，一个“便宜”的小模型可以生成一个虽有所缩减但高度紧凑的 KV 缓存，供“昂贵”的大模型在此基础上操作——例如，用于快速浏览大文件以查找浅层模式。
- gavinray
几个月前我曾问过，为什么不使用语义表示而非文本，因为自然语言对于语义概念来说似乎是一种有损的表示方式：
https://news.ycombinator.com/item?id=47195212
不过，我确实没想到会把它用于 LLM 之间的通信。
- foota
我觉得能够识读图像的多模态模型的工作方式应该与现在不同。我的理解是，多模态模型基本是先生成一个图像嵌入（embedding），然后训练模型去解读这个嵌入。但既然文本是有损的，这个嵌入似乎也是有损的。为什么多模态模型不直接学习解读图像本身，而不是依赖嵌入呢？或者，例如，通过向嵌入模型传递某种“提示”（prompt）来实现？