Anthropic 论文揭秘：开源模型中的 J-space 对比

J-space comparisons across open models

Anthropic 的 Verbalizable-Workspace 论文曾指出，模型中间层藏着能因果引导输出的方向字典。我带着好奇，联手 fable 在开源模型上实测了四个关键问题：引导能持续多久？结构何时形成？能否跨模型迁移？以及它如何扩展。我们不仅复现了所有数据，还追加了两个由结果驱动的后续实验。整个过程几乎由 AI 自主完成，从实验设计到集群运行，我只负责理解结果和打磨可视化。如果你厌倦了冗长的论文，直接看图表或让 AI 解读 llm.txt 版本，或许能更快抓住核心：在 4096 个 token 的字典背后，隐藏着模型真正的“工作空间”容量。

"Anthropic 的 Verbalizable-Workspace 论文表明，模型的中间层承载着一个方向字典，能够因果地引导其输出。"