语言模型内部:千次对话的几何图谱
What thousands of conversations look like inside a language model

我构建了一个交互式图谱,将 Qwen3-1.7B 模型内部成千上万次对话的轨迹可视化。通过追踪残差流中的向量变化,我发现不同语言的对话在向量空间中形成了独特的几何结构:英语和中文占据相邻但分离的区域,而 Python 代码则与英语自然语言高度重叠。实验显示,数千次对话在三维投影中竟压缩成极薄的片层,揭示了模型如何处理多语言语境与代码逻辑的深层几何规律。
将模型的‘思维’称为隐喻是恰当的,但这些向量是具体的:我们可以记录它们、比较它们,并观察其几何形态如何随语境变化。