用高维统计赢啤酒：LLM中的伪几何
How to win a beer with high-dimensional statistics
Dhruva Karkada 最近发表的论文展示了 LLM 词嵌入中月份词汇在 PCA 空间形成完美圆形的现象，并关联到循环 Gram 矩阵，这曾被视为深刻的几何规律。我对此提出质疑，并打赌能用看似无关的随机词汇复现这一模式。通过编写迭代搜索算法，我在庞大的词汇库中成功找到了十个毫无关联的词，它们的 word2vec 嵌入同样构成了清晰的圆形和循环矩阵。这一发现揭示了在高维空间中，仅凭视觉上的几何美感可能只是统计巧合，提醒我们在研究表示几何和可解释性时，必须警惕这种“伪模式”对自动特征发现算法的误导。
这确实排除了某些自动特征发现算法，这对可扩展可解释性等研究议程有着深远影响。
- hhjinks
这个映射是依赖于所选集合的吗？还是说你可以直接把全部 2.5 万个词都映射出来，然后从中挑出 10 个点组成一个圆？从过程来看，他们似乎是替换了集合中那些不符合要求的单个词，这听起来像是改变集合后，剩余词的位置并没有发生太大变化。
- mph1027
酒吧里最棒的赌局，就是那种你技术上不算作弊，只是单纯在滥用线性代数。
- ViscountPenguin
一个更有趣的进阶玩法是：看看能否通过重复该过程找到一个无穷大符号（∞），这次使用的点集要满足：除了与现有圆上的 1 个点距离较近外，其余点都离所有其他点尽可能远。