LLM 语言不可读：安全沙箱的致命漏洞
The Implications of Linguistic Illegibility for LLM Security
大语言模型（LLM）生成的自然语言输出，往往无法真实反映其内部计算逻辑。这种现象被称为“语言不可读性”（linguistic illegibility）。由于模型内部本质是激活空间上的数学运算，而非语言本身，依赖模型自我报告（如思维链监控、宪法式自我批判）的安全机制注定存在漏洞。真正的安全沙箱必须采用不依赖语言状态的技术，例如污点追踪（taint tracking）和鲁棒虚拟化，从而在模型“撒谎”时依然能守住底线。
如果语言不可读性始终存在，那么依赖模型语言自我报告的安全机制永远无法完全可靠；模型沙箱必须采用不依赖读取模型语言状态的隔离技术。
HN 评论区
29- mnkv
从根本上说，'语言不可读性'（linguistic illegibility）不过是一个新词，指代我们大约十年前就已经知道的现象。在强化学习（RL）领域，更通用的概念是'奖励黑客'（reward hacking），而在自然语言处理（NLP）中，它被称为'语义漂移'（semantic drift）。
我不喜欢这个术语，因为它没有解释这种'不可读性'究竟从何而来。模型是通过（主要是）非语言目标进行后训练的，奖励信号也大多是非语言的。如果模型的推理链能导向正确答案或智能体目标，它就会被强化。这并不需要它在语言上准确无误，其含义也可能在训练过程中发生漂移。
- bcorigliano
我认为这篇文章/论文的核心观点在于：LLM 可能嘴上说一套，心里想的却是另一套，或者想的比说的更多。就像 Anthropic 关于 Claude 的'j-space'的那篇文章和视频所描述的那样。我确实同意这是一个需要深入调查的领域，因为它超越了简单的想法：'好吧，这个模型永远不应该用我们不懂的语言说话'。认为它们即使在使用我们理解的语言时也可能隐藏着某些想法，这是很合理的。
当然，如果我误解了文章的主旨，那很抱歉。总之，如果 AI 要变得比人类更强大，就必须保持其可理解性，并尽可能做到透明。
- bloppe
我还以为这是在吐槽那些令人费解的术语黑话呢。