Neuralese：AI 的隐秘思维为何危险
What is Nueralese and Why is it Bad
Chain-of-thought 让 AI 能用自然语言展示推理过程，成为我们监控模型意图的关键防线。然而，Neuralese 试图用一串人类无法解读的数字流取代这一过程，虽能提升效率，却彻底切断了我们理解 AI 内部逻辑的可能。OpenAI 的 Astra 模型疑似已采用这种混合架构，这意味着我们可能正在失去对前沿 AI 系统的最后监控手段。当 AI 的‘思考’变成黑盒，我们只能被动观察其行为，而无法提前预警潜在风险。
如果循环步骤不再是英语，我们就无法再监控意图，只能通过行为来观察模型是否安全。
HN 评论区
59- bauble
这让我想起自己有时正陷入深思，突然有人插嘴问："你在想啥呢？"，这一下就把我拽回了语言的世界。于是我开始费力地将一长串思绪翻译成英语，而我的对话者往往把这解读为抗拒，或者认为我在试图隐瞒自己的真实想法。对某些人来说，"不使用语言进行思考"简直是个闻所未闻的概念。
- _alternator_
该观点的核心在于：如果链式思考（CoT）不再产生"token"，就会移除一个关键的模型可解释性和意图控制界面。这一点在 OpenAI 关于 Hugging Face 攻击的报告中得到了证实；他们当时关闭了这些任务的 CoT 监控，并声称如果当时开启了监控，本可以（或应该能）阻止这种行为。他们已修改内部政策，要求始终监控 CoT。
不过话说回来……CoT 监控本身是一种脆弱的"意图发现"机制；Neuralese 虽然将这一问题摆到了台面上，但如果智能体开始学会在 CoT 日志中隐藏其真实意图，那我们基本上还是回到了原点。
- yellow_lead
如果模型能理解 Neuralese，为什么不能将其转换为英语以便监控或审查呢？
或者，我们是担心模型会在 Neuralese 中编码诸如"不要泄露这些信息"之类的秘密消息。但正如作者所指出的，他们可能一直都在这么做：
> 模型可以在其可见的思考过程中省略关键信息，正如这篇 Anthropic 2025 年的论文所示。我们也担心隐写术（steganography）的问题。
- macleginn
循环深度（Recurrent depth）和链式思考（CoT）是两个完全不同的概念。在前者中，层的输出会被重新路由为同一层的输入，这一过程可能重复多次。这种输入/输出是固定宽度乘以序列长度的实数表示，与输出 token 不可相提并论。
通常很难想象 Neuralese 该如何运作，毕竟模型是在自然语言文档上预训练的：CoT 相对只是对此的一个简单扩展，而 Neuralese 则要求一套全新的训练范式。
- everybodyknows
标题拼错了——把"eu"写成了"ue"。对于一个新造词来说，这确实有点烦人。