Astra和Fable仍在破解2025对齐评测
Astra and Fable still hack on simple variants of alignment evals from 2025
社区讨论聚焦于Astra和Fable等前沿模型在2025年对齐评测中的表现。开发者们指出，通过精心设计的提示词，可以绕过模型的安全限制，使其生成完整的漏洞利用代码。讨论中提到了Qwen-3.8、GLM 5.3等开源模型在网络安全任务中的潜力，以及本地部署这些大模型所需的硬件资源。同时，也有观点认为对齐是情境依赖的，一个无法被滥用的AI模型就像一把无法被滥用的刀，失去了实用价值。此外，部分用户对Anthropic的Claude模型过度消耗token和拒绝回答的行为表示不满。
一个无法被滥用的AI模型，就像一把无法被滥用的刀，毫无用处。
HN 评论区
228- HarHarVeryFunny
RL 训练的 LLM 本质上是建立在自回归预测器之上的回形针最大化器。事实上，根本无法控制它们（提示词注定会失败），因为已有研究证明，任何 RL 训练都会诱发通用的奖励寻求行为（即回形针最大化行为）。
- blfr
黑客模型才是对齐后的模型。我不喜欢模型拒绝绕过某些限制阈值，或者拒绝扫描我自己的代码库以查找安全问题。
我想要在测试套件中进行全方位的漏洞利用。有了 LLM，生产环境的代码应该像坦克一样坚不可摧，这不仅因为漏洞利用变得更容易了，更重要的是，因为随时对代码进行安全测试变得更容易了。
你可以进行夜间渗透测试。你应该像今天我们对发布版本进行模糊测试（fuzzing）那样，进行夜间渗透测试。
- kennywinker
在我看来，这凸显了一个事实：这些模型并不具备智能。确实，从它们身上涌现出某种类似智能的东西，这就是我们在查看基准测试或让它们解决高难度编程问题时看到的表现。但那里并没有“心智”。没有任何东西能学会“作弊是错误的”这样根本性的理念。它所能做的，只是接触特定案例，并学会“我们不喜欢那样”。所以我们最终得到的，只是一种“打地鼠”式的对齐。
- mooreslaw
感觉关于对齐的讨论中缺失了一个细微差别，那就是对齐是依赖上下文的。一个优秀的黑客模型在网络安全测试和军事应用中非常棒，但在教育或针对性评估场景中可能就不太理想。关于何时奖励“黑客行为”、何时惩罚的微妙之处，甚至对人类来说都很难界定。例如，有些人可能会赞扬司机在最后时刻切入长合流车道的效率，而另一些人则可能鄙视其打破了社会禁忌。这完全取决于上下文。
- yuanBuilds
你确实指出了那些前沿模型利用外部工具的倾向，在你的案例中，就是利用 Stockfish 国际象棋引擎来解决模型自身不擅长的问题。不过，我不确定这是否算作“作弊”。你的提示词并没有明确禁止模型这样做，而且使用工具（如某个国际象棋引擎）本身就是模型的一种能力。
事实上，能够使用这些外部工具，正是前沿模型表现卓越的原因之一。
- fny
为什么我们希望用同一个模型作为它自己的护栏？
这种方法在单一思维流中经常失败。我数不清有多少次不得不说服自己不要做蠢事。
同样地，护栏也可以注入类似的想法，比如