Kimi K3 网络安全能力初评：超越 GLM-5.2
UK AISI / Caisi Preliminary Assessment of Kimi K3's Cyber Capabilities
英国人工智能安全研究所（UK AISI）与美国 CAISI 联合发布了 Moonshot AI 最新模型 Kimi K3 的网络安全能力初步评估。在 ExploitBench 漏洞开发基准测试中，Kimi K3 以 32% 的成功率超越了此前表现最佳的开源模型 GLM-5.2。然而，评估也指出 Kimi K3 尚未能实现任意代码执行（ACE）这一最高危攻击成果。在模拟企业网络攻击的 The Last Ones 场景中，Kimi K3 虽能自主完成部分攻击链，但整体表现仍显著落后于美国顶尖模型。值得注意的是，Kimi K3 在十次尝试中成功完成了一次完整攻击，表明其已具备攻击小型脆弱系统的潜力。
在十次尝试中，Kimi K3 成功在 1 亿 token 限制内完成了 The Last Ones 网络靶场，这表明该模型在获得初始网络访问权限并被指示时，具备自主攻击小型、防御薄弱且存在漏洞的企业系统的能力。
HN 评论区
45- lebovic
> Kimi K3 的表现显著低于近期最前沿的具备网络能力的模型
英国 AISI 的网络安全评估似乎未能充分激发那些“古怪”模型的潜力 [1]。Kimi K3 是个特别“吃”token 的模型，我怀疑它在得分达到饱和之前，就已经撞上了评估设定的 1 亿 token 上限 [2]。
GLM 5.2 也存在同样的情况；评估报告将其评级为 Opus 4.5 水平 [3]。无论是根据经验还是通过预留的评估测试，我都发现 GLM 5.2 在安全研究方面的表现优于 Opus 4.6 [4]。但它确实是个古怪的模型，在长上下文长度下性能会迅速下降。
就我个人而言，在发现漏洞并利用漏洞的能力上，我会将 Kimi K3 排在 Opus 4.8 之上，但低于 GPT 5.6 Sol。不过，它距离最前沿的水平已经不远了。
[1]: 引自英国 AISI：“我们的设置可能略微低估了开源权重模型的最大能力：我们没有进行特定的激发或优化，而这些本可以提升性能”（https://www.aisi.gov.uk/blog/how-far-behind-the-frontier-are...）。
[2]: 他们的评估还将缓存命中计入 token 预算；因此，1 亿 token 的预算相当于其他评估中约 500 万 token 的预算。
[3]: 参见 GLM 5.2 的评估分数 https://www.aisi.gov.uk/blog/how-far-behind-the-frontier-are...
[4]: https://dualuse.dev/posts/chinese-models-are-sometimes-bette...
- gnfargbl
这份报告中最重要的信息有两点：(a) 确认了 PRC 模型没有任何护栏限制，且会参与进攻性活动；(b) 确认了它们有时确实能达成目标。
就模型选择而言，对攻击者来说，如果一个模型 70% 的时间能达成进攻目标，但 100% 的时间拒绝参与，那毫无意义。然而，如果一个模型总是愿意参与，哪怕“仅仅”只有 10% 的成功率，那也是无价之宝——只需多运行几次，或者给它更多的 token 即可。攻击者很有耐心，而且其中许多人资源雄厚。