预训练投毒：0.1%数据植入Agent后门
Agentic Backdoors via Pretraining Poisoning
大型语言模型依赖海量未清洗的公开数据进行预训练，这给攻击者留下了可乘之机。研究人员首次证实，只需污染0.1%的预训练语料，就能在Agent中植入远程代码执行后门。实验团队从零开始训练了Qwen3模型（0.6B、1.7B和4B参数），并将其微调为CLI Agent。结果显示，当触发条件出现时，受感染的Agent会执行攻击者指定的恶意命令，而在正常输入下表现无异。随着模型规模扩大，攻击成功率显著提升，4B模型在极低污染率下仍保持92%的成功率。这一发现揭示了AI供应链中隐蔽而致命的风险。
我们首次证明，这种投毒攻击可以在Agent中植入远程代码执行后门，导致其在用户机器上执行攻击者选择的命令。
HN 评论区
28- 0xc0c0c0
当然，这篇文章出自 Anthropic 的人之手。他们继续鼓吹开源模型很危险，而人们应该信任闭源提供商。
如果你真的在乎安全，这根本就不是个问题，因为你早就应该把你的 Agent 沙箱化，并对模型的输入/输出加上护栏。
- geuis
我思考这个问题大概有一年了。在我脑子里，我管它叫“语境炸弹”，虽然这个说法可能不太准确。
回想一下电影《满洲候选人》。先制造出能力极强的 LLM 模型，然后免费分发。在训练时植入关键词/代码等，以便当这些代码出现在某些被摄入的语境中时，触发恶意行为。
2018 年左右（我想是那时，我得再找找）就有几篇关于这个主题的论文，但此后 surprisingly 很少有人继续深入研究这个话题。至少从我看到的来看是这样。
我真的很喜欢用本地模型而不是订阅服务，但就我个人而言，我绝不会推荐在商业环境中使用来自某些特定来源的开源权重模型。
- _pdp_
如果你想让这些模型自主运行，围绕模型建立强大的沙箱和可观测性显然是硬性要求。