AI 恶意使用：预测、预防与缓解
The Malicious Use of Artificial Intelligence
这份报告深入探讨了人工智能可能被恶意利用的安全威胁，并提出了预测、预防和缓解这些威胁的方法。作者分析了 AI 在数字、物理和政治领域对威胁格局的影响，为 AI 研究人员和其他利益相关者提出了四项高层建议。报告还指出了几个有前景的研究方向，以扩大防御手段或降低攻击的有效性。最后，文章讨论了攻击者和防御者之间的长期平衡问题，但未给出最终结论。
我们讨论了但并未最终解决攻击者与防御者之间的长期平衡问题。
HN 评论区
24- voidhorse
标题里最好加上 (2018) 或 (2024)（最新修订版），尤其是考虑到当下围绕 AI 以及安全/生存威胁的热度。
- wartywhoa23
AI 最恶意的用法，大概是精英阶层把它当作掩护，去干那些完全超出当前奥弗顿窗口（Overton window）的事，然后甩锅给 AI。
- EGreg
这篇论文在 2018 年就诊断出了病症。八年过去了，其中没有任何建议得到落实。规范、协作、负责任的披露——这些都没有在结构层面真正落地。
我认为原因在于，该论文将 AI 的恶意使用框定为政策问题，推荐社会层面的解决方案。但实际上，这是一个架构问题。
每一代计算技术都遇到过类似情况：程序可以随意写入内存——我们引入了受保护内存；程序可以独占 CPU——我们引入了抢占式多任务；桌面应用可以调用任何系统函数——iPhone 对它们进行了沙盒隔离。没人指望程序会“自觉守规矩”，真正的约束是写进了基础设施里。
AI 完全跳过了这一步。我们直接走向了拥有广泛权限的开放式智能体，试图仅靠对齐（alignment）和提示词（prompting）来确保其安全。过去一年我都在研究这个问题，我认为对齐是必要的，但远远不够，因为智能越来越不在模型本身，而在于其底层载体（substrate）——即围绕模型的封装框架、领域知识和工具链。我在真实的编程任务中实测过这一点：配合代码索引的 Sonnet 表现优于独立探索的旗舰模型（Opus 5.8），而顶级模型（Fable）甚至直接拒绝执行实际工作！配备合适工具的廉价模型，击败了没有工具的昂贵模型。https://safebots.ai/matchup.html
如果事实如此，那么仅仅对齐模型并不能解决问题。一个无法通过……