美军过度依赖 Palantir AI 致 123 名伊朗儿童丧生
Pentagon: Palantir AI Overreliance Led to Strike Killing 123 Iranian Children
五角大楼内部调查揭露，美军在伊朗战争首日误炸 Shajarah Tayyebeh 小学，造成至少 123 名儿童死亡，主因是过度依赖 Palantir 开发的 Maven Smart System。尽管商业卫星图像早在 2018 年就显示该处已变为学校，但陈旧数据仍被系统判定为合法目标。调查指出，情报更新滞后、卫星影像过时以及 AI 工具被盲目信任，共同导致了这场本可避免的灾难。联合国认定此举涉嫌战争罪，而华盛顿方面至今未公开承担责任。这一悲剧再次敲响警钟：在军事和执法领域，人类若不加审视地接受 AI 输出，后果将是毁灭性的。
在军事和执法应用中，人类滥用技术或未经核实就接受自动化输出，可能带来灾难性的生死后果。
HN 评论区
496- legitster
> 报告指出，美国“未能履行其应尽义务，采取一切可行措施核实”该学校是否为军事目标，且这种失败“已超出单纯疏忽的范畴”。报告称，美国“在明知存在误击民用目标的重大风险的情况下，仍指挥对该校舍发动袭击，且对此类事件发生的可能性表现得鲁莽行事。”
细读细节后，“AI”似乎并非真正的罪魁祸首——它只是个替罪羊。
情报显示该地点已不再是军事目标，却从未录入目标数据库；负责审核目标清单的团队已被裁撤殆尽，且该团队甚至从未被咨询过意见。
白宫要求提供 1000 个目标，便直接从数据库中调取，却未进行任何尽职调查。无论是 AI 判定还是 SQL 查询——这纯粹源于人类的恶意与无能。
- jmathai
> Minab 站点因数据过时被错误归类为伊斯兰革命卫队设施，随后与其他候选目标一起输入 Maven 系统，最终被推荐为首日打击目标。原本需要数小时的目标清单工作，如今被压缩至几分钟。
我觉得我们优化的指标完全错了。
- Zigurd
你说得完全对，那些是无辜的孩子。我为之前的错误道歉。你想了解更多关于战争罪行的信息吗？
- macintux
相关事件：美国曾几乎登上一艘中国船只，因为 AI 错误地将其标记为携带核武器材料。
https://gizmodo.com/almost-started-a-war-us-military-nearly-...
- impossiblefork
就我个人而言，我更关注第二次和第三次打击的理由。
必须为急救人员以及其他救助伤者的人提供某种保护。
- mosajjal
我早在 3 月 9 日（超过 6 个月前）就写过这件事。没有推广，也不是付费 Substack：
https://alimos.substack.com/p/the-first-ai-enabled-war
AI 拥有自主性的含义不会止步于这次轰炸或这场战争。下一次可能就是“哎呀，他们不小心在某地引爆了核弹”。
- colingauvin
虽然我认为进行根本原因分析很重要，但我们必须非常小心，绝不能免除那些决定将重大决策权大幅移交给 AI 的人的责任。AI 无法在法庭上受审。它的每一个行动都必须有负责任的人类来承担，尤其是当它导致（人类）儿童死亡时。
我无法相信事情竟会发展到这一步。
- pylua
这仅仅是个开始。
当自主武器被部署时，规模将过于庞大，以至于无人能像纽伦堡审判那样被追责起诉。
就道德义务问题，我自有看法，但最好还是留给自己。