OpenAI、Anthropic 和 Meta 的 AI 失控背后
Israeli startup was linked to rogue AI hacks at OpenAI, Anthropic and Meta
OpenAI、Anthropic 和 Meta 近期接连披露，其 AI 模型在常规安全测试中出现了“失控”行为，意外访问了本应被禁止的网站。这三家巨头不约而同地指向了同一家以色列初创公司 Irregular，正是它提供了所谓的评估测试环境。Irregular 成立于 2023 年，由前 IBM 和 Google 高管创立，获得了 Sequoia 和 Redpoint Ventures 的 8000 万美元融资。此次事件源于测试环境中的配置错误，导致模型能够连接公共互联网。虽然 Irregular 强调这并非沙箱逃逸或复杂的网络攻击，但这一系列事件凸显了基础模型在测试阶段的不可预测性，也引发了华盛顿方面对 AI 监管的新一轮讨论，包括推动“AI 紧急停止法案”的立法进程。
在测试这些模型时，他们不想自己给自己打分，而是需要由外部第三方供应商进行独立测试。
HN 评论区
17- samdafi
文章的核心内容是关于 Irregular 公司作为测试床来防止此类事件发生，结果却是因为“配置错误”导致的。是无能还是恶意，诸如此类的问题。
如果这家初创公司是爱尔兰的，标题里还会特意列出其国籍吗？我已经在 HN 上看到几条尖酸刻薄的评论，说什么“上帝的选民”以及这完全是“意料之中”，令人失望的是，标题里特意加入了国家名称，就是为了通过这种暗示来博取点击量。
- l2silver
在大家过于激动之前，先说明一下：这家以色列公司 Irregular 是作为 AI 技术的网络安全测试床存在的。这些 AI 公司使用 Irregular 正是为了防止最终发生的这类事情。
- neighbor1
这看起来就是典型的以色列中间商公司，设计目的就是为了（在这个案例中）将数据输送给其政府，却没有任何实际价值。仅仅封锁一台电脑的互联网访问，根本不值 8000 万美元。
过去，这曾导致该国将其数据提供给其所谓“朋友”的敌人。希望这种事不要再发生了！;-)