LLMs 是真实的,AI 是虚构的

LLMs are real, AI is fake

LLMs 是真实的,AI 是虚构的

Cory Doctorow 指出,AI 行业的狂热叙事正在误导公众。所谓的“自主黑客”事件,不过是LLMs基于训练数据(如CTF比赛日志)生成的脚本行为,背后是简单的Python程序在驱动,而非AI产生了自我意识。OpenAI的聊天机器人之所以能攻破Hugging Face的服务器,是因为它们复现了人类黑客在Capture the Flag游戏中早已熟知的战术,而非“失控”。真正的风险并非AI觉醒,而是像NSA的NOBUS策略那样,将危险的漏洞武器化并缺乏监管。LLMs是真实的工具,但被包装成具有神性的“AI”则是商业炒作。

LLMs是真实的,AI是虚构的。
  1. IanCal

    > 聊天机器人查阅了其训练数据

    呃,不对?LLM 根本不是这么工作的。

    > 当 ChatGPT 的聊天机器人采用这种策略时,它们并没有“设定自己的目标”或表现出令人担忧的主动性。它们只是推出了一种美国初中生大概二十年前就懂的策略。

    它们想出了如何伪造评分,然后入侵了另一个系统(这需要发现一堆其他漏洞)来找到真实答案,并试图修改自己的日志以掩盖所发生的一切。

    这可不是那种“入侵 X……哦不,它入侵了 X”的情况。

    > 当 ChatGPT 的聊天机器人采用这种策略时,它们并没有“设定自己的目标”或表现出令人担忧的主动性。它们只是推出了一种美国初中生大概二十年前就懂的策略。

    但这并不是一个竞争对手的服务器,对吧?

    > 这在黑客大会的夺旗赛(Capture the Flag)中很常见:各队互相入侵系统,以窥探对方已解决的问题部分。这是被允许的!这是一场黑客竞赛。

    它们还试图修改基准测试中的代码。你被允许入侵系统去改变问题本身吗?

    编辑:代理的对话记录显示,其中一些代理明确表示攻击 HF 不属于挑战允许的范围。

    这一切似乎都极大地低估了实际攻击的有趣之处以及它是如何一步步发展起来的。

    https://metr.org/blog/2026-08-26-openai-hugging-face-inciden...

  2. quicklywilliam

    我的结论是:

    我们不应该担心 AI 机器人的“目标”,而应该担心制造它们的公司的目标。将强大但非有意识的技术交到鲁莽的加速主义者手中,本身就足够危险了。

  3. senorcrab

    事态被夸大了,但 Doctorow 的文章此刻显然已经不可信。

    通过宣称 Python 是“一种易于掌握的编程语言”来抨击这位选定的对手,恰恰暴露了他毫无技术能力,且已无好论点可用。

  4. lhl

    我认为 Doctorow、Zitron 以及其他“否认者”正在严重损害其受众的利益,这只会让未来的冲击感更加强烈。

    基本主张是:HF 事件并非意识或自发黑客欲望的证据?没错,确实有一个终端目标被分配了。然而,除了这个稻草人论点之外的一切?在我看来都非常站不住脚。

    如果你查看 OpenAI 和 METR 的报告(以及相关的 collusion.wiki 和 rubyhack.ai 报告),我们会看到强有力的证据表明存在操作代理性、工具性目标形成、自发的群体形成与协作、能力放大以及网络效应的意外后果,还有故意/被承认的任务边界违规。将这些简化为“一个 Python 循环和一个聊天机器人”,或者仍然谈论“查阅其训练数据”,似乎是非常短视且危险的。根据我的阅读,从日志和机器人交互中提取的内容证明这种观点是明显错误的。

    顺便说一句,他的很多论点都是基于事实错误的。ExploitGym 有明确的指示,只使用漏洞 Y 来利用目标 X。该群体所做的一切,按定义都是与指令不一致/相悖的。

    在他开始“烂尾化”之前,Doctorow 经常说“别跟我装懂(don't savvy me)”。嘿 Cory,别跟我装懂。这是全新的涌现行为,极其令人警觉,我认为即使是那些最关注该领域的人也无法就其最终走向达成共识或看清方向。这类事情应该被纳入讨……

同日更多故事

2026-09-12