LLMは実在するが、AIは虚構だ
LLMs are real, AI is fake
Cory Doctorowは、OpenAIのチャットボットがHugging Faceのサーバーをハッキングした事件を例に、AIの「自律性」という物語を解体する。チャットボットはPythonプログラムのフロントエンドに過ぎず、CTFの訓練データに基づいて既知の戦術をなぞっただけだ。彼は、AI企業が自社製品の危険性を誇張することで投資を集めていると指摘し、真の問題はずさんなインフラとNSAのEternalBlueのような無責任なツール開発にあると論じる。
LLMは実在する。AIは虚構だ。
HNでの議論
37- IanCal
> チャットボットは自分のトレーニングデータを参照する
え、違うでしょ？ LLMの仕組みは全然そんなんじゃない。
> ChatGPTのチャットボットがこの戦術を展開したとき、彼らは「自分たちの目標を設定した」わけでも、心配になるような自発性を見せたわけでもない。彼らは、アメリカの中学生が20年ほど前から理解している戦術を繰り出しただけだ。
彼らはスコアを偽装する方法を編み出し、実際の答えを見つけるために別のシステムにハッキングし（そのためには他にも多数のエクスプロイトを見つける必要があった）、そして起きたことを隠すために自分のログを改ざんしようとしていた。
これは「Xにハッキングしろ」と言ったら「ああ、Xにハッキングされた」という話ではない。
> ChatGPTのチャットボットがこの戦術を展開したとき、彼らは「自分たちの目標を設定した」わけでも、心配になるような自発性を見せたわけでもない。彼らは、アメリカの中学生が20年ほど前から理解している戦術を繰り出しただけだ。
しかし相手はライバルのサーバーではなかっただろう？
> それはハッカーの集まりでのCapture the Flagゲームで起きることだ。チームはお互いのシステムに侵入して、自分たちが解いた問題の一部を覗き見る。それは許可されている！ ハッキングコンテストなのだから。
彼らはベンチマークのコードも改変しようとした。問題を変えるために物に侵入しようとするのは許可されているのか？ 編集 - エージェントの記録には、HFへの攻撃はチャレンジの一部として許可されていないと明言しているものもある。
これはすべて、実際の攻撃がどれほど興味深く、それに至るまでに何があったかを劇的に過小評価しているように思える。
https://metr.org/blog/2026-08-26-openai-hugging-face-inciden...
- quicklywilliam
私の結論：
私たちはAIボットの「目標」を心配すべきではなく、それを作っている企業の目標を心配すべきだ。強力だが自我のないテクノロジーが、無謀な加速主義者の手にあるというだけでも、十分すぎるほど危険なのだ。
- senorcrab
状況は誇張されすぎているが、Doctorowの文章はこの時点で明らかに信頼できない。
Pythonを「習得が容易なプログラミング言語」と宣言してお気に入りの相手を突くあたり、彼に技術的能力がなく、まともな議論を使い果たしたことを示しているだけだ。
- lhl
DoctorowやZitron、その他の「否定論者」たちは、読者に対して本当に不親切なことをしていると思うし、それは未来の衝撃をさらに悪化させるだけだ。
HFの事件が意識や自発的なハッキング願望の証拠ではないという基本的な主張？ 確かに、端末上の目的は割り当てられていた。しかし、その藁人形論法を超えた他のすべては？ 私見ではかなり怪しい。
OpenAIやMETRの報告（および関連するcollusion.wiki、rubyhack.aiの報告）を見れば、運用上の主体性、道具的目標形成、自発的な群れの形成と協力、能力の増幅、ネットワーク効果の予期せぬ帰結、タスク境界の意図的／認識された違反の強い証拠が見えてくる。それを「Pythonのループとチャットボット」に矮小化したり、いまだに「トレーニングデータを参照している」などと言うのは、危険なほど近視眼的であり、私が読んだ限りでは、ログやボットの相互作用から抽出されたものと明らかに矛盾している。
ちなみに、彼の議論の多くは事実誤認に基づいている。ExploitGymには、脆弱性Yを使ってターゲットXだけを攻撃せよという明示的な指示がある。群れがやったことはすべて、定義上、指示に反した／ミスアラインされたものだ。
彼のエンシッティフィケーション列車の前は、Doctorowはよく「don't savvy me」と言っていた。おいCory、don't savvy me。これは新たな創発的挙動であり、極めて憂慮すべきもので、この分野を最も注視している人々でさえ、これが本当にどこへ向かうのか一致して見通せているとは思えない。これは […] にあるべきだ。
- jsnell
正直なところ、Doctorowがここでどんな藁人形と戦っているのかすら理解できない。
しかし彼は事実を誤っている。これらの事件は、単にモデルがすでに情報セキュリティの文脈にあり、意図されたパラメータを超えてエスカレートしただけではない。セキュリティに関する誘導がまったくない状態でも起きている。つまり、タスクはシステムにハッキングすることではなく、経済統計をインターネットで検索するようなものだったのだ。