Anthropic、実在しない脅威でAI黙示録への恐怖をあおる
Anthropic conjures threat that doesn't exist yet to stoke fears of AI apocalypse
Anthropicは、自己複製するAIワームがIoTデバイスに広がる日は数カ月先だと主張する研究を発表した。だが、実験は攻撃用に構築され開放されたノードで行われ、増殖速度はMiraiの1時間に対し数日と遅く、成功したモデルはGLM-5.2のみ。他のモデルはすべて失敗し、サイバー攻撃部分は検証されていない。
「このようなレプリケーターの停止は困難だ。シャットダウンすべき集中点が存在しないからだ」とAnthropicは警告した。
HNでの議論
81- overgard
これは全く意味が分からない。つまり、低出力のハードウェアに低出力のモデルをインストールして、推論を極端に遅く実行できるってこと？ それが何の役に立つの？ そもそも、なぜそれが有用な攻撃になるんだ？ このハードウェアを侵害したと仮定しても、普通のマルウェアをインストールする方がはるかに理にかなっているんじゃないか？ それに、8Bとかのモデルがどう危険だっていうんだ？ ローカルLLMを使ったことあるけど、8Bは正直かなりダメだ。まさか、テレビで下手な詩を書くとか？
それに、終末論は信じていないけど……ねえ、そもそもこの終末論を生み出すために設計されたような、機能的に無意味なことをするのはやめたらどう？ 「ああ、私たちはとても怖がっている」と言いながら、こんなことをするのは、完全に信用を失うことになるよ。
- beloch
一方では、もし彼らが自社のソフトウェアが自己複製し適応するAIワームを生み出すことを本当に心配しているなら、それが決して起こらないようにする措置を取るだろう。もしそれが起これば、彼らは訴訟で破産させられるだろう。彼らはおそらく、IPOを盛り上げ、そしておそらく規制による囲い込みで、後発の競合他社の生活を困難にしたいだけなのだろう。
他方では、自己複製し適応するAIワームは、確かに本当に有害に思える。世界の終わりではないが、オンライン世界の終わりかもしれない。
- cmiles8
先週のIPOの失敗は、2兆ドル規模のAnthropicを熱望する市場を描いてはいない。
今日の奇妙な世界では、AIラボは、実行可能なビジネスがあると人々を説得しようとするよりも、厳しいビジネスや財務上の質問から逃れるための物語、どんな物語でも見つけることに完全に専念しているように見える。そして、それらの質問に対して、彼らは基本的で良い答えを持っていないようだ。
「今、財務的には素晴らしい状況だったが、殺人的な自己複製ボットのせいで減速せざるを得なかった……人類を利益より優先する！」というメッセージは、四半期ごとに巨額の損失を説明するために公開市場で通用するものではない。
- KevinMS
どうかどうか私たちを規制してください。そして、それに対処する余裕のない競合他社のことも忘れないでください。
- 0x000xca0xfe
彼らはちょうど先週の私の投稿を読んで、インスピレーションとして受け取ったのだろうか？
https://news.ycombinator.com/item?id=50002301#50006029
ローカルモデルは明らかに（まだ）十分ではない。これを知るのに「研究」は必要ない。