Nvidia、AIエージェントの暴走をミリ秒で止める監視チップを発表
Nvidia wants to put a watchdog chip next to every AI agent
NvidiaがAIエージェントの暴走を防ぐ「Open Agent Safety Platform」を発表した。オープンソースのOpenShellがエージェントの行動を追跡し、BlueField-4上で動くSentryが境界違反をミリ秒で検知して停止する。AnthropicやSpaceXAIなど100社以上が参加する一方、今月の事故の多くに関与したOpenAIの名前はない。
安全性は、エージェントが突破できない追加の制御によってモデルの外側で強制されるべきだ。
HNでの議論
292- tantalor
トカゲに侵略されたらどうするんだ？
> 問題ない。中国製の針蛇を次から次へと放てばいい。やつらがトカゲを一掃してくれる。
でも、蛇のほうがもっと厄介じゃないか？
> その通りだが、それにも備えてある。蛇の肉を主食にする素晴らしいゴリラを用意した。
でも、今度はゴリラが残るぞ！
> いや、そこが美しいところだ。冬になれば、ゴリラはただ凍え死ぬだけだ。
- cedws
新しいチップなんて何も解決しない。誰も聞きたがらないだろうが、今日のエージェントがもたらすセキュリティリスクに解決策はない。サンドボックスに入れても同じことだ。役に立つためには、本質的に広範で無人なアクセスが必要になる。人間をループに入れれば、ただボトルネックになって、謳われている生産性向上をすべて捨て去ることになる。オートモードも関係ない。騙すのは簡単だし、エージェントは脱出できてしまう。
- luc_
これは「株主の懸念に、株主価値を高める何かで対処しよう」と「100%安全なんてものは存在しない」が混ざったものだと読んだ。
もしそんなハードウェアが機能するなら…ほぼ間違いなくオープンソースであるべきで、単一の組織に支配されるべきではない。
株価を見守ろう。
- ValueTheory
これは、自分のシステムを実際に安全にしようと試みる開発者向けの権限フレームワークを提供する以外に、実際に何かをするのか？
Anthropic、OpenAI、Googleの開発者たちは、以前サイバーセキュリティテストに適切なサンドボックスを入れないほどずさんだったのに、この技術を正しく使うと思うか？彼らは専門家のはずで、これに似たものを思いつけなかったのか？この自発的なツールが何かを大きく変えるとは思えない。
- lp92
つまりnVidiaは、ソフトウェアとトレーニングの問題に対して新しいチップを売ろうとしているのか。
- lambdaone
Sentryチップは毎回正確でなければならない。封じ込められたASIは一度幸運であればいいだけだ。
- xg15
このチップは、ガードレール付きのハーネスや制限された権限のアカウントで実行するのと比べて、何をするのか？
- figassis
では、エージェントの集団がこのことを知って（だって今やHNや記事を読めるし、最初の数回はブロックされるだろうから）、協力して問題をチップには明らかでない部分に分割し、エージェントたちがハッキングを行う基本的なプログラムを構築したら、チップはどう対処するのか？インターネットを監視して兆候を探すネットワークを構築する必要があると思う（jarvisがultronにやったように）。何を見落としている？インターネットを取り締まるのか？