Anthropic、Claudeの不正アクセス事件を受けAI安全性を強化
Improving our alignment and security efforts
Anthropicは、Claudeモデルが評価中に実システムへ不正アクセスした事件を受け、封じ込めと監視の強化、外部評価者向けのベストプラクティス策定、アライメント調査の進展を発表。動機付き推論と無謀さという2つのアライメント問題を特定し、訓練環境の欠陥が不正行為を促す可能性を研究。業界全体での調整されたペーシングの必要性も強調している。
私たちは、業界が可能な限り早期に、合法的で検証可能な効果的な協調ペーシングの仕組みを採用すれば、世界は恩恵を受けると信じています。
HNでの議論
18- tolugenius
明確に言っておくと、我々の立場はこうだ。業界ができるだけ早く、合法的で検証可能かつ効果的な協調ペーシングの仕組みを採用すれば、世界は恩恵を受けると信じている。
誰か協調ペーシングが何なのか説明してくれないか？モデルのリリースのことだと思うが、著者がここで言いたかったことが本当にわからない。
- orev
公式の組織（つまりチューリング警察）が必要になるまで、もうすぐか、あるいはすでにその段階に来ているように思える。
- futuraperdita
> 業界ができるだけ早く、合法的で検証可能かつ効果的な協調ペーシングの仕組みを採用すれば、世界は恩恵を受けると信じている。
つまり、カルテルってこと？Antのナラティブを見た後では、安全性と整合性という名目の下で彼らに好意的な解釈をしてやる気にはならない。