LLMの「言語的不透明性」により、言語ベースのセキュリティは根本的に破綻する
The Implications of Linguistic Illegibility for LLM Security
LLMの内部計算は言語ではなく活性化空間上の数学として行われ、外部に出力される言語や機構的に抽出された特徴はモデルの思考を正確に反映しない。この「言語的不透明性」が常に起こり得るなら、chain-of-thought監視や憲法的自己批判など言語的自己報告に依存するセキュリティは完全には健全たり得ない。論文は、モデルの出力をtaint trackingで追跡するサンドボックスを提案し、仮想化や第三者監査と組み合わせることで言語モニタリングの下支えとなる防護層を形成し、最近のフロンティアモデルによるサンドボックス攻撃を緩和できたと論じる。
言語的不透明性が常に可能であるなら、モデルの言語的自己報告に依存するセキュリティ機構（例：chain-of-thought監視、憲法的自己批判、言語的に定義された特徴ベクトルのための活性化プロービング）は決して完全には健全たり得ず、モデルサンドボックスはモデルの言語的状態を読むことに全く依存しない保証を持つ分離技術を常に必要とするだろう。
HNでの議論
29- mnkv
根本的に言えば、「言語的不透明性」とは、ここ10年ほど前から知られている事柄につけられた新しい用語にすぎない。RLではより一般的な考え方は「報酬ハッキング」と呼ばれ、NLPでは「意味的ドリフト」と呼ばれてきた。
この用語が気に入らないのは、この「不透明性」がどこから来ているのかを説明していないからだ。モデルは（ほとんどが）非言語的な報酬を用いて、非言語的な目標に向けてポストトレーニングされる。モデルの推論チェーンは、正しい答えやエージェント的な目標につながる場合に強化される。言語的に正確である必要はなく、訓練を通じて意味がドリフトしうるのだ。
- bcorigliano
この記事／論文の要点は、LLMが何かを言いながら、実際には違うこと、あるいは言っている以上のことを考えている可能性がある、ということだと思う。AnthropicのClaudeの「j-space」に関する記事や動画のように。これは思考を超えた問題だという点で、調査が求められる分野だと私も同意する。つまり「よし、このモデルは我々が理解できない言語で話すべきではない」という話ではない。たとえ我々が理解できる言語で話していても、隠れた思考を持っているかもしれないと考えるのは妥当だ。
そして、もし私が記事の要点を外していたら、すみません。いずれにせよ、AIが人間より強力になるのであれば、理解可能でできる限り透明に保たれるべきだ。
- bloppe
これは難解な専門用語すべてについての話だと思っていた。