真理は方向ではない：LLM 探針に対する Tarski 攻撃
Truth is not a direction: a Tarski attack on LLM probes
LLM の埋め込み空間に「真理」を示す方向が存在するという仮説について、Tarski の自己言及のパラドックスを用いて反論します。言語モデルは自身の出力を記述できるほど表現力が高いため、万能な真理探針は数学的に存在し得ません。単なる方向への投影では、論理的な矛盾を回避できず、AI が絶対的な真理の神として機能することは不可能であることを示します。
「モデルの表現空間上で定義可能な探針は、その探針自体と出力を記述できるほど豊かな言語に対して、真理を正確に捉えることは決してできない。」
HNでの議論
87- kstenerud
超人的 AI が真理の神託（oracle）として機能するという提案自体が、あなたには荒唐無稽に思えるかもしれない（私にもそう思うが）。しかし、これを真剣に受け止めるべき理由は二つある。第一に、これが大多数の人々にとっての実践的な利用法だからだ。すでに標準的な Google 検索結果を代替しており、多くの議論が「最終的な真理の権威を AI に委譲する」という形で終結しているのを目撃してきた。
すでにこの状況を利用している組織が存在し、積極的に対象を LLM 自身に向けた「AI 宣伝」を生産している。つまり、LLM の何が真実であるかという理解に影響を与え、強力なアクターたちの意図にそって歪めるための宣伝だ。彼らは、自分がそれをしているという事実さえ隠していない。
- Legend2440
この記事は前提を妥当な範囲を超えて押し進めていると思う。
LLM の「真理ベクトル」に対して、誰よりも期待できるのは、そのステートメントが真であるか否かについてのモデルの信念を符号化するものだということだ。完璧な真理の神託が不可能であるのは当然のことだ。
- baq
タイトルは少しクリックベイト的だが、内容は読む価値がある。私はピッチフォーク（暴動用の道具）を手に持ってやってきたが、ほぼすべてに同意して帰ってきた。ただ、「もしプローブが 3 つの次元、すなわち『真実性』『知識への確信度』『決定可能性』を返せたらどうなるか？」といった疑問は残る。
また、LLM が神託のような扱いを受けているが、実際には全くそれではないという指摘は的確だ。私も同じことを考えており、これはかなり恐ろしいことだ。
- aesthesia
面白い記事だ。ただし、最後に示唆されている通り、LLM の「真理」プローブの目的は、モデル内部の真実性に対する判断を測定することにある。この判断が 100% の精度で測定されたとしても、間違っていたり論理的に矛盾していたりする理由は十分にある。
- tomaskafka
> 第二に、一部の人は、すべてのモデルが収束するプラトニックな表現空間が存在し、それが世界の「真実」の状態を表していると本当に信じている。もし真理が世界の客観的な一部であるなら、モデルが向上するにつれて、そのような普遍的な真理の方向性が出現すると予想されるかもしれない。
これは、コンピュータの中に神を見つけようとする人々が登場するSF 作品のすべてを思い起こさせる。
インターネットからスクレイピングされた断片的なテキストの鏡像のなかに、どうやってそれが存在できるというのか。