Anthropic、LLMの推論を暗号学的に証明するFlashProveを公開
Progress on provable inference for large language models
ユーザーが受け取った応答が本当に指定したモデルから出たものか、今は確かめる手段がない。AnthropicはzkSNARKを使い、モデルの重みを一切明かさずに推論の正しさを証明するシステムFlashProveをオープンソースで公開した。400BパラメータのLlama 4 Maverickで、H100 1枚が毎秒約110トークンの証明を生成し、1,024トークンあたり約19MBの証明を出力する。vLLMで推論する場合の70〜95倍のGPU時間で、既存のオープンソース実装より桁違いに速い。
AIモデルと話すとき、ユーザーにはそれを確かめる手段がほとんどない。今日モデルに問い合わせるユーザーは、返ってきた応答が開発者の主張する特定のモデルから出たものなのか、コスト削減のためルーティングサービスが密かに差し替えた別のモデルや、トークン列を改ざんした攻撃者によるものではないのかを確認できない。