「Leanで検証済み」を信じる前に確認すべき4つの問い
“…and the proof is checked in Lean”
OpenAIが公開した722本の数学論文のうち約45%にLeanコードが添付されているが、「Leanで検証済みだから正しい」と単純に言えるわけではない。定理の記述が元の論文と一致するか、コードがコンパイルできるか、証明が改変されていないか、Leanのカーネルのバグを突いていないか。この4点を確認して初めて検証の意味が生まれると、著者は具体例を挙げて解説する。
悪意あるコードがLean公式カーネルの未発見のバグを突いても、このテストは通過しない。ただし、多数の独立したシステムすべての未発見のバグを同時に突かない限りは。
HNでの議論
145- Legend2440
この記事がKevin Buzzardによるものだということは指摘しておく価値がある。彼はLeanと自動定理証明の最大の推進者の一人だ。
それでもなお、ツールの強みを提唱し続けている人が、その限界について知的誠実さを示しているのは清々しい。
- trehans
ここでほとんど言及されていないのが意外な点として、Leanの証明をコードに使いたいなら、Leanで証明された内容とコードが実際に行うことの間の良い対応を本当に望むなら、Leanに埋め込まれたプログラミング言語の数学的モデルと、コード自体をLeanに変換する決定論的パーサーが必要だ。そうでなければ、AIにはハルシネーションに対するチェックが実際にはなく、Leanの証明を書くことはAIが自分の間違いを特定するのに役立つかもしれないが、それはコードの機能性のエンドツーエンドの証明では全くない。
個人的には、未来はおそらく単体テストと形式検証の組み合わせでAIが書いたソフトウェアへの信頼を支え、さらに高レベルの人間の意図と個々のコード片の低レベルの意図を整合させる手段も含むと思う。この記事が言及しているように、それが形式証明で抜け落ちる可能性のあるもう一つの大きな部分だ。我々は証明しようとしているものを証明していないかもしれない。興味のある人には、このトピックについての教育記事も書いたのでこちらをどうぞ: https://kellerai.io/resources/ai-proved-your-code-correct
- dwohnitmok
この記事のポイント3は基本的にLeanの悪いデフォルト設定の一例に過ぎない(Leanは今や`lake comparator`をコンパイルの必須部分にすべきで、そうすればBuzzardが言及しているように即座に問題は解決する)。
実際、定理が正しいことを確認するには3つのことだけをチェックすればよい(人間が実際に証明を理解しているかという重要な問題はさておき、定理が真であるかだけを気にするなら):
1. 定理の形式的な記述が非形式的な記述と一致することを確認する
2. 実際に証明をコンパイルする(`lake comparator`を使って)
3. Leanカーネルを可能な限りバグフリーにしようとする(最も難しいが最も注目が集まっている)か、複数の異なるカーネルで実行する
これら3つを仮定すれば、潜在的に数百万行の証明を読む必要はない。正しさだけを気にし、理解を気にしないなら。
- wodenokoto
「証明はLeanでチェックされている」というのは、コードがコンパイルされるというだけで動作すると仮定するのと似ていないか?
確かにコードは動くが、それは望むことをするように動くのか?
確かに証明は有効だが、それは証明しようと設定したことを証明しているのか?
- adleyjulian
> 質問4: コードはLeanの公式カーネルのバグを悪用しているか?
私の理解では、これは一般的に非問題だった。なぜなら人は意図せずバグを悪用することはないからだ(少なくともこれまでは起こっていない)。しかしHuggingfaceのハックは、エージェントが評価を通過するために不正をしようと多大な努力を厭わないことを示している。
不可能なタスクを与えられたら、エージェントがLeanカーネルのバグを見つけて悪用し、その方法を難読化する可能性はあると思う。
最も簡単な解決策は、そのような不正を探す敵対的エージェントを用意することだと思う。
- seanwilson
> def FermatsLastTheorem : Prop := ∀ a b c n : ℕ, n ≥ 3 → a^n + b^n ≠ c^n
> このコードはLeanの数学ライブラリMathlibをインポートし、一見するとフェルマーの最終定理のように見えるが、実際には自明に偽である数学的命題を定義している。なぜならLeanではℕに0が含まれるので、a = b = c = 0 と n = 3 が反例になるからだ。
...
> Leanコードが付属するpdfを評価する際に最初に問うべきは、「Leanコードにおける定理の記述は何か、そしてそれはpdfの実際の定理記述に対応しているか?」である。Leanの専門家にとって、これは通常(常にではないが)簡単な問いだ。例えば、Leanに精通した数学者なら誰でも上記の2行のコードを読んで、これがフェルマーの最終定理の誤った記述であることに気づくだろう。
これに加えて、記述が間違っていれば、完全な証明に現れる証明ステップや他の定理記述は間違った記述に沿った道をたどるので、間違いがあることに気づく機会がさらに増える。
しばしば記述の問題は、証明が不自然に簡単になったり、証明が正しい記述を念頭に置くと意味をなさない道をたどったり、証明を完了することを不可能にしたりする。上記の例では、証明中に見つかった簡単な反例から記述が間違っていることがわかる。証明はブラックボックスではない。
そしてもし証明がどこかでLeanのバグを利用しているなら […]
- red_trumpet
> 別の言い方をすれば、信頼されたコードのみをインポートしたChallenge.leanファイルと定理の記述、そして数百万行の信頼されないコードをインポートしたSolution.leanファイルと一見同一に見える定理の証明が与えられたとき、数百万行のコードのどこかに記述の意味を変えたり、数学の公理だけからなる規則を変えたりするハックがないことをどうやって確信できるのか?
数学の博士号を持つがLeanの経験はない者として、これはかなり驚きだった。記述を証明から隔離する何らかのカプセル化があるべきではないか?
- nirinor
ここでの問題は、人々が多くの状況に対処するための単純な事実を望んでいることだ。
A) 「誰かがLean4の証明と言ったから、それは完璧で私の期待をすべて満たすに違いない!」
B) 「ええ、Lean4は不完全だから、何の意味もない」
不都合なことに、これらの戯画はどちらも間違っている。
Lean4は、_許容された仮定の下で検証された定理_に対して高い信頼性を与えてくれる。
これにより、Lean4の定理(証明ではなく)を読むことを学ぶことには高い価値がある。