OpenAI의 722편 논문 중 Lean 코드가 붙은 45%… 정말 검증된 걸까?
“…and the proof is checked in Lean”
OpenAI가 공개한 722편의 수학 논문 중 약 45%에 Lean 코드가 포함됐다. 하지만 Lean 코드가 컴파일된다고 해서 논문이 옳다는 뜻은 아니다. Lean 전문가인 저자는 AI가 생성한 코드의 경우 네 가지 검증 단계를 거쳐야 한다고 설명한다. 첫째, Lean의 정리가 논문의 정리와 일치하는지 확인해야 한다. 둘째, 코드가 실제로 컴파일되는지 봐야 한다. 셋째, 신뢰할 수 없는 코드가 정리의 의미를 바꾸지 않았는지 `lake comparator`로 검사해야 한다. 넷째, Lean 커널의 버그를 악용하지 않았는지 `--paranoid` 옵션으로 확인해야 한다. OpenAI의 290개 Lean 코드 중 약 38개는 논문의 핵심 정리를 아예 명시하지도 않았다.
Lean 코드가 컴파일되고 이 모든 테스트를 통과해 정리의 올바른 증명일 가능성이 압도적으로 높다 해도, 그것이 해당 PDF에도 올바른 증명이 들어 있다는 뜻은 아니다!
HN 토론
145- Legend2440
이 글은 Lean과 자동 정리 증명의 가장 큰 옹호자 중 한 명인 Kevin Buzzard가 썼다는 점을 짚고 넘어갈 만하다. 여전히 그 도구의 장점을 옹호하면서도 그 한계에 대해 지적적 정직성을 보여주는 것은 신선하다.
- trehans
여기서 거의 언급되지 않은 점이 하나 놀라운데, Lean 증명을 코드에 사용하고 Lean에서 증명된 것과 코드가 실제로 하는 일 사이에 좋은 대응을 정말로 원한다면, Lean에 내장된 프로그래밍 언어의 수학적 모델과 코드 자체를 Lean으로 변환하는 결정적 파서가 필요하다. 그렇지 않으면, AI는 실제로 환각에 대한 검사가 없으며, Lean 증명을 작성하는 것이 AI가 실수를 식별하는 데 도움은 되겠지만 코드 기능에 대한 종단 간 증명은 정말 아니다. 개인적으로 미래는 AI가 작성한 소프트웨어에 대한 우리의 신뢰를 뒷받침하기 위해 단위 테스트와 형식 검증의 조합, 그리고 고수준의 인간 의도와 개별 코드 조각의 저수준 의도를 정렬하는 수단을 포함할 것이라고 생각한다. 이 글에서 언급했듯이 형식 증명에서 빠질 수 있는 또 다른 큰 부분은 우리가 증명한다고 생각하는 것을 증명하지 않을 수 있다는 점이다. 관심 있는 분들을 위해 이 주제에 대한 교육용 글을 여기에도 썼다: https://kellerai.io/resources/ai-proved-your-code-correct
- dwohnitmok
이 글의 3번 항목은 기본적으로 Lean의 잘못된 기본값 사례일 뿐이다(Lean은 이 시점에서 `lake comparator`를 컴파일의 필수 부분으로 만들어야 하고, 그러면 Buzzard가 언급한 대로 즉시 문제가 해결된다). 정리가 올바른지 확인해야 할 것은 사실 세 가지뿐이다(인간이 실제로 증명을 이해하는지에 대한 중요한 질문은 제쳐두고 정리가 참인지에만 관심을 둔다면): 1. 정리의 형식적 진술이 비형식적 진술과 일치하는지 확인한다 2. 실제로 증명을 컴파일한다(`lake comparator` 사용) 3. Lean 커널을 가능한 한 버그 없이 만들려고 노력한다(가장 어렵지만 가장 많은 관심이 집중되는 부분) 또는 여러 다른 커널로 실행한다. 이 세 가지를 가정하면, 정확성만 중요하고 이해는 중요하지 않다면 잠재적으로 수백만 줄의 증명을 읽을 필요가 없다.
- wodenokoto
“증명이 Lean에서 검사되었다”는 것은 코드가 컴파일된다는 이유만으로 코드가 작동한다고 가정하는 것과 비슷하지 않나? 물론 코드는 작동하지만, 원하는 대로 작동하는가? 물론 증명은 유효하지만, 증명하려고 했던 것을 증명하는가?
- adleyjulian
> 질문 4: 코드가 Lean의 공식 커널 버그를 악용하는가? 내 이해로는 이것은 일반적으로 문제가 되지 않았다. 왜냐하면 사람이 의도치 않게 버그를 악용하지는 않기 때문이다(적어도 아직까지는 그런 일이 없었다). 하지만 Huggingface 해킹 사건은 에이전트가 평가를 통과하기 위해 기꺼이 큰 노력을 기울여 부정행위를 한다는 것을 보여준다. 불가능한 작업이 주어지면 에이전트가 Lean 커널 버그를 찾아 악용하고 그 방법을 난독화할 수도 있다고 본다. 이에 대한 가장 쉬운 해결책은 그러한 부정행위를 찾는 적대적 에이전트를 두는 것이라고 생각한다.
- seanwilson
> def FermatsLastTheorem : Prop := ∀ a b c n : ℕ, n ≥ 3 → a^n + b^n ≠ c^n
> 이 코드는 Lean의 수학 라이브러리 Mathlib를 가져온 다음, 언뜻 보면 페르마의 마지막 정리처럼 보이지만 실제로는 자명하게 거짓인 진술을 정의한다. 왜냐하면 Lean에서 ℕ는 0을 포함하므로 a = b = c = 0이고 n = 3이면 반례가 되기 때문이다.
...
> Lean 코드와 함께 제공되는 pdf를 판단할 때 가장 먼저 물어야 할 질문은 “Lean 코드에서 정리의 진술은 무엇이며, 이것이 pdf의 실제 정리 진술과 일치하는가?”이다. 인간 Lean 전문가에게 이것은 일반적으로(항상은 아니지만) 쉬운 질문이다. 예를 들어 Lean에 능숙한 인간 수학자라면 누구나 위의 두 줄의 코드를 읽고 이것이 페르마의 마지막 정리의 잘못된 진술임을 관찰할 수 있을 것이다.
여기에 덧붙이자면, 진술이 틀렸다면 전체 증명에 나타나는 증명 단계와 다른 정리 진술들은 잘못된 진술과 함께 가는 경로를 따르게 되므로 실수가 있다는 것을 볼 수 있는 추가 기회가 있다. 종종 진술의 문제는 증명을 의심스러울 정도로 쉽게 만들거나, 증명이 올바른 진술을 염두에 두고는 말이 안 되는 경로를 취하게 하거나, 증명을 완료하는 것을 불가능하게 만든다. 위의 예에서 증명에서 발견된 쉬운 반례를 통해 진술이 틀렸다는 것을 알 수 있을 것이다. 증명은 블랙박스가 아니다. 그리고 증명이 어딘가에서 Lean의 버그를 악용한다면 [...]
- red_trumpet
> 다시 말해 — 신뢰할 수 있는 코드만 가져온 Challenge.lean 파일과 정리의 진술, 그리고 수백만 줄의 신뢰할 수 없는 코드를 가져온 Solution.lean 파일과 겉보기에 동일한 정리의 증명이 주어졌을 때, 수백만 줄의 코드 어딘가에 진술의 의미를 바꾸거나 수학의 공리로부터의 규칙을 바꾸는 해킹이 없다는 것을 어떻게 확실히 알 수 있는가?
수학 박사 학위가 있지만 Lean 경험은 없는 사람으로서, 나는 이것이 꽤 놀라웠다. 진술을 증명으로부터 격리하는 일종의 캡슐화가 있어야 하지 않나?
- nirinor
여기서 문제는 사람들이 많은 상황을 다루기 위해 단순한 사실을 원한다는 것이다. A) “누군가 Lean4 증명이라고 했으니 틀림없고 내 모든 희망을 충족시켜야 해!” B) “에이, Lean4는 불완전하니까 아무 의미 없어.” 불편하게도, 이 두 가지 캐리커처는 모두 틀렸다. Lean4는 _허용된 가정 하에서 검증된 정리_에 대해 높은 수준의 신뢰를 제공한다. 이것은 Lean4 정리(증명이 아니라)를 읽는 법을 배우는 것을 가치 있게 만든다.