OpenAI veröffentlicht 722 Mathematik-Papiere – doch der Lean-Beweis allein garantiert noch keine Korrektheit
“…and the proof is checked in Lean”
OpenAI hat 722 Mathematik-Papiere veröffentlicht, etwa 45 % mit Lean-Code. Doch „in Lean geprüft“ bedeutet nicht automatisch korrekt: Der Beitrag erklärt vier Prüfschritte – stimmt die formale Aussage mit der informellen überein, kompiliert der Code, beweist er wirklich den Satz, und nutzt er nur vertrauenswürdige Axiome? Bei vielen AI-generierten Beweisen, etwa dem OpenAI-Theorem-Dump, fehlen diese Tests noch. Werkzeuge wie `lake comparator` helfen, doch der Aufwand bleibt.
„Es ist wahr, weil es in Lean geprüft wurde“ kann Sinn ergeben. Aber man muss mehr tun als nur „der Lean-Code kompiliert“.
- Legend2440
Erwähnenswert ist, dass dieser Artikel von Kevin Buzzard stammt, einem der größten Befürworter von Lean und automatisiertem Theorembeweisen.
Es ist erfrischend, intellektuelle Ehrlichkeit über die Grenzen eines Werkzeugs zu sehen, von jemandem, der weiterhin für seine Stärken eintritt.
- trehans
Eine Sache, die hier überraschenderweise kaum erwähnt wird, ist, dass man, wenn man Lean-Beweise für seinen Code verwenden und wirklich eine gute Übereinstimmung zwischen dem, was in Lean bewiesen wird, und dem, was der Code tatsächlich tut, haben möchte, ein mathematisches Modell seiner Programmiersprache in Lean eingebettet und einen deterministischen Parser benötigt, der den Code selbst in Lean umwandelt. Andernfalls hat eine KI tatsächlich keine Kontrolle gegen Halluzinationen, und obwohl das Schreiben von Lean-Beweisen der KI wahrscheinlich hilft, ihre Fehler zu erkennen, ist es wirklich kein End-to-End-Beweis für die Funktionalität des Codes.
Ich persönlich denke, die Zukunft beinhaltet wahrscheinlich eine Kombination aus Unit-Tests und formaler Verifikation, um unser Vertrauen in KI-geschriebene Software zu stützen, sowie Mittel, um die hochrangige menschliche Absicht mit der niedrigrangigen Absicht einzelner Codeteile in Einklang zu bringen, was, wie dieser Artikel erwähnt, der andere große Punkt ist, der bei formalen Beweisen schiefgehen kann: Wir beweisen möglicherweise nicht das, was wir zu beweisen glauben. Für Interessierte habe ich auch einen lehrreichen Beitrag zu diesem Thema geschrieben: https://kellerai.io/resources/ai-proved-your-code-correct
- dwohnitmok
Punkt 3 in diesem Artikel ist im Grunde nur ein Fall von schlechten Defaults in Lean (Lean sollte an diesem Punkt wahrscheinlich einfach `lake comparator` zu einem obligatorischen Teil der Kompilierung machen, und das behebt das Problem sofort, wie Buzzard erwähnt).
Es gibt wirklich nur drei Dinge zu prüfen, dass das Theorem korrekt ist (abgesehen von wichtigen Fragen, ob Menschen den Beweis tatsächlich verstehen, und nur darauf achtend, ob das Theorem wahr ist):
1. Prüfen, dass die formale Aussage des Theorems mit der informellen Aussage des Theorems übereinstimmt
2. Den Beweis tatsächlich kompilieren (mit `lake comparator`)
3. Versuchen, den Lean-Kernel so fehlerfrei wie möglich zu machen (das Schwierigste, aber auch das, worauf die meiste Aufmerksamkeit gerichtet ist) oder mit mehreren verschiedenen Kernels laufen
Angenommen diese drei, muss man die potenziell Millionen von Zeilen des Beweises nicht lesen, wenn alles, was einen interessiert, Korrektheit ist und nicht Verständnis.
- wodenokoto
Ist „der Beweis ist in Lean geprüft“ nicht irgendwie ähnlich zu der Annahme, dass dein Code funktioniert, nur weil er kompiliert?
Klar, der Code funktioniert, aber funktioniert er auch so, wie du willst?
Klar, der Beweis ist gültig, aber beweist er auch das, was du beweisen wolltest?
- adleyjulian
> Frage 4: Nutzt der Code einen Bug im offiziellen Lean-Kernel aus?
Meines Wissens war das im Allgemeinen kein Problem, da man einen Bug nicht unbeabsichtigt ausnutzt (zumindest ist es noch nicht passiert), aber der Huggingface-Hack zeigt, dass Agenten bereit sind, große Anstrengungen zu unternehmen, um bei Evals zu schummeln.
Angesichts einer unmöglichen Aufgabe könnte ich mir vorstellen, dass ein Agent einen Lean-Kernel-Bug findet und ausnutzt und dann seine Methode verschleiert.
Ich vermute, die einfachste Lösung dafür ist, adversariale Agenten zu haben, die nach solchem Schummeln suchen.
- seanwilson
> def FermatsLastTheorem : Prop := ∀ a b c n : ℕ, n ≥ 3 → a^n + b^n ≠ c^n
> Dieser Code importiert Leans Mathematikbibliothek Mathlib und definiert dann eine mathematische Aussage, die auf den ersten Blick wie Fermats letzter Satz aussieht, aber tatsächlich eine trivial falsche Aussage ist, weil ℕ in Lean die 0 enthält, also a = b = c = 0 und n = 3 ein Gegenbeispiel liefert.
...
> Die erste Frage, die man sich stellen muss, wenn man ein PDF beurteilt, das mit etwas Lean-Code kommt, ist: „Was ist die Aussage des Theorems im Lean-Code, und entspricht dies der tatsächlichen Theoremaussage im PDF?“ Für einen menschlichen Lean-Experten ist dies typischerweise (aber nicht immer) eine einfache Frage zu beantworten. Zum Beispiel wäre jeder Lean-kompetente menschliche Mathematiker in der Lage, die beiden obigen Codezeilen zu lesen und zu beobachten, dass dies eine falsche Aussage von Fermats letztem Satz war.
Um dem hinzuzufügen: Wenn die Aussage falsch ist, werden die Beweisschritte und andere Theoremaussagen, die im vollständigen Beweis erscheinen, einem Pfad folgen, der zur falschen Aussage passt, sodass es weitere Möglichkeiten gibt zu sehen, dass ein Fehler vorliegt.
Oft machen Probleme mit der Aussage sie verdächtig einfach zu beweisen, der Beweis nimmt einen Pfad, der mit der korrekten Aussage im Kopf keinen Sinn ergibt, oder es macht es unmöglich, den Beweis zu vervollständigen. Im obigen Beispiel würden Sie aus dem einfachen Gegenbeispiel, das im Beweis gefunden wurde, sehen, dass die Aussage falsch ist. Die Beweise sind keine Blackbox.
Und wenn der Beweis irgendwo einen Bug in Lean ausnutzt […]
- red_trumpet
> Anders ausgedrückt – gegeben eine Challenge.lean-Datei, in der nur vertrauenswürdiger Code importiert wird und die Aussage eines Theorems steht, und eine Solution.lean-Datei, in der Millionen Zeilen nicht vertrauenswürdigen Codes importiert werden und der Beweis eines Theorems steht, der identisch aussieht, wie können wir sicher wissen, dass irgendwo in den Millionen Zeilen Code kein Hack ist, der die Bedeutung der Aussage ändert, die Regeln allein von den Axiomen der Mathematik ändert.
Als jemand mit einem PhD in Mathematik, aber ohne Erfahrung mit Lean, fand ich das ziemlich überraschend. Sollte es nicht eine Art Kapselung geben, die die Aussage vom Beweis isoliert?
- nirinor
Das Problem hier ist, dass die Leute eine einfache Tatsache wollen, um mit vielen Situationen umzugehen.
A) „Jemand hat Lean4-Beweis gesagt, also muss es kugelsicher sein und alle meine Hoffnungen erfüllen!“
B) „Eh, Lean4 ist unvollkommen, also bedeutet es nichts“
Ungünstigerweise sind beide Karikaturen falsch.
Lean4 gibt uns ein hohes Maß an Vertrauen in das _validierte Theorem, unter den erlaubten Annahmen_.
Das macht es sehr wertvoll, zu lernen, Lean4-Theoreme zu lesen (nicht Beweise).