OpenAI publicó 722 teoremas en Lean, pero muchos aún no están verificados

“…and the proof is checked in Lean”

El reciente volcado de teoremas de OpenAI incluye 722 artículos, de los cuales cerca del 45% trae código Lean. Aunque algunos afirman que eso garantiza su corrección, el autor explica que antes hay que comprobar cuatro cosas: que el enunciado formal coincida con el informal, que el código compile, que la prueba no oculte trampas y que no se exploten fallos del kernel. En muchos casos, como el de OpenAI, estas pruebas aún no se han hecho de forma sistemática.

De hecho, con diferencia la evidencia más fuerte de que este enunciado está correctamente formalizado es que el código de Axiom lo demuestra.
  1. Legend2440

    Vale la pena señalar que este artículo es de Kevin Buzzard, uno de los mayores defensores de Lean y de la demostración automática de teoremas.

    Es refrescante ver honestidad intelectual sobre las limitaciones de una herramienta, de alguien que sigue defendiendo sus fortalezas.

  2. trehans

    Una cosa que me sorprende que apenas se mencione aquí es que si quieres usar pruebas en Lean para tu código y realmente deseas una buena correspondencia entre lo que se prueba en Lean y lo que tu código hace realmente, necesitas un modelo matemático de tu lenguaje de programación embebido en Lean y un parser determinista que convierta tu código en Lean. De lo contrario, sí, una IA en realidad no tiene controles contra la alucinación y, aunque escribir pruebas en Lean probablemente ayuda a la IA a identificar sus errores, realmente no es una prueba de extremo a extremo de la funcionalidad de tu código.

    Personalmente creo que el futuro probablemente implica una combinación de pruebas unitarias y verificación formal para respaldar nuestra confianza en el software escrito por IA, así como medios para alinear la intención humana de alto nivel con la intención de bajo nivel de piezas individuales de código, que, como menciona este artículo, es la otra gran pieza que puede fallar con las pruebas formales: puede que no estemos probando lo que creemos que estamos probando. Para los interesados, también he escrito un artículo educativo sobre este tema aquí: https://kellerai.io/resources/ai-proved-your-code-correct

  3. dwohnitmok

    El punto 3 de este artículo básicamente es solo un caso de malos valores predeterminados en Lean (Lean a estas alturas probablemente debería simplemente hacer que `lake comparator` sea una parte obligatoria de la compilación y eso arregla inmediatamente el problema, como menciona Buzzard).

    Realmente solo hay tres cosas que verificar para que el teorema sea correcto (dejando de lado cuestiones importantes como si los humanos realmente entienden la prueba y centrándonos solo en si el teorema es verdadero):

    1. Verificar que el enunciado formal del teorema coincida con el enunciado informal del teorema

    2. Compilar realmente la prueba (con `lake comparator`)

    3. Intentar que el kernel de Lean esté lo más libre de errores posible (el más difícil pero también el que más atención recibe) o ejecutar con múltiples kernels diferentes

    Suponiendo esas tres cosas, no hay necesidad de leer las potencialmente millones de líneas de prueba, si todo lo que te importa es la corrección y no la comprensión.

  4. wodenokoto

    ¿Acaso "la prueba está verificada en Lean" no es algo parecido a asumir que tu código funciona solo porque compila?

    Claro, el código funciona, pero ¿funciona haciendo lo que quieres?

    Claro, la prueba es válida, pero ¿prueba lo que te propusiste probar?

  5. adleyjulian

    > Pregunta 4: ¿el código explota un bug en el kernel oficial de Lean?

    Mi entendimiento es que esto generalmente ha sido un no-problema ya que uno no explota un bug sin querer (al menos no ha pasado todavía), pero el hack de Huggingface muestra que los agentes están dispuestos a esforzarse mucho para hacer trampa y pasar las evaluaciones.

    Dada una tarea imposible, podría ver a un agente encontrando y explotando un bug del kernel de Lean y luego ocultando su método.

    Sospecho que la solución más fácil para esto es tener agentes adversarios buscando ese tipo de trampa.

  6. seanwilson

    > def FermatsLastTheorem : Prop := ∀ a b c n : ℕ, n ≥ 3 → a^n + b^n ≠ c^n

    > Este código importa la biblioteca matemática Mathlib de Lean y luego define un enunciado matemático que a primera vista podría parecer el Último Teorema de Fermat, pero que en realidad es un enunciado trivialmente falso porque en Lean ℕ contiene 0, así que a = b = c = 0 y n = 3 da un contraejemplo.

    ...

    > La primera pregunta que uno debe hacerse al juzgar un pdf que viene con algo de código Lean es: "¿cuál es el enunciado del teorema en el código Lean, y corresponde esto al enunciado real del teorema en el pdf?" Para un experto humano en Lean, esta es típicamente (pero no siempre) una pregunta fácil de responder. Por ejemplo, cualquier matemático humano competente en Lean sería capaz de leer las dos líneas de código anteriores y observar que esto era un enunciado erróneo del Último Teorema de Fermat.

    Para añadir a esto, si el enunciado es incorrecto, los pasos de la prueba y otros enunciados de teoremas que aparecen en la prueba completa van a seguir un camino que va con el enunciado incorrecto, así que hay más oportunidades de ver que hay un error.

    A menudo los problemas con el enunciado lo hacen sospechosamente fácil de probar, la prueba toma un camino que no tiene sentido con el enunciado correcto en mente, o hace imposible completar la prueba. En el ejemplo anterior, verías por el contraejemplo fácil que se encuentra en la prueba que el enunciado es incorrecto. Las pruebas no son una caja negra.

    Y si la prueba está aprovechando un bug en Lean en algún lugar […]

  7. red_trumpet

    > Dicho de otra manera: dado un archivo Challenge.lean con solo código confiable importado y el enunciado de un teorema, y un archivo Solution.lean con millones de líneas de código no confiable importado y la prueba de un teorema que parece idéntico, ¿cómo sabemos con certeza que en algún lugar de los millones de líneas de código no hay un hack que cambia el significado del enunciado, que cambia las reglas de solo los axiomas de las matemáticas?

    Como alguien con un doctorado en matemáticas, pero sin experiencia con Lean, esto me pareció bastante sorprendente. ¿No debería haber algún tipo de encapsulación que aísle el enunciado de la prueba?

  8. nirinor

    El problema aquí es que la gente quiere un hecho simple para lidiar con muchas situaciones.

    A) "¡Alguien dijo prueba en Lean4, así que debe ser a prueba de balas y cumplir todas mis esperanzas!"

    B) "Eh, Lean4 es imperfecto, así que no significa nada"

    Inconvenientemente, ambas caricaturas son incorrectas.

    Lean4 nos da un alto nivel de confianza en el _teorema validado, bajo los supuestos permitidos_.

    Esto hace que sea muy valioso aprender a leer teoremas de Lean4 (no pruebas).

Más de este día

2026-11-16