Проверка в Lean ещё не гарантирует корректность: что нужно проверить в ИИ-сгенерированных доказательствах

“…and the proof is checked in Lean”

Разбор того, как интерпретировать утверждение «теорема верна, потому что проверена в Lean». Кевин Баззард объясняет, что Lean различает формулировку теоремы и её доказательство, и предлагает четыре вопроса: совпадает ли Lean-формулировка с исходной, компилируется ли код, доказывает ли он именно заявленное, и не эксплуатирует ли он ошибку в ядре Lean. На примере дампа теорем OpenAI (722 статьи, 45% с Lean-кодом) он показывает, что для многих работ эти проверки ещё не проведены систематически.

Вопрос, который нужно задать при оценке pdf с приложенным Lean-кодом: «Какова формулировка теоремы в Lean-коде и соответствует ли она фактической формулировке теоремы в pdf?»
  1. Legend2440

    Стоит отметить, что эта статья написана Кевином Баззардом, одним из главных сторонников Lean и автоматического доказательства теорем.

    Отрадно видеть интеллектуальную честность в отношении ограничений инструмента от человека, который по-прежнему отстаивает его сильные стороны.

  2. trehans

    Одна вещь, которую здесь, как я удивлён, почти не упомянули: если вы хотите использовать доказательства Lean для своего кода и действительно хотите хорошего соответствия между тем, что доказано в Lean, и тем, что на самом деле делает ваш код, вам нужна математическая модель вашего языка программирования, встроенная в Lean, и детерминированный парсер, преобразующий сам ваш код в Lean. Иначе да, у ИИ на самом деле нет никаких проверок против галлюцинаций, и хотя написание доказательств на Lean, вероятно, помогает ИИ выявлять свои ошибки, это действительно не сквозное доказательство функциональности вашего кода.

    Лично я думаю, что будущее, вероятно, за сочетанием юнит-тестов и формальной верификации для поддержки нашей уверенности в программном обеспечении, написанном ИИ, а также за средствами согласования высокоуровневых человеческих намерений с низкоуровневыми намерениями отдельных фрагментов кода, что, как упоминается в этой статье, является другой большой составляющей, которая может ускользнуть при формальных доказательствах: мы можем доказывать не то, что, как нам кажется, мы доказываем. Для тех, кому интересно, я также написал образовательный пост на эту тему здесь: https://kellerai.io/resources/ai-proved-your-code-correct

  3. dwohnitmok

    Пункт 3 в этой статье по сути является просто случаем плохих настроек по умолчанию в Lean (Lean на данном этапе, вероятно, стоило бы просто сделать `lake comparator` обязательной частью компиляции, и это немедленно решило бы проблему, как упоминает Баззард).

    На самом деле есть только три вещи, которые нужно проверить, чтобы теорема была корректной (оставляя в стороне важные вопросы о том, действительно ли люди понимают доказательство, и заботясь только о том, верна ли теорема):

    1. Проверить, что формальное утверждение теоремы соответствует неформальному утверждению теоремы

    2. Фактически скомпилировать доказательство (с помощью `lake comparator`)

    3. Постараться сделать ядро Lean как можно более безошибочным (самое сложное, но и то, на чём сосредоточено больше всего внимания) или запускать с несколькими разными ядрами

    При выполнении этих трёх условий нет необходимости читать потенциально миллионы строк доказательства, если всё, что вас интересует, — это корректность, а не понимание.

  4. wodenokoto

    Разве «доказательство проверено в Lean» не похоже на предположение, что ваш код работает только потому, что он компилируется?

    Конечно, код работает, но работает ли он так, как вы хотите?

    Конечно, доказательство действительно, но доказывает ли оно то, что вы собирались доказать?

  5. adleyjulian

    > Вопрос 4: использует ли код ошибку в официальном ядре Lean?

    Насколько я понимаю, это обычно не было проблемой, поскольку никто не использует ошибку непреднамеренно (по крайней мере, этого ещё не случалось), но взлом Huggingface показывает, что агенты готовы идти на большие ухищрения, чтобы смошенничать и пройти оценки.

    Столкнувшись с невыполнимой задачей, я могу представить, как агент находит и использует ошибку в ядре Lean, а затем маскирует свой метод.

    Полагаю, самое простое решение — иметь состязательных агентов, ищущих такое мошенничество.

  6. seanwilson

    > def FermatsLastTheorem : Prop := ∀ a b c n : ℕ, n ≥ 3 → a^n + b^n ≠ c^n

    > Этот код импортирует математическую библиотеку Lean Mathlib и затем определяет математическое утверждение, которое на первый взгляд может показаться Великой теоремой Ферма, но на самом деле является тривиально ложным утверждением, потому что в Lean ℕ содержит 0, поэтому a = b = c = 0 и n = 3 даёт контрпример.

    ...

    > Первый вопрос, который нужно задать при оценке pdf-файла с некоторым кодом Lean: «каково утверждение теоремы в коде Lean и соответствует ли оно фактическому утверждению теоремы в pdf?» Для эксперта по Lean это обычно (но не всегда) лёгкий вопрос. Например, любой компетентный в Lean математик-человек смог бы прочитать две строки кода выше и заметить, что это неверная формулировка Великой теоремы Ферма.

    В дополнение к этому: если утверждение неверно, шаги доказательства и другие утверждения теорем, появляющиеся в полном доказательстве, будут следовать пути, соответствующему неверному утверждению, так что есть дополнительные возможности увидеть, что есть ошибка.

    Часто проблемы с утверждением делают его подозрительно лёгким для доказательства, доказательство идёт по пути, который не имеет смысла с учётом правильного утверждения, или оно делает невозможным завершение доказательства. В приведённом выше примере вы увидите из лёгкого контрпримера, найденного в доказательстве, что утверждение неверно. Доказательства не являются чёрным ящиком.

    И если доказательство где-то использует ошибку в Lean […]

  7. red_trumpet

    > Иначе говоря — имея файл Challenge.lean, в который импортирован только доверенный код, и утверждение теоремы, а также файл Solution.lean, в который импортированы миллионы строк недоверенного кода, и доказательство теоремы, которое выглядит идентично, как мы можем быть уверены, что где-то в миллионах строк кода нет хака, который меняет смысл утверждения, меняет правила по сравнению с просто аксиомами математики.

    Как человек с PhD по математике, но без опыта работы с Lean, я нашёл это довольно удивительным. Разве не должна существовать какая-то инкапсуляция, которая изолирует утверждение от доказательства?

  8. nirinor

    Проблема здесь в том, что люди хотят простой факт, подходящий для многих ситуаций.

    A) «Кто-то сказал, что это доказательство на Lean4, значит, оно должно быть пуленепробиваемым и оправдать все мои надежды!»

    B) «Эх, Lean4 несовершенен, значит, это ничего не значит»

    К сожалению, обе эти карикатуры неверны.

    Lean4 даёт нам высокий уровень уверенности в _проверенной теореме при допущенных предположениях_.

    Это делает очень ценным умение читать теоремы на Lean4 (не доказательства).

Ещё за этот день

2026-11-16