Модель на 1,8 млн параметров решает Sudoku-Extreme с точностью 99,9%, тратя в 345 раз меньше вычислений

Energy-Based Reasoners: 385x more efficient inference

Модель на 1,8 млн параметров решает Sudoku-Extreme с точностью 99,9%, тратя в 345 раз меньше вычислений

Исследователи из Duke, UIUC и Harvard представили Energy-Based Reasoners (EBR) — рекуррентные модели рассуждений, которые обучают энергетическую функцию над латентными состояниями и превращают итеративные обновления в градиентный спуск по этой энергии. Энергия оценивает кандидатов без внешнего верификатора, градиент направляет уточнение и служит сигналом остановки. Всего с 1,8 млн параметров EBR достигают 99,9% на Sudoku-Extreme при в 345 раз меньших затратах на инференс и лучшей покрытии решений на N-Queens и Graph Coloring.

Правильные траектории оседают в состоянии с низкой энергией и малым градиентом, а ошибочные продолжают двигаться.
  1. Topfi

    Рекомендую заглянуть в Logical Intelligence, которую возглавляет в том числе Yann LeCun, чтобы получить больше контекста по EBMs [0]. У этого подхода большой потенциал в областях, где LLMs традиционно работают не очень хорошо, и, поскольку они хотят показать преимущества EBMs, это также часто становится отличным источником примеров, с которыми LLMs испытывают трудности, вроде математики и счёта на уровне начальной школы (при этом иронично предоставляя Lean-доказательства уровня Millennium). Это, конечно, открывает не лишённую смысла дискуссию о том, важно ли, умеют ли LLMs точно считать, когда написать код для выполнения вычислений надёжно и быстро...

    [0] https://logicalintelligence.com/blog/energy-based-model-sudo...

  2. program_whiz

    Полезный способ понять это для судоку:

    Для каждой подсказки обнулите вероятность выбора её числа в строке/столбце. Также обнулите вероятность выбора «клетки-подсказки» для изменения.

    Выберите случайную клетку для изменения на основе её «энергии» (клетки с большей энергией изменяются первыми):

    1. Каждая конфликтующая клетка получает энергию +1.0 (постарайтесь разрешить конфликты до появления новых пустых клеток). Например, две семёрки в одной строке обе получают +1 энергии.

    2. Пустые клетки имеют небольшую энергию 0.1

    3. Заполненные клетки без конфликтов имеют энергию 0

    Для выбранной клетки выберите цифру. Посмотрите на числа в её строке/столбце: каждое вхождение числа в строке/столбце снижает вероятность его выбора на 90%. Пример:

    | Кол-во семёрок | шанс семёрки |

    | --- | --- |

    | 0 | 10% (как у других цифр) |

    | 1 | 1% |

    | 2 | 0.1% |

    Очевидно, это усложнится при большем количестве чисел в линии (здесь просто проверяется семёрка на в остальном пустой линии).

    По сути, именно это и делают эти модели. Это обеспечивает своего рода поиск «коллапса волновой функции» со случайным исследованием на основе «энергии», но энергия здесь определяется просто как конфликт / нерешённость. Для чего-то вроде лабиринта энергия — это разрозненные сегменты пути или стены и т.п.

  3. mocmoc

    Я потратил на это год. EBMs, как бы это сказать, они впечатляющие валидаторы, но их чертовски сложно обучать. Они очень нишевые. В то время как LLMs, будучи не всегда правыми, неуклюжими и так далее, в итоге помогают людям выполнить работу.

    EBM-судоку не так уж сложно в небольшом масштабе, и решатель судоку от Logical Intelligence не масштабируется; если я ошибаюсь, я хочу увидеть, как они предложат судоку настолько большого размера, насколько вы захотите.

    Кроме того, после месяцев и месяцев обучения EBMs ты приходишь к осознанию... а действительно ли это того стоит?

  4. xgk

    В статье, похоже, не определено, что означает «на основе энергии». В статье сказано: «EBMs изучают скалярную функцию, которая присваивает энергию кандидату-предсказанию при заданном входе». Какую область значений имеют эти изученные скалярные функции? Полагаю, действительные числа? Но является ли «энергия» просто синонимом действительных чисел?

  5. igleria

    Насколько я смог понять, это очень хорошо работает для очень специфического набора задач-логических головоломок. Хотя мне интересны будущие статьи :)

Ещё за этот день

2026-11-18