EBR推理模型:效率提升385倍

Energy-Based Reasoners: 385x more efficient inference

EBR推理模型:效率提升385倍

来自Duke University、UIUC和Harvard University的研究团队推出了Energy-Based Reasoners(EBRs)。这种新型推理模型通过学习潜在推理状态的能量函数,将循环更新转化为梯度下降过程。EBRs无需外部验证器即可对候选预测进行评分,其梯度既能指导优化,又能提供自然的停止信号。在Sudoku-Extreme任务中,EBRs仅用180万参数就达到了99.9%的准确率,推理算力消耗比次优模型减少了345倍。在N-Queens和Graph Coloring等多解任务中,EBRs不仅保持了近100%的单样本准确率,还实现了最先进的解覆盖范围。这种基于能量的方法为高效推理提供了新的思路。

  1. Topfi

    建议去了解一下 Logical Intelligence(由 Yann LeCun 等人领导),以获取更多关于 EBM 的背景信息 [0]。EBM 在 LLM 传统上表现不佳的领域具有巨大潜力;而且,由于他们想要展示 EBM 的优势,该网站也往往是一个很好的来源,提供了 LLM 难以处理的示例,比如小学水平的数学和计数(讽刺的是,他们却提供了千禧年难题级别的 Lean 证明)。当然,这也引发了一个并非不合理的讨论:当编写代码进行计算既可靠又快速时,LLM 是否能准确计数真的重要吗?

    [0] https://logicalintelligence.com/blog/energy-based-model-sudo...

  2. program_whiz

    用数独来理解这一点的一个清晰思路是:

    对于每一个线索,将其在行/列中被采样的概率标记为零。同时,将选择“线索单元格”进行修改的概率也标记为 0。

    根据其“能量”随机选择一个单元格进行修改(能量越高越先被修改):

    1. 每个冲突单元格能量 +1.0(在产生新空单元格之前先尝试解决冲突)。例如,同一行上的两个 7 都会增加 1 点能量。

    2. 空单元格能量较小,为 0.1

    3. 已填充且无冲突的单元格能量为 0

    对于选定的单元格,选择一个数字。查看其行/列中的数字,行/列中每出现一次该数字,采样概率就下降 90%。例如:

    | 7 的数量 | 7 的概率 |

    | --- | --- |

    | 0 | 10%(与其他数字相等) |

    | 1 | 1% |

    | 2 | 0.1% |

    显然,如果行上的数字更多,这会变得更复杂(这只是检查在其他为空行上的 7)。

    这本质上就是这些模型在做的事情。它提供了一种基于“能量”随机探索的“波函数坍缩”式搜索,但这里的能量仅仅被定义为冲突/未解状态。对于像迷宫这样的问题,能量就是断开的路径段或墙壁等。

  3. mocmoc

    我在这个领域花了一年时间。EBM 虽然……该怎么说呢,它们是非常出色的验证器,但训练它们难如登天。它们非常垂直和特定。而 LLM 虽然并不总是正确,笨手笨脚等等,但它们最终能帮助人们完成任务。

    小规模的 EBM 数独并不难,而且 Logical Intelligence 的数独求解器无法扩展(如果我说错了,我想看他们提供任意大小的数独)。

    此外,经过几个月甚至几个月的 EBM 训练后,你会意识到……这真的值得吗?

  4. xgk

    这篇论文似乎没有定义什么是“基于能量(Energy-Based)”。论文说:“EBM 学习一个标量函数,该函数根据输入为候选预测分配一个能量。”这些学习到的标量函数的陪域是什么?我猜是实数?但“能量”仅仅是实数的同义词吗?

  5. igleria

    据我所知,这对非常特定的逻辑谜题问题集效果很好。不过我对未来的论文也很感兴趣 :)

同日更多故事

2026-11-18