逆向工程 Jev:单步完成选项评分模型

Reverse-engineered Jev-like model

TypeSafe 推出的商业模型 Jev 能以单步方式从动态文本列表中做出选择,但其设计细节从未公开。本开源项目 jevlike 独立实现了类似的模型架构,接受文本上下文和 N 个选项,直接输出每个选项的概率分布,而非逐词生成。项目展示了在 Doom 游戏和 Chess 棋局中的实际应用,通过视觉评分头处理图像补丁。用户既可从零训练字节编码器,也可冻结 Hugging Face 预训练模型如 Qwen2.5-0.5B 来微调评分头。实验表明,这种单步评分机制在特定任务上比传统解码器快约 100 倍,为高效决策任务提供了新的技术路径。

在八选项场景下,单步评分比强制生成四百个 token 的小型解码器快约一百倍。
  1. suresk

    我见过很多 LLM 的应用,其实本质上就是零样本或少样本分类器,只是绕了很多弯路。所以看到有更多模型能够利用这些模型潜在空间中编码的全部智能,并实现真正高效的输出,这很有趣。感觉这目前是 LLM 领域一个尚未充分探索的方向,我很期待接下来会出现什么成果。

  2. steeve

    https://x.com/harshagundal/status/2100044305536889015?s=20

    > 他们秘密开发了 2 年,而我秘密开发了 2 小时……

    > 很高兴开源 Qwen-2.5-1B-RLCD,针对需要类型安全的 JSON 工作负载,其设备端推理速度快了 5 倍。

  3. razster

    你可以问问这位自称是自己做出来的 Redditor。

    https://old.reddit.com/r/LocalLLaMA/comments/1wihgum/i_liter... 我猜是这条。

同日更多故事

2026-09-16