逆向工程 Jev:单步完成选项评分模型

Reverse-engineered Jev-like model

TypeSafe 推出的商业模型 Jev 能以单步方式从动态文本列表中做出选择,但其设计细节从未公开。本开源项目 jevlike 独立实现了类似的模型架构,接受文本上下文和 N 个选项,直接输出每个选项的概率分布,而非逐词生成。项目展示了在 Doom 游戏和 Chess 棋局中的实际应用,通过视觉评分头处理图像补丁。用户既可从零训练字节编码器,也可冻结 Hugging Face 预训练模型如 Qwen2.5-0.5B 来微调评分头。实验表明,这种单步评分机制在特定任务上比传统解码器快约 100 倍,为高效决策任务提供了新的技术路径。

在八选项场景下,单步评分比强制生成四百个 token 的小型解码器快约一百倍。

同日更多故事

2026-09-16