25行Python代码复刻Jev
Jev in 25 Lines of Python
当全网都在热议Jev是AI新范式时，我们决定用25行Python代码来还原它的本质。无需调用API，无需合成数据，更不需要复杂的RLCD训练。只需加载一个本地GGUF模型，输入带有选项的提示词，就能像Jev一样输出分类概率。这篇文章不仅展示了如何用Qwen3-0.6B实现类似功能，更揭示了Jev的核心逻辑：本地化、快速且数据不出域。虽然它不是所谓的System One决策模型，但它确实做到了Jev承诺的本地化分类与概率输出。
我们并不认为Jev是大型语言模型的下一个前沿，所以这里用25行Python代码展示了Jev。
HN 评论区
209- sigmoid10
直接用 chat 模型作为基座去获取 logprobs 总是让人不舒服，因为它们被训练用来输出散文。所以你的“选择”token 及其概率可能会被它想说的其他内容稀释。如果你必须像这篇帖子那样做，至少添加清晰的系统指令，并仔细措辞提示词中助手输出部分的开头，以降低它立即跑题的风险。
我发现使用结构化输出能更好地解决这个问题。与其让模型只生成“A”、“B”或“C”然后查看概率，不如让它直接从一组多 token 序列中生成预定义的选项，比如“Legitimate”、“Spam”或“Phishing”。在幕后，这归结为某种非常相似的东西，但你不会遇到模型实际上想说“A phishing attempt seems likely, so answer (C) is correct.”的风险，这会导致第一个 token 中“A”的概率最高。你甚至可以通过内在推理或在剩余输出结构之前的自由形式部分来使用推理预算。你还可以让它使用更复杂的输出结构分配概率（用文字或数字），但我不会比 token logprobs 更依赖它们（尽管它们仍然可能相当不错）。
- antirez
由于 LLM 中的掩码注意力机制，如果你将选项放在正文（要分析的邮件）之前，transformer 就已经知道它需要寻找什么，并且可以使用更多 token 来创建状态以解决这个特定任务（BERT 的注意力中没有掩码，所以 token 也会关注后续 token）。你还可以在系统提示词中添加几个示例来改善校准。
另一个有效的技巧是重复两次问题：“为了清晰起见，我重复任务和标签：...”
- no-name-here
除了 Heaney 评论者提到的缺失的延迟和计算比较之外，也没有提到它与 Jev 相比的错误率（甚至不确定它是否总是输出应用程序可以解析的格式，不确定这个问题是如何解决的）。
但最后它说这是个 parody。也许 HN 的标题应该说这是个笑话。
- iamflimflam1
出现“我去年做了/发明了 Jev”或者“这是我昨晚凭感觉搞出来的 Jev 版本”这样的言论数量已经有点荒谬了。
尤其是 Hacker News 的群体似乎把这些话都当真了，这更加荒谬。
前几天有一个演示很有说服力。但当你仔细查看时，它是在选项里加入了“best”这个词来让模型选择，并且使用了一个专门微调来识别这个词的模型...
- philipbk
> “25 行 Python 代码”
> “import Solution”
好吧
- onion2k
它很快。
如果你要和什么东西比较，你需要用相对术语来说“快”。Jev 肯定很快，如果这个 Python 脚本做出决定花的时间一样，那它也很快。但如果它比 Jev 慢 100 倍，你就不能叫它“快”，因为相对地说，它真的、真的很慢。
- jorisw
高度怀疑这是内容营销。
最后提到了一个产品，并说“这是一个 parody 帖子”，而在假装认真讨论之后。
- zeroq
如何用 25 行 Python 写出 Jev：
1. 画个圈
2. import the rest of the owl