Jeff：0.8B 本地决策模型，30 毫秒即答
Jeff – Jev-compatible 0.8B decision models, trained at home, ~30 ms
Jeff 是一个基于 Qwen3.5 和 Gemma 4 微调的超轻量级决策模型，专为零样本分类任务设计。它无需生成文本，仅需单次前向传播即可在 RTX PRO 6000 或 Apple M4 Max 上以约 30 毫秒的速度输出校准后的概率。无论是处理客服工单、用户意图识别，还是在 Doom、Pac-Man 等游戏中进行实时决策，Jeff 都能展现出惊人的效率。所有训练均在本地硬件完成，不依赖云端 GPU，且完全开源。对于需要快速、精准判断的场景，Jeff 提供了比大型模型更高效的本地化解决方案。
你只需描述情境并列出选项，Jeff 就能通过单次前向传播为每个选项返回校准后的概率，无需生成文本，也无需解析。
HN 评论区
145- olwmc
抱歉，我们真的有 Jev 的清晰实现细节吗？我老是看到这些“复刻版”或者“在家运行 Jev”，但我们能接触到它们的架构吗？我甚至还没用过这个产品，只是觉得这事挺奇怪的。
- adrithmetiqa
原谅我理解力有限，但还要多久 Jev 这类功能才会直接内置到所有前沿模型中？
- AgentMasterRace
我在当前的使用场景里把它和 Jev 做了对比，结果非常不准确。分类任务上，70% 对 94%，这完全无法接受。
- vektormemory
有人能把那个额外的 LLM 去掉，只让嵌入模型（embedder）来做分类工作吗？
这都快变成“给我定制个 LLM”了……
- hadlock
如果你想看更震撼的 doom 示例，我整合了 laya-duum，它使用了开源的 micropython 版 doom（duum）和免费软件 freedoom1.wad。它调用了标准的 jev api，能完整通关前两个关卡：https://github.com/Hadlock/laya-duum
- phlipski
对于有一定年纪的人来说，Askjev.com 居然还能访问，这简直让我震惊。
- trebligdivad
商业 LLM 使用中，分类任务占多大比例？我只是想知道，当他们意识到其实并不需要完整的 LLM 时，企业的 AI 支出和数据中心用量会发生什么变化。
- Kvarnek
在家用那种延迟训练 0.8B 模型，真的令人印象深刻。你用了什么样的硬件配置来训练？