单函数Jev式LLM包装器，支持视觉模型
A single function Jev-like wrapper for LLMs, including vision models
受Jev启发，我探索了一种巧妙的技巧：通过读取LLM的token概率来快速分类。只需构造特定提示并请求单个token输出，即可获取模型对选项的置信度。更令人兴奋的是，这种方法同样适用于视觉模型。我在本地实验中扩展了Jev的请求格式，添加了attachments字段以支持图像。使用Gemma 4 12B和RTX 3090，我实现了每秒约1帧的实时分析，能判断画面中是否有人、植物，以及场景的明暗程度。相比专用计算机视觉模型，这种方法的灵活性在于只需修改文本描述即可调整判断条件。
虽然专用的计算机视觉模型效率更高，但我喜欢这里的灵活性：只需通过纯文本描述即可改变判断条件。
HN 评论区
45- TeMPOraL
这才是我们如何获得那些至今仍未实现的《星际迷航》中最神奇科技的方式，比如自动门。因为如果你留意的话，它们比现实生活中的自动门好用得多，因为它们似乎在做类似这样的事：
if(在门10米范围内) {
if(Jev(
[A] 打算穿过，预期门会打开
[B] 走近但无穿过意图
[C] 路过、徘徊或类似情况
[D] 其他
) == 绝对是 A) {
// 开门，±身份/安全/联锁检查
} 否则 {
// 忽略
}
}
关键词：环境感知、意图理解。
《星际迷航》中大多数交互技术都是这样的——从相位枪到控制台，再到通讯器和与飞船电脑的语音交互。电脑似乎能感知用户和周围环境，并主动从上下文中推断意图，从而做到 DWIM（“做我想做的”），并且是在用户真正想要的时候，而不是在简单的触发条件下做蠢事[1]。
--
[0] - 指的是方向，而非最终实现方案——当然我们可以想出比在 LLM 最终阶段进行包装更高效的做法。但重点是：多模态。
[1] - 显然这是一部虚构剧集，但在此点上，沃森式（Watsonian）和道伊尔式（Doylist）的解释几乎完美契合：这展现的是一种“开箱即用”的先进科技，不会干蠢事。同样的意图识别算法既存在于虚构的电脑中，也存在于现实里现场技术人员的大脑里。
- prathje
不错！我也很想把它用在图片上。
不过话说回来，用基于语法的解码（Grammar-Based Decoding）并返回 JSON 响应，难道不是同样的效果吗？Jev 只是加了不错的缓存吗？
如果是这样，那我其实已经在用了……
- frabcus
推测这肯定远不如 Jev，因为普通的 LLM 模型是经过 RLHF 训练并被设计为代理（agents）的。特别是在大模型上，我预期它会在更早的层做出决策。
我希望 Jev 的“校准决策强化学习”（RLCD）能更好地训练模型，使其在权重中给出更准确的概率。
- arcticbull
啊，太棒了，就像 Jev 一样，但贵了几个数量级，而且更慢。
- CROON_tv
除了准确率，我还想看到尾部延迟（tail latency）。在实时应用中，判断一句话何时结束，对于我们来说，使用相同提示的通用 LLM 比 Jev 更慢、更犹豫，尽管两者的成本差不多。