Jevstiller: 带分歧边界的本地模型蒸馏工具
Show HN: Jevstiller – Distill Jev into a local model, with a disagreement bound
Jevstiller 是一个智能路由系统，它从 Jev 的响应中学习并训练一个轻量级本地模型。该工具能在 CPU 上以约 15 毫秒的延迟处理请求，比直接调用 Jev 快 20 倍，同时承诺与 Jev 的决策一致性不低于设定阈值（如 98%）。它通过严格的统计边界而非简单的置信度阈值来确保可靠性，并内置持续审计机制以应对数据漂移。无论 Jev 是否正确，Jevstiller 都能保证在绝大多数情况下复现其行为，是构建低延迟智能体循环的理想选择。
设定一个数字，比如 98%。Jevstiller 保证在至少这个比例的请求上，返回 Jev 会给出的标签。