Jevstiller - Modelo local con garantía de acuerdo del 98%
Show HN: Jevstiller – Distill Jev into a local model, with a disagreement bound
Jevstiller aprende de las respuestas de Jev para crear un modelo local que responde en 15 ms en CPU, con una garantía estadística: el 98% de las respuestas coinciden con las de Jev. A diferencia de otros sistemas, ofrece un límite de desacuerdo verificable, auditoría continua y detección de deriva. Ideal para agentes y juegos que necesitan decisiones rápidas sin sacrificar precisión. Incluye un contrato de confianza y se adapta a cambios en el tráfico. Pruébalo clonando el repositorio y ejecutando los benchmarks.
El router tiene que responder todo lo que pueda manteniendo c · e por debajo de β.
- gingersnap
¿El modelo local es similar a model2vec?
- tgluck
Autor aquí. Esto pone un proxy delante de las llamadas repetidas de clasificación de Jev. Al principio todo va a Jev; a partir de las respuestas de Jev entrena una pequeña cabeza sobre embeddings de frases congelados, elige un umbral de confianza con una cota exacta de muestra finita para que como máximo el 2% de todas las solicitudes reciban una respuesta que Jev no habría dado, y luego responde localmente la parte confiable en ~15 ms en una CPU. Una auditoría permanente del 2% sigue comprobando; si el acuerdo se rompe, todo vuelve a Jev y se reentrena.
Límites conocidos: el acuerdo no es precisión (si Jev se equivoca, el modelo local también); la cobertura refleja cuán consistente es Jev mismo (22% en tareas ruidosas de tweets, 80% en noticias); solo habla la API de Jev, un front compatible con OpenAI está en la hoja de ruta. Desde la 0.4.0 la garantía también puede cubrir "¿habría estado Jev inseguro?", lo cual importa si tu código enruta respuestas de baja confianza a revisión. Apache 2.0.