Jeff: modelos de decisión de 0.8B entrenados en casa que deciden en 22 ms
Jeff – Jev-compatible 0.8B decision models, trained at home, ~30 ms
Jeff es una familia de fine-tunes de Qwen3.5 y Gemma 4 para clasificación zero-shot: describes una situación y opciones en lenguaje natural y el modelo devuelve una probabilidad calibrada por opción en un solo forward pass, sin generar texto. El 0.8B tarda 22 ms en una RTX PRO 6000 y 28 ms en una Apple M4 Max. Entrenado íntegramente en local con datos sintéticos de un modelo abierto, iguala o supera a Jev en clasificación y grounding, aunque queda por debajo en razonamiento. Un fine-tune corto puede llevar la precisión del 31.7% al 95.8% en media hora.
Si la precisión zero-shot no es suficiente para tus propósitos, un fine-tune corto con tus propios ejemplos te lleva mucho más lejos: nuestro fine-tune de navegación por voz pasó la precisión en held-out del 31.7% al 95.8% en menos de media hora en una sola GPU.
- adrithmetiqa
Perdona mi falta de comprensión, pero ¿cuánto tiempo pasará antes de que la funcionalidad tipo Jev esté integrada directamente en todos los modelos frontera?
- AgentMasterRace
Lo comparé con Jev en mis casos de uso actuales y es muy inexacto. 70% vs 94%. Para clasificación, es inaceptable.
- trebligdivad
¿Qué proporción del uso comercial de LLM es clasificación? Solo me pregunto qué pasará con el gasto empresarial en IA y el uso de centros de datos cuando se den cuenta de que no necesitan LLM completos.
- phlipski
Para los de cierta edad, el hecho de que Askjev.com siga disponible me asombra.
- imranq
Todos los que dicen que podrías reemplazar Jev o modelos tipo decisión con un LLM con salida de esquema forzada están perdiendo completamente el punto. Se trata de velocidad extrema y rentabilidad con alta calidad, y ninguna de las dos cosas vas a obtener con LLMs incluso con estos trucos de KV-cache.
- velominati
Typesafe ha sido bastante reservado sobre la tecnología subyacente detrás de Jev. Dada la velocidad y el costo, mi hipótesis es que no ingresa tokens de la forma en que lo hacen los LLMs, es decir, iterando sobre cada palabra y trazando las conexiones entre cada una. Eso es un problema o(n^2), por eso los LLMs son tan caros a medida que escalan.
- qtalen
Increíble, justo estaba buscando un modelo de toma de decisiones que se pueda desplegar localmente, y aquí estás. ¡Muchas gracias!
- danbrooks
Este tipo de proyecto parece extremadamente útil. Hubo mucho revuelo alrededor de Jev, pero tener modelos que se ejecutan localmente y se pueden ajustar finamente es extremadamente útil.