Flide - Motor de inferencia para modelos de decisión Jev hasta 9.5x más rápido
Show HN: Flide: Make Jev-like decision models up to 9.5x faster
Flide es un motor de inferencia de alto rendimiento para modelos de decisión estilo Jev. Gracias al forking exacto de estado, evita recalcular trabajo y añadir delimitadores que alteran las respuestas, logrando ser hasta 9.4 veces más rápido que vLLM y SGLang en un H200 con Qwen3.5-0.8B. Sirve la API /v1/systemone y soporta decenas de familias de modelos como OneJev, AutoTrust, Clef y KnowLine, además de modelos de chat Qwen3.5 y Gemma 4. Cada respuesta incluye probabilidades por opción, lista para umbrales. Se instala con pip y se arranca con 'flide serve', ideal para agentes y sistemas de decisión en producción.
Flide ejecuta una sola secuencia, no calcula nada dos veces, no añade tokens y da a cada pregunta la respuesta que obtiene cuando se le hace sola.
- yossuf2000
¿necesito alojar el modelo para hacer esto?
si es así, ¿qué modelo puedo alojar en una tarjeta 3050?
- jarym
Quería probar esto; esencialmente, para mi conjunto de datos tengo varias preguntas de decisión para la misma entrada. ¡Todavía no he averiguado qué modelo local probar primero con esto!
- unikcc
¡Hola HN! Soy uno de los miembros del equipo de Flide.
Construimos Flide desde cero para hacer que la inferencia de modelos de decisión tipo Jev sea hasta 9.5x más rápida que vLLM y SGLang, manteniendo la exactitud.
Aquí está el código fuente: https://github.com/OmniJev/Flide
¡Espero con ganas escuchar sus comentarios e ideas!