spinf-serve - Servidor de inferencia para clasificación masiva en una GPU
Show HN: Spinf-serve – inference server for bulk scoring and decisions
spinf-serve es un servidor de inferencia que lee el contenido una sola vez y responde muchas preguntas en la misma pasada, devolviendo probabilidades calibradas en lugar de texto generado. Diseñado para clasificación masiva y modelos de decisión, corre en una única GPU NVIDIA de 24 GB y ofrece una API compatible con OpenAI. Con soporte para imágenes, audio y video, y packs de preguntas precalibrados, permite puntuar miles de contenidos por hora con resultados reproducibles. Ideal para moderación de contenido, triaje y análisis de opiniones, se puede probar localmente o contra el servicio alojado api.spinf.com.
El contenido se lee una vez; cada pregunta es una rama de la misma pasada y solo cuesta sus propios tokens.
- Arkada
Me encanta que esto venga de un pipeline de noticias de mercado. Tenemos algo similar pero a menor escala en nuestra app de bot de trading, donde intentamos puntuar noticias entrantes de cripto/macroeconomía basándonos en preguntas fijas como importancia, dirección y monedas afectadas.
Hacer eso mediante la API de chat estándar es demasiado si lo único que necesitas es un sí/no rápido o una puntuación. Añadir `floor_p` para que el usuario vea el sesgo de referencia del modelo cuando no se le da nada también es una característica genial.
¿Qué tan difícil sería calibrar el paquete de prompts personalizado con mi propio conjunto de datos?
- _puk
Gracias por esto.
Lo construí yo mismo usando Gemma4, pero la ramificación es ingeniosa. Tendré que probarlo.
Si estás empaquetando las preguntas en las ramas, ¿hay alguna posibilidad de que el orden de las preguntas pueda cambiar la probabilidad de cada salida?
Veo que tienes paquetes, pero lo que busco es que sea lo más determinista posible.
- giarec
Construimos spinf-serve para nuestras propias necesidades: analizar millones de artículos de noticias al día desde
muchas perspectivas (hacemos análisis de trading con ellos), y decidimos liberarlo como código abierto ya que
parece haber interés en este tipo de herramienta.
Cubre un nicho: puntuar o clasificar texto, imágenes y vídeo bajo muchas preguntas
a la vez. El contenido se lee una vez y cada pregunta se responde como una rama de esa
lectura, así que cada pregunta extra cuesta solo sus propios tokens. El análisis de trading es nuestro uso;
la moderación de contenido y el triaje de entradas son los otros encajes obvios. Comparado con las
alternativas que medimos (vLLM con caché de prefijos, y modelos de decisión dedicados) es
muy eficiente en tokens y de 2 a 3 veces más rápido en la misma tarjeta; el conjunto de trabajos y el
script están en el repositorio.
Funciona con modelos de pesos abiertos compatibles; empezamos con Gemma 4 y Qwen3.8. También
probamos pplx-decider de Perplexity: para decisiones tajantes (sí/no, A/B/C) un modelo de decisión tiende a ser más enfocado, pero para puntuar encontramos que los modelos listos para usar
danan más sensibilidad y un rango más amplio de puntuaciones.
Para nuestras necesidades típicas de puntuación introdujimos los paquetes de prompts, una forma formalizada de enviar un
conjunto de preguntas para puntuación en paralelo, con calibración y una regla de decisión en un solo archivo.
El servidor es gratuito y de código abierto (Apache 2.0), y es lo que ejecutamos en producción
para nuestros propios casos de uso. Cuéntanos qué te parece.
También hay una versión alojada con crédito gratis si no tienes GPU.