spinf-serve - Bulk-Klassifizierung und Entscheidungsinferenz auf einer GPU
Show HN: Spinf-serve – inference server for bulk scoring and decisions
spinf-serve ist eine Open-Source-Inferenz-Engine, die Inhalte einmal liest und daraus viele Fragen in einem einzigen Durchlauf beantwortet – jede Antwort als Wahrscheinlichkeit über vorgegebene Optionen statt generiertem Text. Entwickelt für Bulk-Klassifizierung und Entscheidungsmodelle, läuft sie auf einer einzigen 24-GB-NVIDIA-GPU und bietet eine OpenAI-kompatible API. Im Vergleich zu vLLM beantwortet sie 491 statt 200 Fragen pro Sekunde auf einer RTX 4090. Ideal für Moderations-, Triage- oder Analyse-Workloads mit Millionen von Dokumenten. Installation per pip oder Docker, sofort einsatzbereit mit vortrainierten Checkpoints und Prompt Packs.
Der Inhalt wird einmal gelesen, jede Frage ist ein Zweig desselben Durchlaufs und kostet nur ihre eigenen Token.
- Arkada
Ich liebe es, dass das aus einer Marktnachrichten-Pipeline kommt. Wir haben etwas Ähnliches, aber in kleinerem Maßstab in unserer Trading-Bot-App, wo wir versuchen, eingehende Krypto-/Makro-Nachrichten anhand fester Fragen wie Wichtigkeit, Richtung und betroffene Coins zu bewerten.
Das über die Standard-Chat-API zu machen, ist einfach ein bisschen zu viel, wenn man nur ein schnelles Ja/Nein oder eine Bewertung braucht. `floor_p` hinzuzufügen, damit der Nutzer die grundlegende Verzerrung des Modells sieht, wenn man ihm nichts gibt, ist auch so ein tolles Feature.
Wie schwierig wäre es, das benutzerdefinierte Prompt-Paket auf meinem eigenen Datensatz zu kalibrieren?
- _puk
Danke dafür.
Habe das selbst mit Gemma4 gebaut, aber die Verzweigung ist elegant. Werde es ausprobieren müssen.
Wenn du die Fragen in die Zweige packst, besteht die Möglichkeit, dass die Reihenfolge der Fragen die Wahrscheinlichkeit jeder Ausgabe ändern kann?
Ich sehe, du hast Pakete, aber so nah wie möglich an Determinismus ist, was ich anstrebe.
- giarec
Wir haben spinf-serve für unsere eigenen Bedürfnisse gebaut: die Analyse von Millionen von Nachrichtenartikeln pro Tag aus vielen Perspektiven (wir betreiben Trading-Analyse darauf) und haben uns entschieden, es Open Source zu stellen, da es offenbar Interesse an dieser Art von Tool gibt.
Es bedient eine Nische: Bewertung oder Klassifizierung von Text, Bildern und Videos unter vielen Fragen gleichzeitig. Der Inhalt wird einmal gelesen und jede Frage wird als Zweig dieses Lesens beantwortet, sodass jede zusätzliche Frage nur ihre eigenen Token kostet. Trading-Analyse ist unser Anwendungsfall; Content-Moderation und Inbound-Triage sind die anderen offensichtlichen Passungen. Im Vergleich zu den Alternativen, die wir gemessen haben (vLLM mit Prefix-Caching und spezialisierte Entscheidungsmodelle), ist es sehr token-effizient und 2 bis 3 Mal schneller auf derselben Karte; der Job-Satz und das Skript sind im Repo.
Es läuft mit unterstützten Open-Weights-Modellen; wir haben mit Gemma 4 und Qwen3.8 begonnen. Wir haben auch Perplexitys pplx-decider getestet: für harte Entscheidungen (Ja/Nein, A/B/C) neigt ein Entscheidungsmodell dazu, fokussierter zu sein, aber für die Bewertung haben wir festgestellt, dass Out-of-the-Box-Modelle mehr Sensitivität und eine breitere Palette von Scores liefern.
Für unsere typischen Bewertungsanforderungen haben wir Prompt-Pakete eingeführt, eine formalisierte Methode, um eine Reihe von Fragen für die parallele Bewertung bereitzustellen, mit Kalibrierung und einer Entscheidungsregel in einer Datei.
Der Server ist kostenlos und Open Source (Apache 2.0), und er ist das, was wir in der Produktion für unsere eigenen Anwendungsfälle betreiben. Lasst uns wissen, was ihr denkt.
Es gibt auch eine gehostete Version mit kostenlosem Guthaben, falls ihr keine GPU habt.