Flide - Schnellste Inferenz-Engine für Entscheidungsmodelle mit Exact State Forking
Show HN: Flide: Make Jev-like decision models up to 9.5x faster
Flide ist eine Hochleistungs-Inferenz-Infrastruktur für Jev-artige Entscheidungsmodelle, die durch Exact State Forking bis zu 9,4-mal schneller als vLLM und SGLang antwortet – und dabei exakt dieselben Ergebnisse liefert wie eine Einzelabfrage. Statt jede Frage als separate Sequenz neu zu berechnen, teilt Flide den Zustand am letzten Token auf, vermeidet doppelte Berechnungen und fügt keine verändernden Delimiter hinzu. Die Engine unterstützt über 30 Modellfamilien wie Qwen3.5, Gemma 4, OneJev und AutoTrust, verarbeitet Text, Bilder und Video und lässt sich mit wenigen Befehlen über PyPI installieren. Ideal für Agenten, Support-Systeme und alle, die viele Entscheidungen pro Zustand blitzschnell und präzise treffen müssen.
Flide führt eine einzige Sequenz aus, berechnet nichts doppelt, fügt keine Tokens hinzu und gibt jeder Frage genau die Antwort, die sie erhält, wenn man sie allein stellt.
- yossuf2000
muss ich das Modell hosten, um das zu machen?
wenn ja, welches Modell kann ich auf einer 3050-Karte hosten
- jarym
Ich wollte das ausprobieren – im Wesentlichen habe ich für meinen Datensatz eine Reihe von Entscheidungsfragen für dieselbe Eingabe. Ich habe noch nicht herausgefunden, welches lokale Modell ich zuerst damit ausprobieren soll!
- unikcc
Hi HN! Ich bin einer vom Flide-Team.
Wir haben Flide von Grund auf neu gebaut, um Jev-ähnliche Entscheidungsmodell-Inferenz bis zu 9,5x schneller als vLLM und SGLang zu machen, während die Exaktheit erhalten bleibt.
Hier ist der Quellcode: https://github.com/OmniJev/Flide
Wir freuen uns auf euer Feedback und eure Ideen!