Flide - Jev系意思決定モデル向け高速推論エンジン
Show HN: Flide: Make Jev-like decision models up to 9.5x faster
Flideは、Jevスタイルの意思決定モデルに特化した高速推論インフラです。「Exact State Forking(正確な状態フォーク)」という独自技術により、1つの状態から複数の質問へ分岐する処理を無駄なく実行し、vLLMやSGLangと比べて最大9.4倍高速化を実現します。しかも各回答は、その質問を単独で投げたときとまったく同じ結果になります。Qwen3.5やGemma 4、OneJev、Open-Jevなど多数のモデルに対応し、pipでインストールして`flide serve`を実行するだけで、`/v1/systemone` APIから確率付きの回答を取得可能。カスタマーサポートの判断や分類タスクなど、大量の意思決定を高速かつ正確に処理したい開発者に最適です。
状態を最後のトークンでフォークする——だから計算の重複も余計なトークンもなく、各質問は単独で尋ねたときと同じ答えを返します。
HNでの議論
27- yossuf2000
これをやるにはモデルをホストする必要がありますか?
もし必要なら、3050カードでホストできるモデルは何ですか?
- jarym
これを試してみたかったんです。要するに私のデータセットには、同じ入力に対する複数の意思決定質問があるんです。どのローカルモデルを最初に試すべきか、まだ決められていません!
- unikcc
HNの皆さん、こんにちは!Flideチームの一員です。
Flideは、Jev系の意思決定モデルの推論をvLLMやSGLangより最大9.5倍高速にしつつ、正確さを保つためにゼロから開発しました。
ソースコードはこちらです: https://github.com/OmniJev/Flide
皆さんのフィードバックやアイデアをお待ちしています!