Flide - Jev系意思決定モデル向け高速推論エンジン

Show HN: Flide: Make Jev-like decision models up to 9.5x faster

Flideは、Jevスタイルの意思決定モデルに特化した高速推論インフラです。「Exact State Forking(正確な状態フォーク)」という独自技術により、1つの状態から複数の質問へ分岐する処理を無駄なく実行し、vLLMやSGLangと比べて最大9.4倍高速化を実現します。しかも各回答は、その質問を単独で投げたときとまったく同じ結果になります。Qwen3.5やGemma 4、OneJev、Open-Jevなど多数のモデルに対応し、pipでインストールして`flide serve`を実行するだけで、`/v1/systemone` APIから確率付きの回答を取得可能。カスタマーサポートの判断や分類タスクなど、大量の意思決定を高速かつ正確に処理したい開発者に最適です。

状態を最後のトークンでフォークする——だから計算の重複も余計なトークンもなく、各質問は単独で尋ねたときと同じ答えを返します。
  1. yossuf2000

    これをやるにはモデルをホストする必要がありますか?

    もし必要なら、3050カードでホストできるモデルは何ですか?

  2. jarym

    これを試してみたかったんです。要するに私のデータセットには、同じ入力に対する複数の意思決定質問があるんです。どのローカルモデルを最初に試すべきか、まだ決められていません!

  3. unikcc

    HNの皆さん、こんにちは!Flideチームの一員です。

    Flideは、Jev系の意思決定モデルの推論をvLLMやSGLangより最大9.5倍高速にしつつ、正確さを保つためにゼロから開発しました。

    ソースコードはこちらです: https://github.com/OmniJev/Flide

    皆さんのフィードバックやアイデアをお待ちしています!

この日のほかの記事

2026-11-09