Flide: 极速决策模型推理引擎
Show HN: Flide: Make Jev-like decision models up to 9.5x faster
Flide 是为 Jev 风格决策模型打造的超快推理基础设施。通过独创的精确状态分叉技术，它在 H200 显卡上比 vLLM 和 SGLang 快高达 9.4 倍，同时确保每个答案的精确性，完全等同于模型单独回答时的结果。Flide 支持 Qwen3.5、Gemma 4 及众多决策模型，提供标准的 /v1/systemone API，让开发者能轻松构建高效、准确的自动化决策系统，彻底解决多任务并发推理中的性能瓶颈。
Flide 运行一次序列，绝不重复计算，不添加任何额外标记，确保每个问题都获得如同单独提问时那般精准的答案。