Flide - Быстрый inference-движок для decision-моделей
Show HN: Flide: Make Jev-like decision models up to 9.5x faster
Flide — это высокопроизводительная инфраструктура для inference Jev-style decision-моделей. Благодаря точному форкингу состояний (exact state forking) движок до 9.4 раза быстрее vLLM и SGLang, при этом каждый ответ остаётся ровно таким, каким модель выдала бы его на одиночный вопрос. Flide обслуживает API /v1/systemone, поддерживает десятки семейств моделей — от OneJev и Open-Jev до Qwen3.5 и Gemma 4 — и работает с текстом, изображениями и видео. Установка через PyPI и запуск сервера занимают пару команд, а ответы сразу содержат вероятности по каждому варианту, готовые к пороговой логике.
С тремя вопросами обычный движок генерации прогоняет три последовательности и заново вычисляет 4 ячейки состояния, а multi-item scoring добавляет 3 разделителя, которые меняют ответы. Flide прогоняет одну последовательность, ничего не вычисляет дважды, не добавляет лишних токенов и даёт каждому вопросу тот ответ, который модель выдала бы на него отдельно.
- yossuf2000
Мне нужно хостить модель, чтобы это сделать?
если да, какую модель можно захостить на карте 3050
- jarym
Я хотел это попробовать — по сути, для моего датасета у меня есть несколько решающих вопросов для одного и того же входа. Я пока не понял, какую локальную модель попробовать с этим в первую очередь!
- unikcc
Привет, HN! Я один из команды Flide.
Мы построили Flide с нуля, чтобы сделать инференс decision-моделей в стиле Jev до 9.5 раз быстрее, чем vLLM и SGLang, сохраняя при этом точность.
Вот исходный код: https://github.com/OmniJev/Flide
Ждём ваших отзывов и идей!