Flide - Jev 스타일 의사결정 모델을 위한 초고속 추론 엔진
Show HN: Flide: Make Jev-like decision models up to 9.5x faster
Flide는 Jev 스타일 의사결정 모델을 위한 초고속 추론 엔진입니다. 정확한 상태 포킹(exact state forking) 기술을 통해 vLLM 및 SGLang보다 최대 9.4배 빠른 속도를 자랑하며, 각 질문에 대해 모델이 단독으로 답할 때와 동일한 정확한 답변을 보장합니다. H200 GPU에서 Qwen3.5-0.8B 모델로 테스트한 결과, QuALITY 데이터셋에서는 vLLM보다 14배 빠른 성능을 보였습니다. 또한 64개 클라이언트 환경에서 2.4배의 처리량을 제공합니다. Flide는 `/v1/systemone` API를 통해 다양한 의사결정 모델을 지원하며, `pip install flide`로 쉽게 설치하고 `flide serve` 명령으로 바로 사용할 수 있습니다. 복잡한 의사결정 모델의 추론 속도를 획기적으로 개선하여 실시간 의사결정 시스템 구축에 적합합니다.
Flide는 상태를 마지막 토큰에서 포킹하여 각 질문이 단독으로 물었을 때와 동일한 답을 얻도록 합니다. 불필요한 중복 계산 없이, 추가 토큰 없이, 정확한 답변을 제공합니다.
HN 토론
27- yossuf2000
이걸 하려면 모델을 직접 호스팅해야 하나요?
그렇다면 3050 카드에서 어떤 모델을 호스팅할 수 있나요
- jarym
이걸 한번 써보고 싶었어요 - 기본적으로 제 데이터셋에는 같은 입력에 대한 여러 개의 의사결정 질문이 있거든요. 아직 어떤 로컬 모델로 먼저 시도해볼지 못 정했어요!
- unikcc
안녕하세요 HN! 저는 Flide 팀원 중 한 명입니다.
저희는 Jev 스타일 의사결정 모델 추론을 vLLM과 SGLang보다 최대 9.5배 빠르게 하면서도 정확도를 그대로 유지하기 위해 Flide를 처음부터 직접 만들었습니다.
소스 코드는 여기 있습니다: https://github.com/OmniJev/Flide
여러분의 피드백과 아이디어를 기다리겠습니다!