spinf-serve - 단일 GPU 대량 분류 및 의사결정 추론 서버
Show HN: Spinf-serve – inference server for bulk scoring and decisions
spinf-serve는 하나의 24GB NVIDIA GPU에서 콘텐츠를 한 번만 읽고 수십 개의 질문에 동시에 답하는 추론 서버입니다. 생성된 텍스트 대신 선택지에 대한 확률을 반환해 임계값 기반 의사결정을 가능하게 하며, OpenAI 호환 API를 제공합니다. 매일 수백만 개의 뉴스 기사를 분석해야 하는 작업을 위해 만들어졌으며, 기존 채팅용 서버보다 훨씬 빠르고 효율적입니다. Apache 2.0 라이선스로 공개되어 직접 하드웨어에서 실행할 수 있습니다.
콘텐츠는 한 번만 읽고, 그에 대한 모든 질문은 같은 패스에서 평가됩니다.
- Arkada
이게 마켓 뉴스 파이프라인에서 나왔다는 게 정말 마음에 드네요. 저희도 트레이딩 봇 앱에서 비슷하지만 더 작은 규모로 하고 있는데, 들어오는 크립토/거시경제 뉴스를 중요도, 방향, 영향받는 코인 같은 고정된 질문에 따라 점수화하려고 합니다.
그냥 빠른 예/아니오나 점수만 필요하다면 표준 chat API로 하는 건 좀 과하죠. 아무것도 주어지지 않았을 때 모델의 기본 편향을 사용자가 볼 수 있게 `floor_p`를 추가한 것도 정말 좋은 기능입니다.
커스텀 프롬프트 팩을 제 데이터셋으로 직접 보정하는 게 얼마나 어려울까요?
- _puk
감사합니다.
저는 Gemma4로 직접 만들어봤는데, 브랜칭 방식이 깔끔하네요. 한번 써봐야겠습니다.
질문들을 브랜치에 넣는다면, 질문 순서가 각 출력의 확률을 바꿀 가능성이 있을까요?
팩이 있는 건 봤는데, 제가 원하는 건 가능한 한 결정론에 가까운 것입니다.
- giarec
저희는 spinf-serve를 자체 필요에 맞춰 만들었습니다: 매일 수백만 건의 뉴스 기사를 여러 관점에서 분석하고(트레이딩 분석을 돌립니다), 이런 도구에 관심이 있을 것 같아 오픈소스로 공개하기로 했습니다.
이 서버는 텍스트, 이미지, 비디오를 여러 질문 아래에서 한 번에 점수화하거나 분류하는 틈새를 담당합니다. 콘텐츠는 한 번만 읽고 모든 질문이 그 읽기의 브랜치로 답변되므로, 질문이 하나 늘어날 때마다 해당 토큰만큼만 비용이 듭니다. 트레이딩 분석이 저희 용도이고, 콘텐츠 모더레이션과 인바운드 트리아지가 다른 확실한 적합 사례입니다. 저희가 측정한 대안들(prefix caching을 쓰는 vLLM, 전용 의사결정 모델)과 비교했을 때 토큰 효율이 매우 높고 같은 카드에서 2~3배 빠릅니다; 작업 세트와 스크립트는 저장소에 있습니다.
지원되는 오픈 웨이트 모델에서 실행되며, Gemma 4와 Qwen3.8로 시작했습니다. Perplexity의 pplx-decider도 테스트해봤습니다: 어려운 결정(예/아니오, A/B/C)에는 의사결정 모델이 더 집중하는 경향이 있지만, 점수화에는 기성 모델이 더 민감하고 점수 범위가 넓다는 걸 발견했습니다.
저희의 일반적인 점수화 요구를 위해 프롬프트 팩을 도입했습니다. 병렬 점수화를 위한 질문 세트를 보정과 결정 규칙과 함께 하나의 파일로 제공하는 공식화된 방법입니다.
서버는 무료 오픈소스(Apache 2.0)이며, 저희 자체 사용 사례의 프로덕션에서 실제로 돌리는 것입니다. 의견을 알려주세요.
GPU가 없다면 무료 크레딧이 있는 호스팅 버전도 있습니다.