spinf-serve - 1回の読み込みで大量の質問をスコアリングする推論サーバー
Show HN: Spinf-serve – inference server for bulk scoring and decisions
spinf-serveは、コンテンツを一度読むだけで、それに関する多数の質問を同じパスで処理する推論サーバーです。各回答は生成テキストではなく、指定した選択肢に対する確率として返されます。1台の24GB NVIDIA GPUで動作し、OpenAI互換APIを提供。チャット用エンジンが質問ごとにコンテンツを再読み込みする非効率を解消し、バルク分類や意思決定モデルに最適化されています。RTX 4090では毎秒491問を処理し、vLLMの約2.5倍の速度を実現。Apache 2.0で公開され、自社ハードウェアでも実行可能です。
コンテンツは一度だけ読み込まれ、すべての質問が同じパスの分岐として処理される——だからこそ、大量の分類と意思決定を圧倒的なスループットで実現できるのです。
- Arkada
これがマーケットニュースのパイプラインから生まれたというのが気に入っています。うちのトレーディングボットアプリでも似たようなものを小規模にやっていて、入ってくる暗号通貨やマクロ経済のニュースを、重要度、方向性、影響を受けるコインといった固定の質問に基づいてスコアリングしようとしています。
標準のチャットAPIでやるのは、素早いyes/noやスコアリングだけが必要な場合には少し大げさすぎます。何も与えられていないときのモデルのベースラインのバイアスをユーザーが確認できるように `floor_p` を追加したのは、とても素晴らしい機能ですね。
カスタムプロンプトパックを自分のデータセットでキャリブレーションするのはどのくらい難しいでしょうか？
- _puk
ありがとうございます。
Gemma4を使って自分で似たものを作ったのですが、このブランチングはいいですね。試してみたいと思います。
質問をブランチに詰め込む場合、質問の順序によって各出力の確率が変わる可能性はありますか？
パックがあるのはわかりますが、私が求めているのは可能な限り決定論的に近いものです。
- giarec
spinf-serveは自分たちのニーズのために作りました。毎日何百万ものニュース記事を多角的に分析しており（それらに対してトレーディング分析を実行しています）、この種のツールに需要がありそうなのでオープンソース化することにしました。
これはニッチな用途に応えます。テキスト、画像、動画を多数の質問の下で一度にスコアリングまたは分類するのです。コンテンツは一度だけ読み込まれ、すべての質問はその読み込みのブランチとして回答されるため、追加の質問ごとにコストはその質問自体のトークン分だけです。トレーディング分析が私たちの用途ですが、コンテンツモデレーションや受信トリアージも明らかな適合先です。測定した代替手段（プレフィックスキャッシング付きのvLLMや専用の決定モデル）と比較して、トークン効率が非常に高く、同じカード上で2〜3倍高速です。ジョブセットとスクリプトはリポジトリにあります。
サポートされているオープンウェイトモデルで動作します。私たちはGemma 4とQwen3.8から始めました。Perplexityのpplx-deciderもテストしました。厳密な決定（yes/no、A/B/C）には決定モデルの方が集中している傾向がありますが、スコアリングには既製のモデルの方が感度が高く、スコアの範囲が広いことがわかりました。
典型的なスコアリングのニーズのために、プロンプトパックを導入しました。並列スコアリング用の質問セットを、キャリブレーションと決定ルールを1つのファイルにまとめて提供する正式な方法です。
サーバーは無料でオープンソース（Apache 2.0）であり、私たち自身のユースケースで本番環境で運用しているものです。ご意見をお聞かせください。
GPUがない場合には、無料クレジット付きのホスト版もあります。