Spinf-serve - Inference-сервер для массового скоринга и решений на одном GPU
Show HN: Spinf-serve – inference server for bulk scoring and decisions
Spinf-serve — это открытый inference-сервер (Apache 2.0), который читает контент один раз и отвечает на десятки вопросов за один проход. Вместо генерации текста он возвращает вероятности по заданным вариантам, что делает его идеальным для классификации, модерации и принятия решений. Сервер совместим с OpenAI API, работает на одной GPU с 24 ГБ и показывает до 491 вопроса в секунду — в 2,5 раза быстрее vLLM. Поддерживает извлечение данных, изображения, аудио и видео, а также готовые наборы промптов (prompt packs). Доступен как для самостоятельного развёртывания, так и в виде хостингового API.
Контент читается один раз, а каждый вопрос становится ветвью одного прохода — это открывает путь к массовой классификации и решениям с вероятностями, которым можно доверять.
- Arkada
Обожаю, что это вышло из пайплайна рыночных новостей. У нас есть нечто похожее, но меньшего масштаба в приложении для торгового бота, где мы пытаемся оценивать входящие новости о криптовалютах и макроэкономике на основе фиксированных вопросов, таких как важность, направление и затронутые монеты.
Делать это через стандартный chat API — это слишком много, если всё, что нужно, — это быстрый ответ да/нет или оценка. Добавление `floor_p`, чтобы пользователь видел базовое смещение модели, когда ей ничего не дают, — это вообще отличная фича.
Насколько сложно будет откалибровать кастомный набор промптов на моём собственном наборе данных?
- _puk
Спасибо за это.
Сам построил такое на Gemma4, но ветвление — это изящно. Придётся попробовать.
Если вы упаковываете вопросы в ветви, есть ли вероятность, что порядок вопросов может изменить вероятность каждого выхода?
Вижу, у вас есть паки, но мне нужно максимально близкое к детерминированному поведение.
- giarec
Мы создали spinf-serve для собственных нужд: анализ миллионов новостных статей в день с
множества точек зрения (мы проводим на них торговый анализ), и решили открыть исходный код, поскольку
кажется, есть интерес к такого рода инструменту.
Он закрывает нишу: оценка или классификация текста, изображений и видео по многим вопросам
одновременно. Контент читается один раз, и каждый вопрос отвечается как ветвь этого
чтения, поэтому каждый дополнительный вопрос стоит только своих токенов. Торговый анализ — наше
применение; модерация контента и входящая сортировка — другие очевидные варианты. По сравнению с
альтернативами, которые мы измеряли (vLLM с кэшированием префиксов и специализированные модели принятия решений),
он очень эффективен по токенам и в 2–3 раза быстрее на той же карте; набор заданий и
скрипт есть в репозитории.
Он работает с поддерживаемыми моделями с открытыми весами; мы начали с Gemma 4 и Qwen3.8. Мы также
тестировали pplx-decider от Perplexity: для жёстких решений (да/нет, A/B/C) модель принятия решений
обычно более сфокусирована, но для оценки мы обнаружили, что готовые модели
дают большую чувствительность и более широкий диапазон оценок.
Для наших типичных задач оценки мы ввели prompt packs — формализованный способ поставлять набор
вопросов для параллельной оценки, с калибровкой и решающим правилом в одном файле.
Сервер бесплатен и открыт (Apache 2.0), и именно его мы используем в продакшене
для наших собственных сценариев. Дайте знать, что думаете.
Есть также хостинговая версия с бесплатным кредитом, если у вас нет GPU.