Google выпустил Gemini Decisions API: до 1000 вопросов за один проход и в 5 раз дешевле Flash-Lite
Gemini Decisions API на модели Gemini Decision 1 оценивает до 1000 вопросов с ответами «да/нет», выбором из вариантов и оценкой по рубрике за один проход по тексту, изображениям, аудио, видео и PDF. Вместо генерации токенов модель сразу возвращает вероятности и оценки уверенности за 150–250 мс, а стоит $0,10 за 1M входных токенов без платы за выход. Google уже использует API для маршрутизации запросов в Gemini Notebook, выбора эмодзи в CC и проверки безопасности MCP-инструментов в Search.
Gemini Decision 1 оценивает варианты без посимвольного декодирования, сохраняя медианную задержку вычислений модели в 50–100 мс (150–250 мс сквозной) на мультимодальных входах и контекстах до 16K токенов, оставаясь почти неизменной при росте числа вопросов в запросе от 1 до 100.
- eminence32
Я, честно говоря, удивлён, что Джеву потребовалось так много времени, чтобы все поняли: «о да, это же полезная штука, которая должна быть в нашем продуктовом портфеле».
Но, может быть, это одна из тех вещей, которые очевидны только задним числом? Уверен, люди пытались сделать что-то похожее много лет назад с выходами, ограниченными грамматикой (например, чтобы выдавать только простую json-структуру), но так ведь не получишь вероятности из модели. Что заставляет меня задуматься: как эти модели вычисляют вероятности?
- kodoman
Я до сих пор не пользовался decision-моделью. Как люди их сейчас используют? Кто-нибудь применяет их в среде для кодинга вроде Pi?
- 2001zhaozhao
Мы уже почти достигли точки, когда ИИ стал довольно безумно дешёвым. Передать 100K токенов контекста, а затем задать сотни вопросов по 100 токенов каждый, будет стоить примерно столько же, сколько один вызов Google Search API.
Из сотен вопросов большинство могут быть даже разными вариациями одного и того же вопроса, чтобы уловить больше нюансов, чем обычно возможно в одном вопросе с множественным выбором.
- waximabbax
Это немного дороже, чем другие Decision-модели в той же нише.
Однако она также может принимать аудио и видео на вход, и для этих конкретных случаев она может быть чрезвычайно полезной.
- theanonymousone
Лучшая decision-модель, которую я использовал (помимо самого Джева), — это respan/span-02, основанная на (дообученная от?) Gemma4 26A4. Это вселяет в меня оптимизм насчёт этого релиза, несмотря на высокую стоимость.