Google, 1,000개 질문을 한 번에 처리하는 Gemini Decisions API 공개
Google이 Gemini Decision 1 모델 기반의 Gemini Decisions API를 출시했다. 텍스트·이미지·오디오·비디오·PDF를 한 번의 입력으로 받아 최대 1,000개의 예/아니오, 선택, 루브릭 점수 질문을 단일 패스로 평가한다. 토큰 생성 없이 확률과 신뢰도를 반환해 150~250ms 지연과 100만 입력 토큰당 0.10달러, 출력 토큰 무료라는 가격을 내세운다. Gemini Notebook의 모델 라우팅, Stitch의 빠른 프로토타이핑, CC의 이모지 선택 등에 이미 활용 중이다.
Gemini Decision 1은 토큰 단위 디코딩 없이 옵션을 점수화해, 최대 16K 토큰의 멀티모달 입력과 문맥에서도 모델 연산 중앙값 50~100ms(종단 간 150~250ms)를 유지하며, 요청당 질문 수가 1개에서 100개로 늘어나도 거의 변하지 않는다.
HN 토론
90- eminence32
Jev가 모두가 "아 그래, 이건 우리 제품 포트폴리오에 있어야 할 유용한 물건이지"라고 깨닫기까지 그렇게 오래 걸렸다는 게 좀 놀랍네요.
하지만 어쩌면 이건 돌이켜보면 당연해 보이는 그런 부류의 일 중 하나일지도 모르겠습니다? 몇 년 전에도 문법 제약을 준 출력(예를 들어 단순한 json 구조만 출력하도록)으로 비슷한 시도를 했던 건 확실하지만, 그런 방식으로는 모델에서 확률을 얻어낼 수가 없죠. 그래서 궁금해지네요: 이 모델들은 확률을 어떻게 계산할까요?
- kodoman
저는 아직 결정 모델을 써보지 않았는데, 요즘 사람들은 이걸 어떻게 쓰고 있나요? Pi 같은 코딩 하네스에서 쓰는 사람이 있나요?
- 2001zhaozhao
이제 AI가 꽤 미친 듯이 저렴해진 지점에 거의 다 왔습니다. 100K 토큰의 컨텍스트를 넘기고 각각 100 토큰짜리 질문 수백 개를 물어보면 비용이 대략 Google 검색 API 한 번 호출하는 정도일 겁니다.
수백 개의 질문 중 대부분은 심지어 같은 질문의 다른 변형일 수도 있어서, 보통 단일 객관식에서는 불가능한 더 많은 뉘앙스를 잡아낼 수 있습니다.
- waximabbax
같은 분야의 다른 결정 모델들보다 조금 더 비쌉니다.
하지만 입력으로 오디오와 비디오도 받을 수 있어서 그런 특정한 경우에는 굉장히 유용할 수 있습니다.
- theanonymousone
제가 써본 최고의 결정 모델은 (Jev 자체를 제외하면) respan/span-02인데, 이건 Gemma4 26A4를 기반으로 (파인튜닝한?) 겁니다. 그래서 높은 비용에도 불구하고 이번 출시에 대해 낙관적입니다.