Google推出Gemini Decisions API,决策快5倍
Google正式推出Gemini Decisions API,搭载全新的Gemini Decision 1模型。这款API专为快速、封闭集决策设计,能在单次前向传播中处理文本、图像、音频、视频和PDF等多模态输入,并一次性评估多达1000个独立问题。与传统的逐词生成不同,它直接输出候选选项的概率和置信度,端到端延迟低至150-250毫秒。在成本上,由于不收取输出Token费用,其价格比Gemini 3.5 Flash-Lite便宜近5倍。目前,Google内部团队已将其用于Gemini Notebook的动态模型路由、Stitch的快速设计迭代以及Google Search的安全层构建,开发者可在Google AI Studio中免费试用。
Gemini Decision 1无需逐词解码即可对选项进行评分,将模型计算的延迟中位数保持在50到100毫秒之间。
HN 评论区
90- eminence32
我有点惊讶,居然要等到 Jev 出现,大家才恍然大悟:‘哦对,这是个有用的功能,我们应该把它放进产品组合里’。
不过也许这就是那种事后看来才显而易见的事情?我敢肯定几年前就有人尝试过类似的东西,比如用语法约束输出(例如只输出简单的 JSON 结构),但那样无法从模型中获取概率。这让我好奇:这些模型到底是怎么计算概率的?
- kodoman
我还没用过决策模型。大家现在是怎么用的?有人把它们用在像 Pi 这样的编程框架里吗?
- 2001zhaozhao
我们现在正处在 AI 变得极其便宜的阶段。传入 10 万个 token 的上下文,然后问几百个每个 100 token 的问题,其成本大概只相当于一次 Google 搜索 API 调用。
在这几百个问题中,大部分甚至可以是同一个问题的不同变体,从而捕捉到比常规单选题所能提供的更多细微差别。
- waximabbax
它比同一赛道上的其他决策模型要贵一些。
不过,它也可以接受音频和视频作为输入,针对这些特定场景,它会非常有用。
- theanonymousone
除 Jev 本身外,我用过的最好的决策模型是 respan/span-02,它是基于(还是微调自?)Gemma4 26A4。这让我尽管面对高昂成本,也对这次发布感到乐观。