小模型已至：AI 成本大降
Small Models Have Arrived
最近我在体验 gpt-5.6-luna，它的速度和智能令人震惊，每秒能处理约 100 个 token，且成本极低。过去，高昂的 token 成本让许多消费者 AI 应用难以盈利，但小模型的出现改变了这一局面。以 GLM 5.3 为例，它在性价比上达到了新的帕累托前沿。在商业领域，虽然我们需要 IQ 180 级别的模型解决深层问题，但绝大多数日常工作——如快速响应、推动项目进展——更适合由快速、廉价且足够好的小模型完成。随着小模型技术的成熟，AI 在商业和消费领域的应用将迎来爆发。
大多数工作都属于第二类：快速响应、推动项目进展。
HN 评论区
336- NitpickLawyer
不过我也认为，对“快速/廉价/够用”模型的需求即将爆发。
我在 2024 年初有过一种“顿悟”：当时我用一个 7B 的本地模型，配合一个叫 Guidance 的库（最初来自微软，后来团队独立了），构建了一个工作流：模型接收测试的伪代码，先写出测试用例，等我批准后，再开始写代码直到测试通过。那时还没有“思考型”模型，但借助那个库，我能在必要的“提示/指令”上下文中“引导”模型，使其朝着完成目标努力。我看到了如今在思维链中常见的现象：“哦，测试 x 没通过是因为……我需要……”等等。
总之，我的顿悟是：“即便模型不再进步，我也能乐此不疲地探索各种用法好几年。”当然，从那以后模型确实进步巨大。但我认为这种顿悟依然适用，算是一种“常识”。我们如今能接触到的东西，在 10 到 20 年前会被视为魔法。我们仍在用胶水、胶带和祈祷拼凑系统，并不断发现它们的新用途。
我认为“够用”阶段不仅适用于 API 模型（便宜、快速等），也适用于本地模型。即便更慢、更笨重，但它们对日益增多的任务来说已经足够好用，而且与它们协作的过程极其有趣。
- andsoitis
我和几位投资人聊过，他们提到一件事：“奇怪，我们怎么没看到更多面向消费者的 AI 公司？这是为什么？”
面向消费者的 AI 公司到底该是什么样？前沿实验室已经宣布要通吃一切，而且它们领先一步。
最好的赌注或许是做个逆向思维者，打造人们真正想要或需要的产品和服务。当然可以用 AI 驱动或增强，但面向消费者的公司得干最难的那部分活：理解具体的消费者需求和欲望，并去满足它们。
- NickNaraghi
在他参与的各种初创公司中，Peter 见过两类工作：
1.