Qwen 3.8 27B 在 Cerebras 跑出 1500 tok/s
Qwen 3.8 27B available on Cerebras at 1500 tokens/s
Cerebras 公开端点现已上线 Qwen 3.8 27B 模型，推理速度高达每秒 1500 个 token。平台明确承诺，所有公开服务均提供未经剪枝的原始模型版本，确保架构不被擅自修改。虽然 Cerebras 在 Hugging Face 上分享了基于 REAP 技术的剪枝模型供研究使用，但生产环境 API 仅保留完整精度。通过选择性权重量化技术，系统在存储时优化了资源占用，而在推理过程中，激活值、注意力机制及 KV 缓存均保持全精度运行，从而在速度与质量之间取得平衡。
我们承诺为所有现有端点提供原始模型服务，绝不通过剪枝技术修改模型架构。
HN 评论区
223- nostrebored
公共端点的 15 万 TPM 限制意味着它对许多编程任务来说可能根本没法用。我们过去尝试过 Cerebras，问题总是出在速率限制上。我们很希望能不用搞专用实例，而是能访问一个更灵活的速率池。
哪怕只是试着用一下，感觉我们的账号好像被扔进了某种“无人区”，连账单信息都加不了了。
```
Billing access restricted
Self-serve billing is not available on Enterprise accounts. Please contact your team for further questions.
```
我们根本没有团队（在我们讨论速率限制后，他们把自己从我们的 Slack 频道里删掉了）。更让人困惑的是，这些错误在请求里根本显示不出来，返回的是：
```
{"message":"Model does not exist or you do not have access to it.","type":"not_found_error","param":"model","code":"model_not_found"}
```
而真正的错误其实是关于账单的。
我一直挺想喜欢 Cerebras 的，但给我的感觉是，作为一个只管输入输出 token 的消费者，你完全不被重视。
- gpugreg
我本来还在想这玩意儿对编程有没有用，结果它快得有点过头了。每分钟 token 上限是 45 万。我大概 90 秒就撞到这个上限了，期间烧掉了 1.1 美元。这是因为缓存的 token 也算在限额里。
做个对比，我用 DeepSeek-V4-Flash 跑同样的任务，耗时 172 秒，花费 0.024 美元，最终上下文窗口大小为 55217 个 token；而 Qwen3.8-27B 的上下文窗口到了 64178 个 token 时，连一半都没跑完。
这是一种非常高效的烧钱方式，但我不会推荐它用于编程。
好在方面是，我拿到了 5 美元的注册奖励，所以烧的不是我自己的钱。
- jasongill
如果他们能通过 OpenRouter 提供这个模型的推理能力就好了；目前 OpenRouter 上最快的提供商速度约为 80 tps https://openrouter.ai/qwen/qwen3.8-27b#providers
他们确实已经在 OpenRouter 上托管了其他模型，也许 Qwen3.8 很快也会上线：https://openrouter.ai/provider/cerebras
- pllbnk
就在几天前，我发现了 ninfer (https://github.com/Neroued/ninfer)，在 RTX 5090 上我现在能达到约 200 tok/s，并发请求时甚至超过 400 tok/s，对于这种强度的本地模型来说已经够快了。
- hexa00
刚在一个现有代码库上试了个中等规模的编程/调试问题，观察如下：
- 输入看起来并不比其他模型快，它花了很多时间在读取上
读了大约 500 万 token
- 输出很棒，超级快，正如你预期的 1500 t/sec 那样，我觉得这数据是对的
- 工具调用（Tool call）比 DS4 失败得更频繁，导致在重试上浪费时间（比如像浏览器控制这类复杂工具）
- Shell 命令仍然是个瓶颈
净效果是，我等待的时间差不多，而且我仍然需要阅读那些输出。所以至少对于编程来说，这让我觉得 100-200 t/sec（比如 DS4 能达到的速度）其实也够用了。也许那才是真正的甜点，更快的 t/sec 并不是瓶颈所在。
另外，也许我的设置（OMP）没有正确处理缓存，但这可是个巨大的成本驱动因素……所以目前来看价格相当贵。
- gardnr
我用他们的 Coding Plan 试了好几个月。说实话，跟上模型更新的节奏真的很难。输出速度太快了。Qwen 3.8 27B 可能是他们托管过的最强模型之一。
编辑：看起来这只能通过 API token 定价使用。有人知道他们是否已经推出了提示缓存（prompt caching）吗？以前没有提示缓存时，代理式编程任务的花费相当高。
- eli
我刚做了一个小规模的 anecdotal 测试。让 pi + cerebras 审查了一个最近的 commit，并问了一些快速跟进的问题。效果很棒。
Cerebras 会话花费了我 1.60 美元，总共耗时 5.1 分钟。期间确实遇到了几次短暂的 429 速率限制错误。p50 速度为 890 tok/s，TTFT 为 0.64 秒。
如果用 OpenRouter 的平均价格，这应该只花 0.29 美元（Cerebras 没有缓存折扣！），耗时大约 14.4 分钟。
所以在这次短暂的会话中，Cerebras 贵了 5.6 倍，但速度快了 2.8 倍。换个说法，1.32 美元买回了大约 9 分钟的时间。在我看来这不算一笔坏交易，但缓存的情况确实让人沮丧。会话越长，Cerebras 的相对成本就越高。不过“好消息”是，你也受限于它较短的上下文窗口。
（另外，我以前用过 Cerebras 的 coding plan，对终端用户的支持相当差。我猜这些公共端点其实只是给潜在企业客户的产品演示。）
- tacone
注意到他们已经在 OpenRouter 上出现了，但 Qwen 3.8 还没上线。希望很快能加上。
不过对于那些还没注意到的人来说，他们为 Qwen 允许的上下文大小只有 128k。作为一个专用的子代理（sub-agent）仍然很有趣，但真的不太适合长任务。