LLM 推理：如何在效率前沿上取舍？
The efficient frontier of LLM inference
在 AI 行业，我们借用了经济学中的“效率前沿”概念来平衡成本与能力。对于 LLM 推理而言，这通常意味着在延迟与吞吐量之间寻找最优解，或者通过量化、蒸馏等技术用质量换取速度。文章将技术分为两类：一类是在现有前沿上进行权衡，比如调整 Batch sizing 或 Parallelism strategy；另一类则是直接推动整个前沿外移，例如通过 Kernel optimization、Speculative decoding 或 P/D disaggregation 实现整体性能跃升。无论是针对 GLM-5.3 还是 Kimi K3 等模型，理解这些技术如何影响你的部署策略，都能帮助你在资源受限的环境中做出更明智的决策。
放弃每个用户的速度，使得构建用于批处理工作负载的高吞吐量、低成本流水线成为可能。
HN 评论区
45- kgeist
我正在尝试编写一个推理引擎，旨在结合 llama.cpp 的优势（单二进制文件部署、对非数据中心异构计算的良好支持、广泛的量化支持）与 vLLM/SGlang 的优势（例如用于提升显存利用率和高并发能力的分页注意力机制）。
数据中心硬件昂贵且供应短缺，但 llama.cpp 在并发使用场景下速度慢且未经优化；而 vLLM/SGLang 在非通用配置上极易崩溃（例如，如果你对 RTX5090+RTX4090 进行流水线并行，它们可能会在启用 RAM 缓存时随机崩溃，或者因为通常假设每个 rank 都是同种设备类型而选错内核；此外它们也不支持 Q5-Q6 量化）。
对我而言，最有趣的是如何针对缺乏优质数据中心硬件的情况来优化推理，以及如何做到最好。我在办公室运行着一台 AI 服务器，到目前为止，我发现以下技术对于廉价硬件上的并发使用最为重要：流水线并行（以适配 PCIe）、RAM 缓存（快速将上下文恢复至显存）、投机解码（包括特定领域的 ngrams，它们无需草稿模型的开销就能显著加速代码生成）、针对特定设备高度优化的内核、支持 Q5-Q6（效果几乎与 Q8 相当）、FP8 上下文（能容纳更多上下文）、分页注意力（提升显存利用率）、前缀缓存、连续批处理（这已是通用默认设置）。
目前主要的 […]
- jumploops
> 投机解码是一个猜测模型可能生成哪些 token，然后验证这些猜测的过程。
作为一名计算机工程师，看到不同层级栈上应用的优化总是很有趣。
投机执行在 90 年代变得相当流行，最终被几乎所有的 x86 架构采用。
然后在 2000 年代中期，Speculator[0] 论文将这一概念引入了分布式系统，我们至今仍在看到相关工作 [1][2]。
旧事物总是以新面貌重现 (：
[0]https://www.cs.princeton.edu/courses/archive/fall07/cos518/p...
[1]https://www.usenix.org/system/files/osdi25-shen-weihai.pdf
[2] https://www.microsoft.com/en-us/research/publication/distrib...
- entrope
这篇文章描述的是通常所说的帕累托前沿（Pareto frontier）：即两个（或多个）优化目标之间已知的最佳可行权衡。在通用用法中，“有效前沿（Efficient frontier）”似乎特指投资组合中金融风险与收益之间的帕累托前沿。即使在金融领域之外，帕累托前沿上的点也被称为帕累托最优或帕累托有效。帕累托前沿有时会以超过两个维度展示，但为了简便，人们通常只选取两个维度。
在 LLM 领域，甚至在推理层面，还有许多其他可以优化的潜在参数：Unsloth 通常展示量化模型大小与 KL 散度之间的帕累托前沿。其他人则在总并发 tok/s 与单流 tok/s 之间进行权衡。KV 缓存大小、上下文长度和上下文一致性是与推理密切相关的其他权衡因素。总智能度通常是“前沿模型”的一个定义特征，而成本（每 token 或每任务）是一个显著的权衡点。成本是“吞吐量与延迟”分析中隐含固定的一个参数：使用 GB300 与 Radeon R9700 会极大地移动曲线，甚至可能改变其形状。这里的许多讨论都在争论本地与云端推理的成本效率问题，通常隐私和控制是相互竞争的目标。
- brrrrrm
这是一篇很棒且简洁的文章。令我印象深刻的是，这些技术多年来真的几乎没有变化。当然，精度略有降低，投机解码的接受率略有提升，混合专家模型（MoE）使得并行的复杂性变得更棘手。但在很长一段时间内，没有任何新概念出现！
对推理影响最大的改进发生在架构设计阶段。我坚信，任何关心模型效率影响的人，都应该关注这一点。
- armcat
我认为我们很快就可以加入 Astra 正在采用的“递归深度”策略，我怀疑它利用的是 Transformer 内部的递归状态变化，而不是传统思考/思维链（CoT）中使用的完整前向传播加采样。类似的方法在这里也被使用过（但上下文不同——在 Transformer 权重中编码工具以实现快速执行）：https://www.percepta.ai/blog/can-llms-be-computers