1000 亿 token 需多少 H100?

How many GPUs is 1M/B/T tokens?

1000 亿 token 需多少 H100?

想用 Llama 3.3 70B 在一个月内生成 1 万亿个 token?根据 Cedana 的计算器,这大约需要 367 张 H100 GPU。文章详细拆解了从每秒 token 数到 GPU 利用率的计算逻辑,并对比了 A100、V100 及 B200 在不同模型下的性能表现。对于 DeepSeek V4 Pro 或 GLM-5.3 等超大模型,B200 凭借 FP4 支持和更大显存,性能领先 H100 可达 4 到 21 倍。作者提醒,这些结果仅为规划估算,实际部署前务必在自有硬件上实测,因为延迟目标和混合专家模型的结构差异会显著影响最终结果。

在采购硬件之前,请务必在您的设备上实测您的模型。
  1. DiabloD3

    这个计算器有点没用。不同模型的工作方式不同,你不能仅凭参数量就笼统地定义它们,而且它列出的那些模型似乎只是帮你预填了参数量。

    它还忽略了大多数用于推理的显卡,只局限于相对较新的 Nvidia 显卡。即使这纯粹是为数据中心设计的,对 AMD 客户来说也是毫无用处。

    至于不同模型存在差异,它也不理解 kv cache 的大小、你需要管理的并发会话数量、kv cache 量化的计算开销,以及模型量化的计算开销。它也不知道 MTP 和 DFlash 是什么,无法提升你的有效 TPS 来匹配。

    举个例子:比较一下 Unsloth 对 Qwen 3.8 Q4_K_M (4.5 BPW) 的量化版本,这是一个不错的较小模型,如果不使用 MTP,你的基准线大概是每 100W 3-6 TPS;如果使用内置的 MTP 模型,你会接近每 100W 6-12 TPS;然后,将量化切换到 Byteshape 的 IQ4-XS (3.84 BPW) 并使用他们建议的 Dflash drafter,你现在就达到了 15-30 TPS 的量级。

    ……然而,如果我在计算器里随手输入“27B, 27B active, 4-bit, 1B per one day”,它给出的结果似乎是我非 MTP 数据的低端值:1B per day = 每秒 11574,它推荐 3 张 B200,每张 B200 是 1200W,所以 11574 / (1200*3) = 3.215,但实际结果会是这个数值的 2 到 10 倍。

    另外,引用网站上的话,“A100 和 V100 在大型模型上的结果是理论值。”小规模推理的 peo […]

  2. dannyw

    我很抱歉,但这看起来像是那种靠“氛围感”生成的营销垃圾,准确度极低。

    首先,它完全没有考虑 prompt/KV 缓存,而我们现在都知道这对于大规模工作负载来说几乎是必不可少的。

    其次,它似乎所有的基准测试都是基于 batch size 为 1 的情况。

    没人会运行 B200 或 H100 集群却用 batch size 为 1 来做推理。

    更糟糕的是,这个计算器假设你运行的模型上下文窗口是 0 tokens?这会极大地影响所需 GPU 的数量。

    我并不是在吹毛求疵或针对那些刻意的简化,但它给出的估算值误差高达数倍,简直离谱。

同日更多故事

2026-10-07