Llmspeed: 选购前体验本地LLM运行速度
Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware
Llmspeed 是一个专为开发者打造的实用工具，让你在掏钱购买硬件前，就能直观感受不同配置下本地 LLM 的真实运行速度。只需选择心仪的硬件（如 NVIDIA RTX 4090、Mac Studio M5 Ultra 或 AMD Ryzen AI Max+）和模型（如 Llama 3.1 8B、Qwen 3.6 27B），即可看到实测或推算的 token 生成速度及首字延迟（TTFT）。数据源自 r/LocalLLaMA 等社区基准测试，覆盖从消费级显卡到云端 H100 的广泛设备，助你做出最明智的硬件投资决策。
在掏钱购买硬件之前，先亲身感受本地大模型的运行速度。
HN 评论区
41- lopotubez
我觉得这类基准测试主要测的是主流观点认为可行或能跑的东西。你很少能听到关于推理引擎的不同实现、不同类型的配置（比如混合配置或旧硬件）及其优缺点的讨论。而且这些测试似乎只用了极少的 token 量。
目前我在 9 年前的旧笔记本上跑，配置是 GTX 1070 Max-Q（8GB 显存）、16GB DDR4 内存和 i7-8750H 处理器。我正在用 llamacpp 的一个分支（Turboquant）运行一个微调版的 Qwen 3.5-35B-A3B（Tiel-Coder-35B-A3B-GGUF-MTP），采用 4-bit 量化，上下文窗口为 131k，推理速度约 16-19 tk/s，prefill 速度约 350-500 tk/s（使用 Pi harness 测试）。对于写脚本、处理中等难度的编程任务以及文本摘要来说，效果简直令人惊叹。上下文超过 100k 后速度会降到 9 tk/s 左右，但这也在预料之中。
如果你去问任何前沿 LLM 或参考这类基准测试，它们可能会告诉你，我的系统能跑的最佳模型只是个很烂的 9B 模型之类的，这完全是错的。所以我真的很想知道，在更强大的系统和更优秀的开源权重模型上，还能挖掘出多少性能。
- hizlikovboy27
这段时间，我一直在考虑为我们公司部署本地 LLM。我正在琢磨需要什么样的硬件，以及能期待怎样的性能水平。我在你的网站上试了几项测试，但这些结果在多大程度上反映了真实使用场景？
在我的使用场景中，模型可能需要先分析给定任务，然后生成并执行数据库查询，最后将结果返回给客户端。你的配置能在多大程度上处理这类工作流？结果的准确性如何？
做得不错。
- gitowiec
我希望这类模拟器能包含以下内容：
- 多 GPU 配置（异构和同构）
- PCIe 版本选择器（3.0/4.0/5.0）
- 是否启用 NVLink（2 卡、2x2 卡、3x2 卡）
- PCIe 是否进行分叉（bifurcated）还是 CPU 原生直连（例如 Threadripper Pro）
- mirekrusin
如果数据别出错就太好了，还应该包含优化版本（比如 speculative decoding）、上下文大小、允许并行推理（单智能体经常使用并行推理）等等。
我觉得大家通常并不关心长长的模型列表，只关心哪个模型最好。
另外，双 GPU 是很常见的配置，应该加入比如 2x 4090 这样的选项。
- hbogert
真可惜他们没把旧硬件也算进去，比如我的 RX580，它在运行 Qwen 9B 模型时表现相当惊艳。