Hetzner 正在实验 LLM 推理服务
Hetzner is working on LLM Inference
Hetzner 正在其基础设施上实验 LLM 推理服务，这并非正式产品发布，而是一个没有计费、SLA 或生产保证的实验。目前仅提供 OpenAI 兼容的 API，支持 Qwen/Qwen3.6-35B-A3B-FP8 模型。我在测试中发现其首字延迟低至 153 毫秒，输出速度达 224 tokens/秒，表现相当快。虽然当前模型较小且存在小瑕疵，但真正值得关注的是 Hetzner 的战略意图：利用其高效的硬件采购和数据中心运营能力，将闲置 GPU 资源转化为推理服务收入。如果未来能引入 B200/B300 级硬件并扩展模型库，Hetzner 有望成为欧洲乃至全球的重要推理服务商。
这个产品比模型本身更有趣，关键在于 Hetzner 为什么要测试推理服务。
HN 评论区
87- swiftcoder
如果有一个备受尊敬的欧盟本土推理服务商，那肯定会很有意思，哪怕只是为了让监管大神们开心。
- pmg1991
很快我们就会看到推理服务的转售计划，这和以前的网站主机转售业务如出一辙。在大玩家之后，小玩家也会开始进入这个领域。
我期待着那一天的到来，让推理服务像网站主机一样价格亲民。200 美元一个月的费用对很多人来说根本负担不起。
- ano-ther
很高兴看到这个领域的更多进展。我挺喜欢这项服务，它比 Hetzner 更进一步，提供多种模型可选：https://www.infomaniak.com/en/hosting/ai-services
- mark_l_watson
鉴于他们高效的托管能力，这似乎是个明智之举。我支持那些努力让小型实用模型的推理成本逐渐趋近于“零”的尝试，通往这一目标的路径有很多。对于公司而言，能够为他们可能自行托管的那类小型模型获得快速托管服务是非常有用的。
- NetOpWibby
这很有趣，因为我原本以为 Hetzner 是反对加密货币的？LLM 和加密货币并不一样，但它们经常被归为一类，被视为“没人想要的东西”。