TrnRT: AWS Trainium开源大模型推理引擎
Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
TrnRT 是专为 AWS Trainium 打造的开源大语言模型推理引擎,由 RunAnywhere 开发。它利用 NKI 超级内核技术,在单台 trn2.48xlarge 实例上即可提供 OpenAI 兼容的 API 服务,支持高达 100 万 token 的上下文窗口。通过创新的离线编译机制和跨设备前缀缓存,TrnRT 显著降低了推理成本并提升了吞吐量,让开发者能高效部署 GLM-5.3-Flash 等先进模型。
TrnRT 采用每层半融合一个内核的 NKI 超级内核策略进行解码,并跨越设备与主机内存维持前缀缓存,实现了极致的推理效率。
- coredog64
这群人能用 Trainium 做出点有用的东西,值得点赞。我总是惊讶于 Trainium 的生态竟然如此贫瘠。亚马逊的市值都快到 3 万亿美元了,难道连几颗 L6 芯片和一笔 modest 的 token 预算都拿不出来吗?让 Trainium 尽可能无缝地作为 Nvidia 的替代品,显然是一步清晰的飞轮策略。
- bookernath
Tokens per minute(每分钟 token 数)是个奇怪的指标,我通常看到的是 tok/s(每秒 token 数)。用每秒的数值来对比其他替代方案会更直观易懂。
- kevo1ution
很好奇 Trainium 的 token/$(每美元 token 数)与 Nvidia 芯片和 AMD 相比如何。未来的推理会是“无芯片”模式吗?