TrnRT - Open-Source-LLM-Inference-Engine für AWS Trainium
Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
TrnRT ist eine Open-Source-Inference-Engine für große Sprachmodelle auf AWS Trainium. Sie bietet eine OpenAI-kompatible API, läuft auf einer einzigen trn2.48xlarge-Instanz und nutzt NKI-Megakernels für schnelle Dekodierung. Mit 1M-Token-Kontext, Prefix-Cache und Offline-Kompilierung erreicht sie beeindruckende 3,57 Millionen Tokens pro Minute bei Kosten von nur 0,040 US-Dollar pro Million Tokens. Derzeit wird GLM-5.3-Flash unterstützt, weitere offene Modelle folgen. Ideal für Entwickler, die leistungsstarke LLM-Inferenz auf AWS-Infrastruktur suchen.
Dekodierung wird hier nicht durch Speicherbandbreite begrenzt; kleine Instruktionen, Kernel-Grenzen und exponierte Collectives dominieren. Deshalb folgt jeder Dekodierungs-Megakernel drei Regeln: Arbeitsbereich in SBUF halten, beide physischen Kerne symmetrisch nutzen und die Collectives in den Kernel verlagern.
- coredog64
Großartig, dass diese Leute mit Trainium etwas Nützliches machen. Ich bin immer wieder überrascht, dass das Trainium-Ökosystem so schlecht ist, wie es ist. Amazons Marktkapitalisierung liegt bei fast 3 Billionen Dollar und sie können nicht ein paar L6er und ein bescheidenes Token-Budget dafür locker machen? Trainium so nahtlos wie möglich als Nvidia-Ersatz funktionieren zu lassen, ist ein klarer Flywheel-Play.
- bookernath
Tokens pro Minute ist eine seltsame Metrik, ich sehe normalerweise tok/s. Eine Angabe pro Sekunde wäre zugänglicher, um das mit Alternativen zu vergleichen.
- kevo1ution
Ich bin neugierig, wie die Token/$ auf Trainium im Vergleich zu Nvidia-Chips und AMD abschneiden. Ist die Zukunft die "chiplose" Inferenz?