TrnRT - Open-Source-LLM-Inference-Engine für AWS Trainium

Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

TrnRT ist eine Open-Source-Inference-Engine für große Sprachmodelle auf AWS Trainium. Sie bietet eine OpenAI-kompatible API, läuft auf einer einzigen trn2.48xlarge-Instanz und nutzt NKI-Megakernels für schnelle Dekodierung. Mit 1M-Token-Kontext, Prefix-Cache und Offline-Kompilierung erreicht sie beeindruckende 3,57 Millionen Tokens pro Minute bei Kosten von nur 0,040 US-Dollar pro Million Tokens. Derzeit wird GLM-5.3-Flash unterstützt, weitere offene Modelle folgen. Ideal für Entwickler, die leistungsstarke LLM-Inferenz auf AWS-Infrastruktur suchen.

Dekodierung wird hier nicht durch Speicherbandbreite begrenzt; kleine Instruktionen, Kernel-Grenzen und exponierte Collectives dominieren. Deshalb folgt jeder Dekodierungs-Megakernel drei Regeln: Arbeitsbereich in SBUF halten, beide physischen Kerne symmetrisch nutzen und die Collectives in den Kernel verlagern.
  1. coredog64

    Großartig, dass diese Leute mit Trainium etwas Nützliches machen. Ich bin immer wieder überrascht, dass das Trainium-Ökosystem so schlecht ist, wie es ist. Amazons Marktkapitalisierung liegt bei fast 3 Billionen Dollar und sie können nicht ein paar L6er und ein bescheidenes Token-Budget dafür locker machen? Trainium so nahtlos wie möglich als Nvidia-Ersatz funktionieren zu lassen, ist ein klarer Flywheel-Play.

  2. bookernath

    Tokens pro Minute ist eine seltsame Metrik, ich sehe normalerweise tok/s. Eine Angabe pro Sekunde wäre zugänglicher, um das mit Alternativen zu vergleichen.

  3. kevo1ution

    Ich bin neugierig, wie die Token/$ auf Trainium im Vergleich zu Nvidia-Chips und AMD abschneiden. Ist die Zukunft die "chiplose" Inferenz?

Mehr von diesem Tag

2026-11-17