TrnRT - Открытый движок вывода LLM для AWS Trainium

Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

TrnRT — это открытый движок вывода для больших языковых моделей на AWS Trainium. Он запускает OpenAI-совместимый API на одном trn2.48xlarge, использует NKI мегаядра для декодирования и поддерживает контекст до 1 млн токенов с префиксным кешем. Первая поддерживаемая модель — GLM-5.3-Flash (320B MoE). Благодаря оптимизациям движок достигает 3,57 млн токенов в минуту при батче 12, а стоимость составляет всего $0,040 за миллион токенов по спотовой цене. Проект распространяется под лицензией Apache 2.0 и предлагает простой старт через Docker и OpenAI-клиенты.

Декодирование здесь ограничено не пропускной способностью памяти, а мелкими инструкциями, границами ядер и открытыми коллективами. Поэтому каждое мегаядро декодирования следует трём правилам: держать рабочий набор в SBUF, симметрично использовать оба физических ядра и переносить коллективы внутрь ядра.
  1. coredog64

    Молодцы эти ребята, что сделали что-то полезное с Trainium. Меня всегда удивляет, что экосистема Trainium настолько слабая. Рыночная капитализация Amazon почти $3T, и они не могут бросить пару L6 и скромный бюджет на токены на это? Сделать так, чтобы Trainium работал как можно более бесшовно в качестве замены Nvidia — это явно игра на маховик.

  2. bookernath

    Токенов в минуту — странная метрика, обычно я вижу tok/s. Показатель в секунду был бы более удобным для сравнения с альтернативами.

  3. kevo1ution

    Интересно, как token/$ на Trainium соотносятся с чипами Nvidia и AMD. Будущее за "бесчиповым" инференсом?

Ещё за этот день

2026-11-17