TrnRT - Открытый движок вывода LLM для AWS Trainium
Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
TrnRT — это открытый движок вывода для больших языковых моделей на AWS Trainium. Он запускает OpenAI-совместимый API на одном trn2.48xlarge, использует NKI мегаядра для декодирования и поддерживает контекст до 1 млн токенов с префиксным кешем. Первая поддерживаемая модель — GLM-5.3-Flash (320B MoE). Благодаря оптимизациям движок достигает 3,57 млн токенов в минуту при батче 12, а стоимость составляет всего $0,040 за миллион токенов по спотовой цене. Проект распространяется под лицензией Apache 2.0 и предлагает простой старт через Docker и OpenAI-клиенты.
Декодирование здесь ограничено не пропускной способностью памяти, а мелкими инструкциями, границами ядер и открытыми коллективами. Поэтому каждое мегаядро декодирования следует трём правилам: держать рабочий набор в SBUF, симметрично использовать оба физических ядра и переносить коллективы внутрь ядра.
- coredog64
Молодцы эти ребята, что сделали что-то полезное с Trainium. Меня всегда удивляет, что экосистема Trainium настолько слабая. Рыночная капитализация Amazon почти $3T, и они не могут бросить пару L6 и скромный бюджет на токены на это? Сделать так, чтобы Trainium работал как можно более бесшовно в качестве замены Nvidia — это явно игра на маховик.
- bookernath
Токенов в минуту — странная метрика, обычно я вижу tok/s. Показатель в секунду был бы более удобным для сравнения с альтернативами.
- kevo1ution
Интересно, как token/$ на Trainium соотносятся с чипами Nvidia и AMD. Будущее за "бесчиповым" инференсом?