TrnRT - AWS Trainium을 위한 오픈소스 LLM 추론 엔진
Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
TrnRT는 AWS Trainium에서 대규모 언어 모델을 효율적으로 서빙하기 위한 오픈소스 추론 엔진입니다. NKI 메가커널을 활용해 디코드 성능을 극대화하고, 1M 토큰 컨텍스트와 OpenAI 호환 API를 제공합니다. 하나의 trn2.48xlarge 인스턴스에서 두 개의 엔진을 운영하며, 세션 친화적 라우터와 프리픽스 캐시로 비용 효율적인 추론을 가능하게 합니다. 현재 GLM-5.3-Flash 모델을 지원하며, AgentX 벤치마크에서 분당 357만 토큰 처리와 백만 토큰당 0.040달러의 비용을 달성했습니다. Docker를 이용한 간편한 배포와 오프라인 컴파일 파이프라인을 제공하여, 개발자들이 손쉽게 체험할 수 있습니다.
하나의 trn2.48xlarge에서 분당 357만 토큰을 처리하고, 백만 토큰당 비용은 단 0.040달러입니다.
- coredog64
이 사람들이 Trainium으로 뭔가 유용한 걸 해냈다는 점은 칭찬할 만하네요. 저는 Trainium 생태계가 이렇게 형편없다는 게 항상 놀랍습니다. 아마존 시가총액이 거의 3조 달러인데 L6 몇 명이랑 적당한 토큰 예산을 투입하지 못한다는 건가요? Trainium이 Nvidia 대체재로서 최대한 매끄럽게 작동하도록 만드는 건 명백한 플라이휠 전략이죠.
- bookernath
분당 토큰 수는 이상한 지표네요. 보통 tok/s를 보는데. 초당 수치가 다른 대안들과 비교하기에 더 접근하기 쉬울 겁니다.
- kevo1ution
Trainium의 토큰당 비용이 Nvidia 칩이나 AMD와 비교해 어떤지 궁금하네요. 미래는 '칩 없는' 추론일까요?