TrnRT - Motor de inferencia LLM open-source para AWS Trainium
Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
TrnRT es un motor de inferencia open-source para LLMs en AWS Trainium que sirve una API compatible con OpenAI desde un solo trn2.48xlarge. Utiliza megakernels NKI para decodificación, soporta contexto de 1M tokens con atención dispersa y caché de prefijos, y ofrece dos motores por máquina con router afín a sesiones. Con GLM-5.3-Flash como primer modelo soportado, alcanza 3.57M tokens por minuto y un coste de $0.040 por millón de tokens en spot. Ideal para desarrolladores que buscan alternativas eficientes en coste y rendimiento para servir modelos grandes.
La decodificación no está limitada por el ancho de banda de memoria aquí; las instrucciones pequeñas, los límites de kernel y las colectivas expuestas dominan. Por eso cada megakernel de decodificación sigue tres reglas: mantener el conjunto de trabajo en SBUF, usar ambos núcleos físicos simétricamente y mover las colectivas dentro del kernel.
- coredog64
Bien por esta gente por hacer algo útil con Trainium. Siempre me sorprende que el ecosistema de Trainium sea tan pobre como es. La capitalización de mercado de Amazon es de casi $3T y ¿no pueden lanzar un par de L6s y un presupuesto modesto de tokens a esto? Hacer que Trainium funcione de la manera más fluida posible como sustituto de Nvidia es claramente una jugada de flywheel.
- bookernath
Tokens por minuto es una métrica extraña, normalmente veo tok/s. Una cifra por segundo sería más accesible para comparar esto con alternativas.
- kevo1ution
tengo curiosidad por saber cómo se comparan los token/$ en Trainium con los chips de Nvidia y AMD. ¿Es el futuro la inferencia "sin chips"?