TrnRT - AWS Trainium向けオープンソースLLM推論エンジン

Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

TrnRTは、AWS Trainium上で大規模言語モデルを動かすためのオープンソース推論エンジンです。1台のtrn2.48xlargeからOpenAI互換APIを提供し、NKIメガカーネルによる高速デコード、100万トークンのコンテキスト、FP8 KVページのプレフィックスキャッシュを備えています。最初の対応モデルはGLM-5.3-Flashで、SemiAnalysis AgentXベンチマークでは毎分357万トークン、スポット価格で100万トークンあたり$0.040を実現。既存のOpenAIクライアントからそのまま呼び出せるため、TrainiumでのLLMサービングを手軽に試せます。

デコードを律速するのはメモリ帯域ではなく、小さな命令やカーネル境界、露出したcollectiveだ。だからこそ各デコードメガカーネルは、ワーキングセットをSBUFに保ち、2つの物理コアを対称に使い、collectiveをカーネル内へ移すという3つのルールに従っている。
  1. coredog64

    Trainiumで何か役に立つことをやってのけた彼らには感心するよ。Trainiumのエコシステムがこれほど貧弱だということにはいつも驚かされる。Amazonの時価総額は3兆ドル近くあるのに、L6を数人とそこそこのトークン予算を投じることもできないのか?TrainiumをNvidiaの代替として可能な限りシームレスに動くようにすることは、明らかなフライホイール効果を狙った戦略だ。

  2. bookernath

    トークン毎分というのは奇妙な指標だね。普通はtok/sを見る。秒あたりの数字の方が、これと他の選択肢を比較する際にわかりやすいだろう。

  3. kevo1ution

    TrainiumのトークンあたりのコストがNvidiaやAMDのチップと比べてどうなのか気になる。未来は「チップレス」推論なのか?

この日のほかの記事

2026-11-17