Pyramid-JiT - $21Kで訓練された2Bテキスト-to-画像モデル
Show HN: A decent text-to-image model trained for ~$20K (Apache 2.0 Weights)
Linum.aiが開発したPyramid-JiT（P-JiT）は、わずか約21,000ドル（8,415 H100時間）でゼロから訓練された2Bパラメータのテキスト-to-画像モデルです。VAEを排除したピクセル空間アーキテクチャにより、従来の4倍となる32×32トークン圧縮を実現し、アテンションのコンテキストウィンドウを大幅に削減。512²から1024²への解像度移行を経て、驚くほど高品質な画像を生成します。Apache 2.0ライセンスの重みが公開されており、次世代の動画モデル開発に向けた実験的リリースとして、誰でも試すことができます。
この21,000ドルの訓練は次期動画モデルへの道のりにおける概念実証にすぎませんが、モデルの規模に対して結果が驚くほど良好だったため、実験的リリースとして世界に共有することにしました。