Pyramid-JiT - $21K로 훈련한 2B 텍스트-이미지 모델
Show HN: A decent text-to-image model trained for ~$20K (Apache 2.0 Weights)
Linum이 단 $21,038로 훈련한 2B 파라미터 텍스트-이미지 모델입니다. VAE를 제거하고 픽셀 공간에서 직접 동작하는 Pyramid-JiT 아키텍처를 사용해 32×32 토큰 압축을 달성, 기존 모델 대비 4배 적은 어텐션 컨텍스트로 학습과 추론 비용을 크게 낮췄습니다. 610M 샘플로 512² 해상도를 학습한 뒤 1024²로 확장했으며, Apache 2.0 라이선스로 가중치를 공개합니다. 저비용·고속 생성을 목표로 하는 애니메이션 창작 도구를 향한 실험적 이정표로, 누구나 직접 결과를 확인하고 활용할 수 있습니다.
이 $21K 훈련은 다음 비디오 모델을 향한 개념 증명이었는데, 모델 크기에 비해 결과가 놀라울 만큼 좋아서 실험적 릴리스로 세상에 공유하기로 했습니다.