DiffusionGemma: 256개 토큰 병렬 생성으로 초당 1,500개 출력

DiffusionGemma Technical Report

Google의 DiffusionGemma 팀이 공개한 실험적 오픈웨이트 언어 모델이 기존 자회귀(AR) 모델의 순차 디코딩 병목을 피해 256개 토큰 블록을 병렬로 정제하며, 단일 NVIDIA H100 GPU에서 초당 약 1,500개 토큰을 생성한다. 이 모델은 Gemma 4 MoE(활성 3.8B, 전체 25.2B 파라미터)를 파인튜닝하여 얻었으며, 학습 토큰 예산의 10% 미만을 사용한다. 추론 속도와 성능 간 새로운 파레토 최적점을 제시하며, thinking mode, 멀티모달 입력, 긴 문맥 지원을 유지한다.