확산 언어 모델 구축하기: Kuleshov Group의 심층 가이드

How to build a diffusion language model

이 글은 텍스트 생성의 새로운 패러다임인 확산 언어 모델을 소개합니다. 기존의 자기회귀 모델이 왼쪽에서 오른쪽으로 토큰을 하나씩 생성하는 반면, 확산 모델은 전체 시퀀스를 동시에 생성하고 반복적으로 정제합니다. 마스킹 기반 확산의 기본 개념부터 블록 확산, 아키텍처 선택, 증류를 통한 가속화, 제어 가능한 생성, 사후 훈련, 생물학 및 과학 분야 적용, 그리고 확산 기반 LLM과 스케일링 법칙까지 폭넓게 다룹니다. Mercury 2, Gemma Diffusion, Nemotron Diffusion과 같은 최신 모델을 이해하는 데 필요한 핵심 아이디어를 설명합니다.