확산 언어 모델 구축하기: Kuleshov Group의 심층 가이드
How to build a diffusion language model
이 글은 텍스트 생성의 새로운 패러다임인 확산 언어 모델을 소개합니다. 기존의 자기회귀 모델이 왼쪽에서 오른쪽으로 토큰을 하나씩 생성하는 반면, 확산 모델은 전체 시퀀스를 동시에 생성하고 반복적으로 정제합니다. 마스킹 기반 확산의 기본 개념부터 블록 확산, 아키텍처 선택, 증류를 통한 가속화, 제어 가능한 생성, 사후 훈련, 생물학 및 과학 분야 적용, 그리고 확산 기반 LLM과 스케일링 법칙까지 폭넓게 다룹니다. Mercury 2, Gemma Diffusion, Nemotron Diffusion과 같은 최신 모델을 이해하는 데 필요한 핵심 아이디어를 설명합니다.
확산 모델은 텍스트를 한 번에 하나씩 생성하는 대신, 초기 추측에서 시작하여 여러 단계에 걸쳐 반복적으로 정제함으로써 전체 시퀀스를 생성합니다.
HN 토론
20- radarsat1
한동안 궁금했던 건데, 시간을 내서 직접 해볼 수도 있겠지만... DeepSeek가 렌더링된 텍스트를 입력으로 사용해 좋은 결과를 낸 걸 보면, 텍스트를 위한 이미지 기반 확산 방법에 대해 진지한 연구가 이루어진 적이 있는지 궁금해요. 즉, 이산 토큰 생성으로 인한 모든 복잡성을 피하고, 표준 이미지 확산 방법으로 텍스트 이미지를 생성한 다음 텍스트로 변환하는 방식이요. 만약 단일 고정폭 글꼴을 사용한다면, OCR 문제가 사실상 직접 템플릿 매칭이 되기 때문에 꽤 효율적일 거라고 생각해요. 하지만 아마 이미 논문이 나와 있을 것 같기도 한데, 검색을 해보진 않았네요. 토큰 기반 방법과 비교했을 때 성능이 어떤지 궁금합니다.
- quirino
대학 프로젝트 때문에 이것들을 많이 공부하고 있어요. 지난주에 ELBO 유도 과정을 몇 시간 동안 살펴봤는데, 정말 재미있고 통찰을 주는 연습이었어요. 더 큰 수학적 구조에 이름을 붙이고 조금 더 잘 이해하게 되면 꽤 단순해져요. 제가 읽은 블로그나 논문 중에 '중요도 샘플링'이라는 이름을 붙인 곳이 있었으면 좋았을 텐데요. 확률 표기법도 꽤 혼란스러울 수 있어요. 때로는 일부 변수의 '유형'을 이해하기 어렵죠. 하지만 제가 경험이 부족해서 그럴 거예요. ChatGPT는 놀라울 정도로 도움이 됐어요. 자신의 정신 모델에서 어떤 부분이 빠져 있는지(어느 부분이 완전히 직관적이지 않은지) 진지하게 이해하려고 노력한다면, 그 빈틈을 훌륭하게 채워줄 수 있어요.
- rottc0dd
확산 모델을 이용한 이미지 생성에 관한 welch labs의 좋은 영상입니다:
https://www.youtube.com/watch?v=iv-5mZ_9CPY&pp=ygUVZGlmZnVza...