연속 확산 언어 모델(CDLM)이 다시 부상하고 있다
Continuous Diffusion Language Models (CDLM's)
최근 몇 년간 침체되었던 언어용 연속 확산 모델(CDLM) 연구가 다시 활기를 띠고 있다. 이 글은 2021년 초기 이산 확산 모델부터 2022년 연속 확산 시도, 2023년 후반의 '연속 확산의 멸종' 사건, 그리고 최근의 부활까지의 역사를 개인적인 관점에서 정리한다. 저자는 연속 확산이 토큰 수준의 불확실성 표현과 풍부한 샘플링 기법 등의 장점을 가졌음에도 불구하고, ChatGPT 이후 성능 중심의 연구 분위기와 훈련 효율성 문제(Gulrajani & Hashimoto의 64배 비효율성 측정)로 인해 외면받았다고 분석한다. 또한 CDLM을 작동시키기 위한 임베딩 전략, 손실 함수, 노이즈 스케줄, 자기 조건화 등 핵심 기술 요소를 설명하고, 최근 연구 동향을 살펴본다.
2023년 이후 사실상 모든 새로운 연구가 이산 확산을 사용했으며, 언어용 연속 확산은 멸종했습니다.
HN 토론
35- janalsncm
[2020/2021년 당시] 자기회귀 모델의 지배력은 지금처럼 확고하지 않았습니다. GPT-3가 주목을 받긴 했지만, '챗GPT의 순간'은 2022년 말이 되어서야 왔죠.
저는 이 의견에 동의하지 않습니다. 2020년에 디코더 모델은 채팅 분야에서 압도적으로 우세했습니다. GPT-2는 공개하기에 너무 위험하다고 여겨졌고, 저는 GPT-3 대기자 명단에 겨우 올라탔던 기억이 납니다. 실제로 효과가 있었습니다.
(제가 예외로 두는 것은 인코더-디코더 모델인데, 요즘은 보통 디코더 전용으로 처리됩니다.)
하지만 이 기술이 주류가 된 것은 강화학습 덕분이었습니다. 처음에는 RLHF, 그 다음에는 DPO 같은 설정이 덜 번거로운 개선 사항들이 등장했습니다. 여기에 확산(diffusion)을 추가하는 것은 훨씬 더 큰 골칫거리가 되었을 것입니다.
ChatGPT 이전에는 사전 학습과 사후 학습이라는 개념이 사실상 없었습니다. 모든 것이 사전 학습이었죠. 사후 학습이 봇을 단순히 '사용자가 쓴 내용을 이어가는' 존재가 아니라 대화형으로 만든 것입니다.
요컨대, 확산 모델은 토큰을 생성하는 더 복잡한 방법일 뿐이었고, 진짜 문제는 토큰을 올바른 분포로 만드는 것이었기 때문에 결코 인기를 얻지 못했습니다.
- 2001zhaozhao
저는 다양한 속도로 사고할 수 있고, 모든 출력 앞에 두는 대신 출력 텍스트와 함께 사고 스크래치패드를 출력할 수 있는 모델을 보고 싶습니다.
현재 모델은 토큰/단계당 높은 지능을 얻기 위해 덜 해독 가능한 압축된 사고 사슬(CoT)에 의존해야 하지만, 확산 모델을 사용하면 단계당 더 많은 토큰을 출력하기만 하면 될 것입니다.
- p1esk
AI가 생성하지 않은 글을 읽는 것은 신선합니다.
- vatsachak
저는 아직도 자기회귀 LLM에 저렴한 과일이 남아 있다고 느낍니다; 인코더
- Marchant_hq
CDLM은 더 부드럽고 일관된 텍스트 생성을 위해 유망해 보입니다. 토큰 수준의 불연속성을 어떻게 해결할지 기대됩니다.