Next-Concept Modeling, 확산 언어 모델보다 21배 빠른 텍스트 생성

Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation

▲ 173theanonymousone39 HN 토론

Stanford 연구진이 제안한 Next-Concept Modeling(NCM)은 텍스트를 다중 스케일 residual VQ-VAE로 계층적 이산 코드로 인코딩한 뒤, transformer가 한 단계씩 모든 코드를 병렬로 예측하는 coarse-to-fine 방식이다. LM1B에서 가장 강력한 확산 언어 모델(DLM)보다 더 나은 generative perplexity를 기록하면서 21배 빠르고, OpenWebText에서는 10배, XSum에서는 ROUGE-L 동등 성능에 31배 빠르다. Sudoku 추론에서도 모든 난이도에서 기존 베이스라인을 앞선다.

LM1B에서 동일한 파라미터 규모 기준으로 NCM은 가장 강력한 DLM 베이스라인보다 더 나은 generative perplexity를 달성하면서 21배 더 빠르게 실행된다.
원문 읽기 →HN 토론RSS

HN 토론

39
  1. pinyen_cheng

    꽤 혁신적이네요. 하지만 완전히 새로운 토크나이저와 학습 방법은 재학습에 많은 노력이 필요합니다. 널리 구현될지는 실제로 도달할 수 있는 프론티어 성능에 달려 있겠죠.

  2. OOTY00TYOO

    하드웨어를 충분히 빨리 만들 수 없다면요. 그런데 왜 하이퍼스케일러들이 사들인 GPU와 메모리의 50%가 데이터 센터 부족 때문에 창고에 쌓여 있다고 하는지 누가 설명해 줄 수 있나요? 하이퍼스케일러들이 기술을 사재기하면서 제대로 쓰지도 못하고 있어요. 말도 안 됩니다.

  3. swiftcoder

    누가 이걸 기반으로 크고 좋은 코딩 모델을 학습시킬까요? 저는 그걸 할 GPU가 없는데요...

  4. siamaksalman

    실행해 보려고 하는데, 지금까지는 운이 없네요.

  5. cubefox

    이거 아주 흥미로워 보이네요. 그들의 새로운 언어 모델링 목표는 마스크드 디퓨전 모델링에 비해 상당한 개선을 보여줍니다.

    하지만 기존의 다음 토큰 예측 목표와는 거의 비교하지 않는데, 이는 스도쿠처럼 매우 비선형적인 작업을 제외하면 이를 능가하지 못한다는 것을 시사합니다. 안타깝게도 머신러닝 논문들은 종종 나쁜 측면을 언급하지 않고 긍정적인 부분에만 집중하는 경향이 있습니다.

이 날의 다른 글

2026-11-09