LLM을 '다음 토큰 예측기'로 생각하지 마라

"Next-token predictor" is the wrong mental model for LLMs

LLM이 '다음 토큰 예측기'라는 말은 틀린 말은 아니지만 불완전하다. 사전 학습 단계에서는 실제로 훈련 데이터에 존재하는 다음 토큰을 예측하도록 학습되지만, RLVR(검증 가능한 보상 기반 강화 학습)을 포함한 포스트 트레이닝 단계에서는 모델이 스스로 탐색하여 생성한 새로운 시퀀스의 결과를 통해 학습한다. 즉, 모델은 단순히 기존 텍스트를 모방하는 것을 넘어, 탐험을 통해 새로운 지식을 발견할 수 있다. 체스 엔진 비유를 통해, 기존 그랜드마스터 게임만 학습한 시스템과 모든 가능한 게임을 탐색한 시스템의 차이로 이 개념을 설명한다. 결론적으로, '다음 토큰 예측기'라는 정신 모델은 메커니즘의 형태만을 설명할 뿐, 그 메커니즘이 인코딩하는 의미(도우미 시뮬레이션, 탐험을 통한 지식)를 간과한다.