LLM을 '다음 토큰 예측기'로 생각하지 마라
"Next-token predictor" is the wrong mental model for LLMs
LLM이 '다음 토큰 예측기'라는 말은 틀린 말은 아니지만 불완전하다. 사전 학습 단계에서는 실제로 훈련 데이터에 존재하는 다음 토큰을 예측하도록 학습되지만, RLVR(검증 가능한 보상 기반 강화 학습)을 포함한 포스트 트레이닝 단계에서는 모델이 스스로 탐색하여 생성한 새로운 시퀀스의 결과를 통해 학습한다. 즉, 모델은 단순히 기존 텍스트를 모방하는 것을 넘어, 탐험을 통해 새로운 지식을 발견할 수 있다. 체스 엔진 비유를 통해, 기존 그랜드마스터 게임만 학습한 시스템과 모든 가능한 게임을 탐색한 시스템의 차이로 이 개념을 설명한다. 결론적으로, '다음 토큰 예측기'라는 정신 모델은 메커니즘의 형태만을 설명할 뿐, 그 메커니즘이 인코딩하는 의미(도우미 시뮬레이션, 탐험을 통한 지식)를 간과한다.
그래서 '다음 토큰 예측기'라는 개념은 잘못된 정신 모델이다. 그것은 메커니즘의 형태, 즉 하나의 토큰이 차례로 생성되는 과정을 설명하지만, 그 메커니즘이 인코딩하는 내용은 무시한다.
HN 토론
289- mofeien
그것을 '다음 토큰 예측기'라고 부르는 것은, 근본적으로 추론 단계의 극히 일부에만 국한된다는 의미로 해석될 수 있는데, 이는 이중으로 잘못된 것입니다:
1. 의미 있는 문장의 첫 단어조차 선택하려면, 이미 그 다음에 올 내용의 구조와 의미를 어딘가, 주로 가중치/활성화 또는 상태 벡터에 의해 색인된 내부에 포착하고 있어야 합니다.
2. LLM을 사용할 때 보이는 것은 프롬프트 바로 옆에서의 다음 토큰 예측이 아니라, 프롬프트의 문제에 대해 진전을 이루고 결과를 요약하는 다양한 길이의 다음 토큰 예측 블록을 따르는 것입니다.
- Systemerror7A69
솔직히, 기사가 전달하려는 요점을 이해한다고 생각하고, 어느 정도 동의하지만, 그 요점이 그다지 잘 전달되지 않았다고도 생각합니다.
제가 이해한 논쟁의 핵심은 LLM이 훈련 데이터뿐만 아니라 새로운 데이터도 사용한다는 것입니다. 그것은 좋고 훌륭하며, LLM이 단순히 모든 데이터를 뭉개서 입력된 모든 것의 평균을 제공한다고 가정할 수는 없습니다 - 하지만 적어도 저는 여전히 그것을 '다음 토큰 예측기'라고 부를 것입니다.
단지 훈련 데이터만 사용하는 것이 아니라, 하는 일은 해결책에 도달하기 위해 다음 토큰을 예측하는 것입니다. 제 아마추어 지식으로는, LLM은 여전히 대략 토큰별로 진행하며, 주어진 맥락에 가장 잘 맞는 것을 결정합니다.
단지 훈련 데이터에 기반하여 예측하는 것이 아니라, RLVR 등에 기반하여 최적의 해결책(해결책이 최적일 수 있는 한)을 얻으려고 예측하는 것입니다.
그리고 저는 이것을 항상 염두에 두는 것이 LLM을 이해하고 다루는 데 도움이 된다고 솔직히 생각합니다.
- bluegatty
'다음 토큰 예측기'는 제한된 정신 모델이지만 실제로 다른 어떤 모델보다 훨씬 낫습니다.
'패턴 매칭'은 '추론'보다 더 나은 직관이지만, 명목상으로는 그 맥락에서 '추론'이라는 용어를 사용하는 것이 완전히 괜찮다고 생각합니다. 그것은 단지 너무 많은 것을 가져오는 무거운 단어일 뿐입니다.
'그 패턴을 본 적이 없다'는 AI의 한계를 더 잘 설명합니다. 왜냐하면 그것은 실제로 전혀 일반화하지 못하기 때문입니다. 기사에서 설명된 적응은 그것을 바꾸지 않습니다.
그것들은 돌연변이이지, 능력의 확장이 아닙니다.
- Planktonne
누군가가 자신의 주요 요점을 계속해서 훼손하는 기사를 생성했다고 해서 정확하게 설명하는 것을 멈추지 않을 것입니다. LLM에 대해 말하고 생각하는 방식을 매우 좁은 용어 집합으로 제한하는 것은 우리에게 도움이 되지 않습니다.
편집: 더 부드러운 표현
- stanleykm
> 두 번째 시스템을 '다음 수 예측기'라고 부르는 것은 이상할 것입니다. 그것은 데이터셋에서 다음에 나타난 수를 예측하려는 것이 아닙니다. 이기는 수를 선택하려는 것입니다.
여기서 구분을 이해하지 못하겠습니다. 승리 상태 집합에서 거꾸로 작업하는 것이 현재 상태에서 앞으로 작업하는 것과 예측 여부를 어떻게 바꾸나요?
- a3w
LLM이 저에게 전형적으로 저지른 오류는 'schmutz'를 유대계 독일어 단어로 찾는 것이었는데, 화면에 'schmuck'이 나왔습니다. 왜 이런 어리석은 실수를 했을까 생각했습니다. 다음 토큰 예측 모델이 그것을 완벽하게 설명합니다.
또는 'yes'로 시작하는 경우. 그리고 이 초기 고정은 완전한 거짓말이었고, '그렇게 보일 수도 있지만, 이유 때문에 전혀 그렇지 않다'가 된 논의에서 말입니다. 그래서 맨 위에 'No'라고 썼어야 했지만, 스스로 편집할 수 없었습니다.
하지만 이것이 더 미묘한 관점을 제공한다는 점은 좋습니다. 제 사전 확률을 업데이트해야 할 수도 있습니다.
- teekert
그것은 Claudish로 쓰여졌거나, 아니면 최근에 Claudish를 너무 많이 읽은 인간이 쓴 것입니다. 저는 Claudish에 알레르기가 생기기 시작했습니다. 아직 완전히는 아니지만 — 진정으로 탐구할 가치가 있고 정확할 가치가 있는 전환점에 있습니다.
- jvanderbot
더 나은 진술은 다음과 같을 수 있습니다:
현재의 에이전트 시스템은 개념적으로 단순한 다음 토큰 예측기로 *구축*될 수 있지만, 에이전트 프레임워크, 재귀 호출, 도구 사용, 그리고 이러한 맥락과 특정 애플리케이션에서의 강화 학습에 대한 *막대한* 투자 때문에, 더 이상 '단순한' 다음 토큰 예측기로 생각할 수 없습니다.
현대의 에이전트 작업은 아마도 진정으로 새로운 기술이라기보다는 '단순한 규칙과 복잡한 상호작용에서 나오는 창발적 시스템' 패러다임에 더 가깝습니다.