Почему LLM — это не просто предсказатели следующего токена
"Next-token predictor" is the wrong mental model for LLMs
Автор разбирает распространённое утверждение, что большие языковые модели — всего лишь предсказатели следующего токена. Он признаёт, что технически это верно, но упускает суть. В статье объясняется, как пост-обучение, особенно обучение с подкреплением на основе проверяемых вознаграждений (RLVR), позволяет моделям выходить за рамки имитации обучающих данных и открывать новые знания. Аналогия с шахматными движками помогает увидеть разницу между предсказанием следующего хода и выбором выигрышного хода. Автор приходит к выводу, что называть LLM предсказателями следующего токена — значит описывать лишь форму механизма, игнорируя его содержание.
Называть вторую систему «предсказателем следующего хода» было бы странно: она не пытается угадать, какой ход встретится в наборе данных, а стремится выбрать ход, который ведёт к победе.
- mofeien
Описание как «предсказателя следующего токена» в том смысле, что это означало бы фундаментальное ограничение лишь малой частью логического шага, дважды ошибочно:
1. Чтобы выбрать даже первое слово осмысленного предложения, модель уже должна иметь структуру и смысл того, что последует, где-то внутри — в основном в своих весах/активациях или индексируемых вектором состояния.
2. То, что вы видите при использовании LLM, — это не предсказание следующего токена непосредственно после промпта, а следование за блоком переменной длины предсказаний следующего токена, которые продвинулись в решении задачи из вашего промпта и лишь суммируют результаты.
- Systemerror7A69
Честно говоря, я думаю, что понимаю, какую мысль пытается донести статья, и в какой-то степени согласен, но также считаю, что мысль подана не очень хорошо.
Суть аргумента, как я её понял, в том, что LLM используют не только существующие данные при обучении, но и новые. Это нормально и хорошо, и нельзя просто предполагать, что LLM просто смешивает все свои данные, чтобы выдать вам среднее из всего, что в неё скормили, — но я бы всё равно назвал её «предсказателем следующего токена».
Она использует не только обучающие данные, но то, что она делает, — это предсказание следующего токена для достижения решения. Насколько мне известно на любительском уровне, LLM всё ещё идут примерно токен за токеном, решая, какой лучше всего подходит в данном контексте.
Просто предсказание основано не на обучающих данных, а на RLVR и прочем, пытаясь прийти к оптимальному решению (насколько решения вообще могут быть оптимальными).
И я честно думаю, что держать это в уме полезно для понимания и работы с LLM.
- bluegatty
«Предсказатель следующего токена» — ограниченная мысленная модель, но на самом деле она намного лучше любых других.
«Сопоставление с образцом» — лучшая интуиция, чем «рассуждение», хотя я считаю, что номинально использование термина «рассуждение» в этом контексте совершенно нормально. Просто это слово перегружено и привносит слишком много.
«Она не видела такой паттерн» — лучшее описание ограничений ИИ, потому что на самом деле он очень плохо обобщает. Адаптации, описанные в статье, этого не меняют.
Это мутации, а не расширение возможностей.
- Planktonne
Я не собираюсь переставать описывать вещи точно только потому, что кто-то сгенерировал статью, которая постоянно подрывает свою собственную основную мысль. Ограничение того, как мы говорим и думаем об LLM, очень узким набором терминов нам не помогает.
РЕДАКТИРОВАНО: более мягкая формулировка
- stanleykm
> Называть вторую систему «предсказателем следующего хода» было бы странно. Она не пытается предсказать, какой ход появился следующим в наборе данных. Она пытается выбрать ход, который ведёт к победе.
Я не понимаю, в чём здесь различие. Разве работа в обратную сторону от набора выигрышных состояний вместо работы вперёд от текущего состояния как-то меняет то, является ли это предсказанием или нет?
- a3w
Ошибки, которые LLM обычно допускали у меня, были в поиске «schmutz» как идишского слова, а на экране получалось «schmuck». Подумал, почему такая глупая ошибка? Модель предсказания следующего токена это прекрасно объясняет.
Или начало с «да». И это раннее закрепление было полной ложью, в обсуждении это стало «да, может так показаться, но совершенно нет, по таким-то причинам». Значит, следовало написать «Нет» в самом начале, но она не могла сама себя отредактировать.
Но приятно, что это даёт более нюансированный взгляд; возможно, мне стоит обновить свои априорные убеждения.
- teekert
Это написано на клаудише, или, возможно, человеком, который недавно слишком много читал клаудиша. Я начинаю испытывать аллергию на клаудиш. Пока не полностью — но это в переломной точке, которую действительно стоит исследовать и о которой стоит говорить точно.
- jvanderbot
Лучше было бы сказать так:
Текущие агентные системы могут быть *построены* из предсказателей следующего токена, которые концептуально просты, но из-за агентных фреймворков, рекурсивных вызовов, использования инструментов и *серьёзных* инвестиций в обучение с подкреплением в этих контекстах и для конкретных приложений их больше нельзя считать «просто» предсказателями следующего токена.
Современная агентная работа, вероятно, больше относится к парадигме «эмерджентная система из простых правил и сложных взаимодействий», чем к действительно новой технологии.