Почему рассуждающая модель не решает никакой задачи
What objective is reasoning solving?
Автор предлагает смотреть на рассуждение модели как на поиск пути в пространстве токенов: из контекста-запроса к правильному ответу ведёт множество путей, и обучение с подкреплением повышает лишь суммарную вероятность попасть в множество верных ответов, а не гарантирует сходимость отдельной цепочки. Такой взгляд объясняет, почему удлинение цепочки помогает лишь до поры, почему chain of thought может быть неверной и откуда берётся reward hacking.
Рассуждение на самом деле вообще не решает никакой задачи. Отдельный путь не гарантированно сходится к правильному ответу — высокая вероятность успеха возникает лишь в совокупности, по распределению путей.
- htrp
>Я исследователь из Сан-Франциско. Люблю представлять, куда движется мир и что нужно, чтобы туда попасть.
>Я защитил PhD по информатике в Stanford, где разрабатывал архитектуры с длинным контекстом для моделирования последовательностей и памяти. До этого изучал математику и физику в Cornell. Совсем недавно я был научным сотрудником в Cartesia, работал над токенизацией в контексте и новыми архитектурами (HNets).
Не тот Alex Wang из MSL
- derefr
Это решает ту же задачу, что и «поток мыслей» (внутренняя вербализация) в человеческом мозге: есть куча всего, что ты «знаешь» как эпизодические воспоминания о словах, которые слышал/читал, но ещё не превратил через практику в рефлекторные реакции. Приобрести воспоминание о каких-то словах гораздо быстрее и дешевле, чем приобрести целый новый навык, поэтому из данного обучающего корпуса ты в итоге набираешь гораздо больше воспоминаний-о-словах, чем конкретных навыков.
Рассуждение (то есть всплытие этих запомненных слов в твой ментальный контекст и затем использование особого мостикового рефлекса «запускать фактически произвольные синаптические активации в зависимости от содержимого контекста, замаскированного вниманием, и текущего состояния», он же «мышление системы 2») — это способ использовать воспоминания-о-словах для полезного поведения. Вместо выполнения врождённых навыков, встроенных в твои синаптические веса, ты запускаешь один очень навороченный врождённый навык, который действует как интерпретатор для данных-воспоминаний-о-словах, медленно и напряжённо превращая слова, которые ты держишь в уме, в другие слова (синтез), или в ассоциации с другими воспоминаниями (словесными или иными), или в действия/выходы и т.д.
(Особенно полезный «трюк» этой системы — планирование, то есть прогон интерпретатора через «просто слова», которые вызывают в уме ещё «просто слова», пока не дойдёшь до слов, образующих объявление о том, что ты собираешься сделать. Затем можно положиться на особую часть мостикового рефлекса, а именно на рефлекс «следования инструкциям», чтобы […]
- piker
> Рассмотрим задачу: «чему равно 1 +2 +3 +⋯ +10»? Одно решение — складывать числа по одному: 1, 3, 6, 10 и так далее до 55. Другой способ — попарно снаружи внутрь: 1 +10, 2 +9, 3 +8, 4 +7 и 5 +6 дают по 11, и пять пар по 11 дают 55. Оба этих пути приводят к правильному ответу, 55.
Наблюдая, как мой сын решает трудные математические задачи, я пришёл к этому осознанию. В моей голове есть один «правильный» путь, и мне часто приходится сдерживаться, чтобы не прервать его цепочку мыслей. Он часто просто приходит к ответу другим способом.
- vova_hn2
Я почти уверен, что текущий подход с запеканием рассуждений в виде цепочки мыслей в веса — это не конец пути. Это выглядит слишком случайным и ad-hoc.
P. S. Анимированная птица — просто волшебство!
- vatsachak
У Алекса также был блог про transformers as memory. Прекрасно. Кто-нибудь дайте ему мешок денег