Нейросети скрыто используют символические структуры: новое исследование

Главные вопросы, которые я выношу из этого:

(1) Они утверждают, что создают, по-видимому, биективные замкнутые символические представления/аппроксимации, среди прочего, LLM. Является ли оценка этих замкнутых представлений более вычислительно эффективной? Последствия могут быть огромными. Это была бы по сути аналитическая дистилляция. Басня на чипе, а не в дата-центре, была бы важна — и разрушительна — во многих отношениях.

(2) Неконтролируемые и даже контролируемые символические подходы к решению проблем терпят неудачу из-за комбинаторного взрыва, среди прочего. Это потенциально может позволить нам рассматривать обучение и вывод LLM как поисковый алгоритм для новых символических подходов к решению новых классов сложных проблем, ранее недостижимых другими способами. Если это сработает, я подозреваю, что это также петля обратной связи — знания из одного представления продвигают достижения в другом. Это также увеличило бы экономическую ценность больших обучающих прогонов, поскольку теперь ценна сама модель, а не только её вывод.

(3) Согласно вышесказанному, может ли это подтолкнуть дизайн LLM к большим возможностям?

Связь между этим и наблюдением J-пространства от Anthropic также интересна. Это гораздо глубже и более непосредственно применимо, хотя.

ПРИМЕЧАНИЕ: Я прогнал свои вопросы через Sonnet — да, я осознаю иронию — и он был не слишком оптимистичен по вопросам (1) и (2), но считал (3) разумным. В любом случае, это довольно серьёзная статья. Поразмыслив, я действительно думаю, что кажущаяся […]

Большая проблема некоторых из этих контролируемых* подходов к интерпретируемости заключается в том, что они могут находить ложные структуры. (Существует множество способов заставить модель делать то, что вы хотите; это примерно то, что показали Хьюитт и Лян в 2019 году). Эта статья проводит сравнение с предыдущим методом, DAS (distributed alignment search), на странице 20. Эти и связанные с ними методы опираются на теории каузальной абстракции, которые хороши в теории, но сложнее на практике. DAS, например, столкнулся с многочисленной недавней критикой (Makelov 2024, Meloux 2025, Sutter 2025, Grant 2026, Kumon 2026). Мой любимый — довольно доступный Meloux et al.; Sutter 2025 тоже очень хорош, но опирается на своего рода аргумент с действительными числами, который допускает безошибочное кодирование каждого входа.

Моя предстоящая статья на EMNLP предлагает альтернативу, которая вместо этого обосновывает понятие представления в очень простом понятии его влияния на обучение/поведение модели, когда вы adversarially perturb его. Например, если я скажу модели, что в контексте "Я видел, как утка крякает" она должна заменить 'утка' на 'гламур', насколько она желает заменить 'утка' на 'гламур' в "Мне нужно ускользнуть с собрания" (duck out) по сравнению с "В парке утка защищала своих утят". Этот метод оказывается довольно хорошо работающим, и, поскольку мы используем только один пример, он избегает необходимости в контроле.

Связанная статья утверждает, что их метод, DISCOVER, не является контролируемым в том же смысле, что и DAS, поскольку он не оптимизирует напрямую каузальный эффект. Я только бегло просмотрел это, но я […]

Математика и основные эксперименты здесь выше моего понимания, но, как я понимаю, возможно, существуют более глубокие паттерны представления в LLM, которые являются дистилляцией основных концептуальных отношений в грамматике, которые мы можем осмыслить математически, а не кажущийся размазанным по слоям шум, который каким-то образом, неинтерпретируемо (в значимом смысле), разрешается в правильную грамматику/выводы.

Это довольно круто. Надеюсь, я понял это примерно правильно.

Пока я читал статью, мне было интересно, почему это более интересно, чем возможность восстановления Java-программ из байт-кода. Поэтому я задал тот же вопрос Copilot. Он сказал мне, что "Честно говоря, здесь проявляется разница между инженером и исследователем!".

Человеческий разум не может постичь возможности многомерного пространства огромной размерности.

Просто переход от 2D к 3D создаёт огромный новый позиционный потенциал (например, поверхность Земли против атмосферы над Землёй...).

Теперь представьте 1000 измерений.

Звучит разумно... Что модель иногда изучает представление с потерями чего-то символического по своей природе... Конечно, нейросеть может аппроксимировать функцию?

Они говорят, что это справедливо в... Некоторых примерах, которые они нашли?

Я недостаточно знаю об этой области.

Читая такое (как дилетант), называть эти вещи 'предсказателями следующего токена' кажется абсурдно редуктивным. В какой-то момент нам придётся признать, что 'выбор' — более подходящий термин, чем 'предсказание'.