Нейросети уже чисты: механистическая интерпретируемость оказалась проще, чем считалось
Neural Networks Are Already Clean
Автор утверждает, что нейросети не запутаны, а полисемантичность и суперпозиция были ошибочными объяснениями. В InceptionV1 после обычных архитектурных улучшений 99–100% нейронов последнего слоя стали легко интерпретируемыми. В Qwen3-32B около 90% нейронов имеют одну основную функцию, а оставшаяся полисемантичность объясняется рекурсивной генерализацией. Это делает возможным прямое изучение сетей без предварительной декомпозиции.
Нейросети уже чисты.
- sebmellen
Nick — это стихийная сила. Очень рекомендую подписаться на него в X, если вы ещё этого не сделали.
Его пост о запуске даёт хороший контекст, которого нет в блоге:
> интерпретируемость, возможно, самая важная научная проблема в мире прямо сейчас, поскольку я не думаю, что мы сможем решить alignment, если не будем знать, что мы строим. Кажется, у меня есть хорошие новости на этот счёт. Я был соавтором ранних работ по механистической интерпретируемости в OpenAI и ушёл оттуда с пессимизмом, потому что нейронные сети, казалось, сворачивались в произвольные запутанные узлы. Годы спустя я запустил первый крупномасштабный проект автоматизированной интерпретируемости в OpenAI и обнаружил, что около 2% нейронов читаемы с помощью примитивных инструментов, которые у нас были
> с современными агентными инструментами и гораздо более пристальным взглядом картина выглядит совершенно иначе. Подавляющее большинство в моделях вплоть до триллионов параметров читаемы, а их схемы прекрасны. Многие известные примеры запутанных нейронов оказались неправильно понятыми. Препятствий, которые я ожидал, в основном нет. Теперь я думаю, что амбициозная интерпретируемость будет решена к тому моменту, когда она понадобится нам больше всего, и, возможно, довольно скоро, поскольку автоматизированные учёные продолжают совершенствоваться. Это может быть горьким уроком для интерпретируемости: простое решение в абсурдном масштабе работает
- bluejay2387
Утверждения выглядят как перегиб относительно того, что на самом деле доказано. Мы знаем о прогрессивной сложности признаков и влиянии ранних структур обучения на последующее обучение очень давно (со времён CNN, гипотезы лотерейного билета и т.д.), и ни одно из этих явлений не исключает перегрузку параметров. Работа Multimodal Gap (https://arxiv.org/abs/2203.02053), похоже, подразумевает, что сети имеют тенденцию к сжатым представлениям, которые явно не семантичны, и куча других соображений уже вынесена на обсуждение. Я не думаю, что все они были рассмотрены достаточно, чтобы начинать заявлять, что мы на пороге механистической интерпретации.
- lukewarm707
Это напоминает мне цитату Джудит Батлер:
"Переход от структуралистского описания, в котором капитал понимается как структурирующий социальные отношения относительно гомологичным образом, к взгляду на гегемонию, в котором властные отношения подвержены повторению, конвергенции и переартикуляции, ввёл вопрос темпоральности в мышление о структуре и ознаменовал сдвиг от формы альтюссерианской теории, которая берёт структурные тотальности в качестве теоретических объектов, к такой, в которой прозрения о контингентной возможности структуры кладут начало обновлённой концепции гегемонии как связанной с контингентными площадками и стратегиями переартикуляции власти."
- juanjmanfredi
Юдковский, похоже, не убеждён.
- aesthesia
Тон немного напоминает энтузиазм команды mechinterp из Anthropic примерно во времена первых крупномасштабных результатов SAE. Своего рода гипоманиакальная энергия вокруг идеи, что мы открыли ключевую парадигму, необходимую для понимания моделей, и всё, что осталось — масштабировать её.
- ks2048
Чтобы прорваться сквозь весь этот текст — вот ссылка, которую он называет "первой нетривиальной нейронной сетью, которую я, кажется, в основном понимаю:
https://already-clean.goodfire.com/microscope/medium.html?la...
- x312
TLDR, поскольку большинство комментариев здесь, похоже, неправильно понимают результат.
Идея такова: у модели может быть всего 100 млн нейронов или типа того. Но в мире бесконечное множество концепций. Следовательно, моделям приходится "запихивать" несколько концепций в один нейрон.
Как это делается? Есть два способа:
1. Каждый нейрон обрабатывает похожие концепции. Один нейрон для собак, отдельный нейрон для машин и т.д.
2. Каждый нейрон обрабатывает пучок несвязанных концепций. Один нейрон обрабатывает собак и машины. Другой нейрон обрабатывает кошек и числа. И так далее.
Исторически люди считали, что верен вариант №2, потому что было найдено много нейронов, которые, казалось, представляли несколько концепций. У №2 было крутое название (полисемантичность), и его продвигали в блогах OpenAI/Anthropic, так что он получил много traction.
Однако этот блог утверждает, что №2 неверен. На самом деле нейрон "собака/машина" — это просто "нейрон V-образной формы". Так что №2 был просто методологической ошибкой, а №1 был прав всё это время. Вот и всё, что говорит блог.
- tuvix
Это, на мой взгляд, главная причина, по которой открытые веса так важны. Если OpenAI и Anthropic хотят, чтобы эти модели были настолько автономными, насколько возможно, им также нужно предоставить средства для их полного понимания.