Astra научилась читать и править веса нейросетей напрямую

И вот мы здесь...

Как говорили другие, хотя это всё ещё абсолютно безумно, я не нахожу это полностью неожиданным. Одна из повторяющихся способностей (нынешнего поколения) LLM, похоже, заключается в быстром схватывании очень сложных систем, тогда как людям потребовались бы месяцы или годы, чтобы достичь того же уровня экспертизы.

Это видно по тому, как кодирующий агент может «понять» и объяснить огромные унаследованные кодовые базы за секунды.

Это также видно в проектах, которые используют их для обратной разработки проприетарных IoT-протоколов или компьютерных игр.

Но всё это были системы, о структурах которых у нас были детальные знания, что именно нужно реверс-инжинирить.

Если модели смогут перенести эту способность на другие системы, где мы не знаем лежащую в основе структуру, то, я думаю, нас ждёт гораздо больше безумия в будущем. (Сети взаимодействия белков? Последовательности ДНК? Взаимодействия в экосистемах? Языки животных?)

Что касается весов, если модели действительно могут анализировать семантику, стоящую за конкретными весами или направлениями, у меня есть надежда, что они также смогут давать текстовое объяснение или помогать проектировать инструменты, чтобы «ручное» создание весов стало более практичным в целом.

> В результате Astra обнаруживает и исправляет распространённый сбой крошечных моделей рассуждения: они зацикливаются [13]. Когда базовая модель зацикливается, она повторяет один и тот же текст и редко достигает ответа (85 из первых 96 тренировочных ответов достигли лимита в 32 768 токенов). Astra проследила зацикливание до одного направления, записанного MLP слоёв 15 и 19, и вычла это направление из 64 выходных столбцов в каждом (131 072 веса), примерно как удаление поведения путём удаления одного направления из весов модели.

ХА! Вот это круто. Не обязательно улучшения, они древние и, вероятно, перетренированные бенчмарки, но то, что модель нашла единственное направление для этого «бага зацикливания», — это так круто. Представляю, она могла бы делать то же самое при поиске других «единственных направлений» по разным темам (если это разрешено ограничителями). Это действительно очень круто, особенно для ребят из мехинтерпа.

Я не думаю, что это эмерджентная способность. Я думаю, Astra обучали на данных о нейронных весах в попытке OpenAI достичь рекурсивного самосовершенствования.

Нечто подобное произошло в ранних моделях GPT, в обучающих данных которых было много шахматных партий в стандартной нотации, что делало их очень хорошими в шахматах, если ваш промпт имел правильный формат.

Посмотрим, сработала ли эта попытка RSI.

Я думаю, эта подобласть существует уже давно. Взгляните на небольшую подборку статей на тему генерации динамических весов во время вывода, предсказания весов по архитектуре сети и изучения распределения ранее обученных параметров сети, и это лишь несколько ключевых слов:

Parameter Prediction for Unseen Deep Architectures [1]

NeuroGen: Neural Network Parameter Generation via Large Language Models [2]

Diffusion-Based Neural Network Weights Generation [3]

Для меня критично то, что Astra способна это делать. Я не знаю, обучали ли её этому.

Всё это не делает это менее безумным в моих глазах. И я до сих пор не знаю, как мне сегодня спокойно уснуть.

[1] https://arxiv.org/abs/2110.13100

[2] https://arxiv.org/abs/2505.12470

[3] https://arxiv.org/abs/2402.18153

Это становится смешным. Что значит, Astra может просто посмотреть на веса сети без каких-либо инструментов и сказать: «Ага, эта играет в Breakout»????

Мне кажется, здесь смешиваются два разных результата несколько вводящим в заблуждение образом.

> Мы обнаружили, что передовые LLM на удивление хорошо умеют нативно читать и записывать веса нейронных сетей

Это утверждение подкрепляется способностью Astra, получив текстовое представление весов крошечных (20 тыс.) специализированных моделей, понять, что эти модели делают, и в некоторых случаях улучшить их сверх того, что мог бы сделать RL, просто читая веса без вызова инструментов. Они называют это «программированием в пространстве весов».

> Аналогично, когда её попросили сделать Qwen3.5-0.8B лучше в математике без градиентов, Astra выявила проблему в его весах, вызывающую циклы рассуждения, о которых предупреждает сама карточка модели Qwen, и исправила это, нативно отредактировав 0,016% весов.

Здесь она использовала вызовы инструментов и, по-видимому, стандартные методы управляющих векторов, чтобы выявить и исправить циклы рассуждения в этой маленькой модели Qwen. Это не кажется сильно связанным с предыдущими результатами.

Я нахожу это совершенно шокирующим. Я определённо скептичен. Это просто не согласуется с моим пониманием того, как работают эти модели. Неужели действительно достаточно обучающих данных по прямому редактированию весов, чтобы дать модели такой навык? Может быть, это свидетельство того, что OpenAI создала много обучающих данных по исследованиям ML. Удивлён, что это было включено в публичную модель.

В целом я не так удивлён, что она может угадывать игры, глядя на веса крошечной нейронной сети. Человек может сделать то же самое, глядя на веса MLP, обученного на mnist, например. С такой простой структурой легко посмотреть на входной слой и увидеть, что признаки соответствуют пространственному расположению интересующих объектов.

Гораздо больше меня удивляет, что она может делать это на больших моделях, хотя детали, похоже, предполагают, что ей даётся гораздо больше свободы для выполнения прямых проходов и ограниченных экспериментов, а не просто разглядывания весов.

Я попытался воспроизвести это с помощью Astra для маленькой модели преобразования естественного языка в команды bash[1][2], но не получил чистого улучшения. Редактирование 1920 весов исправило некоторые ошибки grep, но сломало другие команды. Я предполагаю, что легче улучшить поведение, когда его можно сначала точно локализовать в конкретной области модели.

[1] https://news.ycombinator.com/item?id=49966238

[2] https://news.ycombinator.com/item?id=49869735