Мэтью Хоннибал: пост про Astra и правку весов Qwen вводит в заблуждение
The 'Astra can read and write weights to improve Qwen' post is misleading
Мэтью Хоннибал разбирает нашумевший пост о том, как Astra «читает и пишет веса», и показывает, что заявленный результат на Qwen3.5-0.8B получен вовсе не «просто глядя на сырые веса». В экспериментах с настоящими языковыми моделями Astra пишет Python-код и прогоняет модель на десятках батчей задач, а чистый доступ к весам без инструментов встречается лишь на крошечных сетях. Автор сравнивает это с фокусами иллюзиониста: каждая демонстрация будто опровергает предыдущую гипотезу, хотя техники на самом деле разные.
То, что на самом деле показывает результат с Qwen, — это что Astra можно подтолкнуть придумать и выполнить задачи, которые под силу инженеру по ML.
- x313
Я работаю в этой области (исследования механистической интерпретации), и я согласен: оригинальный пост определённо вводит в заблуждение. Некоторое преувеличение в исследованиях — это нормально, но здесь его многовато.
Во-первых, ключевой результат не имеет никакого отношения к тому, чтобы сделать Qwen лучше в математике, он просто сокращает циклы рассуждения.
Циклы рассуждения — простая проблема: модель генерирует токен </think> (который закрывает рассуждение) со слишком низкой вероятностью. Это можно исправить простыми подходами steering, когда вы добавляете вектор к различным компонентам LLM (https://arxiv.org/abs/2503.22048, https://arxiv.org/abs/2506.18167 и т.д.). Метод, который Astra использовала для идентификации вектора, — это стандартная процедура, которую применяют люди (контрастивный анализ). Создание такого steering-вектора — это, по сути, стандартный «вводный проект по interp» для исследователей-людей.
Если вы умеете программировать и понимаете внутренности LLM, вы можете сделать это сами за 4–8 часов. Эквивалент в SWE — это бинарный патчинг с помощью отладчика. Круто, что фронтирные модели могут это делать, но не неожиданно, поскольку люди справляются без проблем.
- bushido
Говорю за себя. Я был в курсе многих концепций, связанных с обучением, но держался от этого подальше до самого недавнего времени.
Несколько недель назад я сформулировал гипотезу, что смогу добиться от меньшей модели соответствия моим конкретным стандартам для сообщений git commit, которые сегодня трудно получить от большинства LLM.
Я потратил последние четыре-пять недель на традиционное обучение. Оно улучшилось во многих областях, но недостаточно, чтобы быть пригодным для меня.
Вчера статья, которую критикует автор этого поста, дала мне достаточно озарения, чтобы предположить, что проблемы, которые я видел, можно решить, заставив более крупную LLM напрямую изменять веса, без прохождения обучения.
За последние двенадцать с лишним часов я продвинулся больше, чем за 2+ недели. Я использую один из своих последних хорошо работающих чекпоинтов (полный fine-tune + изменения в decision head/LoRA и т.д.) и дал модели свободу изменять любые слои.
Её последние два действия: (a) удалила 16 направлений порядка участников из матрицы головы, что улучшило один тип рассуждения и ухудшило другой, и (b) восстановила одно из 16, что обратило ухудшение вспять, сохранив основное улучшение.
Всё это к тому, что это может быть известно людям, которые занимаются обучением годами, даже десятилетиями, но для многих из нас это ново. И мы этим воодушевлены.
- phoghed
Разве это не было очевидно любому, кто читал оригинальный пост, когда доходил до раздела, где явно объяснялось то, что сейчас пересказывает автор этого поста?
Конечно, если вы прочитали только заголовок и краткое введение вверху, вы уйдёте без полной картины.
По-моему, это лучший ответ: https://news.ycombinator.com/item?id=50344861
- neom
Мне кажется, что многое из этой истории с редактированием Qwen от Astra — это пережёвывание существующих, относительно известных техник, например: https://arxiv.org/html/2406.11717v3 и концептуально похоже на: https://arxiv.org/abs/2512.05648 (хотя, насколько я помню, это делается при обучении)
- tidbeck
Были действительно хорошие комментарии от @yurimo в посте на Hacker News «Astra can read and write weights to improve Qwen» https://news.ycombinator.com/item?id=50341174
- GavinAnderegg
Меня всё ещё впечатляет идея «программирования в пространстве весов». Возможно, потому что до чтения этого я не знал, что LLM вообще способны понимать или успешно изменять веса. Однако примеры, приведённые в оригинальной статье, мне показались открывающими глаза. Да, люди могут создавать инструменты для изменения весов, но автор здесь соглашается, что это сложно. Примеры, где Astra взаимодействовала с весами, всё ещё новы, и Astra, похоже, справлялась с ними с удивительной лёгкостью.
- vkgcr
Но теоретически, что мешает лабораториям обучить модели с помощью RL на задачах «программирования в пространстве весов», чтобы они стали лучше в них? Возможно, мы просто в начале пути, как с кодирующими агентами, которые два года назад были никакими.
Это всё ещё кажется многообещающим подходом для RSI, дистилляции, fine-tuning и целой кучи других задач.
- kenjackson
Оригинальный пост объясняет, что они сделали и почему, лучше, чем этот пост. Этот пост не научил меня ничему, чего не было в оригинале.