Линейное программирование заменило 8-часовой поиск Astra при правке весов Qwen3.5-0.8B
Can a Linear Program Do Weight-Space Programming?
MIT CSAIL показала, как GPT-6 Astra «программирует веса»: правка 0,016% параметров Qwen3.5-0.8B подняла точность на MATH-500 с 7,9% до 48,1%, убрав зацикливания в рассуждениях. Автор разобрал лог и выяснил, что почти весь поиск Astra — это решение линейной программы методом проб и ошибок. Пара LP-решений по минуте даёт тот же результат при в 8 раз меньшем числе изменённых весов.
С направлением Astra линейная программа повторяет её правку на всех бенчмарках в пределах погрешности, меняя при этом в 8 раз меньше весов.
- jsw97
Возможно, автор именно это и имеет в виду, но если LP-солверы — полезные инструменты для редактирования весов, то доступ Astra к этой методологии может сделать её более эффективной в редактировании весов.
Интерпретация здесь не столько в том, что LP может выполнять работу Astra — в конце концов, промпт Astra был «улучши математику Qwen, изменив веса» или что-то в этом роде. Скорее, с некоторым руководством (устранить это поведение, сохранить то поведение, выраженное через линейные ограничения) солвер гораздо эффективнее, чем метод проб и ошибок Astra. Так что по сути солвер был бы способом прорубиться через всё времязатратное и выразить намерение Astra более непосредственно. И затем, предположительно, Astra могла бы итерироваться по этому решению к лучшему результату.
Использование LP-солвера здесь — действительно крутая идея.
- whatever1
Традиционное математическое программирование заменит или переопределит цикл RL.
Мы достигли точки, когда нам нужно вводить строгие ограничения в выходные данные.
Награды/штрафы никогда не смогут этого сделать, если у вас несколько целей.
- rbnafo
Очень интересный анализ. Было бы здорово увидеть возвращение LP и оптимизацию. У меня всегда есть впечатление, что мы остановились на субоптимальных решениях во многих областях просто потому, что стали слишком привязаны к LLM, с опаской относясь к численному анализу.
- dansitu
Хороший анализ. Простота этого указывает на то, что это должно происходить во время обучения через регуляризацию.
- daemonk
В чём именно разница между программированием в пространстве весов и чем-то вроде обратного распространения? Полагаю, ИИ может как-то глубже рассуждать о весах и учитывать больше параметров, чем простая обратная связь от обратного распространения?