LLM не сверхчеловечны в чтении и правке весов нейросетей
LLMs are not superhuman at reading and writing neural network weights
Недавняя статья утверждает, что GPT-6 Astra напрямую работает с весами нейросетей: определяет игру по весам небольшой сети и даже правит веса 0.8B Qwen, устраняя зацикливание после 32k токенов и улучшая математику. Автор разбирает эти результаты и показывает, что умный ML-исследователь справился бы так же — например, через steering-векторы и обрезку весов, как в Heretic. По его мнению, это впечатляющий трюк, а не принципиально новая способность, и настоящий прогресс придёт от улучшения обучения, а не от ручной правки весов.
Насколько разумные LLM помогают в исследованиях AI, они будут помогать, улучшая обучение, а не магически подкручивая веса модели напрямую.
- nfw2
Можно сказать, что они могут быть «сверхчеловечны» здесь в том же смысле, в каком LLM можно назвать сверхчеловечными в математике. Возможно, они выполняют эту работу быстрее и эффективнее, чем любой человек вручную. Но они определённо всё ещё делают это «человеческим» способом, то есть рассуждая с помощью читаемых и связных мыслей, а не общаясь через какую-то матрицеподобную символику, что, похоже, предполагают люди, просмотревшие статью по диагонали.
- nagi_builds
«Я думаю, что умный человек-исследователь ML мог бы выполнить все эти задачи».
И как долго он бы это делал?
- ChrisArchitect
Обсуждение источника: