Открытая модель на 27B переписала собственные веса и стала точнее на 6,6 пункта
Language Models Can Rewrite Their Own Weights
Авторы показывают self-rewriting: модель сама себе оптимизатор. Открытая модель на 27B получает свои веса, оценки ответов и возможность запускать себя, находит причину провала и переписывает веса без градиентов и обучения. Точность на невиданных задачах растёт на 6,6 пункта, за восемь сессий подряд она только улучшается, а повреждённую копию модель возвращает к более чем 80% исходной точности. Способность проявляется с ростом масштаба: младшие модели в семействе либо ничего не меняют, либо ломают себя.
Стена между обучением и инференсом — это ограничение наших инструментов, а не свойство интеллекта.
- aesthesia
Стоит отметить, что единственным изменением, которое модель внесла для самосовершенствования, было сокращение длины своих цепочек рассуждений, чтобы не упираться в лимит токенов. Это, по сути, то же самое, что и результат из недавней статьи о программировании в пространстве весов (https://rikiyat.github.io/blog/weight-space-programming/), где обнаружили, что даже Astra не смогла улучшить производительность модели без подобного очевидного изъяна.
- gavinray
Разве статья Google про «сон» уже не показала это?
https://research.google/blog/the-sleep-framework-a-new-way-f...
> Во время офлайн-фазы сна модель разблокирует заранее выделенные блоки памяти Mixture-of-Experts (MoE) и обновляет свои числовые веса, используя самостоятельно сгенерированные примеры для практики.
- Toutouxc
Надеюсь, кто-нибудь сможет мне это объяснить. Они говорят «без обучения»:
> впервые языковая модель переписывает свои собственные веса с помощью собственных рассуждений и становится лучше, без градиентов и без обучения
> она тестирует свои правки на тренировочных задачах и вносит только то, что работает, каждая правка улучшает предыдущую, и за восемь последовательных сессий её точность только растёт
Но это очень похоже на обучение, а «вносит только то, что работает», хотя, вероятно, и не является градиентным спуском по определению, тоже кажется довольно очевидным, когда ты что-то оптимизируешь.
- samlinnfer
Интересно, можно ли обучить модель чинить себя, подобно тому, как CNN учится устранять размытие (когда исходное изображение размывается, а модель оценивается по тому, насколько точно она может восстановить оригинал). Модель можно оценивать по тому, насколько точно она восстановила свои собственные веса. Затем модель становится лучше в самовосстановлении, и тогда ей поручают восстановить модель, которая не была повреждена, и смотрят, сможет ли она рекурсивно самоулучшаться.
- yieldcrv
Надеюсь, они смогут раскрыть нам, как проделать то же самое с нашей конфигурацией нейронов.
- SamInTheShell
Крис Хей выпустил видео, демонстрирующее использование возможности позволить модели изменять вес с помощью его LARQL: https://www.youtube.com/watch?v=NLguavIxFFs
- woah
Недавняя волна статей о переписывании весов ценнее своим вдохновляющим содержанием, чем текущими возможностями. В реальности эти модели вносят очень простые изменения с помощью аналитических скриптов, а не понимают веса интуитивно, как предполагают статьи.
Однако, как только LLM будут предварительно обучены на огромных объёмах сериализованных весов LLM и соответствующих цепочек рассуждений, это может измениться.
- radicalbyte
Почему бы им не смочь? Если ты видишь, какие веса активируются, ты можешь запустить цикл изменение > тест > изменение.
Я понимаю, что именно так люди удаляют цензуру и прочее из тех китайских моделей.