Dust обучает трансформеры без обратного распространения
Dust: Pretraining Transformers Without Backpropagation

Исследователи из qlabs представили Dust — первый метод нулевого порядка, который конкурирует с backprop при предварительном обучении языковых моделей на основе трансформеров. Dust возмущает активации независимо для каждого токена, создавая виртуальную популяцию, и один прямой проход оценивает тысячи членов параллельно. Метод на порядки эффективнее весовых эволюционных стратегий и, вопреки распространённому мнению, показывает, что большие модели более популяционно-эффективны. Это открывает путь к обучению без дифференцируемости в эпоху больших вычислений.
Страшно, что большие модели оказываются более популяционно-эффективными, а не менее: модель с 243 млн параметров превосходит модель в 120 раз меньше при большинстве размеров популяции.
- blt
Каждые несколько лет какой-нибудь алгоритм оптимизации нейронных сетей без производных получает свою долю хайпа. Готов поставить все свои сбережения, что ни один из них никогда не окажет влияния.
Оптимизация без производных может быть полезна для по-настоящему разрывных целевых функций [1], но обычные целевые функции нейронных сетей гладкие и/или липшицевы.
Градиент полезен. Вместо того чтобы пробовать случайные направления и надеяться, что одно из них окажется улучшением, он говорит, куда идти. Чем больше у вас параметров, тем полезнее он становится.
Строгий разрыв в сложности между градиентной и безградиентной липшицевой выпуклой оптимизацией подозревался десятилетиями и недавно был доказан (с помощью ИИ, [2]). Оптимизация нейронных сетей невыпукла, но не радикально отличается.
ИМХО, более перспективное направление — градиентные оптимизаторы, специализированные под структуру нейронной сети, вроде Muon [3].
[1] https://arxiv.org/abs/2202.00817
- usernametaken29
> Есть много интересных открытых вопросов. Первый — может ли Dust находить лучшие направления, чем первопорядковый градиент обратного распространения, и если да, то как.
Оба алгоритма ограничены одним и тем же фронтом Парето, основанным на принципе минимизации эмпирического риска, так что они уже находятся на одной траектории.
Интересно, что обратное распространение ограничено обусловленностью матрицы Гессе для сходимости (правильного дифференцирования). Так что снятие этого ограничения — на самом деле отличный шаг.
Я рад возвращению эволюционных методов, потому что они гораздо более общие, хоть и дорогие и наивные.
Мы сейчас очень близки к тому, что лучше всего описать как перебор фронта Парето из наших датасетов. Не уверен, что это то, чего мы хотим, но и лучших идей у меня тоже нет.
- polyomino
Хотя это гораздо дороже, чем обратное распространение, мог бы гибридный подход, при котором вы дообучаете существующий чекпоинт, уже прошедший обратное распространение, открыть дополнительные улучшения?
Было бы круто применить это на разных этапах и посмотреть, повлияет ли это на траекторию обучения.
- wg0
Это вычислительно дорого и неосуществимо, но в чём выгода?
Серьёзный вопрос из-за незнакомства с темой.
- api
Звучит так, будто это менее вычислительно эффективно, чем обратное распространение, но легче распараллеливается. Это справедливо?