Q Labs: чтобы догнать мозг по эффективности обучения, модели нужно увеличить в семь разрядов

Quadrillion-parameter transformers and how to train them

Q Labs предлагает масштабировать трансформеры до квадриллиона параметров, чтобы сократить разрыв в эффективности выборки между ИИ и человеком. Их новый закон масштабирования для обучения на ограниченных данных предсказывает, что при 5 трлн токенов и бюджете 10^29 FLOPs оптимальное число параметров в ансамбле должно быть примерно в 7000 раз больше, чем по Chinchilla. Ключевые ингредиенты — увеличение числа эпох с ростом weight decay, snapshot- и deep-ансамбли, а также перенос гиперпараметров.