AI 参数需翻七倍，才能逼近人类
Quadrillion-parameter transformers and how to train them
AI 与人类在样本效率上存在一千万倍的巨大差距。Q Labs 最新研究指出，当前模型规模太小，若要在有限数据下实现最优性能，参数量需增加七个数量级。文章提出了针对数据受限场景的新缩放定律，主张在固定数据集上训练更大规模的模型，并配合更多训练轮次（epochs）和动态调整权重衰减。此外，通过 Snapshot Ensembling 和 Deep Ensembling 技术，可以在不增加额外训练算力的前提下显著降低损失。这一研究为突破当前大语言模型的训练瓶颈提供了全新的路径。
我们当前的神经网络太小了，相差整整七个数量级。
HN 评论区
62- joefourier
> 相比之下，人类拥有约 100T（万亿）个参数（将每个突触计为一个权重），且仅需约 2 亿个 token 即可学习，token 与参数之比约为 1:500,000。
我觉得这不算公平的比较，因为（据我所知）人类并非出生时就带有随机初始化的神经权重，并被置于某种非常通用的结构中；相反，我们至少拥有极强的归纳偏置（inductive biases）。我认为，将过去数亿年从拥有原始神经系统的早期动物到现代人类的进化过程计算在内是合理的，而在此期间被“训练”的