Q Labs, 데이터가 고갈된 시대에 Chinchilla보다 7,000배 큰 모델을 처방하다
Quadrillion-parameter transformers and how to train them
Q Labs 연구진은 데이터셋을 고정한 채 컴퓨트만 늘리는 다중 에폭 구간에서 최적 모델 크기가 계속 커진다는 스케일링 법칙을 제시한다. 5T 토큰 기준 10^29 FLOPs에서 Chinchilla 처방보다 약 7,000배 많은 파라미터를 권고하며, 에폭·모델 크기에 따라 가중치 감쇠를 키우는 하이퍼파라미터 전이와 스냅샷·딥 앙상블을 결합해 기존 레시피가 악화되는 지점에서도 손실을 계속 낮춘다.
인간은 약 100조 개의 파라미터를 갖고 있지만 단 2억 토큰으로 학습한다. 즉 AI와 인간의 토큰 대 파라미터 비율 격차는 1,000만 배에 달한다.