Q Labs propone entrenar redes de un cuatrillón de parámetros para cerrar la brecha con el cerebro humano
Quadrillion-parameter transformers and how to train them
La brecha de eficiencia de muestreo entre la IA y los humanos es de un millón de veces, y una de sus causas es el tamaño: el cerebro equivale a unos 100 billones de parámetros, mientras que Chinchilla prescribe apenas 1,5 billones. Q Labs presenta una ley de escalado que, con un dataset fijo de 5 billones de tokens, eleva el número óptimo de parámetros a unas 7.000 veces lo que predice Chinchilla. La receta combina modelos más grandes, más épocas con weight decay ajustado y ensembling de snapshots.
Sobre 30 billones de tokens, deberíamos estar entrenando redes neuronales de quintillones de parámetros. Nuestras redes actuales son demasiado pequeñas, por siete órdenes de magnitud.