Q Labs will KI-Modelle mit einer Billiarde Parametern trainieren

Quadrillion-parameter transformers and how to train them

Zwischen Mensch und KI klafft eine Lücke in der Sample-Effizienz von 1.000.000x. Q Labs hält zu kleine Modelle für einen Grund: Statt der rund 1,5 Billionen Parameter, die Chinchilla für 30T Tokens empfiehlt, müssten es sieben Größenordnungen mehr sein. Ein neues Scaling Law erweitert die Daten-constrained-Gesetze um einen Term für Ensembling und liefert Rezepte, wie sich bei begrenzten Daten durch mehr Epochen, größere Modelle und Snapshot-Ensembles die Parameterzahl um vier Größenordnungen steigern lässt.