Sie hätten Transformer aus dem Gedächtnis erfinden können

You could have invented transformers from memory

Wie speichern Large Language Models so viele Fakten, und wie viele passen hinein? Alex Wang erklärt assoziative Speicher: von der einfachen Outer-Product-Speicherung über die optimale lineare Speicherung bis hin zu MLPs und Self-Attention. Mit 64-dimensionalen Keys steigt die Kapazität von etwa 64 über 2.700 auf über eine Million Erinnerungen – eine intuitive Reise durch die Gedächtnisarchitektur moderner KI.