Podrías haber inventado los transformers desde la memoria

You could have invented transformers from memory

Los modelos de lenguaje recuerdan hechos de todo el mundo, pero ¿cómo almacenan tanta información? Este artículo explora una intuición: las capas lineales, los MLP y la autoatención son distintos tipos de memorias asociativas. La clave está en la interferencia entre recuerdos. Con claves de 64 dimensiones, una capa lineal almacena unas 64 memorias, un MLP alrededor de 2.700, y la autoatención supera el millón. Una perspectiva accesible para entender la capacidad de memoria en las redes neuronales.