Tensor es la fuerza: construye tu propia librería de tensores acelerada por GPU desde cero en C
Tensor Is the Might
Las redes neuronales, desde un MLP de dos capas hasta GPT-5, se reducen a números de punto flotante fluyendo a través de un grafo de operaciones. Este artículo construye una librería de tensores completa y acelerada por GPU desde cero en C, inspirada en libnc de Bellard. Explica la representación de tensores como arreglos planos con metadatos de forma y strides, la gestión de memoria con conteo de referencias y vistas, operaciones elementales, y el salto a la GPU con Metal en Apple Silicon, incluyendo kernels MSL y sincronización CPU-GPU.
Una estadística inventada sobre la marcha me dice que el 80% de los FLOPs en cualquier red neuronal son multiplicaciones de matrices.